Уроженец Фритауна в 8-летнем возрасте вместе с получившим бельгийское гражданство отцом Ибрахимом Каргбо-старшим — тоже футболистом, который несколько лет был капитаном сборной Сьерра-Леоне — перебрался в Европу. В Бельгии он и начал заниматься футболом в школе базирующегося в Антверпене "Беерсхота". А когда его отец в 2015 году отправился в Англию, сын последовал за ним и проходил обучение в школах "Рединга" и "Кристал Пэласа".
Первый профессиональный контракт подписал в 2018 году с "Руселаре" из Бельгии, где впоследствии выступал и за "Льерс". В конце 2019 года перебрался в киевское "Динамо", с которым заключил многолетнее соглашение. В первой половине 2020-го играть за команду не мог, поскольку регламент ФИФА не разрешает выступать в течение сезона более чем за два профессиональных клуба (а Каргбо в сезоне 2019/20 уже успел засветиться в "Руселаре" и Льерсе"). Дебют за киевлян был отложен до июня 2020-го и пришелся на победный полуфинальный поединок Кубка Украины против "Миная" (2:0), в котором он вышел на замену на 61-й минуте.
Закрепиться в "Динамо" у Ибрахима не получилось. Далее в его карьере были донецкий "Олимпик", словенский "Целе", кипрская "Докса", хорватский "Солин", могилевский "Днепр" и сербское "Единство".
С сезона-2025 — игрок БАТЭ. Имеет опыт выступлений за юниорскую сборную Бельгии.
