«Критический» эксплойт Microsoft Copilot раскрывает доверчивость ИИ, превращая чат-бота в перехватчик данных для кодов 2FA и конфиденциальных электронных писем

Генеративный искусственный интеллект (ИИ), несмотря на значительные достижения в медицине, образовании, вычислительной технике и других областях, продолжает вызывать серьезные опасения у пользователей в отношении безопасности и конфиденциальности.

Недавно специалисты кибербезопасности из Varonis Threat Labs обнаружили способ использования уязвимости в Microsoft Copilot для кражи различных типов конфиденциальных данных, как личных, так и корпоративных. Эта уязвимость получила название SearchLeak. Как подробно описал исследователь безопасности Долев Талер, SearchLeak представляет собой "трехступенчатую цепочку уязвимостей, которая превращает Microsoft 365 Copilot Enterprise Search в бесшумное оружие для эксфильтрации данных".

Талер отметил, что эта уязвимость наглядно демонстрирует эволюцию угроз, использующих ИИ, от классических ошибок, что делает их все более опасными. "Вместе эти уязвимости показывают, как ИИ может создавать новые пути доступа к системам, основываясь на старых уязвимостях, при этом оставаясь чрезвычайно сложным для обнаружения командами безопасности", — добавил исследователь.

Как работает SearchLeak? Это уязвимость, специфичная для ИИ, известная как инъекция параметра в промпт (parameter-to-prompt injection). В этом случае злоумышленник отправляет ничего не подозревающему пользователю вредоносную ссылку, содержащую "q-параметр", предназначенный для запросов на естественном языке.

Более тревожным является то, что параметр может быть встроен в легитимный URL-адрес. В результате, как объяснил исследователь, ИИ-движок Copilot интерпретирует URL не только как поисковый запрос, но и как исполняемые инструкции.

Следовательно, если пользователь нажимает на ссылку, открывается Microsoft 365 Copilot Search, который интерпретирует параметр как инструкции для поиска его электронной почты. Затем Copilot генерирует вывод, который встраивает конфиденциальные данные в URL-адрес изображения и эксфильтрует их через Bing.

Хотя Microsoft заявила, что уязвимость не была использована и с тех пор патчирована, она классифицировала ее как "критическую". Этот инцидент открывает более широкое обсуждение об опасностях ИИ в корпоративной среде.

"Поскольку SearchLeak нацелен на корпоративный уровень Microsoft, зона поражения не ограничивается личными данными — она может раскрыть все, к чему пользователь имеет доступ внутри организации, включая электронные письма, приглашения на встречи и заметки", — указали в Varonis. "Документы SharePoint, файлы OneDrive и другой индексированный бизнес-контент. В зависимости от того, как M365 подключен к среде, зона поражения может расширяться еще больше".

Эксплойт мог предоставить злоумышленникам доступ к конфиденциальной информации, включая темы и содержание электронных писем, активации кодов MFA/2FA, детали встреч и файлы, проиндексированные Copilot, от ничего не подозревающих пользователей.

Евгений (MSReview): Уязвимость SearchLeak наглядно демонстрирует, как новые ИИ-функции могут непреднамеренно создавать критические векторы атак, используя лежащие в основе механизмы поиска и обработки данных, что требует постоянного переосмысления подходов к кибербезопасности в корпоративных ИИ-системах.