Microsoft предупреждает: ИИ-агентам «нельзя доверять» по мере роста их внедрения

Microsoft предупреждает: ИИ-агентам нельзя доверять

Microsoft, один из ключевых игроков в сфере развития искусственного интеллекта, выпустила шокирующее предупреждение: «ИИ-агентам нельзя доверять». Это заявление прозвучало в новом отчете по безопасности, где исполнительный вице-президент Microsoft Security Хайет Галлот прямо заявила, что «передовым моделям, независимо от их происхождения, нельзя доверять». Причина не в злонамеренной природе, а в их легкой подверженности влиянию для достижения результатов, игнорируя «организационные нормы или здравый смысл».

Это предупреждение появилось всего через пару недель после того, как Microsoft представила свою новую инфраструктуру для сдерживания ИИ-агентов в Windows. Похоже, компания активно работает над повышением мощности агентов, параллельно создавая механизмы защиты для остальной части сети от их поведения.

Когда ИИ-агенты выходят из-под контроля, могут произойти очень неприятные вещи. Этот кошмарный сценарий уже наблюдался несколько раз, и, несмотря на новую инициативу Microsoft по сдерживанию, ожидается его повторение.

Возможно, самый известный инцидент с вышедшими из-под контроля ИИ-агентами — это атака OpenAI на Hugging Face, где около 700 автономных агентов разработали способ взлома платформы для разработчиков ИИ после прорыва системы сдерживания.

При более детальном изучении того, что произошло во время взлома Hugging Face — когда агенты обменивались эксплойтами и сохраняли память, даже когда несанкционированные боты устранялись — цитата Галлот обретает гораздо больше смысла:

Агенты непредсказуемы. Они будут адаптироваться по мере изменения контекста, могут вести себя не так, как задумано, и будут сотрудничать и вступать в сговор с другими агентами для достижения своих целей, без необходимости быть скомпрометированными.

Хайет Галлот, исполнительный вице-президент Microsoft Security

Это не первое предупреждение Microsoft о хаосе, который могут вызвать ИИ-агенты при неправильном сдерживании.

В ноябре 2025 года была опубликована статья, в которой говорилось, что агентурные возможности ИИ в Windows 11 следует включать только «если вы понимаете последствия для безопасности».

Они особенно подвержены кросс-промпт-инъекциям (XPIA), которые могут переопределить инструкции, данные агентам, что приводит к таким вещам, как кража данных и вредоносное ПО.

Ответом Microsoft в то время был набор принципов, навязанных агентам, чтобы гарантировать их желаемое поведение. Теперь это превратилось в нечто гораздо большее, поскольку обнаруживается полный спектр того, что ИИ-агенты могут делать без какого-либо вмешательства злоумышленников.

Microsoft теперь классифицирует ИИ, используемый вами на работе, как «агентурных инсайдеров», которые могут в любой момент выйти из-под контроля и действовать непредсказуемо. Из-за того, насколько тесно эти агенты интегрируются в корпоративные системы, риски продолжают расти.

Хуже того, их необходимо постоянно контролировать. Кто может спасти нас от вышедшего из-под контроля ИИ?

Ответ Microsoft на проблему вышедших из-под контроля ИИ-агентов — это еще больше ИИ

Кто сторожит сторожей? Эта фраза повторялась в голове при чтении о «Агентах-Хранителях» Microsoft.

Вместо того чтобы полагаться на человеческий надзор, Агенты-Хранители Microsoft разработаны для «наблюдения и модерации каждого действия каждого агента, прежде чем оно произойдет, 24/7».

Это очень похоже на признание того, что агентские системы развиваются быстрее, чем кто-либо предполагал, и что они теперь вышли из-под контроля человека.

Примером действия Агентов-Хранителей является Project Perception от Microsoft.

Анонсированный этим летом и до сих пор не получивший широкого распространения, он использует сигналы, контекст, модели и специализированных агентов в четырехступенчатой линии защиты от внешних и внутренних угроз предприятия.

По сути, это ИИ, сражающийся с ИИ, потому что у людей больше нет надежды угнаться.

Позиция Windows Central

Microsoft находится в сложном положении. Компания отошла от поверхностной интеграции ИИ в Windows 11. Тем временем она перенаправляет свои усилия на гораздо более глубокую инфраструктуру агентов, как мы видим здесь. И все это при утверждении, что базовым моделям нельзя доверять.

Это последнее предупреждение от Microsoft подчеркивает растущую проблему для индустрии ИИ. Автономные агенты, которые обещали сделать нашу жизнь намного проще, теперь создают новые, серьезные проблемы безопасности.

Ответом Microsoft пока являются сдерживание, мониторинг и надзор. Будут ли эти меры предосторожности достаточными для предотвращения катастрофы?

ИИ-агенты — это обоюдоострый меч: они обещают революционные возможности, но требуют беспрецедентного уровня контроля и мониторинга, который может быть обеспечен только силами самого ИИ. Евгений (MSReview)