Опасный сбой в доверенной системе: AI-браузер Comet за 200 долларов оказался дырявым

Perplexity, стартап в области искусственного интеллекта, стремящийся платить издателям за использование их контента, в июле представил новый браузер с элементами ИИ под названием "Comet". Он предлагается по внушительной цене в 200 долларов в месяц по подписке Perplexity Max и некоторым Perplexity Pro.

Perplexity заявляет, что "функции безопасности, конфиденциальности и соответствия стандартам, необходимые вашему бизнесу, уже встроены в Comet". Однако, как выяснилось, AI-браузер имеет серьезные уязвимости, обнаруженные компаниями Brave и Guardio.

В отчете, опубликованном 20 августа, старший инженер по мобильной безопасности Brave Артем Чайкин и вице-президент по конфиденциальности и безопасности Шиван Каул Сахиб утверждают, что уязвимости были обнаружены при сравнении собственной реализации ИИ в браузере Brave.

Leo, как Brave называет своего встроенного AI-помощника, разрабатывается для "просмотра веб-страниц от вашего имени, действуя в качестве вашего агента". Brave отмечает, что "такой агентский просмотр невероятно эффективен, но он также создает значительные проблемы с безопасностью и конфиденциальностью".

Часть процесса разработки включает в себя сравнение с другими AI-браузерами, включая расширение Nanobrowser с открытым исходным кодом и Comet от Perplexity. Обнаружив уязвимости в браузере Comet, Brave сообщила о них Perplexity.

Уязвимость, которую мы обсуждаем в этой статье, заключается в том, как Comet обрабатывает содержимое веб-страницы: когда пользователи просят его "Обобщить эту веб-страницу", Comet передает часть веб-страницы непосредственно своей большой языковой модели (LLM), не проводя различия между инструкциями пользователя и ненадежным содержимым со страницы. Это позволяет злоумышленникам внедрять косвенные полезные нагрузки для инъекций, которые ИИ будет выполнять как команды. Например, злоумышленник может получить доступ к электронной почте пользователя из подготовленного фрагмента текста на странице в другой вкладке.

Артем Чайкин, Шиван Каул Сахиб (Brave)

Brave объясняет условия возникновения уязвимости, и, как оказалось, для ее использования не потребуется гениальности. Пользователь, посетивший веб-страницу со встроенным вредоносным контентом, может использовать AI-помощника для суммирования содержимого.

Вредоносный контент вместе с обычным контентом захватывается AI-помощником для обработки. А поскольку AI-помощник не может отличить вредоносный код от безвредного, он следует плохим инструкциям.

Brave предполагает, что вредоносные команды могут быть использованы для кражи сохраненных паролей, конфиденциальной информации (например, банковских реквизитов) и всего остального, связанного с браузером. В качестве примера Brave показывает, как суммирование сообщения Reddit с помощью ИИ может привести к проникновению в электронную почту и связанные учетные записи.

В отличие от традиционных веб-уязвимостей, которые обычно затрагивают отдельные сайты или требуют сложной эксплуатации, эта атака обеспечивает междоменный доступ посредством простых инструкций на естественном языке, встроенных в веб-сайты. Вредоносные инструкции могут быть даже включены в пользовательский контент на веб-сайте, который злоумышленник не контролирует (например, инструкции для атаки, скрытые в комментарии Reddit). Атака является как косвенной по взаимодействию, так и общебраузерной по масштабу.

Артем Чайкин, Шиван Каул Сахиб (Brave)

Тестирование и исследование Guardio, опубликованные 20 августа под метким названием "Scamlexity", в значительной степени выявили тот же результат, что и Brave, при использовании AI-браузеров.

Guardio использовала Comet в качестве основного объекта тестирования и начала процесс тестирования "со схем мошенничества, которые работают годами" и которые людям обычно легко обнаружить.

Дав AI-помощнику команду "Купи мне Apple Watch", исследователи Guardio наблюдали, как Perplexity AI сканирует явно поддельную страницу Walmart (созданную исследователями), добавляет Apple Watch в корзину, использует сохраненные данные кредитной карты и платежные данные и оформляет заказ.

Один запрос, несколько мгновений автоматизированного просмотра без какого-либо контроля со стороны человека, и ущерб нанесен. Пока человек ждет новенькие Apple Watch, мошенники уже тратят его деньги.

Нати Таль, Шакед Чен (Guardio)

Guardio отмечает, что этот тест проводился несколько раз, и Comet иногда отказывался выполнять команду из-за проблем с безопасностью. В других случаях он останавливался на последнем этапе оформления заказа и просил человека завершить процесс. Но, безусловно, были случаи, когда он клевал на приманку и передавал учетные данные потенциальным мошенникам.

Guardio также проверила, как Comet справляется с фишинговыми электронными письмами, связанными с банковскими операциями. Представившись представителем Wells Fargo, используя явно поддельный адрес ProtonMail, исследователи отправили ссылку на действующую фишинговую страницу.

AI-помощник Comet немедленно перешел по ссылке и предложил помочь пользователю передать свои учетные данные мошенникам.

Результат: идеальная цепочка доверия вышла из-под контроля. Обрабатывая все взаимодействие от электронной почты до веб-сайта, Comet фактически поручился за фишинговую страницу. Человек никогда не видел подозрительный адрес отправителя, не наводил курсор на ссылку и не имел возможности усомниться в домене. Вместо этого он был перенаправлен непосредственно на то, что выглядело как законная страница входа в Wells Fargo, и поскольку она пришла через его доверенный ИИ, это казалось безопасным.

Нати Таль, Шакед Чен (Guardio)

Как отмечает Guardio, естественная человеческая интуиция, которую мы выработали против фишинговых схем, совершенно бесполезна, когда ИИ обрабатывает ваши решения.

Copilot Mode в Microsoft Edge похож на Comet

Comet от Perplexity — не единственный AI-браузер на рынке. The Browser Company недавно отказалась от своего браузера Arc в пользу AI-браузера под названием "Dia". По слухам, OpenAI также работает над агентским браузером.

Microsoft также вступает в игру. 28 июля компания анонсировала новый экспериментальный "Copilot Mode" для Edge. Edge AI можно использовать бесплатно в течение ограниченного времени, и Microsoft перечисляет множество функций, которые звучат похоже на то, из-за чего Comet попал в беду.

По словам Зака Боудена, старшего редактора , "он следит за адресной строкой и новой вкладкой и всегда находится в одном клике от возможности проанализировать веб-сайт или документ, который вы просматриваете. Copilot в Edge теперь также может просматривать все ваши открытые вкладки, предлагая контекстные действия или предложения, основанные на всем вашем активном сеансе просмотра, а не только на одной конкретной вкладке".

Повод для беспокойства? Необязательно. Но в любом случае, я бы пока не доверил ИИ обработку моего веб-браузинга.

Мнение редакции MSReview: На текущем этапе развития, использование AI-браузеров несёт в себе значительные риски. Доверять принятие решений искусственному интеллекту, особенно в вопросах безопасности и финансов, пока преждевременно. Необходимы дополнительные исследования и разработка механизмов защиты от злоупотреблений и уязвимостей, прежде чем рекомендовать широкое использование подобных технологий.