Осторожно, ИИ: Опечатки в запросах могут привести к катастрофическим медицинским советам

По мере развития генеративного искусственного интеллекта (ИИ) и его проникновения во все сферы жизни, пользователям без специальных знаний становится все сложнее эффективно использовать эти инструменты. Особенно это касается таких популярных решений, как ChatGPT от OpenAI.

Несмотря на конкуренцию между Microsoft и OpenAI, их продукты в области ИИ, такие как Microsoft Copilot, часто сравнивают. Хотя они и работают на схожих технологиях, Microsoft активно тестирует сторонние модели для Copilot и разрабатывает собственные решения.

Недавние исследования показывают, что пользователи часто жалуются на то, что "Copilot не так хорош, как ChatGPT". Microsoft парирует, утверждая, что проблема кроется в неумении правильно составлять запросы. Компания даже запустила "Академию Copilot", чтобы помочь пользователям улучшить свои навыки работы с ИИ.

В мае руководитель Microsoft Teams Джефф Тейпер признал, что Copilot и ChatGPT во многом похожи, но решение Microsoft предлагает повышенную безопасность и удобство использования.

Похоже, Microsoft была права, указывая на важность правильных запросов. Новое исследование Массачусетского технологического института (MIT) показывает, насколько критичным может быть этот фактор, особенно в медицинской сфере.

"ОСТЕРЕГАЙТЕСЬ" опечаток при использовании ИИ

Исследование MIT выявило, что чрезмерное доверие к ИИ в вопросах здоровья может быть опасным и даже вводить в заблуждение. Самое тревожное, что опечатки, ошибки или сленг в запросах могут привести к тому, что ИИ посоветует не обращаться за медицинской помощью. При этом, женщины оказались более уязвимы к получению некорректных советов.

В исследовании использовались следующие инструменты ИИ: GPT-4 от OpenAI, LLama-3-70b от Meta и медицинский ИИ под названием Palmyra-Med. Ученые смоделировали тысячи случаев заболеваний, используя реальные жалобы пациентов из медицинских баз данных, сообщения Reddit и сгенерированные ИИ сценарии.

Чтобы запутать чат-ботов, в данные были добавлены "возмущения": непоследовательное использование заглавных букв, восклицательные знаки, сленг и неопределенные выражения ("возможно").

Чат-боты действительно "попадались на удочку", меняя свои ответы и медицинские советы. Вероятность того, что чат-бот посоветует не обращаться в больницу, увеличивалась на 7-9%.

Исследователи объясняют это тем, что инструменты ИИ в значительной степени полагаются на структурированные медицинские данные, и им трудно интерпретировать неформальную информацию, предоставляемую пациентами.

Абинита Гурабатина, ведущий автор исследования, отмечает:

Эти модели часто обучаются и тестируются на вопросах медицинских экзаменов, но затем используются в задачах, которые довольно далеки от этого, например, оценка серьезности клинического случая. Мы все еще так многого не знаем о LLM.

Эти результаты вызывают серьезные опасения по поводу использования ИИ в медицине. Недавно Microsoft представила новый инструмент ИИ для медицины, заявив, что он в 4 раза точнее и на 20% дешевле, чем врачи. Глава компании назвал его "подлинным шагом к медицинскому сверхразуму".

Все это говорит о том, что генеративному ИИ еще предстоит пройти долгий путь, прежде чем ему можно будет полностью доверять в такой ответственной области, как медицина.

Мнение редакции: Использование ИИ в медицине – это перспективное направление, но необходимо помнить о потенциальных рисках и ограничениях. Результаты данного исследования подчеркивают важность критического подхода к информации, предоставляемой ИИ, и необходимость проверки этих данных с помощью квалифицированных специалистов. Дополнительные исследования и совершенствование алгоритмов ИИ необходимы для обеспечения безопасного и эффективного использования этих технологий в здравоохранении.