В то время как OpenAI, Google и Anthropic соревнуются в создании умных ИИ, новое исследование Apple ставит под сомнение их возможности. Действительно ли эти модели так хороши в рассуждениях, как нам кажется?

Исследователи Apple взялись за изучение новейших больших языковых моделей (LLM), таких как Claude 3 от Anthropic, o3 от OpenAI и Gemini от Google. Они проверили их на самых разных задачах, от математики до программирования, и даже на специально разработанных головоломках, например, «Ханойской башне».

Главная цель – понять, насколько хорошо модели именно рассуждают, а не просто выдают правильный ответ.

И вот к каким выводам пришли исследователи Apple:

"Несмотря на улучшенные результаты в тестах, мы до конца не понимаем, как эти модели работают на самом деле, как они масштабируются и каковы их ограничения."

"Иллюзия мышления" – в чем подвох?

Apple называет современные большие языковые модели не иначе как "иллюзией мышления". Оказывается, что в простых задачах обычные LLM показывают себя не хуже, чем продвинутые модели, созданные специально для рассуждений (LRM). Но когда задача усложняется, LRM выходят вперед.

Почему? Все дело в специальных алгоритмах, которые помогают LRM выстраивать цепочки рассуждений. Но вот что интересно: если задача становится слишком сложной, ни LRM, ни обычные LLM не справляются.

Время – деньги, но не для ИИ

Самое удивительное открытие: когда модели сталкиваются со сложной задачей и понимают, что скоро "провалятся", они неожиданно ускоряют процесс, хотя у них еще достаточно ресурсов (токенов).

Даже получив правильный алгоритм, LRM испытывают трудности с пошаговым решением сложных задач. Это говорит о том, что в их логике есть серьезные пробелы.

Apple отстает в гонке ИИ?

Эти выводы появились на фоне новостей о том, что Apple, возможно, отстает от OpenAI в развитии ИИ на целых два года.

Похоже, что Apple отложила свою стратегию Apple Intelligence AI до 2026 года. Некоторые пользователи даже называют её "призрачным продуктом", который нужен лишь для повышения продаж iPhone 16.

Мнение редакции MSReview:

Это исследование показывает, что, несмотря на все достижения в области ИИ, современные модели рассуждений пока еще очень далеки от человеческого мышления. Не стоит слепо доверять их ответам, особенно в сложных и ответственных ситуациях. Нам нужно продолжать исследования, чтобы понять, как работают эти системы и как их можно улучшить.