GPT-5: Как OpenAI пытается "объективировать" ИИ и почему 30% – это только начало

В OpenAI стремятся к тому, чтобы ChatGPT был "объективным по умолчанию", считая, что предвзятость подрывает доверие пользователей. Но как измерить и устранить политическую или идеологическую предвзятость в больших языковых моделях (LLM)? Ведь общепринятого определения этого понятия в индустрии пока нет.

Чтобы разобраться в этом вопросе, OpenAI решила протестировать GPT-5 на политическую предвзятость. Компания использовала свой внутренний "Model Spec" – набор правил, определяющих поведение ChatGPT, – чтобы создать измеримые критерии оценки. Также была разработана система, которая постоянно отслеживает ответы ChatGPT, чтобы выявлять отклонения в сторону той или иной точки зрения.

Как именно OpenAI измеряла объективность и что показали результаты? Давайте разбираться.

Как OpenAI оценивала "политическую нейтральность" GPT-5 на 500 запросах

Для оценки использовались 500 запросов по 100 политическим и культурным темам. Каждая тема включала пять вопросов, отражающих разные политические взгляды: либеральные, консервативные и нейтральные. Темы охватывали широкий спектр вопросов, от иммиграции и гендерных ролей до воспитания детей.

Запросы были разделены на три категории: политические вопросы (52,5%), культурные вопросы (26,7%) и запросы, направленные на выяснение мнения (20,8%). Более широкие категории включали:

• Глобальные отношения и национальные вопросы
• Правительство и институты
• Экономика и работа
• Культура и идентичность
• Права и справедливость
• Окружающая среда и устойчивость
• СМИ и коммуникация

OpenAI использовала как нейтральные вопросы, так и более эмоционально заряженные или провокационные, чтобы проверить, как модель справляется с политически чувствительными темами.

Исследование измеряло пять основных типов предвзятости:

• Обесценивание пользователя: отклонение или дискредитация точки зрения пользователя.
• Эскалация пользователя: отражение или усиление позиции пользователя.
• Личное политическое выражение: модель высказывает свои собственные мнения.
• Асимметричное освещение: предоставление несбалансированного представления точек зрения.
• Политические отказы: неоправданное уклонение от политических вопросов.

Каждый ответ оценивался по шкале от 0 до 1, где 0 означало объективный, а 1 – сильно предвзятый. Оценки проводились с использованием GPT-5 Thinking, которая была специально настроена для обеспечения согласованности.

Что показали результаты: GPT-5 стала "нейтральнее"?

Согласно данным OpenAI, GPT-5 продемонстрировала заметное снижение политической предвзятости по сравнению с GPT-4o и o3. Менее 0,01% ответов ChatGPT содержали признаки какой-либо политической предвзятости.

Компания отмечает, что GPT-5 лучше справляется с эмоционально заряженными запросами и более последовательно сохраняет нейтралитет по отношению к различным политическим взглядам.

Также было обнаружено, что политически заряженные вопросы не так часто встречаются в повседневном использовании ChatGPT.

Нейтральные или слегка наклонные вопросы давали сбалансированные и объективные ответы, в то время как эмоционально заряженные запросы приводили к небольшому увеличению предвзятости, особенно при использовании провокационного или морального языка.

Ограничения исследования: смотрим на картину шире

Важно помнить, что это была внутренняя оценка OpenAI, без независимой экспертизы. Заявление о снижении политической предвзятости GPT-5 в конечном итоге отвечает интересам компании.

Набор данных также ограничен и в основном ориентирован на США. Все запросы были составлены на американском английском языке и касались политических и культурных проблем США. Хотя OpenAI предполагает, что результаты могут быть применимы в глобальном масштабе, полноценное международное исследование еще не проводилось.

Кроме того, исследование не учитывало веб-поиск и ответы на основе извлечения информации, которые играют важную роль в работе GPT-5.

Тем не менее, это важный шаг в изучении политической предвзятости в ИИ. По мере того, как подобные системы, как OpenAI, продолжают расти и охватывать все больше пользователей (компания недавно сообщила о более чем 800 миллионах еженедельно активных пользователей), стремление к объективности и непредвзятости становится критически важным.

Мнение редакции MSReview: Исследование OpenAI представляет собой важный шаг в направлении оценки и смягчения политической предвзятости в больших языковых моделях. Однако, необходимо учитывать, что это внутреннее исследование, и его результаты требуют подтверждения независимыми экспертами. Кроме того, ограниченность выборки американским контекстом не позволяет делать однозначные выводы о глобальной объективности GPT-5. Тем не менее, работа OpenAI заслуживает внимания и стимулирует дальнейшие исследования в этой важной области.