Искусственный интеллект становится ближе: OpenAI выпустила модели, которые работают даже на ноутбуках

После некоторой задержки, компания OpenAI представила gpt-oss-120b и gpt-oss-20b — две модели обработки естественного языка с открытым исходным кодом. Главная особенность этих моделей — высокая производительность в задачах, требующих логического мышления, и при этом они не нуждаются в мощном "железе". OpenAI заявляет, что они оптимизированы для эффективной работы даже на обычных компьютерах.

Gpt-oss-120b – более крупная модель, но она способна работать на одном графическом процессоре (GPU) с 80 ГБ памяти, обеспечивая производительность, сравнимую с o4-mini. Меньшая модель, gpt-oss-20b, показывает результаты на уровне o3-mini и может функционировать на устройствах с всего 16 ГБ памяти. Это делает ее отличным выбором для приложений искусственного интеллекта, работающих непосредственно на вашем устройстве, без необходимости подключения к облаку.

Что умеют новые модели?

Эти модели, помимо хорошей производительности и скромных требований к ресурсам, отлично справляются с использованием инструментов, вызовом функций (function calling), логическими рассуждениями (CoT-рассуждения) и задачами в области здравоохранения (HealthBench). Как и другие модели OpenAI, эти модели с открытым исходным кодом совместимы с Responses API. Безопасность играет важную роль, поэтому OpenAI провела дополнительную оценку, протестировав gpt-oss-120b на устойчивость к вредоносным запросам.

Где взять и как использовать?

Разработчики могут скачать файлы обеих моделей на Hugging Face. OpenAI также открывает исходный код harmony renderer на Python и Rust, чтобы упростить процесс интеграции. Чтобы помочь разработчикам начать работу, OpenAI предоставляет примеры реализации для запуска инференса (процесса применения модели для получения результата) с использованием PyTorch и Metal (платформы от Apple).

OpenAI сотрудничает с множеством компаний, включая Microsoft Azure, Hugging Face, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare и OpenRouter, чтобы сделать эти модели максимально доступными для разработчиков. Модели оптимизированы для работы на различных аппаратных платформах от NVIDIA, AMD, Cerebras и Groq.

Microsoft анонсировала версии модели gpt-oss-20b, оптимизированные для работы на Windows-компьютерах с использованием графического процессора, чтобы обеспечить локальный инференс. Эти оптимизированные модели будут доступны через Foundry Local и AI Toolkit для VS Code.

Если вы хотите протестировать модели, не загружая их, это можно сделать на специальной площадке OpenAI.

Мнение редакции MSReview:

Выпуск моделей с открытым исходным кодом от OpenAI, оптимизированных для обычных компьютеров, – важный шаг к тому, чтобы сделать технологии искусственного интеллекта более доступными. Это позволит большему числу разработчиков и исследователей экспериментировать с передовыми языковыми моделями и создавать новые приложения.