Огромная нейросеть у вас под рукой: DuckDuckGo открывает бесплатный доступ к мощной языковой модели

Представьте, что у вас есть доступ к одной из самых продвинутых нейросетей, созданных OpenAI, но без необходимости тратить тысячи долларов на мощное оборудование. Звучит как мечта? Благодаря DuckDuckGo это стало реальностью! Компания, известная своим вниманием к конфиденциальности, внезапно (для меня, по крайней мере) предложила AI-чатбот, который может запускать OpenAI gpt-oss:120b LLM – огромную языковую модель с 120 миллиардами параметров.

Обычно, чтобы запустить такую "махину", вам понадобился бы очень мощный компьютер с большим объемом видеопамяти (VRAM). Но DuckDuckGo позволяет любому использовать эту модель бесплатно и приватно, используя свои серверы.

Почему это круто?

Запустить gpt-oss:120b локально, через такие инструменты, как Ollama или LMStudio, – задача не из легких. Для комфортной работы вам потребуется больше VRAM, чем могут предложить даже две топовые видеокарты RTX.

Эта модель занимает 65 ГБ памяти! Без мощного игрового ПК или рабочей станции запустить её будет крайне сложно.

Быстрый, бесплатный и приватный доступ к мощной open-source языковой модели.

Duck.ai предоставляет бесплатный доступ к этой модели, используя свои серверы. А поскольку это DuckDuckGo, вы можете быть уверены в конфиденциальности ваших запросов.

Компания заявляет, что все чаты анонимизированы, и вам даже не нужна учетная запись. Никакой регистрации, никаких адресов электронной почты – просто откройте веб-страницу и начинайте задавать вопросы.

Насколько хороша эта модель?

Она работает очень быстро. Очевидно, что благодаря мощным серверам DuckDuckGo ответы генерируются мгновенно. По моим ощущениям, скорость работы сопоставима с 20b моделью на моей RTX 5090.

Однако есть один нюанс, к которому я пока не знаю, как относиться.

В Duck.ai вы не видите "ход мыслей" модели. Она просто выдает готовый ответ. Когда я использую gpt-oss на своем компьютере, мне нравится наблюдать за процессом генерации ответа.

При использовании моделей мышления, таких как gpt-oss локально с Ollama, вы можете видеть мыслительный процесс, который доставляет ваш ответ. У Duck.ai этого нет.

Возможно, это дело привычки, но мне интересно видеть, как модель пришла к тому или иному выводу. Иногда это помогает понять, где была допущена ошибка. Было бы здорово, если бы Duck.ai добавили эту функцию в качестве опции.

Еще одно ограничение – вы не можете загружать свои собственные файлы для работы с моделью. Некоторые другие чат-боты поддерживают загрузку изображений, но Duck.ai не позволяет загружать документы или примеры кода. Возможно, это связано с политикой конфиденциальности, но это ограничивает возможности использования модели.

В целом, это действительно отличная возможность. Веб-приложение Duck.ai очень похоже на ChatGPT или Google Gemini, поэтому оно удобно и просто в использовании. Ваши последние чаты сохраняются на боковой панели, а настройки позволяют настроить формат ответов. Конечно, все это относится ко всем моделям, доступным на Duck.ai, а не только к gpt-oss:120b.

Возможно, я нашел новую "жемчужину" в своем арсенале AI-инструментов. Чтобы принять окончательное решение, мне нужно немного больше времени, чтобы с ней поиграть. Но пока я просто рад, что могу попробовать gpt-oss:120b без необходимости покупать дорогую ферму GPU или NVIDIA Blackwell Pro.

DuckDuckGo делает важный шаг к тому, чтобы сделать большие языковые модели доступными для всех. Бесплатный и приватный доступ к gpt-oss:120b открывает новые возможности для многих пользователей, которые раньше не могли себе этого позволить. Удобный интерфейс и отсутствие необходимости в мощном оборудовании делают эту модель привлекательной для широкой аудитории. Однако, не стоит забывать об ограничениях, таких как отсутствие доступа к процессу мышления модели и невозможность загрузки собственных файлов.