Intel учится у AMD: как новая функция Core Ultra поможет в работе с искусственным интеллектом

AMD уже давно предлагает своим пользователям интересную возможность, полезную как в играх, так и при работе с локальным ИИ, — управление объемом выделенной видеопамяти. Теперь и Intel внедряет аналогичную функцию в своих чипах Core Ultra.

Боб Даффи из Intel сообщил (через VideoCardz), что новая функция Shared GPU Memory Override (переопределение общей памяти GPU) появится в последней версии драйверов Arc.

Что это такое?

Говоря простым языком, теперь вы сможете самостоятельно определять, какой объем оперативной памяти будет зарезервирован для нужд графического процессора, как это реализовано в последних APU от AMD. Это может быть полезно в играх, но особенно актуально при использовании локальных LLM (больших языковых моделей) на вашем компьютере.

Ollama пока не поддерживает интегрированные графические процессоры, но такие инструменты, как LM Studio, позволяют загружать даже довольно крупные модели, например, gpt-oss:20b, на GPU вместо CPU.

Эти модели будут работать и без ручной настройки памяти для GPU, но дополнительная настройка может дать прирост в производительности. Важно понимать, что чипы Intel Core Ultra пока не используют настоящую унифицированную память, как в Apple Mac или будущих чипах AMD Strix Halo. Это разные технологии, и на унифицированной памяти такая функция была бы избыточной.

В ходе моих собственных тестов (правда, непродолжительных) на AMD Ryzen AI 9 HX 370, который также не использует унифицированную память, установка большего объема памяти для GPU дала ощутимый прирост в скорости работы.

Например, в gpt-oss:20b производительность увеличилась примерно на 5 токенов в секунду с контекстным окном 4k, когда модель была полностью загружена в выделенную память GPU, по сравнению со случаем, когда она целиком размещалась в общей системной памяти.

Вы можете использовать GPU для вычислений, используя системную оперативную память, но это работает медленнее. Оптимальный вариант — выделить достаточно видеопамяти для полной загрузки модели.

AMD уже некоторое время предлагает эту функцию на своих чипах Ryzen AI.

Intel теперь предоставляет пользователям Core Ultra аналогичную возможность. Пока неясно, будет ли она доступна на всех моделях Core Ultra или только на Core Ultra Series 2. В программное обеспечение Intel Graphics добавлен удобный слайдер, позволяющий выбрать объем памяти, резервируемой для GPU.

На примере моей системы с 32 ГБ оперативной памяти и использованием большой модели, такой как gpt-oss:20b, я устанавливаю равное разделение: 16 ГБ для GPU и 16 ГБ для остальной системы. Это позволяет полностью загрузить модель в видеопамять, оставив достаточно ресурсов для других задач.

Именно так я добиваюсь максимальной производительности от LLM. Зачем использовать CPU, если можно задействовать GPU? Даже интегрированный графический процессор может обеспечить лучшие результаты, чем CPU в данном случае.

Разумеется, нужно учитывать ограничения. Если у вас всего 16 ГБ оперативной памяти, вы не сможете отдать все это GPU для запуска LLM. Операционной системе и другим приложениям тоже нужна память. В идеале, необходимо оставить хотя бы 8 ГБ для остальной части системы.

Чтобы получить доступ к новой функции Shared GPU Memory Override, необходимо установить последние версии драйверов Intel. Обратите внимание, это актуально только в том случае, если в вашем ПК используется интегрированная графика Arc. Дискретные видеокарты с собственной VRAM не нуждаются в этой функции и, как правило, работают быстрее.

Но если вы используете локальные LLM в своей системе Core Ultra, это приятное дополнение, которое поможет вам выжать немного дополнительной производительности из ваших ИИ-задач.

Мнение редакции MSReview: Добавление возможности регулировки выделенной памяти для GPU в чипах Intel Core Ultra — важный шаг, особенно для пользователей, работающих с локальными моделями ИИ. Это позволит оптимизировать производительность и более эффективно использовать ресурсы системы. Данная функция ставит Intel на один уровень с AMD в этом аспекте и открывает новые возможности для локальных вычислений ИИ на платформах Intel.