Искусственный интеллект расскажет, что на вашем экране: Windows 11 научится описывать изображения без интернета

Microsoft готовит к выпуску новую функцию на базе искусственного интеллекта для Windows 11, которая позволит операционной системе описывать любое изображение на вашем экране. И что самое интересное – вся обработка будет происходить прямо на вашем компьютере, без необходимости подключения к интернету! Эта функция станет частью инструмента Click To Do и будет эксклюзивной для компьютеров Copilot+ PC. Чтобы воспользоваться ею, достаточно будет зажать клавишу Windows и кликнуть мышкой на нужном изображении.

Главная особенность этой функции – её работа в офлайн-режиме. Это означает, что для анализа изображений используются встроенные в компьютер модели искусственного интеллекта. Никакой отправки данных в облако, никаких задержек, связанных с интернет-соединением.

"Мы представляем новое действие "описать изображение" в Click to Do, чтобы получать подробные описания изображений, диаграмм и графиков — полезно для быстрого обзора визуального контента", — говорится в сообщении в блоге Microsoft. "Когда вы используете это действие впервые, необходимые модели настраиваются, и описания создаются локально на вашем устройстве, что гарантирует, что ваши конфиденциальные данные останутся на вашем ПК".

После выбора опции "описать изображение" на экране появится всплывающее окно с автоматически сгенерированным описанием. Пользователь сможет запросить создание другого описания, оценить точность текущего или скопировать текст в буфер обмена. И самое главное – функция будет работать в любом приложении, открытом на вашем компьютере.

Как это связано с Windows Recall?

Новая функция описания изображений – лишь часть более крупного набора инструментов на базе искусственного интеллекта, интегрированных в Windows 11 через оверлей Click To Do AI. Она тесно связана с функцией Windows Recall, которая использует ИИ для анализа контента на экране и предлагает пользователю полезные действия, основываясь на увиденном.

Всплывающее окно описания изображения будет работать в любом приложении в Windows. (Image credit: Microsoft)

На что способен Click To Do сейчас?

Уже сейчас Click To Do умеет анализировать текст, выделять главное, составлять списки и даже перефразировать написанное. Он также распознает изображения и предлагает быстрые действия, например, размытие или удаление фона, поиск похожих картинок в интернете и многое другое.

Большинство действий, предлагаемых Click To Do, можно настроить или отключить, если вы не планируете ими пользоваться.

Конфиденциальность превыше всего

Одним из ключевых преимуществ использования встроенных моделей ИИ является повышенная конфиденциальность и безопасность. Microsoft делает особый акцент на том, что новая функция описания изображений безопасна, поскольку не использует облачные сервисы для обработки данных. Это означает, что изображение, которое вы хотите описать, не покидает пределы вашего компьютера. Все вычисления выполняются локально, с использованием встроенной модели ИИ и NPU (нейронного процессора) вашего Copilot+ PC.

Новая функция описания изображений уже доступна участникам программы предварительной оценки Windows 11 на каналах Beta и Dev. Ожидается, что она станет доступна широкой публике позднее в этом году. На данный момент предварительная версия предназначена только для Copilot+ PC с процессором Snapdragon. Поддержка чипов Intel и AMD, как ожидается, появится в ближайшие недели.

Мнение редакции MSReview: Данная функция выглядит многообещающе, особенно учитывая акцент на локальной обработке данных. Это не только повышает скорость работы, но и гарантирует конфиденциальность пользователей, что становится все более важным в современном мире.