Copilot Vision в Windows 11: Искусственный интеллект теперь видит ваш экран и готов помочь (бесплатно!)

Вы когда-нибудь мечтали о помощнике, который мог бы "видеть" ваш экран и понимать, что на нем происходит? Microsoft сделала это реальностью с помощью Copilot Vision, функции, встроенной в Windows 11. И теперь она доступна бесплатно практически во всех странах (кроме ЕС). Давайте разберемся, что это такое и как это может быть полезно.

Copilot Vision – это как зоркий глаз, встроенный в Windows 11. Он позволяет Copilot, вашему ИИ-помощнику, анализировать содержимое любого открытого окна на вашем компьютере. Представьте, что у вас есть эксперт, который всегда рядом, чтобы объяснить сложную команду, найти нужную информацию или просто помочь разобраться в интерфейсе незнакомой программы.

Раньше Copilot Vision работал только в браузере Edge, и его возможности были ограничены. Теперь же, благодаря интеграции в Windows 11, он может "видеть" гораздо больше.

Как это работает?

Все очень просто. Запускаете приложение Copilot, нажимаете на значок Vision, и он предложит вам выбрать любое открытое окно. Это может быть что угодно:

• Статья в интернете
• Окно приложения со статистикой
• Терминал с командами
• И даже игра (хотя это еще предстоит проверить)

В отличие от версии для браузера, Copilot Vision теперь не ограничен одной вкладкой. Он может анализировать любое окно, открывая новые возможности для использования.

!copilot vision highlight

Что он умеет?

Copilot Vision может многое:

• Анализировать текст: Он может читать текст на экране и отвечать на вопросы, связанные с ним. Например, вы можете спросить его, какую операционную систему использует автор статьи, или попросить объяснить сложный термин.
• Искать информацию в интернете: Если ему не хватает информации, он может поискать ее в интернете и предоставить вам более полный ответ.
• Объяснять команды: Он может анализировать команды, введенные в терминале, и объяснять, что они делают, а также описывать каждый параметр в командах. Это может быть особенно полезно для начинающих пользователей Linux или Docker.
• Указывать на элементы интерфейса: Copilot Vision не может нажимать на кнопки или взаимодействовать с элементами интерфейса, но он может указать вам на них с помощью выделяющей анимации. Это может быть полезно, если вы не можете найти нужную кнопку в незнакомой программе.

Испытания в деле

Чтобы проверить Copilot Vision в деле, я дал ему несколько задач.

Задача 1: Анализ статьи

Я открыл статью о создании медиасервера и попросил Copilot Vision проанализировать ее. Результаты были неплохими, но он не смог ответить на вопрос об операционной системе, используемой автором, так как эта информация находилась за пределами видимой области экрана.

Задача 2: Поиск информации об авторе

Я открыл страницу автора и попросил Copilot Vision рассказать о нем. Сначала он назвал только имя, но после запроса о должности он поискал информацию в интернете и предоставил более подробные сведения.

Задача 3: Анализ команд командной строки

Я сделал скриншот результата выполнения скрипта командной оболочки и показал его Copilot Vision. Он смог объяснить, что делают команды, просто повторив их мне.

Затем я показал ему только список команд и попросил объяснить их. Copilot Vision был довольно точным и даже описал, что делает каждый параметр в командах.

Задача 4: Анализ команд Docker

Я создал список команд Docker и спросил Copilot Vision об их назначении. Он описал, что делает каждая команда, но остановился после четвертой. Мне пришлось несколько раз попросить его продолжить и объяснить остальное.

!asking vision about docker commands

Ограничения

Стоит помнить, что Copilot Vision не идеален. У него есть некоторые ограничения:

• Он может видеть только то, что находится в выбранном окне. Он не может прокручивать страницы или переключаться между окнами.
• Он не может взаимодействовать с элементами интерфейса, такими как кнопки или поля ввода.
• Иногда ему требуется несколько запросов, чтобы предоставить полный ответ.

Стоит ли его использовать?

Если вас устраивает политика обработки данных Copilot, то да, безусловно, стоит попробовать. Copilot Vision – это полезный инструмент, который может помочь вам в различных задачах. Он может сэкономить вам время и усилия, особенно если вы работаете со сложными программами или командами командной строки.

Мнение редакции MSReview: Copilot Vision в Windows 11 представляет собой значительный шаг вперед в интеграции ИИ в операционную систему. Возможность анализировать содержимое любого открытого окна, а не только браузера, открывает широкие возможности для пользователей. Несмотря на некоторые ограничения, такие как невозможность взаимодействия с элементами интерфейса, Copilot Vision уже сейчас является полезным инструментом, который со временем будет становиться только лучше. Важно помнить о политике конфиденциальности Copilot и взвешенно подходить к использованию данной функции.