Как использовать Copilot Vision в Windows 11 и 10: личный опыт

Microsoft выпустила новую функцию Copilot Vision для пользователей Windows 11 (и даже 10) в США. Copilot Vision – это ИИ-помощник, который должен упростить работу с компьютером. Но так ли это на самом деле? Я решил протестировать новинку и рассказать вам, что она умеет, как её получить и стоит ли она того.

Copilot Vision позволяет вам делиться изображением с вашего экрана с чат-ботом, чтобы он мог видеть и анализировать происходящее. Представьте, что у вас появилась вторая пара глаз, которая всегда готова помочь, подсказать или объяснить что-то, основываясь на том, что вы видите в приложениях или браузере.

Чтобы воспользоваться Vision, необходимо вручную включить эту функцию в приложении Copilot версии 1.25061.104.0 или выше. Если вы используете браузер Microsoft Edge, Vision также доступен через интеграцию с Copilot. Важно помнить, что ИИ может анализировать практически любой контент, кроме защищенного DRM или другого контента с ограничениями.

Самое приятное, что Copilot Vision доступен бесплатно для всех пользователей Windows 10 и 11, без необходимости оформлять подписку Copilot Pro. Функция также доступна на iOS и Android, но для использования на мобильных устройствах потребуется подписка.

В этом обзоре я поделюсь своим опытом использования Copilot Vision, расскажу, как начать работу с этой функцией, и стоит ли она внимания.

Как включить Copilot Vision в Windows 11

Copilot Vision доступен в США, начиная с версии приложения Copilot 1.25061.104.0 и выше. Чтобы начать, откройте Microsoft Store > Библиотека и нажмите кнопку "Получить обновления", чтобы убедиться, что у вас установлена последняя версия приложения.

Если вы ранее удалили приложение, его можно повторно установить из Microsoft Store.

Microsoft заявляет, что Vision – это дополнительная функция, и это правда, поскольку вам необходимо предоставить разрешение на совместное использование экрана. Однако, по факту, функция активна по умолчанию, и в настройках нет возможности её полностью отключить.

В настройках Copilot вы найдете только опцию включения/выключения "Подсветки", которая отвечает за визуальное выделение элементов на экране. Она не контролирует доступность самой функции Vision.

Если вам не нравится идея использования Copilot, лучше всего удалить его через Параметры > Приложения > Установленные приложения, выбрав "Copilot" и нажав "Удалить".

Мой опыт использования Copilot Vision в Windows 11

Первое знакомство с Copilot Vision вызвало у меня смешанные чувства. Раньше я не сталкивался с чем-то подобным. Вместо того чтобы формулировать текстовый или голосовой запрос, чат-бот уже знал, что происходит на экране, и предлагал помощь.

Пусть и с оговорками, но это интересный взгляд на будущее взаимодействия с компьютером.

Первые шаги

Убедившись, что Copilot Vision доступен на моем компьютере, я открыл несколько приложений, запустил Copilot из меню "Пуск", нажал кнопку "Vision" (значок очков), выбрал приложение, которым хотел поделиться, и активировал переключатель "Поделиться".

Тестирование: вопросы по приложениям

Находясь в приложении "Блокнот", я попросил Copilot показать, как изменить шрифт по умолчанию. К сожалению, ответ оказался неверным.

Copilot предложил поискать нужную опцию в меню "Вид", но её там нет. Настройки шрифта находятся в меню "Редактировать" или вызываются кнопкой с изображением шестеренки в правом верхнем углу.

В конечном итоге, бот исправился, применив метод исключения. Интересно, что он сослался на ошибку из-за путаницы с версиями "Блокнота", хотя я не помню, чтобы в "Блокноте" когда-либо были настройки шрифта в меню "Вид".

Тестирование: вопросы по настройкам

Затем я запустил приложение "Параметры" в Windows 11 и попросил Copilot обновить мой компьютер до последней версии.

В этом случае Copilot Vision правильно определил, что я нахожусь в приложении "Параметры", и точно указал на раздел "Центр обновления Windows", выделив кнопку "Проверить наличие обновлений".

Далее я задал менее распространенный вопрос: как запретить загрузку обновлений на другие устройства во время обновления. Это позволило проверить способность помощника понимать более тонкие намерения пользователя.

При первой попытке Vision неверно истолковал мой запрос и предложил общие инструкции по обновлению устройства. Однако, после уточнения формулировки, он правильно распознал вопрос.

Тем не менее, его руководство не соответствовало тому, что я видел на экране. Например, он утверждал, что я успешно отключил функцию обмена обновлениями, хотя я ничего для этого не делал. Это говорит о том, что помощник делает предположения, основываясь на ожидаемом поведении, а не на анализе состояния системы в реальном времени.

Тестирование: распознавание объектов

В следующем тесте я решил проверить, сможет ли Copilot распознавать объекты на экране. Я открыл изображение и попросил его определить конкретный предмет.

На изображении была красная куртка. Чат-бот смог идентифицировать и описать её, предоставив дополнительную контекстную информацию по запросу.

Однако, хотя чат-бот знал, что куртка продается на Amazon, он не понял, что я не нахожусь на странице товара, даже открыв изображение в отдельной вкладке, и не смог предоставить информацию о странице продукта.

Тестирование: извлечение текста

Еще одна полезная функция Copilot Vision – извлечение текста из изображений. Раньше операционная система не умела распознавать и извлекать текст из изображений, но теперь существует множество способов это сделать.

Например, есть функция извлечения текста в PowerToys, Snipping Tool и Click to Do. Теперь эту возможность предоставляет и Copilot Vision.

Для этого теста я открыл приложение "Параметры" на странице "Режим игры" и спросил, может ли он извлечь текст. Чат-бот смог прочитать вслух всё, что было на странице.

Единственным недостатком оказалось отсутствие возможности скопировать извлеченный текст в буфер обмена или выделить его, как это реализовано в Click to Do. Тем не менее, чат-бот расшифровал всё в приложении Copilot в истории чата.

Тестирование: написание текста

Copilot Vision позволяет задавать вопросы о любом контенте на экране. Если вы работаете с файлом, можно попросить ИИ проанализировать диаграмму или другие данные.

Вы можете попросить описать сцену или изображение, определить местоположение и многое другое.

Если вы работаете с текстом, можно попросить прочитать его и предложить улучшения.

В заключительном тесте я открыл текст в "Блокноте" и попросил чат-бот сделать его длиннее. Он предложил альтернативную версию.

Несмотря на то, что помощник понял текст на экране и предложил альтернативную версию, он не был точен в понимании дальнейших действий.

Я знал, что невозможно скопировать и заменить текст предложенным вариантом, но всё же спросил, можно ли скопировать и вставить альтернативную версию. Он указал на раздел в файле, куда нужно вставить текст.

Чтобы скопировать текст, нужно закрыть и снова открыть Copilot Vision, а затем выбрать и скопировать текст из истории чата в интерфейсе Copilot.

Заключительные мысли

Как человек, который много лет пишет руководства, я впечатлен технологией, позволяющей понимать содержимое экрана и оказывать помощь.

Однако, она допускает много ошибок и может оказаться не очень полезной, если у вас уже нет понимания того, что вы хотите сделать.

Кроме того, Copilot Vision хочет казаться всезнающим, но это всего лишь ИИ, который повторяет контент, уже доступный в интернете.

Иногда использование Copilot Vision напоминает разговор со службой технической поддержки по телефону. Даже если чат-бот видит экран, он направляет вас так, как это сделал бы оператор, и часто не понимает, завершили ли вы задачу.

В большинстве случаев вам нужно быть предельно конкретным в своих инструкциях, часто вплоть до точного действия, которое вы хотите выполнить. Это сводит на нет цель ИИ, который должен понимать намерения пользователя естественным образом. Важно помнить, что эта функция в первую очередь предназначена для нетехнических пользователей, поскольку технически подкованные люди вряд ли будут на нее полагаться.

В целом, Vision демонстрирует потенциал стать личным помощником, но его контекстное понимание и точность нуждаются в доработке. Создается впечатление, что он скорее "угадывает" на основе команды, чем активно наблюдает и реагирует на текущее состояние содержимого на экране.

Важно отметить, что я не указываю конкретные вопросы, которые я задавал в ходе тестирования, потому что это не имеет значения. Идея чат-бота заключается в том, чтобы вести обычный разговор, как если бы вы разговаривали с другим человеком.

Кроме того, эта функция не может предпринимать действия за вас. Она может только анализировать содержимое на экране. Для выполнения действий ИИ должен быть агентом, но в настоящее время только Copilot+ PCs обладают этой возможностью в ограниченном объеме в приложении "Параметры".

Наконец, даже если эта функция бесплатна, она доступна с ограничениями. Например, после нескольких взаимодействий приложение предлагает мне перейти на Copilot Pro, даже при наличии подписки Microsoft 365.

Таким образом, если вы устраняете неполадку, вас могут попросить заплатить за то, чтобы ИИ-помощник закончил исправление проблемы.

Мнение редакции MSReview: Copilot Vision – это интересный шаг в будущее взаимодействия человека и компьютера. Однако, как и любая новая технология, она требует доработки и не стоит воспринимать ее как панацею от всех проблем. Важно понимать ограничения этой системы и использовать ее как дополнительный инструмент, а не замену собственному опыту и знаниям.