Windows 11 станет умнее: Microsoft делает ставку на голосовое и визуальное управление Copilot

Microsoft прощается с Windows 10 и предлагает пользователям стимул для перехода на Windows 11: превратить любой компьютер в "AI PC" (компьютер с искусственным интеллектом), которым можно управлять голосом и который умеет самостоятельно выполнять задачи. Все это благодаря Copilot в Windows с новыми функциями Copilot Voice и Copilot Vision.

"Сегодня мы делаем большой шаг вперед, представляя новые обновления, которые превратят каждый Windows 11 PC в AI PC – с Copilot в центре всего", – заявил Юсуф Мехди, исполнительный вице-президент и директор по маркетингу Microsoft. "Мы делаем самый мощный искусственный интеллект более доступным, интегрируя его в привычные для людей возможности Windows".

Microsoft считает, что Copilot Voice и Copilot Vision для всех Windows 11 PC сделают голосовой ввод таким же простым и доступным, как мышь и клавиатура, открывая новые возможности для широкого круга пользователей.

Copilot Voice получит новые команды активации и завершения

В Windows 11 появится новая фраза для активации Copilot – "Hey Copilot" (Привет, Copilot). Эта функция будет опциональной и настраиваться в параметрах приложения Copilot в Windows. После произнесения фразы на экране появится значок микрофона Copilot, а звуковой сигнал даст понять, что Copilot слушает. Завершить разговор можно, сказав "Goodbye" (Пока) или нажав на крестик (X). Copilot также автоматически завершит разговор, если в течение нескольких секунд не будет никакой активности, и звуковой сигнал подтвердит, что помощник больше не слушает.

Copilot Voice в Windows 11 дополнит существующие функции голосового доступа и голосового ввода, предоставив пользователям помощника, который понимает их запросы и выполняет действия от их имени. "Мы видим, что люди, использующие голос, взаимодействуют с Copilot в два раза чаще, чем при использовании текста. Эта простота использования приводит к более глубокому вовлечению в Copilot", - отмечают в Microsoft.

Copilot Vision теперь общедоступен в Windows 11

Copilot Vision, позволяющий Copilot анализировать происходящее на экране, теперь доступен на всех рынках, где доступен Copilot для Windows. Помощник может предоставлять информацию о содержимом приложений, а также анализировать целые документы Office, даже если их содержимое не отображается на экране.

Функция Highlights (Основные моменты) в Copilot Vision также может помочь пользователям узнать, как работают приложения, просмотреть маршрут путешествия и многое другое. "С момента первоначального выпуска первые пользователи Copilot Vision вдохновили нас своими творческими вариантами использования, от устранения неполадок в настройках до получения пошаговых инструкций и даже изучения сложных инструментов редактирования", – заявили в Microsoft.

Вскоре участники программы Windows Insider смогут взаимодействовать с Copilot Vision с помощью текста в дополнение к голосу. Когда эта функция будет включена, помощник также будет отвечать текстом в окне чата.

Новые функции Copilot скоро появятся в Insider Preview

Microsoft также рассказала о других новых функциях Copilot, которые скоро будут доступны для тестирования участниками программы Insider. Недавно обновление приложения Copilot добавило новые коннекторы, позволяющие помощнику подключаться к таким потребительским сервисам, как OneDrive, Outlook, Google Drive, Google Calendar и Google Contacts.

Обновление Insider Preview также добавило возможность создавать и экспортировать документы Word, электронные таблицы Excel и презентации PowerPoint с помощью Copilot. Кроме того, Copilot теперь предоставляет прямой доступ к приложению "Параметры" Windows 11.

Microsoft не останавливается на достигнутом и вскоре представит участникам программы Insider следующие функции:

Интеграция Copilot в панель задач: В панели задач появится новая кнопка "Ask Copilot" (Спросить Copilot) в качестве опциональной функции. Она позволит участникам программы Insider быстро запускать Copilot Vision и Voice, искать приложения, файлы, настройки и многое другое, используя запросы на естественном языке.

Copilot Actions для локальных файлов: Copilot Actions, экспериментальная функция, позволяющая Copilot выполнять действия в Интернете, вскоре получит поддержку локальных файлов. Microsoft заявляет, что начнет "с узкого набора вариантов использования, пока мы оптимизируем производительность модели и учимся".

Новый AI-агент Manus: Этот новый агент сможет выполнять сложные задачи, такие как создание веб-сайта с нуля с использованием локальных файлов. Он будет интегрирован в Проводник и также доступен в виде нативного приложения с привычным интерфейсом окна чата.

Интеграция Zoom в Click to Do: Участники программы Insider с Copilot+ PC смогут запланировать звонок в Zoom, просто наведя курсор на адрес электронной почты, видимый на экране.

В отдельной публикации Microsoft подчеркнула, что AI-агенты, такие как Copilot Actions, будут отключены по умолчанию и будут работать в изолированной среде, не имея возможности вносить изменения в ваше устройство без вашего вмешательства. При выполнении действий от вашего имени AI-агенты также будут использовать отдельную учетную запись агента, отличную от используемой в данный момент учетной записи пользователя.

Поскольку поддержка Windows 10 заканчивается, Microsoft считает, что "сейчас самое подходящее время для перехода на Windows 11 PC". И хотя Copilot+ PC продолжат предлагать уникальные возможности AI, такие как Recall, Click to Do и новый AI-агент в Settings (Параметры), все пользователи Windows 11 вскоре смогут воспользоваться новыми возможностями Copilot. Однако еще предстоит выяснить, действительно ли произойдет переход к разговорному вводу.

Мнение редакции MSReview: Microsoft активно продвигает концепцию "AI PC", и интеграция Copilot Voice и Copilot Vision в Windows 11 является важным шагом в этом направлении. Однако, успех этой инициативы будет зависеть от того, насколько удобными и полезными окажутся эти новые функции для обычных пользователей. Кроме того, важно обеспечить безопасность и конфиденциальность данных при использовании AI-агентов.