Microsoft Copilot на Android: теперь с функцией "Покажи экран", чтобы потягаться с Gemini Live!

Microsoft выпустила обновление для Copilot на Android, добавив функцию "Покажи экран". Если раньше вы могли использовать только камеру, чтобы Copilot "видел" происходящее вокруг вас, теперь можно делиться содержимым экрана вашего смартфона. Представители Microsoft подтвердили, что демонстрация экрана в Copilot для Android будет доступна всем пользователям совершенно бесплатно.

"Мы рады представить новую функцию демонстрации экрана для Vision на мобильных устройствах. Теперь, в дополнение к показу мира через камеру с помощью Copilot, вы также можете делиться тем, что именно находится на экране вашего устройства", – заявили в Microsoft.

Что умеет Copilot с функцией "Покажи экран":

• Кратко пересказывать или переводить текст на экране.
• Давать инструкции по использованию приложений.
• Помогать составлять ответы на сообщения или электронные письма.
• Оказывать помощь в решении проблем с устройством в режиме реального времени.

Как показывает практика, функция демонстрации экрана в Copilot Vision активируется автоматически через обновление на сервере. Но на всякий случай убедитесь, что у вас установлена последняя версия Copilot. Для использования "Покажи экран" не требуется участие в бета-программе – функция доступна для всех пользователей.

Чтобы поделиться своим экраном с Copilot на Android, нажмите на значок в виде очков (Vision) и выберите "Покажи экран". Если этой опции нет, значит, функция пока не активирована для вашей учетной записи. После нажатия на "Покажи экран" появится системное окно Android с запросом разрешения на "Начать запись или трансляцию с помощью Copilot".

Важно: на данный момент Copilot может видеть только весь экран целиком. Демонстрация отдельных приложений или окон не поддерживается (по крайней мере, пока).

!Режим демонстрации экрана Copilot

В настройках Copilot Vision (значок шестеренки) можно выбрать один из восьми цветов акцента. Также можно настроить скорость речи Copilot.

Скорость воспроизведения можно уменьшить вдвое (0.5x) или увеличить в два раза (2x). Эти настройки – дело вкуса, и их изменение сбросит текущий разговор. При необходимости можно переключаться между демонстрацией экрана и использованием камеры.

!Экран Copilot, которым поделились на Android

Во время тестов, Copilot Vision, после запуска и открытия Microsoft Launcher, начал описывать, что он видит на экране, например, время в Нью-Йорке. А когда пользователь начинал говорить, Copilot приглушал звук и пытался понять, что ему говорят. Удивительно, как Copilot слушает пользователя в режиме реального времени.

Он понимает, когда вы говорите. Он также распознает контекст и может быстро переключаться между темами, как это сделал бы человек.

При открытии "Настроек" Copilot сразу же определил, что просматривается страница настроек. На вопрос, как переключиться на светлую тему, Copilot ответил, что видит, что используется OneUI, и предложил воспользоваться строкой поиска.

Когда пользователь попросил изменить тему без использования поиска, Copilot посоветовал открыть раздел "Дисплей", а затем выбрать "Светлая тема" в разделе "Внешний вид". Copilot давал пошаговые инструкции в реальном времени, пока пользователь открывал "Настройки", переходил к "Дисплею" и, наконец, менял тему. Copilot был рядом, чтобы помочь.

!Copilot Vision в Windows 11

Можно было перебивать Copilot сколько угодно раз, и он сразу же подстраивался и продолжал следовать за действиями пользователя. Но Copilot не может выполнять действия самостоятельно. В отличие от Windows, Copilot не может управлять интерфейсом телефона, так как ему лишь демонстрируют экран.

!Лаборатории Copilot Vision

Gemini Live работает аналогичным образом, и Microsoft, очевидно, стремится составить конкуренцию Google. А вы как считаете? Будете ли вы использовать Copilot Vision, чтобы рассказывать о том, что видите на экране или через камеру?

Мнение редакции MSReview: Новая функция "Покажи экран" делает Microsoft Copilot для Android еще более полезным инструментом. Возможность делиться экраном и получать помощь в режиме реального времени может значительно улучшить пользовательский опыт и обострить конкуренцию на рынке.