Copilot Vision: ИИ-помощник в Windows 11 теперь может «видеть» экран
Copilot Vision позволяет искусственному интеллекту от Microsoft напрямую анализировать содержимое на экранах приложений для предоставления мгновенной помощи, изменяя способ взаимодействия пользователей с компьютерами.
Microsoft официально выпустила Copilot Vision для пользователей Windows 11 и Windows 10 в США, предоставив ИИ-помощнику возможность «видеть» и «понимать» то, что происходит на экране. Эта функция, ранее доступная только участникам программы Windows Insider, теперь доступна в приложении Copilot версии 1.25061.104.0 и выше.
Copilot Vision позволяет пользователям делиться окном приложения или всем экраном с Copilot. Искусственный интеллект анализирует контекст и предоставляет ответы, инструкции или информацию, непосредственно связанную с вашими действиями, открывая новый, более интуитивно понятный способ взаимодействия с компьютером.
Как это работает: когда ИИ может «видеть» экран
Copilot Vision — это дополнительная функция, требующая активного включения пользователем. При её включении можно предоставить общий доступ к окну браузера, определённому приложению или всему рабочему столу. Чат-бот на основе искусственного интеллекта обрабатывает полученное изображение, чтобы понять контекст, что может помочь, например, объяснить, как использовать ту или иную функцию программы, или ответить на вопросы о просматриваемом контенте.
Эта функция работает в большинстве приложений и веб-сайтов, но ограничена контентом, защищенным технологией управления цифровыми правами (DRM).
Инструкция по активации Copilot Vision в Windows 11
Чтобы начать использовать Copilot Vision на компьютере под управлением Windows, вы можете выполнить следующие простые шаги при открытии приложения или браузера:
- Откройте приложение Copilot на панели задач.
- Нажмите значок увеличительного стекла («Поделиться экраном с Copilot»), расположенный рядом с диалоговым окном ввода текста.
- Выберите окно приложения или экран, которым вы хотите поделиться, затем нажмите кнопкуДелиться.
- Задайте вопрос или отправьте запрос в службу поддержки Copilot.
- Когда закончите, нажмите кнопкуОстанавливатьсядля завершения сеанса обмена.
Глубокая интеграция в браузер Microsoft Edge
Пользователи Microsoft Edge также могут с удобством воспользоваться Copilot Vision прямо в браузере:
- Откройте веб-сайт, который вы хотите проанализировать с помощью Copilot.
- Нажмите значок Copilot в правом верхнем углу браузера.
- Вы можете начать голосовой разговор, нажав на значок микрофона. Функция Vision будет включена по умолчанию.
- Кроме того, вы можете нажать на значок увеличительного стекла, чтобы вручную включить или отключить общий доступ к экрану.
Чтобы полностью отключить эту функцию в Edge, вы можете посетить страницу настроек.edge://settings/appearance/copilotAndSidebarи снимите флажок «Разрешить Copilot Vision просматривать ваш веб-сайт».
Вопросы конфиденциальности и безопасности: что обещает Microsoft?
Microsoft утверждает, что Copilot Vision разработан с учётом конфиденциальности. Функция не активна постоянно, а собирает данные только тогда, когда пользователь инициирует сеанс совместного доступа, и автоматически отключается после определённого периода бездействия.
Компания также заявила, что изображения и звуки пользователей не записываются и не сохраняются. Однако голосовые разговоры будут преобразованы в текст и сохранены в истории чата, которую пользователи смогут удалить в любое время. Microsoft обязалась не собирать данные, используемые в веб-браузере, и не использовать их для обучения искусственного интеллекта.
Будущее и другие платформы
Помимо Windows, Copilot Vision также доступен на iOS и Android, но требует подписки Copilot Pro. На этих платформах ИИ может получить доступ как к экрану, так и к камере устройства.
Microsoft также тестирует новую функцию для Copilot, позволяющую искать, открывать и задавать вопросы о файлах, хранящихся непосредственно на вашем компьютере, обещая сделать этого помощника на основе искусственного интеллекта еще более полезным в будущем.
