Copilot Vision : l’assistant IA de Windows 11 peut désormais « voir » l’écran

Microsoft a officiellement déployé Copilot Vision pour les utilisateurs de Windows 11 et Windows 10 aux États-Unis, permettant ainsi à l'assistant vocal de « voir » et de « comprendre » le contenu de votre écran. Cette fonctionnalité, auparavant réservée au programme Windows Insider, est désormais disponible avec l'application Copilot version 1.25061.104.0 et ultérieures.

Copilot Vision permet aux utilisateurs de partager une fenêtre d'application ou l'intégralité de leur écran avec Copilot. L'IA analyse alors le contexte et fournit des réponses, des instructions ou des détails directement liés à l'activité en cours, offrant ainsi une interaction plus intuitive avec l'ordinateur.

Comment ça marche : quand l’IA peut « voir » l’écran

Copilot Vision est une fonctionnalité optionnelle qui nécessite l'activation manuelle de l'utilisateur. Une fois activée, elle permet de partager une fenêtre de navigateur, une application spécifique ou l'intégralité du bureau. Le chatbot IA traite alors l'image reçue pour en comprendre le contexte et peut ainsi vous aider dans des tâches telles que l'explication du fonctionnement d'une fonctionnalité ou la réponse à vos questions sur le contenu affiché.

Cette fonctionnalité est compatible avec la plupart des applications et des sites web, mais elle est limitée au contenu protégé par la technologie de gestion des droits numériques (DRM).

Instructions pour activer Copilot Vision sous Windows 11

Pour commencer à utiliser Copilot Vision sur votre ordinateur Windows, vous pouvez suivre ces étapes simples lors de l'ouverture d'une application ou d'un navigateur :

1. Ouvrez l'application Copilot depuis la barre des tâches.
2. Cliquez sur l'icône de la loupe (« Partager l'écran avec Copilot ») située à côté de la boîte de dialogue de saisie de texte.
3. Sélectionnez la fenêtre d'application ou l'écran que vous souhaitez partager, puis cliquez sur le bouton.Partager.
4. Posez une question ou soumettez une demande d'assistance à Copilot.
5. Une fois terminé, cliquez sur le boutonArrêtpour mettre fin à la session de partage.

Intégration poussée dans le navigateur Microsoft Edge

Les utilisateurs de Microsoft Edge peuvent également profiter de Copilot Vision directement dans leur navigateur :

1. Ouvrez le site web que vous souhaitez que Copilot analyse.
2. Cliquez sur l'icône Copilote dans le coin supérieur droit de votre navigateur.
3. Vous pouvez démarrer une conversation vocale en cliquant sur l'icône du microphone. La vision sera activée par défaut.
4. Vous pouvez également cliquer sur l'icône de la loupe pour activer ou désactiver manuellement le partage d'écran.

Pour désactiver complètement cette fonctionnalité sur Edge, vous pouvez accéder à la page des paramètres.edge://settings/appearance/copilotAndSidebaret décochez « Autoriser Copilot Vision à consulter votre site web ».

Questions de confidentialité et de sécurité : que promet Microsoft ?

Microsoft affirme que Copilot Vision est conçu dans le respect de la vie privée. Cette fonctionnalité n'est pas active en permanence ; elle ne collecte des données que lorsqu'un utilisateur lance une session de partage et se désactive automatiquement après une période d'inactivité.

L'entreprise a également précisé que les images et les sons des utilisateurs ne sont ni enregistrés ni stockés. Toutefois, les conversations vocales sont converties en texte et conservées dans l'historique des discussions, que les utilisateurs peuvent supprimer à tout moment. Pour une utilisation sur le Web, Microsoft s'est engagé à ne collecter aucune donnée ni à l'utiliser à des fins d'entraînement de l'IA.

Plateformes futures et autres

Outre Windows, Copilot Vision est également disponible sur iOS et Android, mais nécessite un abonnement Copilot Pro. Sur ces plateformes, l'IA peut accéder à la fois à l'écran et à la caméra de l'appareil.

Microsoft teste également une nouvelle fonction pour Copilot, permettant de rechercher, d'ouvrir et de poser des questions sur des fichiers stockés directement sur votre ordinateur, promettant ainsi de rendre cet assistant IA plus utile à l'avenir.