Copilot Vision : L’assistant IA de Windows 11 peut désormais « voir » l’écran.
Copilot Vision permet à l'assistant IA de Microsoft d'analyser en temps réel le contenu des applications affichées à l'écran afin de fournir une assistance immédiate, changeant ainsi la façon dont les utilisateurs interagissent avec les ordinateurs.
Microsoft a officiellement déployé Copilot Vision pour les utilisateurs de Windows 11 et Windows 10 aux États-Unis. Cet assistant IA est désormais capable de « voir » et de « comprendre » le contenu affiché à l'écran. Auparavant réservée aux membres du programme Windows Insider, cette fonctionnalité est maintenant disponible avec l'application Copilot version 1.25061.104.0 et les versions ultérieures.
En résumé, Copilot Vision permet aux utilisateurs de partager une fenêtre d'application ou l'écran entier avec Copilot. L'IA peut alors analyser le contexte et fournir des réponses, des conseils ou des informations directement liés à leur activité, offrant ainsi une interaction plus intuitive avec les ordinateurs.
Comment ça marche : quand l’IA peut « voir » l’écran
Copilot Vision est une fonctionnalité optionnelle nécessitant l'activation de l'utilisateur. Une fois activée, elle permet de partager une fenêtre de navigateur, une application spécifique ou l'intégralité de votre bureau. Le chatbot IA traite alors l'image reçue pour en comprendre le contexte et peut ainsi vous aider dans des tâches telles que l'explication du fonctionnement d'une fonctionnalité ou la réponse à vos questions sur le contenu affiché.
Cette fonctionnalité est compatible avec la plupart des applications et des sites web, mais sera limitée au contenu protégé par la technologie de gestion des droits numériques (DRM).
Instructions pour activer Copilot Vision sous Windows 11
Pour commencer à utiliser Copilot Vision sur votre ordinateur Windows, vous pouvez suivre ces étapes simples lorsqu'une application ou un navigateur est ouvert :
- Ouvrez l'application Copilot depuis la barre des tâches.
- Cliquez sur l'icône de la loupe (« Partager l'écran avec Copilot ») à côté de la boîte de dialogue de saisie de texte.
- Sélectionnez la fenêtre d'application ou l'écran que vous souhaitez partager, puis cliquez sur le bouton.Partager.
- Posez vos questions ou demandez de l'aide pour Copilot.
- Une fois terminé, cliquez sur le bouton.ArrêtPour conclure la séance de partage.
Intégré en profondeur au navigateur Microsoft Edge.
Les utilisateurs de Microsoft Edge peuvent également profiter facilement de Copilot Vision directement dans leur navigateur :
- Ouvrez le site web que vous souhaitez que Copilot analyse.
- Cliquez sur l'icône Copilote dans le coin supérieur droit de votre navigateur.
- Vous pouvez démarrer une conversation vocale en cliquant sur l'icône du microphone ; la vision sera activée par défaut.
- Vous pouvez également cliquer sur l'icône de la loupe pour activer ou désactiver manuellement le partage d'écran.
Pour désactiver complètement cette fonctionnalité sur Edge, vous pouvez accéder à la page des paramètres.edge://settings/appearance/copilotAndSidebaret décochez l'option « Autoriser Copilot Vision à consulter votre site web ».
Confidentialité et sécurité : quel est l'engagement de Microsoft ?
Microsoft affirme que Copilot Vision est conçu en accordant une priorité à la protection de la vie privée. Cette fonctionnalité ne fonctionne pas en continu ; elle ne collecte des données que lorsqu’un utilisateur lance activement une session de partage et se désactive automatiquement après une période d’inactivité.
L'entreprise a également précisé que les images et les enregistrements audio des utilisateurs ne sont ni enregistrés ni stockés. Toutefois, les conversations vocales sont transcrites et conservées dans l'historique des discussions, que les utilisateurs peuvent supprimer à tout moment. Pour l'utilisation sur le Web, Microsoft s'engage à ne collecter aucune donnée ni à l'utiliser à des fins d'entraînement de l'IA.
L'avenir et d'autres plateformes
Outre Windows, Copilot Vision est également disponible sur iOS et Android, mais nécessite un abonnement à Copilot Pro. Sur ces plateformes, l'IA peut accéder à l'écran et à la caméra de l'appareil.
Microsoft teste également une nouvelle fonctionnalité pour Copilot qui permet aux utilisateurs de rechercher, d'ouvrir et d'interroger des fichiers stockés directement sur leur ordinateur, promettant ainsi de rendre cet assistant IA encore plus utile à l'avenir.