Copilot Vision est officiellement lancé sur Windows : voici ce qu'il fait exactement

Microsoft a officiellement lancé l’une des fonctionnalités les plus importantes de… Copilote Ambitieux mais néanmoins. Copilot Vision avec Highlights est désormais disponible pour les utilisateurs de Windows 11 aux États-Unis.

Le nouvel outil permet à Copilot de « voir » ce qui se trouve sur votre écran et de fournir une aide contextuelle, une initiative qui le met en concurrence directe avec Gemini Live par Google et Apple Intelligence Venant d'Apple.

En termes simples, il s'agit de la réponse de Microsoft à la prochaine génération d'assistants personnels basés sur l'IA : proactifs, toujours actifs et profondément intégrés à votre appareil, offrant une expérience utilisateur plus fluide et plus intelligente.

Qu'est-ce que Copilot Vision ?

Copilot Vision représente une révolution en matière d'IA, permettant à Copilot de « voir » ce que vous faites sur votre ordinateur en temps réel. Que vous naviguiez sur Internet, modifiiez un document, regardiez une vidéo ou travailliez dans Excel, Copilot Vision comprend votre contexte de travail et vous fournit une assistance intelligente en fonction du contenu de l'écran.

Par exemple, vous pourriez poser des questions telles que :

« Résumez le fichier PDF ouvert devant moi. »

« Que signifie ce message d’erreur ? »

« Aidez-moi à formuler une réponse à cet e-mail. »

Grâce à Copilot Vision, Copilot peut désormais afficher les applications et fenêtres ouvertes sur votre écran (avec votre autorisation), le rendant ainsi plus intelligent et plus réactif à vos besoins en temps réel. Cette fonctionnalité améliore considérablement l'expérience utilisateur et rend les interactions avec l'IA plus fluides et productives. L'intégration de la vision par ordinateur dans Copilot ouvre de nouveaux horizons en matière d'assistance intelligente et d'automatisation des tâches, faisant de cet outil un outil indispensable pour les utilisateurs souhaitant gagner en efficacité et en productivité.

Qu'est-ce que la fonctionnalité Highlights ?

Highlights est une fonctionnalité complémentaire qui met automatiquement en évidence le contenu utile des applications, navigateurs et documents que vous utilisez. Cette fonctionnalité est essentielle à l'expérience utilisateur moderne, contribuant à accroître la productivité et à gagner du temps.

Imaginez-le comme un assistant personnel intelligent, basé sur l'IA, qui surveille l'activité de votre appareil et vous suggère des fichiers pertinents, des rappels importants et des actions à entreprendre, sans que vous ayez à saisir de commandes ou de requêtes. Il fonctionne silencieusement en arrière-plan pour une expérience fluide et efficace.

Les points forts apparaissent dans l'interface Copilot repensée, désormais ancrée sur le côté de l'écran pour un accès rapide et facile. Cette nouvelle conception garantit une aide toujours à portée de main, vous permettant de vous concentrer sur vos tâches principales sans distraction.

Comment obtenir les fonctionnalités Copilot Vision et Highlights

Ces fonctionnalités sont désormais disponibles pour les utilisateurs américains exécutant Windows 11 version 23H2 sur PC Copilot+, ou pour certains appareils répondant à la configuration matérielle requise. Vous devrez activer un lecteur d'écran dans les paramètres Copilot. Notez que Vision n'est actif que si vous l'autorisez.

Vous pouvez l'essayer dès aujourd'hui en ouvrant Copilot depuis la barre des tâches et en cliquant sur la nouvelle icône Vision dans le coin. Cette fonctionnalité s'appuie sur l'intelligence artificielle pour analyser le contenu de l'écran et fournir des informations utiles.

Une fenêtre contextuelle s'affichera pour confirmer l'accès à l'écran et vous permettre d'activer ou de désactiver les éléments en surbrillance. Pendant que vous y êtes, essayez les instructions de la vidéo pour vous aider à démarrer. Explorez les fonctionnalités de Copilot Vision pour améliorer votre productivité et votre expérience avec Windows 11. Ces fonctionnalités sont conçues pour améliorer l'accessibilité et fournir des informations contextuelles pertinentes.

L'importance de cette tendance

Cette initiative de Microsoft représente un tournant majeur pour maintenir sa compétitivité, en dotant son assistant intelligent Copilot Plus de fonctionnalités similaires à celles de concurrents comme Gemini de Google et ChatGPT d'OpenAI. Elle renforce la position de Microsoft sur le marché très concurrentiel de l'IA.
Avec OpenAI dotant Copilot des fonctionnalités nécessaires, et Meta et Apple lançant leurs propres outils d'IA ambiante, nous entrons dans l'ère de « l'IA qui voit ». Que cela soit utile ou un peu inquiétant dépend de son efficacité et de la quantité d'informations que vous choisissez de partager. Cette capacité à « voir » ouvre de nouvelles perspectives pour l'interaction homme-machine, mais soulève également d'importantes questions sur la confidentialité et la sécurité des données. Les utilisateurs doivent être conscients de l'utilisation de ces technologies et prendre des décisions éclairées quant au partage de leurs informations.