Mon expérience avec Copilot Vision : une sensation étrange, mais quelque peu utile - voici mon avis

Les utilisateurs américains peuvent désormais utiliser Copilot Vision sur Windows 11 (et 10), un assistant IA qui vous assiste dans presque toutes vos actions sur votre PC. Vous voulez savoir si cela fonctionne vraiment ? Je l'ai testé, et dans ce guide, je vous explique en détail ce que cette fonctionnalité offre, comment l'obtenir et je partage mon expérience personnelle.

Dans l'application Copilot, la fonctionnalité est : "Vision" Une fonctionnalité qui vous permet de partager votre écran avec un chatbot, lui permettant ainsi de voir et d'interpréter ce qui s'affiche. Il agit comme un second regard, fournissant une aide, des réponses et des informations en temps réel en fonction du contenu affiché dans vos applications ou votre navigateur.

Cette fonctionnalité est également facultative ; vous devez donc l'activer manuellement dans Copilot version 1.25061.104.0 et ultérieures. Si vous utilisez un navigateur Microsoft EdgeVous pouvez également accéder à la fonctionnalité via l'intégration Copilot.

Il est important de noter que l'IA peut afficher presque n'importe quel contenu à condition qu'il ne s'agisse pas de contenu protégé par DRM ou d'un autre type de contenu restreint.

Cette fonctionnalité est disponible pour toute personne ne disposant pas d’abonnement. Copilote Pro Sous Windows 10 et 11. Vous pouvez également accéder à Copilot Vision sur iOS et Android, mais vous aurez besoin d'un abonnement pour l'utiliser sur ces appareils mobiles.

Dans ce guide, je décrirai les étapes nécessaires pour commencer à utiliser cette fonctionnalité et partagerai mon expérience.

Comment obtenir et activer Copilot Vision sur Windows 11

Copilot Vision est actuellement disponible aux États-Unis, à partir de la version 1.25061.104.0 de l'application Copilot. La première étape consiste donc à ouvrir l'application Microsoft Store, à accéder à la section « Téléchargements et mises à jour », puis à cliquer sur le bouton « Obtenir les mises à jour » pour vous assurer que la dernière version de l'application est installée sur votre ordinateur. Cette étape est nécessaire pour garantir la compatibilité de votre appareil avec les nouvelles fonctionnalités et améliorer les performances globales de Copilot.

Vous pouvez télécharger l'application sur le Microsoft Store si vous l'avez désinstallée. Recherchez Copilot dans le Store et installez-la pour profiter de toutes ses fonctionnalités.

Microsoft explique que Vision est une fonctionnalité facultative, ce qui est techniquement vrai, car vous devez autoriser le partage de votre écran. Cependant, elle est disponible par défaut, car il n'existe aucune option permettant de la désactiver complètement dans les paramètres. Cela signifie qu'une fois l'application mise à jour, Vision sera prête à être utilisée, mais votre consentement explicite sera requis pour accéder au contenu de l'écran.

Sur la page des paramètres de Copilot, vous trouverez uniquement une option permettant d'activer et de désactiver les « Mots-clés », mais cette fonctionnalité contrôle uniquement la capacité de l'IA à indiquer visuellement les actions à l'écran. Elle ne contrôle pas sa disponibilité dans l'application. Autrement dit, même si vous désactivez les « Mots-clés », la fonctionnalité Vision restera disponible, mais elle ne mettra pas en évidence les éléments visuels à l'écran.

Si vous n'êtes pas à l'aise avec l'idée d'utiliser Copilot, il est préférable de le désinstaller depuis Paramètres > Applications > Applications installées, puis d'appuyer sur l'option « Désinstaller » pour accéder à « Copilot ». Cela supprimera complètement l'application de votre appareil et l'empêchera d'accéder à vos données ou ressources système.

Mon expérience avec Copilot Vision sur Windows 11 : un premier aperçu

Ma première interaction avec Copilot Vision sous Windows 11 m'a semblé quelque peu étrange, car elle représentait un changement de paradigme que je n'avais jamais connu auparavant. Au lieu de devoir formuler un texte détaillé ou des commandes vocales pour déterminer le contexte, l'assistant intelligent de Copilot semblait le comprendre automatiquement, ce qui lui permettait de fournir une assistance immédiate et efficace. Cette capacité à comprendre le contexte sans nécessiter d'instructions spécifiques représente un changement significatif dans notre façon d'interagir avec les ordinateurs.

Bien que la précision de Copilot Vision soit encore en développement, elle offre un premier aperçu de l'avenir de l'informatique. Elle représente une étape prometteuse vers une expérience informatique plus fluide et intégrée, où l'ordinateur devient un partenaire intelligent qui comprend et anticipe nos besoins, plutôt qu'un simple outil auquel nous exécutons des commandes spécifiques. Cette technologie a le potentiel de révolutionner notre façon de travailler, de créer et d'apprendre.

Premiers pas avec Copilot Vision

Après avoir confirmé que Copilot Vision était disponible sur mon ordinateur, j'ai commencé à le tester. J'ai ouvert quelques applications, puis lancé l'application. Copilote Depuis le menu Démarrer, cliquez ensuite sur le bouton "Vision" (Lunettes), puis sélectionnez l'application que vous souhaitez partager avec Copilot et activez l'option "Partager".

Question test sur l'application

Lors de l'utilisation du Bloc-notes, j'ai demandé à Copilot de me montrer comment modifier la police par défaut de l'application, mais il a donné une réponse incorrecte.

Le copilote a suggéré de rechercher dans la liste. "Vue" (Affichage), mais cette option n'était pas présente à cet emplacement. La raison en est que, selon la conception actuelle du Bloc-notes, les paramètres de modification de police se trouvent sur la page Paramètres, accessible depuis le menu. "Modifier" (Modifier) ​​ou en cliquant sur le bouton "Équipement" (engrenage) situé dans le coin supérieur droit de l'application.

Finalement, Copilot est parvenu à la bonne réponse par élimination progressive. Il est intéressant de noter que le chatbot a indiqué qu'il avait commis une erreur en mélangeant différentes versions du Bloc-notes. Cependant, je ne me souviens pas qu'une version du Bloc-notes ait proposé des paramètres de police dans son menu. "Vue" (Afficher) du tout. Cela suggère que Copilot s'est peut-être basé sur des informations obsolètes ou inexactes.

Paramètres des questions de test

Dans le cadre du processus de test, j’ai lancé l’application Paramètres dans Windows 11, puis j’ai demandé à Copilot de mettre à jour mon PC avec les dernières mises à jour du système.

Dans ce cas, c'était possible Microsoft Copilot Avec Vision, j'ai correctement identifié l'application Paramètres. J'ai été dirigé précisément vers la section correspondante. "Windows Update" Et j'ai mis en surbrillance le bouton "Vérifier les mises à jour".

Ensuite, je lui ai présenté une question moins courante (mais tout de même pertinente). Je lui ai demandé comment empêcher mon ordinateur de télécharger les mises à jour sur d'autres appareils pendant le processus. Bien que cette requête ne soit pas particulièrement complexe, elle a permis de tester la capacité de l'assistant à interpréter les intentions plus subtiles des utilisateurs.

Lors de la première tentative, Vision a mal compris la requête et a appliqué les instructions générales de mise à jour de l'appareil. Lors de la deuxième tentative, après avoir affiné ma formulation, il a correctement reconnu la question.

Cependant, ses instructions ne correspondaient pas à ce que j'ai vu à l'écran. Par exemple, il indiquait que j'avais désactivé la fonctionnalité de partage des mises à jour, alors que je n'avais effectué aucune action. Cela suggère que l'assistant se basait sur des hypothèses basées sur un comportement attendu plutôt que sur une analyse réelle de l'état du système. Cela souligne la nécessité d'améliorer la capacité de Microsoft Copilot à mieux comprendre le contexte utilisateur et à fournir des réponses plus précises et fiables, notamment concernant les paramètres et les options de mise à jour de Windows 11.

Test de reconnaissance des éléments : étape 3

Lors du test suivant, je souhaitais tester la capacité de Copilot à reconnaître les éléments visuels à l'écran. Pour ce faire, j'ai ouvert une image spécifique et demandé à Copilot d'identifier précisément l'élément qu'elle contenait.

Dans ce cas, Copilot a vu l'image d'une veste rouge. Le chatbot a pu identifier et décrire précisément le produit, et même fournir des informations complémentaires pertinentes sur demande. Cela démontre la capacité de Copilot Vision à analyser les images et à fournir des informations détaillées sur leur contenu.

Cependant, bien que le chatbot ait reconnu que la veste était en vente sur Amazon, même avec l'image ouverte dans un onglet séparé, il n'a pas pu déterminer que je ne consultais pas la page produit. Par conséquent, il n'a pas pu me fournir d'informations sur la page produit en ligne sur Amazon. Cela suggère que Copilot est limité dans sa capacité à relier les informations visuelles au contexte de navigation actuel de l'utilisateur.

Test d'extraction de texte

Copilot Vision offre également une fonctionnalité d'extraction de texte à partir d'images. Auparavant, les systèmes d'exploitation ne pouvaient ni détecter ni extraire du texte dans les images, mais de nombreuses méthodes permettent désormais d'accomplir cette tâche efficacement.

Par exemple, vous disposez désormais d'outils d'extraction de texte spécialisés tels que la fonction Extracteur de texte disponible via PowerToys, l'outil Capture, ainsi que Cliquez pour faireDésormais, vous pouvez également compter sur Copilot Vision pour ce processus.

Pour tester cette fonctionnalité, j'ai ouvert l'application Paramètres sur la page Mode Jeu et demandé à Copilot s'il pouvait extraire le texte existant. Le robot intelligent a lu à voix haute tout le texte de la page.

Le seul inconvénient que j'ai rencontré était l'impossibilité de copier le texte extrait dans le presse-papiers ou de le sélectionner directement, comme c'est le cas avec Click to Do. Cependant, le bot copiait tout dans l'application Copilot, dans l'historique des conversations.

Test de rédaction : capacités de l'IA en matière d'analyse et d'optimisation du contenu

Techniquement, vous pouvez poser n'importe quelle question sur n'importe quel élément affiché à l'écran. Par exemple, si vous travaillez sur un fichier spécifique, vous pouvez demander à l'IA d'analyser un graphique ou tout autre type de données affichées.

Cette technologie vous permet également de demander la description d'une scène ou d'une image particulière, d'identifier un point de repère ou un lieu géographique, ou tout autre élément imaginable. Les possibilités sont infinies.

Si vous travaillez sur un texte écrit, vous pouvez demander à l'IA de le lire et de suggérer des améliorations. Cette fonctionnalité est particulièrement utile pour les auteurs, les blogueurs et les étudiants qui cherchent à améliorer la qualité de leur écriture.

Lors de mon dernier test, j'ai chargé un texte simple dans le Bloc-notes et demandé au chatbot de l'allonger. Il a suggéré avec succès une version alternative améliorée du texte original.

Bien que la capacité de l'assistant intelligent à comprendre le texte affiché à l'écran et à suggérer une version alternative soit impressionnante, il n'était pas très précis pour comprendre les actions suivantes requises.

Bien que je savais qu'il n'était pas possible de copier et de remplacer directement le texte avec la suggestion, j'ai demandé s'il était possible de copier et de coller la version de remplacement du texte, mais il m'a indiqué une section du fichier à insérer à la place.

La solution consiste à ouvrir et fermer Copilot Vision, puis, depuis l'interface Copilot, à sélectionner et copier du texte dans votre historique de discussion. Cela vous permet d'exploiter facilement et efficacement les suggestions de l'IA.

La ligne du bas

Du point de vue de quelqu’un qui écrit des guides depuis de nombreuses années, je trouve cette technologie vraiment impressionnante pour comprendre le contenu de l’écran et fournir l’assistance nécessaire.

Il faut cependant reconnaître que cette méthode comporte de nombreuses erreurs et qu'elle peut s'avérer peu utile si vous ne maîtrisez pas déjà les bases de la procédure que vous souhaitez réaliser. Autrement dit, une connaissance préalable du sujet est essentielle pour en tirer le meilleur parti.

De plus, il semble agir en toute connaissance de cause, mais en réalité, il s'agit simplement d'une intelligence artificielle reproduisant du contenu déjà disponible en ligne. Cela diminue sa valeur en tant qu'outil innovant.

Utiliser Copilot Vision donne parfois l'impression de parler au support technique par téléphone. Bien que le chatbot puisse voir l'écran, il vous guide comme le ferait un agent du support technique et ne comprend souvent pas si vous avez terminé la tâche. Ce manque de connaissance contextuelle constitue un défi majeur.

De plus, dans la plupart des cas, vos instructions doivent être extrêmement précises, allant même jusqu'à préciser l'action exacte à effectuer. Cela est fondamentalement contraire à l'objectif d'une IA censée comprendre naturellement les intentions de l'utilisateur. Il est important de rappeler que cette fonctionnalité est principalement conçue pour les utilisateurs non techniques, car les personnes disposant d'une expertise technique sont peu susceptibles de s'y fier.

Globalement, si Vision est prometteur en tant qu'assistant personnel, sa perception contextuelle plus fine et sa précision restent à améliorer. Il donne davantage l'impression de deviner sur commande plutôt que de surveiller et de réagir activement à l'état actuel du contenu à l'écran. Cela le rend moins fiable dans les situations complexes.

Enfin, il est important de noter que je ne mentionne pas les questions spécifiques que j'ai utilisées pour ce guide, car elles sont hors de propos. L'objectif d'un chatbot est de mener une conversation normale comme si vous parliez à un autre humain. L'accent doit être mis sur la fluidité de l'interaction.

De plus, cette fonctionnalité ne peut pas agir à votre place. Elle peut uniquement analyser le contenu de votre écran. Pour agir, l'IA doit être un agent, mais actuellement, seuls les PC Copilot+ disposent de cette fonctionnalité, avec une capacité limitée dans l'application Paramètres.

Enfin, bien que cette fonctionnalité soit gratuite, elle présente des limites. Par exemple, même si j'ai un abonnement Microsoft 365, après quelques interactions, l'application me propose de passer à Copilot Pro.

Ainsi, si vous êtes en train de résoudre un problème et que vous êtes en plein milieu du processus, il se peut que l'on vous demande de payer l'assistant IA pour effectuer la réparation. Cette approche peut contrarier les utilisateurs qui comptent sur l'assistance gratuite.