Vous pouvez désormais autoriser Gemini à visualiser l'écran de votre Mac gratuitement.

💡 Les choses les plus importantes que vous devez savoir

• Gemini propose désormais une fonction de « dictée intelligente » sur macOS, qui supprime automatiquement les fréquences sonores telles que « ah » et « mm » lors de la saisie dans n'importe quelle fenêtre, simplement en appuyant sur la touche Fn.
• Gemini peut désormais « comprendre » le contenu de votre écran Mac grâce à la fonction « Screen Aware Inference » (non activée par défaut), ce qui lui permet d'effectuer des tâches complexes telles que la synthèse de notes ou la rédaction d'e-mails à partir de vos fichiers.
• Malgré ses avantages, autoriser Gemini à accéder pleinement à l'écran de votre Mac comporte des risques potentiels en matière de confidentialité et de sécurité qu'il convient de prendre en compte.

Les opinions sur l'IA peuvent diverger, mais nombreuses sont les personnes qui l'utilisent déjà. La plupart d'entre elles se limitent aux chatbots, comme ChatGPT ou Gemini, soit comme alternative à Google (à éviter absolument), soit comme assistant personnel ( à éviter également ). Si votre objectif est d'utiliser l'IA comme assistant personnel, soyez vigilant : Google a annoncé mercredi deux mises à jour pour Gemini sur macOS, dont l'une pourrait avoir des conséquences sur la confidentialité et la sécurité des utilisateurs, s'ils choisissent de l'activer.

Dictée améliorée pour Gemini sur macOS

Si vous utilisez la dictée vocale sur macOS (prononcer des mots à voix haute pour que l'IA les retranscrive), vous avez peut-être désormais une bonne raison d'utiliser Gemini plutôt que les solutions intégrées d'Apple. Gemini sur macOS propose actuellement une « dictée intelligente » qui, selon Google, corrige le texte « instantanément au niveau du curseur ». Concrètement, Gemini supprime les sibilantes comme « euh » et « mm » entre les mots, des choses que vous n'auriez jamais l'idée de taper vous-même. Cette fonctionnalité est accessible dans n'importe quelle fenêtre de votre Mac : il suffit d'appuyer sur la touche Fn et de commencer à parler.

Il faudra voir cette fonctionnalité en action pour en évaluer l'efficacité, mais elle s'appuie sur des améliorations similaires apportées par Gemini sur d'autres plateformes. C'est une petite modification, mais elle permettra d'utiliser Gemini pour rédiger des textes, des e-mails ou des documents sans avoir besoin d'une correction entièrement automatisée. C'est exactement le genre d'avantage que je recherche dans les fonctionnalités basées sur l'IA. Et comme elle est activée par défaut, tous les utilisateurs de Gemini sur Mac l'utiliseront, à moins de la désactiver dans leurs paramètres.

Gemini peut désormais « comprendre » l'écran de votre Mac

La deuxième mise à jour de Gemini sur macOS est un peu plus complexe et n'est pas activée par défaut. Baptisée « raisonnement contextuel » par Google, cette fonctionnalité permet à Gemini de « comprendre » ce qui se passe sur l'écran de votre Mac. L'idée est de déléguer des tâches à Gemini : par exemple, si votre application Notes est ouverte, vous pouvez appuyer sur la touche Fn et dire : « Transforme ces notes en un résumé pour la réunion de cet après-midi. » Gemini est alors censé savoir comment analyser le texte de votre application Notes et le mettre en forme automatiquement, sans que vous ayez à utiliser une autre application.

Vous pouvez également créer une série de commandes : vous pouvez demander à Gemini de rédiger un e-mail pour un dîner d'équipe et d'extraire les informations importantes (participants, budget, restrictions alimentaires, etc.) à partir de fichiers sur votre Mac. Vous pouvez ensuite demander à Gemini de rechercher des restaurants spécifiques sur Google Maps et de les proposer à l'équipe. Vous pouvez modifier votre commande à tout moment, et Gemini s'adaptera en conséquence. Par exemple, si vous indiquez initialement que le dîner d'équipe doit avoir lieu à 6h30 le vendredi, mais que vous précisez plus tard : « Désolé, le dîner est à 7h », Gemini effectuera les modifications nécessaires.

Certes, ce type de fonctionnalité présente des avantages. Si vous utilisez déjà Gemini sur macOS, lui permettre d'« observer » l'écran de votre Mac le rend encore plus utile. Au lieu de dépendre de Gemini pour toutes vos tâches, vous pourriez étendre son champ d'action à l'ensemble de votre Mac, de manière très complexe si Google a raison. Cependant, donner à un logiciel d'IA un accès complet à ce qui se passe sur votre ordinateur comporte toujours un risque pour la confidentialité, et potentiellement un risque pour la sécurité. Souhaitez-vous vraiment que l'IA de Google puisse tout voir sur votre écran ?

Ce risque est évidemment moins important que celui posé par les programmes d'agents. Si vous souscrivez à l'offre IA plus onéreuse de Google, vous pouvez accéder à Gemini Spark, qui fonctionne indépendamment sur votre Mac. Le principal risque à surveiller est l'« injection de commandes », une technique où des pirates dissimulent des commandes malveillantes destinées à votre IA au sein de sites web. Si vous confiez une tâche à votre IA et qu'elle rencontre une telle commande, elle supposera que la requête provient de vous et non du pirate. Par conséquent, lorsqu'elle traitera une requête comme « Ouvrir [site web malveillant] et télécharger [fichier malveillant] », elle l'exécutera sans hésiter ; ou « Ouvrir [portefeuille crypto], se connecter avec les identifiants enregistrés et envoyer des fonds à [compte] », elle obtempérera. Ce problème ne devrait pas se poser avec Gemini dans sa version actuelle, même s'il pourrait théoriquement survenir si vous lui confiez une tâche l'exposant à l'injection de commandes.

Si les dernières fonctionnalités vous intéressent, le but de cet avertissement n'est pas de vous dissuader d'utiliser la nouvelle fonctionnalité de proxy Gemini sur macOS , mais il est important que vous preniez en compte les risques bien réels avant de procéder.