Le modèle Gemini de Google exploité à des fins malveillantes : la possibilité de pirater et de contrôler les systèmes de maison intelligente

Autrefois, les fuites de données faisaient la une des journaux, mais elles sont devenues si fréquentes qu'elles ne surprennent plus personne. Ces informations ne retiennent l'attention que lorsqu'elles concernent une grande entreprise et touchent des millions de personnes, comme ce fut le cas pour la fuite de données chez T-Mobile qui a affecté 64 millions de clients . Compte tenu des nombreux moyens de compromission des données, presque tous les services et produits numériques intègrent des mesures de protection.

Bien sûr, ces produits ne sont pas parfaits et il existe toujours des moyens de mener des attaques malveillantes si l'attaquant est suffisamment ingénieux. Avec l'émergence de grands modèles de langage (LLM) comme Gemini de Google, le risque que ces outils d'IA soient utilisés à des fins malveillantes est bien réel. Bien qu'aucun incident majeur n'ait encore été signalé, Wired a mis en lumière un projet de recherche qui utilise Gemini pour accéder à votre vie de manières insoupçonnées. Cette recherche démontre comment Gemini pourrait être exploité pour contrôler divers aspects de votre vie numérique, y compris potentiellement les objets connectés de votre domicile, soulevant ainsi des inquiétudes quant à la sécurité et à la confidentialité à l'ère de l'intelligence artificielle.

Ce type d’attaque peut devenir plus dangereux.

Ben Nasi, Stav Cohen et Or Yair, de l'Université de Tel Aviv, ont présenté leur projet « Invitation is All You Need », qui utilise Gemini pour accéder à une maison connectée et la contrôler. L'aspect intéressant réside dans le fait que l'attaque ne provient pas de la maison elle-même, mais s'appuie sur un autre produit Google, sans lien avec le projet initial, pour déclencher le processus.

En clair, une procédure indésirable se déclenche lorsque l'utilisateur interagit avec Gemini via une invite spécifique. Le plus astucieux est que cette procédure est dissimulée et invisible pour l'utilisateur. L'équipe de recherche explique en détail son fonctionnement , révélant que ce « logiciel espion » utilise un modèle de langage étendu (LLM) pour mener des activités malveillantes.

Grâce à l'« empoisonnement du contexte à court terme » et à l'« empoisonnement de la mémoire à long terme », les chercheurs ont découvert qu'ils pouvaient forcer Gemini à effectuer des actions qui n'étaient pas initialement incluses dans l'invite. Cela pouvait permettre de supprimer des événements de diverses applications Google, d'ouvrir un appel Zoom, de fournir la localisation d'un utilisateur, de contrôler des produits domotiques, et bien plus encore. Ce type d'attaque, appelé « injection indirecte d'invite », exploite les vulnérabilités liées à l'interaction des grands modèles de langage avec les données externes.

L'équipe de recherche démontre également son fonctionnement à travers de superbes tutoriels vidéo. C'est un moyen simple et efficace de semer le chaos dans la vie d'une personne à son insu. Les gens sont plus attirés par les méthodes de piratage traditionnelles, ce qui signifie qu'un tel incident pourrait être extrêmement inattendu.

Heureusement, l'équipe de recherche a signalé ces problèmes à Google en février et a rencontré l'équipe pour les corriger. Google indique avoir déployé des défenses multicouches, notamment : des confirmations utilisateur améliorées pour les actions sensibles ; une gestion robuste des URL avec des politiques de nettoyage et de niveau de confiance ; et une détection avancée des injections de revendications à l'aide de classificateurs de contenu.

Le projet met en lumière des « techniques théoriques d'injection indirecte de revendications affectant les assistants basés sur de grands modèles de langage », qui pourraient se généraliser prochainement à mesure que les outils d'IA se perfectionnent. Ce phénomène n'en est qu'à ses balbutiements et nécessitera une meilleure surveillance pour éviter qu'il ne cause des dommages plus graves à l'avenir. Alors que nous dépendons de plus en plus de l'IA au quotidien, il devient crucial de comprendre et d'atténuer ces risques potentiels.

Si les failles de sécurité vous intéressent, vous pouvez soumettre vos découvertes à Google via son programme Bug Hunters. Il existe différentes manières de contribuer, car l'intelligence artificielle ne représente qu'une petite partie des éléments actuellement surveillés. Si la faille est plus grave, Google offre une récompense pour votre travail, ce qui rend votre contribution encore plus gratifiante.