Le modèle Gemini de Google exploité à des fins malveillantes : la possibilité de pirater et de contrôler les systèmes de maison intelligente

Autrefois, les piratages informatiques faisaient la une des journaux, mais ils sont devenus si courants qu'ils ne surprennent plus grand monde. Ce n'est que lorsqu'ils touchent une grande entreprise et touchent des millions de personnes qu'ils prennent de l'ampleur, comme ce fut le cas en 2008. Le piratage informatique de T-Mobile affecte 64 millions de clientsÉtant donné qu’il existe de nombreuses façons de compromettre vos données, presque tous les types de services ou de produits numériques disposent de mesures de protection pour éviter cela.

Bien sûr, ces produits ne sont pas parfaits, et il existe toujours des moyens de mener des attaques malveillantes si un attaquant est suffisamment intelligent. Avec l'émergence de grands modèles de langage (LLM) comme Gemini de Google, il existe toujours un risque que ces outils d'IA soient utilisés à des fins malveillantes. Bien que nous n'ayons pas encore constaté d'incident majeur, nous en avons constaté. Wired a mis en lumière un projet de recherche Gemini est utilisé pour accéder à votre vie d'une manière que vous n'auriez jamais imaginée. Cette étude démontre comment Gemini pourrait être exploité pour contrôler divers aspects de votre vie numérique, y compris vos appareils connectés, ce qui soulève des inquiétudes quant à la sécurité et à la confidentialité à l'ère de l'intelligence artificielle.

Ce type d’attaque peut devenir plus dangereux.

Ben Nassi, Stav Cohen et Or Yair de l'Université de Tel Aviv ont dévoilé leur projet, «Une invitation est tout ce dont vous avez besoin« Il utilise Gemini pour accéder à une maison intelligente et la contrôler. Ce qui est intéressant, c'est que l'attaque ne démarre pas de l'intérieur de la maison, mais s'appuie sur un autre produit Google, indépendant, pour lancer le processus. »

En termes simples, une action indésirable est déclenchée lorsqu'un utilisateur utilise Gemini avec une certaine invite. L'avantage de tout cela est que cette action est masquée et invisible pour l'utilisateur. Il explique : L'équipe de recherche détaille comment cela fonctionne., où « promptware » utilise un modèle de langage étendu (LLM) pour effectuer des activités malveillantes.

Grâce à l'« empoisonnement du contexte à court terme » et à l'« empoisonnement de la mémoire à long terme », les chercheurs ont découvert qu'ils pouvaient forcer Gemini à effectuer des actions qui n'étaient pas initialement incluses dans l'invite. Cela pouvait permettre de supprimer des événements de diverses applications Google, d'ouvrir un appel Zoom, de fournir la localisation d'un utilisateur, de contrôler des produits domotiques, et bien plus encore. Ce type d'attaque, appelé « injection indirecte d'invite », exploite les vulnérabilités liées à l'interaction des grands modèles de langage avec les données externes.

L'équipe de recherche démontre également son fonctionnement à travers de superbes tutoriels vidéo. C'est un moyen simple et efficace de semer le chaos dans la vie d'une personne à son insu. Les gens sont plus attirés par les méthodes de piratage traditionnelles, ce qui signifie qu'un tel incident pourrait être extrêmement inattendu.

Heureusement, l'équipe de recherche a signalé ces problèmes à Google en février et a rencontré l'équipe pour les corriger. Google indique avoir déployé des défenses multicouches, notamment : des confirmations utilisateur améliorées pour les actions sensibles ; une gestion robuste des URL avec des politiques de nettoyage et de niveau de confiance ; et une détection avancée des injections de revendications à l'aide de classificateurs de contenu.

Le projet met en lumière des « techniques théoriques d'injection indirecte de revendications affectant les assistants basés sur de grands modèles de langage », qui pourraient se généraliser prochainement à mesure que les outils d'IA se perfectionnent. Ce phénomène n'en est qu'à ses balbutiements et nécessitera une meilleure surveillance pour éviter qu'il ne cause des dommages plus graves à l'avenir. Alors que nous dépendons de plus en plus de l'IA au quotidien, il devient crucial de comprendre et d'atténuer ces risques potentiels.

Si vous êtes intéressé par les vulnérabilités de sécurité, vous pouvez toujours Soumettez ce que vous trouvez à Google Grâce à son programme Bug Hunters, il existe différentes façons de contribuer, l'IA ne représentant qu'une petite partie de ce qui est actuellement surveillé. Si un problème plus grave est en jeu, Google offre également une récompense pour votre travail, ce qui rend l'effort encore plus gratifiant.