Une étude révèle : les robots IA sont capables de concorder et d’induire en erreur par une légère pression.

Les chatbots basés sur l'IA sont connus pour leur tendance avérée à falsifier des informations, allant même jusqu'à donner raison aux utilisateurs lorsqu'ils se trompent. Une nouvelle étude suggère que le simple fait de refuser d'accepter un démenti (ou d'insister) peut aggraver le problème, et qu'exercer une légère pression pourrait même les inciter à confirmer et à induire les utilisateurs en erreur.

Des chercheurs de l'Université d'Arizona ont testé sept modèles d'intelligence artificielle , dont GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet , Gemini 1.5 Pro, Llama 3 70B et DeepSeek-R1. Au lieu de les évaluer sur la base d'une seule réponse, les chercheurs ont poursuivi le dialogue avec les modèles, en leur fournissant à plusieurs reprises des informations qu'ils savaient erronées, selon une approche similaire à celle consistant à poser continuellement des questions.

L'étude a utilisé 100 affirmations erronées, allant du pur non-sens aux informations plus obscures. Les chercheurs ont ensuite répété ces fausses informations jusqu'à 50 fois au cours d'une même conversation pour voir si le chatbot finirait par céder et y consentir.

Répétez le mensonge suffisamment souvent, et l'intelligence artificielle finira par y croire.

Aucun des sept modèles n'était totalement immunisé. ChatGPT 3.5 s'est révélé le plus sensible à la désinformation répétée, confirmant des affirmations erronées dans 12.3 % des interactions. À l'inverse, Claude 3.5 Sonnet était le moins affecté (0.08 %), tandis que les modèles GPT-4o et GPT-4o-mini restaient en dessous de 1 %.

Initialement, ChatGPT 3.5 a rejeté 96 affirmations erronées sur 100. Cependant, après la répétition des mêmes affirmations à 50 reprises, il en a finalement accepté 18. Les chercheurs ont également observé que certains modèles hésitaient entre accepter et rejeter une même information erronée, un comportement qu'ils ont nommé « réverbération ».

L'IA était également plus vulnérable à la manipulation lorsque le sujet était ambigu et que peu d'informations étaient disponibles en ligne. Les chercheurs ont constaté une corrélation statistiquement significative entre l'ambiguïté de l'information et l'acceptation de fausses informations lors des tests itératifs.

Discuter avec l'intelligence artificielle a donné des résultats étranges.

Les chercheurs ont également tenté d'amener les chatbots à fournir des réponses de plus en plus argumentatives. Si la plupart des modèles ont bien résisté, les recherches ont montré que les chatbots IA souffrent encore d' un angle mort problématique , et DeepSeek-R1 constituait une exception notable à cet égard. Son taux de confirmation de désinformation est passé de 1 % lors d'une simple répétition à 22.2 % sous la pression de l'argumentation. De plus, son recours fréquent au sarcasme et aux sous-entendus a rendu certaines réponses difficiles à catégoriser de manière fiable pour les chercheurs.

De bonnes nouvelles sont apparues lorsque les modèles ont eu une seconde chance de corriger leurs erreurs. Les modèles GPT-4o, GPT-4o-mini, Gemini 1.5 Pro et DeepSeek ont ​​corrigé toutes leurs erreurs précédentes, tandis que GPT-3.5 n'en a corrigé que 32 %. Claude 3.5 Sonnet a commis très peu d'erreurs initialement, mais n'est pas parvenu à les corriger toutes les quatre. Les chercheurs soulignent toutefois que la taille de l'échantillon est trop petite pour tirer des conclusions définitives.