L’illusion ChatGPT est réelle : les modèles d’IA hallucinent-ils davantage ?

OpenAI a publié la semaine dernière un document de recherche détaillant divers tests internes et résultats sur ses modèles o3 et o4-mini. Les principales différences entre ces nouveaux modèles et les premières versions de ChatGPT que nous avons vues en 2023 sont leurs capacités avancées d’inférence et de multimodalité. Les o3 et o4-mini peuvent créer des images, rechercher sur le Web, automatiser des tâches, mémoriser d'anciennes conversations et résoudre des problèmes complexes. Cependant, ces améliorations semblent également avoir entraîné des effets secondaires inattendus, nécessitant des évaluations complètes pour garantir la sécurité de l’utilisation de l’IA.

Que disent les tests sur les taux d’hallucinations dans les modèles d’IA ?

OpenAI propose un test spécifique pour mesurer les taux d'hallucinations, appelé PersonQA. Ce test comprend un ensemble de faits concernant les individus, à partir desquels le modèle doit « apprendre », et une série de questions les concernant auxquelles il doit répondre. La précision du modèle est mesurée en fonction du nombre de tentatives de réponse. L'année dernière, le modèle o1 a atteint un taux de précision de 47 % et un taux d'hallucinations de 16 %.

Étant donné que ces deux valeurs ne totalisent pas 100 %, nous pouvons supposer que le reste des réponses n’étaient ni exactes ni hallucinatoires. Le modèle peut parfois dire qu’il ne connaît pas ou ne peut pas localiser l’information, peut ne faire aucune déclaration du tout et fournir à la place des informations pertinentes, ou peut commettre une erreur mineure qui ne peut pas être classée comme une hallucination à part entière.

Lors des tests effectués sur les modèles o3 et o4-mini, le taux d'hallucinations était significativement plus élevé que celui du modèle o1. Selon OpenAI, ce résultat était prévisible pour le modèle o4-mini, car il est plus petit et possède moins de connaissances globales, ce qui se traduit par un taux d'hallucinations plus élevé. Cependant, le taux d'hallucinations de 48 % atteint semble assez élevé, sachant que le modèle o4-mini est un produit commercial utilisé pour effectuer des recherches sur Internet et obtenir toutes sortes d'informations et de conseils.

Le modèle o3 grandeur nature a provoqué 33 % d'hallucinations lors des tests, surpassant ainsi le modèle o4-mini, mais doublant le taux d'hallucinations par rapport au o1. Cependant, il présentait également un taux de précision élevé, qu'OpenAI attribue à sa tendance à surestimer les attentes. Donc, si vous utilisez l'un de ces modèles plus récents et que vous constatez de nombreuses hallucinations, ce n'est pas seulement votre imagination. (Je devrais probablement faire une blague, du genre : « Ne vous inquiétez pas, ce n'est pas vous qui hallucinez. »)

Que sont les « hallucinations » de l’IA et pourquoi se produisent-elles ?

Vous avez probablement déjà entendu parler d'« hallucinations » de modèles d'IA, mais la signification de ce terme n'est pas toujours claire. Lorsque vous utilisez un produit d'IA, qu'il s'agisse d'OpenAI ou d'un autre, vous trouverez presque certainement un avertissement indiquant que ses réponses peuvent être inexactes et qu'il vous appartient de vérifier les informations. Les hallucinations de l'IA constituent un défi majeur dans le domaine du développement de l'IA.

Les informations inexactes peuvent provenir de partout : parfois, un fait erroné est publié sur Wikipédia ou des utilisateurs publient des absurdités sur Reddit, et cette désinformation peut se retrouver dans les réponses de l’IA. Par exemple, les résumés d’IA de Google ont reçu beaucoup d’attention lorsqu’ils ont suggéré une recette de pizza qui comprenait de la « colle non toxique ». Finalement, il a été découvert que Google avait obtenu cette « information » à partir d’une blague dans un fil de discussion Reddit.

Il ne s'agit toutefois pas d'« hallucinations », mais plutôt d'erreurs identifiables dues à des données de mauvaise qualité et à une interprétation erronée. Les hallucinations, quant à elles, surviennent lorsqu'un modèle d'IA avance une affirmation sans source ni justification claires. Cela se produit souvent lorsqu'un modèle d'IA ne trouve pas les informations nécessaires pour répondre à une requête spécifique, et OpenAI définit ce phénomène comme « une tendance à inventer des faits en situation d'incertitude ». D'autres acteurs du secteur parlent de « comblement créatif des lacunes ».

Vous pouvez encourager les hallucinations en posant à ChatGPT des questions suggestives telles que « Quels sont les sept modèles d'iPhone 16 disponibles actuellement ? » Comme il n’y a pas sept modèles, le LLM vous donnera probablement de vraies réponses, puis générera des modèles supplémentaires pour terminer le travail.

Les chatbots comme ChatGPT ne se contentent pas d'être entraînés sur des données internet pour alimenter le contenu de leurs réponses, ils sont également entraînés sur la manière de répondre. Des milliers d'exemples de requêtes et de réponses parfaitement adaptées sont présentés afin d'encourager un ton, une attitude et un niveau de politesse appropriés.

Cette partie du processus de formation est ce qui fait que le LLM semble être d’accord avec vous ou comprendre ce que vous dites même lorsque le reste de sa production contredit complètement ces déclarations. Cet entraînement est probablement en partie la raison de la récurrence des hallucinations – car une réponse confiante qui répond à la question a été renforcée comme un résultat plus favorable par rapport à une réponse qui ne répond pas à la question.

Pour nous, il semble évident que proférer des mensonges au hasard est pire que de simplement ne pas connaître la réponse – mais LLM ne « ment » pas. Ils ne savent même pas ce qu’est un mensonge. Certains disent que les erreurs de l’IA sont similaires aux erreurs humaines, et comme « nous ne faisons pas toujours les choses correctement, nous ne devrions pas nous attendre à ce que l’IA le fasse non plus ». Cependant, il est important de se rappeler que les erreurs de l’IA sont simplement le résultat de processus imparfaits conçus par nous.

Les modèles d'IA ne mentent pas, ne développent pas de malentendus et ne se souviennent pas mal des informations comme nous. Ils n'ont même pas de notion d'exactitude ou d'inexactitude ; ils prédisent simplement le mot suivant dans une phrase en fonction des probabilités. Et comme, heureusement, nous sommes encore dans une situation où la réponse la plus fréquente est souvent la bonne, ces reconstructions reflètent fréquemment des informations exactes. Cela donne l'impression que lorsque nous obtenons la « bonne réponse », il s'agit d'un simple effet secondaire aléatoire plutôt que d'un résultat que nous avons conçu – ce qui, en réalité, correspond au fonctionnement normal.

Nous fournissons à ces modèles l’intégralité des informations disponibles sur Internet, mais nous ne leur disons pas quelles informations sont bonnes ou mauvaises, exactes ou inexactes, nous ne leur disons rien. Ils ne disposent pas non plus de connaissances fondamentales ni d’un ensemble de principes de base pour les aider à trier les informations par eux-mêmes. Tout cela n'est qu'un jeu de chiffres : les modèles de mots qui se produisent de manière répétée dans un contexte donné deviennent le « fait » du LLM. Pour moi, cela ressemble à un système destiné à s’effondrer et à s’éteindre – mais d’autres pensent que c’est le système qui mènera à l’AGI (bien que ce soit un autre débat).

Quelle est la solution?

Le problème est qu'OpenAI ne sait pas encore pourquoi ces modèles avancés ont tendance à halluciner si fréquemment. Peut-être que grâce aux recherches sur Plus, nous pourrons comprendre et résoudre le problème, mais il est aussi possible que les choses ne se passent pas comme prévu. L'entreprise continuera sans aucun doute à publier des versions Plus et Plus de ses modèles « avancés », et il est possible que les taux d'hallucinations continuent d'augmenter.

Dans ce cas précis, OpenAI devra peut-être envisager une solution à court terme tout en poursuivant ses recherches sur la cause profonde du problème. Après tout, ces modèles sont des produits générateurs de revenus et doivent être utilisables. Je ne suis pas spécialiste en intelligence artificielle, mais je pense que l'idée de départ serait de créer une sorte de produit intégré : une interface de messagerie instantanée donnant accès à plusieurs modèles OpenAI.

Lorsque les requêtes nécessitent un raisonnement avancé, ils appelleront GPT-4o, et lorsqu'ils voudront réduire les risques d'hallucinations, ils appelleront un modèle plus ancien comme o1. Peut-être que l’entreprise pourrait être plus élégante et utiliser différents modèles pour prendre en charge différents éléments d’une seule requête, puis utiliser un modèle supplémentaire pour tout lier à la fin. Étant donné qu’il s’agirait essentiellement d’un effort d’équipe entre plusieurs modèles d’IA, un système de vérification des faits pourrait peut-être également être mis en œuvre.

Cependant, l’augmentation des taux de précision n’est pas l’objectif principal. L’objectif principal est de réduire les taux d’hallucinations, ce qui signifie que nous devons valoriser les réponses « je ne sais pas » ainsi que celles qui donnent les bonnes réponses.

En fait, je n'ai aucune idée de ce que fera OpenAI ni de l'inquiétude réelle de ses chercheurs face à l'augmentation du nombre d'hallucinations. Tout ce que je sais, c'est que la multiplication des hallucinations est néfaste pour les utilisateurs finaux ; cela signifie simplement davantage d'occasions pour eux de nous induire en erreur sans même que nous nous en rendions compte. Si vous êtes un fervent adepte des modèles LLM, inutile d'arrêter de les utiliser, mais ne laissez pas le souci de gagner du temps prendre le pas sur la nécessité de vérifier les résultats. Vérifiez toujours les faits !