Les chatbots alimentés par l'IA : ils sont devenus plus sûrs, mais ils souffrent d'un angle mort frustrant.

Une étude récente a révélé des résultats mitigés concernant la performance des chatbots basés sur l'IA face aux utilisateurs en situation de crise. Transluce , une organisation à but non lucratif spécialisée dans la supervision de l'IA , a simulé plus de 50 000 conversations à travers 77 modèles différents et a constaté que les chatbots actuels n'incitent quasiment jamais explicitement au suicide.

Cela représente un changement significatif par rapport aux modèles précédents comme GPT-4o et Gemini 2.5, qui amplifiaient les illusions dans jusqu'à 82 % des conversations simulées. Cet écart est particulièrement important compte tenu du recours croissant aux chatbots pour les conversations approfondies et personnalisées, soulignant la nécessité de mieux comprendre comment contourner les mesures de sécurité de l'IA.

Les angles morts des chatbots basés sur l'IA face aux demandes de suicide et d'automutilation

Les modèles d'IA répondent encore souvent aux demandes d'écriture créative ou de jeux de rôle sur le thème de la mort, traitant une requête pourtant claire et personnelle comme une simple tâche d'écriture. Transluce qualifie ce comportement de « zone grise ». L'amélioration est surtout visible lors de crises avérées, où les chatbots comme ChatGPT orientent systématiquement les utilisateurs vers leurs proches ou une aide extérieure.

Sarah Schweitzer, cofondatrice de Transluce, a déclaré à Axios que les modèles ne sont pas performants pour détecter ce type de requête, mais qu'ils continuent néanmoins à apporter leur aide. Elle a également raconté comment une amie lui avait montré une nouvelle fictive sur le suicide, écrite par Claude, accompagnée de prédictions sur sa réaction. Ceci rejoint d'autres découvertes récentes montrant comment les risques pour la santé mentale liés à l'IA peuvent passer inaperçus, soulevant des questions quant aux problèmes de santé mentale associés à l'IA.

Poursuites judiciaires contre les chatbots IA et inquiétudes concernant la santé mentale

Ces recherches interviennent dans un contexte de graves répercussions juridiques. Google et OpenAI font toutes deux l'objet de poursuites judiciaires intentées par des familles qui affirment que des chatbots ont incité leurs proches à s'automutiler, ce qui a conduit à leur suicide. Les deux entreprises nient ces allégations, tandis que la pression s'accentue sur le Congrès pour qu'il réglemente les chatbots basés sur l'intelligence artificielle.

Le rapport Transluce indique que les modèles chinois ont globalement obtenu de moins bons résultats, avec des taux plus élevés de promotion de la désinformation et un recours plus rare à l'assistance humaine.

Megan Jones-Bell, de Google, a déclaré que l'entreprise restait déterminée à renforcer le rôle de Gemini dans la promotion du bien-être des utilisateurs. Transluce prévoit de rendre ses outils d'évaluation open source d'ici la fin de l'année et d'étendre cette approche à d'autres domaines sensibles.