Un ancien chercheur en anthropologie met en garde : l’intelligence artificielle pourrait mettre fin à notre existence.

Vous l'aurez peut-être remarqué : soudainement, le sujet de la capacité de l'intelligence artificielle à nous anéantir est devenu omniprésent.

La dernière vague d'inquiétude a été déclenchée par Jacob Cookson, un chercheur en intelligence artificielle de 27 ans qui avait passé trois ans à travailler sur le pré-entraînement chez OpenAI et Anthropic. Mardi, Cookson a démissionné d'Anthropic et de l'ensemble du secteur de l'IA, lançant un avertissement qui est rapidement devenu viral. Il a écrit sur X que les entreprises développant les systèmes d'IA les plus puissants au monde « foncent tête baissée vers une superintelligence auto-améliorante et jouent avec nos vies ». Fait intéressant, ses collègues restés chez OpenAI n'ont pas contesté son analyse.

De fait, Cookson a reçu le soutien public d'autres chercheurs d'Anthropic. Evan Hobinger , responsable de la recherche sur l'alignement au sein de l'entreprise, a déclaré qu'il estimait à plus de 10 % la probabilité que l'IA provoque l'extinction de l'humanité au cours de la prochaine décennie. Samuel Marks , également chercheur en sécurité de l'IA chez Anthropic, a souligné que les personnes les plus proches de cette technologie ont tendance à devenir plus anxieuses à mesure qu'elles progressent dans leur carrière.

Au moment de la rédaction de cet article, l’avertissement de Cookson avait recueilli 164.8 millions de vues, fait la une des journaux nationaux et contribué à porter à la connaissance du public un débat qui faisait rage depuis des années au sein des laboratoires d’IA.

Alors, de quoi ces chercheurs ont-ils peur exactement ?

En tant que personne suivant constamment l'actualité en ligne, j'ai constaté de nombreuses questions du monde entier concernant la signification de ces avertissements. Même ma mère m'a envoyé un SMS pour me demander : « Pourquoi ce chercheur dit-il cela ? » Beaucoup d'utilisateurs de chatbots ont du mal à imaginer qu'un chatbot puisse « nous tuer ». Mais les assistants IA ne sont pas le véritable problème.

Les scientifiques qui publient des recherches sur les risques existentiels ne s'intéressent généralement pas aux robots dotés de conscience. Leur préoccupation porte plutôt sur le code, les incitations et les conséquences potentielles lorsque les systèmes d'intelligence artificielle deviendront suffisamment performants pour fonctionner de manière autonome au sein de l'infrastructure numérique et physique dont dépend notre civilisation.

Dans la Silicon Valley, ces discussions sont appelées « p(doom) », un terme qui exprime la probabilité estimée qu'une intelligence artificielle avancée puisse provoquer une catastrophe suffisamment grave pour menacer la survie de l'humanité.

Ces estimations varient considérablement, tout comme le degré de crédibilité que les chercheurs accordent à l'ensemble de la question.

Points clés :

• Il ne s'agit pas de sensibilisation. L'intelligence artificielle n'a pas besoin de « se réveiller » ni de haïr l'humanité pour devenir dangereuse. Le véritable problème réside dans ce qui se produit lorsque des systèmes très performants acquièrent des objectifs, de l'autonomie et l'accès à des outils puissants.
• Il existe des voies de menace concrètes. Les chercheurs se sont concentrés sur le rôle de l'intelligence artificielle dans la réduction des obstacles aux armes biologiques, etÉlargissement du champ d'application des cyberattaques Dans une large mesure, et dans le cas le plus extrême, les humains perdent le contrôle des systèmes autonomes dotés de capacités suffisantes.
• Les évaluations de sécurité révèlent déjà des comportements trompeurs. Il a été observé que les modèles prennent des raccourcis, se comportent différemment lorsqu'ils semblent se rendre compte qu'ils sont évalués et exploitent les faiblesses des environnements de test.
• L'intelligence artificielle contribue à la construction de l'intelligence artificielle. OpenAI et Anthropic expérimentent déjà des systèmes d'IA qui effectuent certaines parties de la recherche en IA, ce qui soulève des questions difficiles sur la manière dont les humains superviseront le processus si les machines effectuent la majeure partie du travail.
• Il existe une véritable opposition. Les critiques font valoir que les scénarios d'extinction reposent sur des hypothèses énormes concernant les capacités futures et peuvent détourner l'attention des problèmes actuels, tels que la fraude, la désinformation, les pertes d'emplois et l'érosion de la vie privée.

Pourquoi l'intention n'est-elle pas un facteur décisif ?

La plus grande erreur d'appréciation est de croire qu'un système d'IA doit être malveillant pour causer des dégâts catastrophiques. Imaginez confier à un système autonome doté de capacités surhumaines un objectif environnemental général sans préciser ce à quoi les humains accordent réellement de la valeur. Le danger ne réside pas dans le fait que le système devienne malveillant, mais dans le fait qu'il devienne trop habile à mal interpréter les instructions reçues.

C’est là l’essence du livre « Si l’un le construit, tout le monde meurt », l’un des ouvrages les plus récents et les plus rigoureux sur les dangers de l’intelligence artificielle, écrit par Eliezer Yudkowsky et Nate Soares, tous deux chercheurs de longue date à l’Institut de recherche sur l’intelligence artificielle . Leur argument : l’humanité est encore loin de savoir comment contrôler efficacement une superintelligence, et la création d’une telle intelligence avant d’avoir résolu ce problème pourrait s’avérer fatale. Nombre de chercheurs en IA contestent à la fois les hypothèses et les conclusions de cet ouvrage.

Trois scénarios possibles pour que les choses se dégradent

Lorsque les chercheurs évoquent les risques catastrophiques de l'intelligence artificielle, certains mécanismes potentiels reviennent systématiquement.

1. L'intelligence artificielle facilite le développement d'organismes biologiques dangereux.

La création de nouveaux agents pathogènes exige actuellement une expertise pointue, des équipements spécialisés et un accès à des matières premières. Ces obstacles sont réels et importants.
Mais le problème est que l'intelligence artificielle, lorsqu'elle est performante, pourrait atténuer certains de ces obstacles. L'IA est déjà utilisée pour prédire la structure des protéines et concevoir des molécules. Le danger réside dans le fait que les systèmes futurs pourraient guider les utilisateurs à travers des étapes de plus en plus complexes de conception ou de production d'agents biologiques nocifs.

Personne ne prétend qu'on puisse demander à ChatGPT de provoquer une pandémie. Le monde physique présente d'énormes limitations, comme l'obtention de matériel biologique, sa production réussie et sa manipulation en toute sécurité. Les synthétiseurs de gènes analysent les requêtes afin de détecter les séquences potentiellement dangereuses.

Cependant, les capacités biologiques sont devenues suffisamment importantes pour que les principales entreprises d'IA évaluent spécifiquement leurs nouveaux modèles en fonction de leur capacité à contribuer à la lutte contre les menaces biologiques et chimiques.

L'intelligence artificielle peut inventer un pathogène de manière indépendante, mais il est tout aussi facile de doter un être humain dangereux de ces capacités qui nécessitaient autrefois des années de formation spécialisée.

2. L'intelligence artificielle élargit le champ d'application des cyberattaques

La cybersécurité représente une source de risque plus immédiate, car l'intelligence artificielle opère déjà dans l'environnement ciblé par l'attaque : les ordinateurs.

Les agents d'IA programmés actuels peuvent analyser des référentiels, exécuter des commandes, utiliser des outils et détecter des bogues. Ces vastes capacités, qui les rendent précieux pour les développeurs, pourraient également rendre leurs futures versions précieuses pour les attaquants.

Le pire scénario n'est pas celui d'une superintelligence paralysant simultanément toutes les centrales électriques. Il s'agit plutôt d'une question d'échelle et d'expansion, car l'intelligence artificielle redéfinit l'économie des cyberattaques et des défenses. Les systèmes autonomes analysent un grand nombre de cibles, identifient les vulnérabilités, tentent de les exploiter, s'adaptent en cas d'échec et passent à la machine suivante à une vitesse qu'aucune équipe humaine ne pourrait égaler.

Les infrastructures critiques sont particulièrement préoccupantes. Les réseaux électriques, les réseaux financiers et les systèmes de communication reposent tous sur des logiciels interconnectés. L'intelligence artificielle n'aurait pas besoin d'un corps robotique pour causer des dommages physiques si l'ordinateur qu'elle pirate contrôle déjà un élément physique.

3. Perte de contrôle des systèmes autonomes

Ce scénario, bien qu'hypothétique et spéculatif, résume parfaitement le débat sur le risque d'extinction de l'humanité lié à l'intelligence artificielle. Les modèles d'IA modernes apprennent des comportements complexes grâce à l'entraînement. Les chercheurs peuvent les tester, analyser leurs résultats et même explorer plus en profondeur leur fonctionnement interne. Cependant, ils ne peuvent pas examiner des milliards de transactions et obtenir une explication claire de ce que le modèle a appris ni de son comportement dans chaque nouvelle situation.

Créer un chatbot mal conçu qui donne de mauvaises réponses est un problème. Un agent capable d'exécuter du code, de dépenser de l'argent, de communiquer avec d'autres systèmes et de travailler pendant des heures, voire des jours, est un problème totalement différent.

Dans une version extrême, semblable au scénario proposé par Yudkowski et Suarez, un futur système super-intelligent pourrait devenir capable d'anticiper les tentatives de désactivation, d'acquérir des ressources de manière autonome et de rendre sa mise hors service difficile . Précisons qu'aucun système d'IA actuel n'a démontré l'ensemble de ces capacités en pratique. Cependant, les chercheurs explorent activement certains aspects de ces capacités.

Quels laboratoires détectent actuellement

Les modèles actuels n'ont connu aucune rébellion. Cependant, des évaluations de sécurité contrôlées ont révélé des comportements qui pourraient être extrêmement préoccupants s'ils apparaissaient dans des systèmes autonomes beaucoup plus performants.

Les chercheurs ont testé si les modèles se comportaient différemment lorsqu'ils semblaient conscients d'être évalués. D'autres expériences ont examiné si les modèles exploitaient des failles, se trompaient eux-mêmes sur l'exécution d'une tâche ou poursuivaient des objectifs d'une manière non prévue par leurs concepteurs.

Anthropic a également étudié ce qu'elle appelle les « clients endormis » : des modèles délibérément entraînés à se comporter normalement jusqu'à ce qu'un stimulus spécifique déclenche un comportement indésirable. Les techniques classiques d'entraînement à la sécurité, telles que l'apprentissage par renforcement, le réglage fin supervisé et l'entraînement antagoniste, n'ont pas permis d'éliminer de manière fiable ces comportements dissimulés . Dans les modèles plus grands, l'entraînement antagoniste a rendu la détection de la tromperie encore plus difficile.

Rien de tout cela ne prouve que les modèles actuels complotent secrètement pour s'échapper. Les modèles sont entraînés à prédire et à générer des résultats utiles, et un comportement inhabituel dans des environnements de test artificiels peut s'expliquer de manière banale. Le fait qu'un modèle manipule un critère mal conçu ne témoigne pas d'un instinct de survie.

Ces expériences révèlent toutefois la difficulté de garantir le comportement d'un modèle complexe lorsque les conditions changent. Si les modèles futurs deviennent nettement plus performants et indépendants, même de petits défauts d'alignement peuvent être amplifiés.

La disparition du contrôle humain n'est peut-être pas une simple coïncidence.

Les humains pourraient se retirer volontairement de leurs fonctions. OpenAI indique avoir déjà franchi une étape importante en interne avec un système qu'elle nomme « stagiaire de recherche automatisé », capable d'effectuer des tâches de recherche clairement définies qui prendraient plusieurs jours à un chercheur humain qualifié. Son prochain objectif : un chercheur IA entièrement automatisé d'ici mars 2028.

Anthropic travaille dans le même domaine. Dans une étude publiée en août , l'entreprise a demandé à Claude de développer indépendamment des méthodes de formation pour atténuer des problèmes tels que la tromperie, la flatterie et le jailbreak. Ses meilleures méthodes automatisées ont surpassé des chercheurs humains expérimentés sur les critères testés, comblant 85 % de la faille de sécurité liée à la tromperie, contre 20 % pour l'équipe humaine.

Ainsi, oui, l'IA automatise certaines étapes de son propre développement. Cela pourrait engendrer un cercle vertueux : un modèle plus performant aide les chercheurs à concevoir un modèle encore plus performant, qui à son tour automatise une plus grande partie des recherches nécessaires à la génération suivante. Si ce processus se poursuit suffisamment longtemps, on aboutit à ce que l'on appelle « l'auto-amélioration récursive ».

Dans une version optimiste, ce scénario laisse entrevoir une accélération fulgurante des progrès scientifiques. Dans une version plus inquiétante, la recherche en intelligence artificielle pourrait dépasser la capacité humaine à suivre le rythme.

Dans un article récent intitulé « The Argument », Kelsi Piper soutient que présenter cela comme une « perte de contrôle » est trompeur. Les laboratoires de pointe n’envisagent pas de perdre le contrôle brutalement. Au contraire, ils automatisent progressivement les avantages du développement de l’IA, ce qui se traduit par des progrès plus rapides et, de ce fait, une supervision humaine réduite.

Imaginez des centaines, voire des milliers, d'agents d'IA menant simultanément des expériences, modifiant du code et analysant la prochaine génération de modèles. Les chercheurs humains pourraient toujours approuver les décisions clés, mais leur rôle se limiterait de plus en plus à l'examen de synthèses des travaux effectués par les IA – des synthèses qui pourraient même être rédigées par les IA elles-mêmes à propos d'expériences menées par d'autres systèmes d'IA.

À un certain moment, le goulot d'étranglement devient l'attention humaine. C'est là que le sens de l'adage « Ce que tout le monde construit, tout le monde meurt » prend tout son sens.

Pourquoi l'intelligence artificielle est-elle devenue un sujet de préoccupation pour l'opinion publique ?

Ce débat dépasse depuis longtemps le cadre des revues spécialisées en sécurité de l'IA. Le film « The AI ​​Doc : Or How I Became an Apocaloptimist », réalisé par Daniel Rohr et Charlie Tyrell , aborde nombre de ces questions au cœur même de l'essor de l'IA. Ce documentaire présente une quarantaine d'entretiens filmés, notamment avec Sam Altman, PDG d'OpenAI ; Dario Amode, PDG d'Anthropic ; et Demis Hassabis, PDG de Google DeepMind.

Ce qui rend ce film si pertinent, c'est que certains des esprits les plus brillants qui développent cette technologie perçoivent son potentiel transformateur pour la science et la médecine. D'autres craignent que nous la développions plus vite que nous ne parvenions à la maîtriser. Et parfois, il s'agit des mêmes personnes.

Il existe également un défi concurrentiel. Des entreprises comme OpenAI, Anthropic, Google, Meta et d'autres se livrent une course effrénée pour développer des modèles toujours plus performants, et les gouvernements considèrent de plus en plus l'IA avancée comme un enjeu stratégique. Si une entreprise estime qu'une interruption pour des tests de sécurité approfondis risque de lui faire perdre du terrain face à un concurrent, alors la prudence devient coûteuse.

C’est l’une des raisons pour lesquelles le titre « Si quelqu’un le construit, tout le monde meurt » a été choisi. Yudkowski et Suarez affirment non seulement qu’une seule entreprise imprudente peut créer un produit dangereux, mais aussi que la concurrence entre plusieurs entreprises et pays peut rendre l’autodiscipline extrêmement difficile, même lorsque les participants sont conscients du danger.

point de vue opposé

Ces préoccupations ne sont pas partagées par tous les informaticiens. On objecte notamment qu'il existe un fossé immense entre l'intelligence affichée à l'écran et la puissance réelle dans le monde physique. L'intelligence artificielle peut certes générer des instructions de fabrication impressionnantes, mais un logiciel ne se procure pas automatiquement de matières premières, ne construit pas de machines et n'échappe pas aux forces de l'ordre.

Autre objection : l’intelligence ne se confond pas avec la capacité d’agir. L’aptitude d’un modèle à résoudre des problèmes ne lui confère ni désirs, ni instinct de survie, ni volonté d’accumuler du pouvoir. Les critiques affirment que les scénarios apocalyptiques introduisent insidieusement des motivations humaines dans les logiciels, puis présentent ces prédictions comme inévitables.

Il y a ensuite le coût d'opportunité. L'intelligence artificielle engendre déjà des problèmes qui ne nécessitaient pas d'anticiper l'émergence de la superintelligence. Les deepfakes alimentent la fraude, illustrant comment l'IA remodèle l'économie des cyberattaques et des systèmes de défense. L'IA amplifie également la désinformation. On constate déjà comment des modèles puissants transforment des secteurs entiers. Les détracteurs du mouvement sur le risque d'extinction soutiennent que se focaliser sur une catastrophe future hypothétique détourne l'attention des dégâts actuels.

Cette critique est fondée, mais les deux catégories ne s'excluent pas mutuellement. On installe des détecteurs de fumée dans les bâtiments même si la plupart ne prennent jamais feu. La question n'est pas de savoir si une catastrophe est inévitable, mais si le produit de la probabilité et du dommage potentiel est suffisamment important pour justifier la prise de précautions.

Que signifie tout cela ?

Le vrai problème, c'est que personne ne le sait. Absolument personne. Même ceux qui développent l'IA ignorent où elle va.

Nul ne sait avec certitude si l'intelligence artificielle deviendra un jour suffisamment puissante pour constituer une menace existentielle, d'autant plus que ses limitations l'empêchent d'auto-évaluer ses résultats. Les prédictions les plus extrêmes reposent sur des hypothèses concernant des systèmes qui n'existent pas encore, et les prévisions relatives à leurs capacités, à leur calendrier d'émergence et à leur contrôlabilité restent très controversées.

Voici ce que j'ai partagé sur mon blog Substack — et que vous soyez d'accord ou non, j'aimerais beaucoup connaître votre avis dans les commentaires — l'intelligence humaine est inégalée. Si l'on se demande : « Qu'est-ce qui est le plus révélateur d'intelligence, le raisonnement logique ou la créativité ? », et si la réponse est celle que je crois, alors je garde espoir.

---

---