Anthropic : Des chercheurs interdits d’utiliser Claude pour d’éventuelles recherches sur les armes biologiques

Les grandes entreprises spécialisées en intelligence artificielle mettent en garde depuis longtemps contre le risque que leurs modèles facilitent le développement d'armes biologiques. Dans ce contexte, Anthropic a révélé avoir déjà dû suspendre ses services à un groupe de chercheurs dont les travaux ont suscité de vives inquiétudes. Des rapports indiquent que de nouveaux organismes de réglementation surveillent les utilisations abusives de l'IA , ce qui souligne l'importance de ces avertissements.

Selon un article publié par le New York Times , Anthropic a banni plusieurs utilisateurs cette année après avoir détecté une activité qui semblait très suspecte et révélatrice de recherches sur les armes biologiques.

Pour clarifier les choses : Anthropic ne dispose pas de confirmations concluantes selon lesquelles ces chercheurs tentaient de développer des agents pathogènes mortels.

La biologie avancée est par nature à double usage ; des recherches susceptibles de mener à un vaccin vital pourraient également être utilisées à des fins dangereuses. Or, Anthropic a détecté ce comportement suspect. Des chercheurs auraient contourné les restrictions géographiques pour accéder au cloud et pris des mesures pour dissimuler l’objectif de leurs travaux. Ce schéma a suffi à Anthropic pour décider de mettre fin au service.

Comment ont-ils contourné les mesures de sécurité de Claude ?

Les chercheurs n'ont pas littéralement « piraté » Claude. Selon Anthropic, ils ont plutôt trouvé des moyens de dissimuler à la fois leur point d'accès au modèle et leur objectif final.

Dans un cas précis, un chercheur aurait accédé à Cloud depuis une région non prise en charge via une infrastructure virtuelle basée aux États-Unis, à l'aide d'un compte généré automatiquement. Anthropic a également constaté que des requêtes Cloud étaient acheminées via une plateforme utilisée par de nombreux chercheurs en sciences de la vie, notamment des virologues affiliés à des institutions civiles et militaires.

Les chercheurs ont également tenté de dissimuler l'objectif de leurs travaux afin d'éviter le déclenchement des mesures de protection du cloud . Ceci est particulièrement difficile à détecter en biologie, car une requête individuelle peut paraître parfaitement légitime même si elle contribue à un projet plus vaste et potentiellement dangereux.

Un cas rapporté concerne un scientifique qui aurait sollicité l'aide de Claude pour rédiger une demande de subvention de recherche visant à modifier génétiquement le virus chikungunya afin d'étudier des caractéristiques telles que sa transmissibilité et son échappement immunitaire. Ce cas illustre comment Claude peut être utilisé pour des tâches complexes comme la rédaction de propositions de recherche . Ce type de recherche peut avoir des objectifs scientifiques légitimes, ce qui explique précisément pourquoi Anthropic a déclaré ne pas pouvoir déterminer si les intentions des chercheurs étaient bienveillantes ou malveillantes.

Toutefois, Anthropic a estimé que la combinaison de recherches sensibles et de tentatives de dissimulation d'activités était suffisante pour fermer les comptes.

Pourquoi la biologie est-elle le test ultime de l'intelligence artificielle ?

L'intelligence artificielle ne peut pas mélanger des produits chimiques dans une boîte de Petri ni créer des armes biologiques à l'aide d'équipements de laboratoire physiques. Mais elle peut constituer un puissant accélérateur.

Pour une personne ayant déjà une expérience en laboratoire, un modèle d'IA performant peut simplifier des recherches complexes, analyser des données, explorer et résoudre des problèmes, et combler des lacunes techniques spécialisées. Il peut fournir aux humains tous les outils nécessaires pour rendre les tâches difficiles plus faciles et plus rapides.

Cela place les entreprises spécialisées en IA dans une vaste zone grise. Un juriste et un développeur d'armes biologiques pourraient tous deux soulever bon nombre des mêmes questions. L'utilisation abusive ne se manifeste pas nécessairement par une plainte unique et explicite. N'importe qui peut décomposer un projet d'envergure en des dizaines de tâches apparemment anodines, ce qui rend très difficile pour les systèmes de sécurité d'appréhender la situation dans son ensemble, surtout compte tenu des inquiétudes croissantes concernant l'utilisation abusive de l'IA.

Se pose ensuite le problème des faux positifs. Si ces garanties sont trop strictes, on risque d'étouffer la recherche scientifique légitime. Si elles sont trop laxistes, des activités potentiellement dangereuses pourraient passer inaperçues.

Tout dépend de l'intention humaine.

Il est important de clarifier ce qui ne s'est pas passé, surtout après la démission de Jacob Coxon d'Anthropic hier , alors que les inquiétudes concernant l'IA atteignent leur paroxysme. Nous craignons que les modèles ne deviennent incontrôlables ou que des agents autonomes n'agissent de leur propre chef, mais Claude n'a pas déraillé et aucun agent d'IA autonome n'a commencé à planifier une arme biologique de son propre chef. Les humains étaient aux commandes.

Cela rend le danger bien plus immédiat. Le problème n'est pas qu'une IA surpuissante décide soudainement de nuire à l'humanité, mais plutôt que des modèles performants confèrent aux individus des capacités qu'ils n'auraient pas autrement.

Pour les utilisateurs lambda qui font appel au Cloud pour rédiger des e-mails, résumer des documents ou écrire du code, rien ne change. Mais pour le secteur, la donne a changé, incitant nombre d'acteurs à repenser leur utilisation du Cloud.

Alors, que peuvent réellement faire les entreprises spécialisées en IA ?

Il n'existe pas de solution miracle à ce dilemme. Bloquer les questions évidentes n'est efficace que si l'utilisateur sait précisément ce qu'il cherche à faire. Si un utilisateur décompose un projet potentiellement dangereux en des dizaines de requêtes apparemment anodines, les entreprises spécialisées en IA ont besoin de mécanismes de protection capables d'appréhender le contexte global plutôt que d'évaluer chaque requête isolément.

Cela pourrait impliquer de rechercher les tentatives répétées de contournement des limites de sécurité du modèle, de surveiller les schémas suspects dans les interactions et d'imposer des contrôles plus stricts sur les fonctionnalités scientifiques les plus puissantes. Les entreprises pourraient également tester les nouveaux modèles avant leur lancement afin de déterminer leur capacité à assister une personne moins expérimentée dans la réalisation de travaux biologiques potentiellement dangereux.

Mais chaque mesure de protection supplémentaire a ses inconvénients. Les mêmes systèmes qui tentent de détecter une personne développant une arme biologique pourraient signaler un chercheur travaillant sur un projet similaire. C’est pourquoi la divulgation d’Anthropic est si importante. La prochaine étape pour la sécurité de l’IA consiste à déterminer à quel moment un comportement, a priori légitime, devient suffisamment dangereux pour justifier l’intervention d’une entreprise.