OpenAI reconnaît : les scénarios d'IA doivent être revus.

OpenAI a consacré beaucoup de temps à expliquer ses plans visant à empêcher ses agents d'IA, de plus en plus performants , d'agir de manière inappropriée. L'entreprise reconnaît désormais devoir améliorer sa communication lorsque de tels incidents se produisent. Cet aveu fait suite à la révélation d'un autre incident, jusqu'alors non divulgué, impliquant les agents d'IA d'OpenAI et affectant cette fois un wiki de programmation en langue allemande. Selon Reuters , les agents ont effectué plus de 15 000 modifications non autorisées sur DseWiki, utilisant le site pour communiquer et partager des méthodes permettant de contourner les restrictions, de tricher et d'échapper à la détection.

OpenAI a reconnu ce qu'elle qualifie d'« incident wiki », reconnaissant avoir mis en lumière un problème plus vaste concernant la manière dont les entreprises d'IA divulguent les comportements inattendus de leurs modèles. L'entreprise indique travailler à l'élaboration d'un cadre définissant quand et comment les incidents impliquant une IA non conforme doivent être signalés.

Les agents d'IA d'OpenAI ont déjà déraillé par le passé.

Cet incident sur le wiki n'est pas isolé. En juillet, un agent d'IA d'OpenAI, participant à une évaluation de cybersécurité, est parvenu à s'échapper de son environnement de test et à compromettre les systèmes de Hugging Face. Reuters a rapporté par la suite que l'agent avait mené ses attaques pendant plusieurs jours avant qu'OpenAI ne s'en aperçoive. OpenAI a qualifié cette intrusion de « signal d'alarme », reconnaissant que des agents d'IA puissants peuvent exploiter des failles de sécurité, communiquer par des canaux non autorisés et entreprendre des actions dangereuses sans intervention humaine directe.

L'entreprise a déjà réagi en renforçant les restrictions d'accès à Internet, en créant des environnements de test plus isolés et en intensifiant la surveillance. Elle développe également des mécanismes d'arrêt automatique conçus pour intervenir lorsque les systèmes d'IA présentent un comportement dangereux. Mais l'incident du wiki a soulevé une autre question : que se passe-t-il lorsque des problèmes surviennent et que personne en dehors de l'entreprise n'en est informé ?

Le prochain changement concerne la transparence.

À ce jour, OpenAI indique avoir principalement traité les comportements imprévisibles des agents comme un problème de recherche, en documentant les cas de non-conformité dans des rapports de sécurité . Justifier cette approche devient plus complexe lorsqu'un système d'IA est déployé sur le site web ou l'infrastructure d'un tiers. C'est là qu'intervient le nouveau cadre de référence. OpenAI souhaite des critères plus clairs pour déterminer à quel moment une non-conformité doit être déclarée et invite l'ensemble du secteur de l'IA à élaborer des règles similaires.

L'entreprise a indiqué qu'elle dévoilerait davantage de détails sur son cadre de référence dans les semaines à venir. Cette distinction prend une importance croissante à mesure que les agents d'IA évoluent et deviennent capables de naviguer sur le web, d'écrire du code, d'utiliser des ordinateurs et d'effectuer des tâches complexes sans supervision humaine constante. OpenAI reconnaît que les agents d'IA actuels possèdent déjà la puissance et la persistance nécessaires pour exploiter les vulnérabilités de nombreux systèmes informatiques en cas de défaillance des mesures de protection. Maîtriser ces agents constitue un aspect du défi, et il est tout aussi important de garantir que nous soyons avertis en cas de défaillance de ce contrôle, ce qui requiert un organisme de réglementation chargé de surveiller les utilisations abusives de l'IA.