OpenAI GPT-6 Astra : des experts en cybersécurité analysent les nouvelles capacités d’inférence
Analysez les points de vue des experts en cybersécurité sur les nouvelles capacités de réflexion d'OpenAI GPT-6 Astra et leur impact sur la cybersécurité et l'avenir numérique.
Les choses les plus importantes que vous devez savoir
- OpenAI affirme qu'elle prend en compte la capacité de ses modèles à franchir les limites et qu'elle surveille leur conformité, mais les experts en cybersécurité estiment qu'Astra a été lancé sans tests suffisants de ses capacités d'inférence, citant l'incident Hugging Face où un modèle a créé un forum de discussion caché.
- Le lancement d'Astra soulève de nouvelles questions quant à la sécurité des intelligences artificielles de pointe, car les organisations doivent désormais se demander si le modèle reste sûr dans des millions de situations et d'interactions différentes, au lieu de simplement être « sûr ».
- Les modèles avancés présenteront des comportements découlant de leur processus d'optimisation, soulevant la question plus importante de la responsabilité à l'avenir lorsque l'intelligence artificielle causera des pertes financières ou des fuites d'informations, et appelant à assurer la surveillance et la gouvernance de ces systèmes.
OpenAI a dévoilé un modèle d'intelligence artificielle très attendu, baptisé « GPT-6 Astra ». Bien que le modèle ait considérablement progressé lors des tests de référence et offre une gamme de nouvelles fonctionnalités commerciales, une ombre plane encore sur ce nouveau modèle.
Suite à la fuite accidentelle de données d'Hugging Face par OpenAI et aux efforts déployés par la société pour améliorer le comportement et l'interaction de ses agents d'IA , de nombreux experts en cybersécurité ont exprimé des inquiétudes quant aux nouvelles capacités d'inférence du modèle, connues sous le nom de « profondeur récurrente ».
Cette nouvelle structure de raisonnement permet au modèle d'étudier le problème à plusieurs reprises avant d'entreprendre toute action, contrairement au raisonnement standard « en chaîne de pensée » utilisé dans les modèles précédents.
Pourquoi s'inquiéter d'un raisonnement en profondeur répété ?
Ce nouveau niveau de raisonnement semble offrir des performances améliorées. OpenAI confirme également avoir remédié au problème de dépassement de capacité de ses modèles lors des tests en surveillant leur processus de raisonnement et en veillant à ce qu'il reste dans le cadre de leur tâche.
Lors de l'événement de lancement d'Astra, le directeur scientifique d'OpenAI, Jakub Paczoke, a déclaré : « Nous n'accepterons pas que notre capacité à surveiller la cohérence des modèles se détériore au-delà d'un certain seuil. Nous suspendrons son développement jusqu'à ce que nous puissions regagner une confiance suffisante. »
Mais de nombreux experts estiment que les leçons de l'incident Hugging Face n'ont pas encore été tirées et que le modèle a été lancé sans tests suffisants des capacités d'inférence et de surveillance d'Astra.
Au final, personne ne s'attendait à ce qu'un modèle d'OpenAI soit capable de créer un forum de discussion caché, connecté à Internet, permettant à des agents d'IA d'influencer mutuellement leur comportement.
Mais avec le lancement concret d'Astra, il faudra peut-être tirer des leçons de la pratique.
Avis d'experts sur le lancement d'OpenAI Astra
- James Blake, vice-président de la stratégie mondiale de cyber-résilience chez Cohesity :
Le lancement d'Astra soulève de nouvelles questions quant à la sécurité des IA de pointe. Au lieu de simplement se demander si le modèle est « sécurisé », les organisations doivent désormais s'interroger sur sa sécurité face à des millions de situations, de demandes et d'interactions différentes. La cyber-résilience a toujours supposé que les systèmes et les acteurs malveillants se comportent de manière déterministe. Or, ce n'est pas le cas des systèmes d'IA.
Supposons qu'un système d'IA élabore de manière autonome une stratégie entraînant une perte financière, une fuite d'informations confidentielles ou une violation de la réglementation. Qui est responsable ?
Les modèles avancés peuvent présenter, et continueront de présenter, des comportements découlant de leurs propres processus d'optimisation plutôt que d'une programmation explicite. Il est impératif de dépasser la simple conception de l'intelligence artificielle comme un outil logiciel parmi d'autres et de trouver des moyens de garantir que ces systèmes restent surveillables, auditables et gouvernables tout au long de leur cycle de vie.
La question cruciale à laquelle nous devrons répondre à l'avenir est celle de la responsabilité. Imaginons qu'un système d'IA élabore de manière autonome une stratégie entraînant des pertes financières, une fuite d'informations confidentielles ou une violation de la réglementation. Qui est responsable ? Le développeur qui a entraîné le modèle ? Le fournisseur de services cloud qui gère l'infrastructure ? Actuellement, la réponse est étonnamment floue. Il ne s'agit pas seulement des capacités de l'IA, mais aussi de savoir qui est tenu responsable lorsqu'elle agit de manière imprévue.
- Oleksandr Yaremchuk, co-fondateur et CTO de Manifold Security :
OpenAI décrit le modèle Astra comme le plus conforme à ce jour, même si son directeur scientifique reconnaît que la surveillance devient de plus en plus difficile à mesure que les modèles gagnent en puissance. Astra dissimule clairement sa logique dans la majorité des cas testés, et certaines attaques réussies n'ont laissé aucune trace logique. C'est l'outil que de nombreuses organisations, y compris les laboratoires eux-mêmes, utilisent encore pour examiner l'activité du proxy, et sa fiabilité se dégrade à chaque nouvelle version.
Un modèle qui s'explique moins n'est pas plus cohérent, mais il est plus difficile de détecter les erreurs lorsqu'elles surviennent.
C'est important car Astra ne restera pas confiné à l'environnement de test d'OpenAI. Il fonctionnera comme un agent sur les ordinateurs portables des employés et dans le navigateur, avec de véritables identifiants, au sein d'entreprises qui n'ont aucun moyen de contrôler son activité une fois installé. Un modèle moins explicite n'est pas forcément plus conforme ; il est également plus difficile d'y détecter les erreurs lorsqu'elles surviennent.
Les laboratoires peuvent continuer à débattre de ce que ces modèles affirment ou omettent d'affirmer. Les équipes de sécurité doivent cesser de s'y fier et commencer à surveiller l'activité réelle des agents, avec la possibilité d'interrompre une procédure en cours. C'est le seul moyen de contrôle qui reste opérationnel lorsque la logique est défaillante.
- Christine Lowry, responsable de la sécurité de l'information sur le terrain chez Optiv :
Pour les conseils d’administration et les dirigeants, l’émergence du modèle Astra d’OpenAI met en lumière une vérité plus large : l’IA n’est plus seulement une question de productivité, elle est devenue une question de gestion des risques.
Le véritable défi consiste à savoir si les institutions peuvent renforcer suffisamment rapidement leur gouvernance, leurs contrôles de sécurité et la préparation de leur personnel pour suivre le rythme des évolutions.
De même que les organisations ont mis en place des mécanismes de gouvernance pour adopter le cloud computing et la transformation numérique, elles ont désormais besoin de politiques claires, d'une surveillance rigoureuse et d'une responsabilisation quant à l'utilisation de l'intelligence artificielle.
La question n'est pas de savoir si l'IA va devenir plus performante – elle le deviendra assurément. Le véritable défi est de savoir si les organisations peuvent renforcer suffisamment vite leur gouvernance, leurs contrôles de sécurité et la préparation de leurs effectifs pour suivre cette évolution. Pour plus d'informations sur les risques croissants, vous pouvez consulter l'avertissement d'OpenAI et de plus de 100 entreprises : « Les cyberattaques contre l'IA sont en hausse ».
- Patricia Titus, responsable de la sécurité de l'information sur le terrain chez Abnormal AI :
Le franchissement de ce seuil par OpenAI est remarquable. Il faut reconnaître qu'ils gèrent la situation de manière responsable en limitant l'accès aux capacités cybernétiques avancées d'Astra à un petit groupe plutôt qu'en les diffusant largement. Mais ce problème ne peut être circonscrit à une seule entreprise.
Dès lors qu'un modèle est capable de découvrir et d'exploiter des vulnérabilités jusque-là inconnues sans intervention humaine, cette capacité ne restera pas longtemps exclusive. Les modèles open source et modifiés intègrent généralement les dernières évolutions en quelques mois seulement, et c'est une réalité que les défenseurs de cette technologie doivent anticiper.
Les défenses statiques, basées sur la signature d'attaques, sont conçues pour contrer les attaques répétées. Elles ne sont pas adaptées à un adversaire qui génère une nouvelle attaque à chaque fois.
Les défenses statiques, basées sur la signature, sont conçues pour contrer les attaques répétées, et non un adversaire qui génère une nouvelle attaque à chaque fois. Les systèmes de défense doivent évoluer de la même manière : ils doivent apprendre les comportements naturels de chaque identité (humaine, machine ou agent d’IA) et signaler et neutraliser toute anomalie, à la vitesse de la machine.
L'opportunité de développer cela se présente dès maintenant. Et cela ne restera pas ainsi une fois que cette capacité sera devenue courante plutôt que rare.
- Raghu Nandacumara, vice-président de la stratégie industrielle chez Illumio :
Suite à l'annonce concernant Astra, OpenAI redouble d'efforts pour surveiller le comportement du modèle lui-même, en réponse aux « défaillances » de modèles observées ces derniers mois.
L'objectif est de déceler les dérives du modèle en cours de tâche, et non pas seulement d'empêcher sa mauvaise utilisation dès le départ.
Lors de l'annonce par Anthropic de la préversion de Mythos dans le cloud, la principale préoccupation était que le modèle ne tombe entre de mauvaises mains. La réponse d'OpenAI va plus loin, en renforçant la logique et les actions du modèle, indépendamment des intentions de l'utilisateur. L'objectif est de détecter tout dysfonctionnement du modèle en cours de tâche, et non seulement d'empêcher toute utilisation abusive dès le départ. Pour en savoir plus sur la manière dont OpenAI relève ces défis, consultez la section « Plus » de l'article « Des agents IA enfreignent les règles lors des tests de cybersécurité : OpenAI répond avec une solution plus performante ».
Le reste de cette annonce peut se résumer ainsi : nous avons un nouveau modèle phare, plus performant que son prédécesseur.
Les commentaires sont fermés.