Le bouton « J’accepte » : pourquoi pourrait-il s’agir de l’IA la plus dangereuse pour les entreprises ?

À 2 h du matin, un agent de dépannage automatisé détecte un problème réseau, l'identifie comme une erreur de configuration, vérifie, via un cadre personnalisé, que la solution proposée est compatible avec les limites de la politique définie, puis la corrige. Le réseau se stabilise et personne n'est averti.

Le matin, l'opérateur humain examine les informations quotidiennes de l'agent : un résumé de toutes les modifications apportées, avec des liens vers les enregistrements, les journaux d'audit, la logique et les causes profondes. Il vérifie que tout a été correctement résolu, puis passe à l'étape suivante. C'est le modèle « intervention humaine ».

Dans une autre organisation, à 4 h du matin, un agent de traitement improvisé et développé en interne détecte un problème réseau, l'attribue à une politique mal configurée et le corrige. Le réseau se stabilise et personne n'est averti. Le lendemain matin, un opérateur consulte les journaux, considère le problème résolu et passe à autre chose.

Où réside la différence ?

La différence réside dans le fait que, dans le scénario d'auto-construction, les journaux d'événements ne révèlent qu'une partie de l'histoire. Ils n'indiquent pas que l'agent a effectué trois autres modifications pour parvenir à cette solution, et que ces modifications étaient plus importantes que prévu initialement. De plus, les décisions à l'origine de ces modifications n'ont pas été consignées, car l'agent n'y était pas tenu compte dans le cadre de ses contraintes. Ce manque de transparence du système est au cœur du problème.

Voilà à quoi peut ressembler une transition vers un système « sous contrôle humain » sans mécanismes de contrôle adéquats. Il n’y a pas de transfert brutal des tâches, mais une série de délégations progressives et raisonnables qui s’accumulent pour aboutir à un résultat non consensuel. Ceci souligne l’importance du contrôle humain sur l’avenir de l’intelligence artificielle.

Ce phénomène s'accélère plus vite que la plupart des dirigeants ne le pensent. Selon une étude récente, 57 % des responsables informatiques prévoient de supprimer l'intervention humaine dans le processus de contrôle d'ici un an, voire moins, et 79 % considèrent déjà les agents d'IA comme des « utilisateurs » nécessitant leur propre gestion des identités et leurs propres mécanismes de gouvernance.

Le passage à l'IA par procuration s'opère plus rapidement que la plupart des organisations ne sont préparées, tant en termes de gouvernance que de capacité à évaluer les systèmes autonomes.

C'est le bouton « J'accepte ».

La solution pour une IA autonome a toujours semblé incroyablement simple : conserver un contrôle humain. Une personne vérifie le résultat, clique sur un bouton « approbation » et la responsabilité est ainsi garantie. Mais la réalité est plus complexe. Examiner chaque action ne crée pas automatiquement de responsabilisation et empêche les organisations de tirer pleinement parti de l’autonomie.

Au lieu d'examiner chaque procédure individuellement, les humains devraient se concentrer sur l'évaluation des résultats, s'assurer que le système fonctionne dans les limites prévues et fournir un retour d'information qui améliore ses performances au fil du temps.

L'approbation peut devenir un rituel vide de sens. À mesure que les systèmes prouvent leur fiabilité et que le nombre d'alertes augmente, les humains en viennent parfois à considérer l'intervention comme quelque chose de souvent superflu.

L'approbation peut alors se réduire à un simple clic plutôt qu'à un choix réfléchi. Et lorsqu'un problème survient (par exemple, une politique mal configurée ou un traitement automatisé entraînant une interruption de service), il devient difficile de déterminer les responsabilités.

Cela renforce également un changement plus général : l’une des capacités humaines les plus importantes devient la pensée critique et la vérification des hypothèses, plutôt que l’exécution des tâches.

Il se passe également autre chose. Les humains passent de la phase d'exécution à la phase de lecture avant approbation – un changement fondamental dans le travail quotidien de la plupart d'entre nous.

De plus, l'attribution ne se confond pas avec la source. Un enregistrement décrivant les actions d'un agent d'IA ne vous apprend quasiment rien sur les raisons de ces actions ni sur les facteurs qui ont influencé sa décision. Or, en cas de problème, c'est précisément cette information qu'il vous faut.

Identités non humaines et nouveau paysage du réseau

Lorsque des agents d'IA interagissent avec votre réseau (en interrogeant les systèmes, en modifiant la configuration ou en acheminant le trafic), ils sont considérés comme des utilisateurs à part entière. Ils nécessitent des identifiants, des politiques, des contrôles de sécurité, une interprétabilité et des journaux d'audit, au même titre que les opérateurs humains. Ce besoin de transparence et de responsabilité fait écho aux efforts déployés pour garantir la transparence dans les centres de données dédiés à l'IA.

La plupart des organisations n'ont pas encore intégré cette évolution. Les systèmes d'identification sont conçus pour les personnes, et l'application d'agents d'IA après coup crée précisément le type d'accès furtif que les équipes de sécurité s'efforcent constamment d'éliminer.

Près de 80 % des dirigeants qui utilisent déjà des agents d'IA pour la gestion des identités sont en avance sur leur temps. Les autres accumulent des risques qu'ils ne peuvent évaluer qu'en cas d'incident de sécurité.

Pour ce faire correctement, chaque agent doit être traité comme une entité principale dotée de privilèges définis, d'un accès limité dans le temps, d'une procédure de révocation claire et d'un journal complet ; non seulement de ce qu'il a fait, mais aussi de ce qu'il a été autorisé à faire et pourquoi.

L'indépendance ne se donne pas, elle se gagne.

Les équipes réseau et cybersécurité savent déjà appliquer ce principe. Chaque organisation dispose de cadres de contrôle d'accès qui définissent les ressources accessibles aux utilisateurs et les moments où ils peuvent y accéder. Un jeune ingénieur n'obtient pas un accès complet aux systèmes de production dès son premier jour ; il l'acquiert progressivement. Cette même logique devrait s'appliquer aux agents d'IA.

Nous n'en sommes pas encore là. Trop souvent, l'autonomie est perçue comme une question de tout ou rien, ce qui est une erreur. La confiance ne fonctionne pas ainsi avec les humains, et il en va de même avec l'IA. Les agents d'IA devraient commencer par proposer des solutions, puis démontrer leurs compétences dans un cadre clair et défini avant que leur autorité ne soit étendue. Il est essentiel que chaque décision soit consignée par écrit, expliquant non seulement ce qui s'est passé, mais aussi les raisons qui l'ont motivée.

Avec l'essor de l'IA autonome, les organisations devront trouver un équilibre entre la supervision humaine et une gouvernance systématique. Les humains resteront responsables de l'examen non seulement des résultats de l'IA, mais aussi, le cas échéant, des actions entreprises et de leur justification.

Toutefois, à mesure que l'ampleur et la complexité des décisions autonomes augmentent, cette supervision doit être complétée par une infrastructure intégrant l'identité, l'application des politiques, les capacités de surveillance et la responsabilisation. L'ensemble de ces mécanismes de contrôle contribue à garantir la transparence, la traçabilité et l'alignement des actions de l'IA sur les objectifs organisationnels.

Conception de systèmes multi-agents résistant à la pression

À mesure que ces systèmes gagnent en puissance, les organisations se tournent de plus en plus vers des architectures multi-agents. Dans ces architectures, chaque agent spécialisé gère une partie du flux de travail et transmet le contexte à l'agent suivant. C'est là que résident les complexités.

Le comportement d'un agent isolé peut être retracé en cas d'erreur. Cependant, au sein d'une chaîne d'agents, où chaque action dépend des résultats du précédent, il est beaucoup plus difficile de démêler l'affaire lorsqu'une erreur survient, à moins qu'une structure et une gouvernance adéquates ne soient en place. Il est essentiel de connaître les connaissances de chaque agent, et pas seulement ses actions.

Accomplir les tâches de base

Deux organisations utilisent le même agent réseau basé sur l'IA. L'une a effectué les tâches de base, souvent fastidieuses : la mise en place de permissions d'accès strictes, de contrôles d'identité appropriés et de journaux d'audit fournissant des réponses claires en cas de besoin. L'autre ne l'a pas fait.

Vous ne vous rendrez compte de la différence que lorsqu'un problème surviendra.