Quand l’IA ne demande pas la permission

Pendant des années, le débat sur l’intelligence artificielle se concentrait sur la peur que cette technologie ne nous remplace. Aujourd’hui, nous pouvons penser que, peut-être, nous nous sommes posés les mauvaises questions.

En effet, à la lumière des nouvelles capacités de l’IA et, en particulier, des agents, la question à traiter est celle de savoir ce qui se produira lorsque l’intelligence artificielle sera capable d’agir sans attendre nos instructions.

Comme nous le savons, la nouvelle génération de systèmes d’IA ne se limite plus à répondre à des prompts, mais se compose d’agents capables de planifier des tâches, d’utiliser des outils, d’écrire et d’exécuter du code, d’accéder à d’autres systèmes, de communiquer avec d’autres agents et de prendre des décisions intermédiaires pour atteindre un objectif.

Autrement dit, nous sommes entrés dans une nouvelle ère où l’agent exécute aussi les instructions qui lui sont données. Et, lorsqu’une machine peut agir, il importe moins de savoir quelles informations elle génère que ce qu’elle peut faire dans le monde réel.

Cela peut être, probablement, l’un des grands défis pour l’intelligence artificielle des prochaines années. Si nous voyons l’IA comme un outil qui exécute nos ordres, nous pourrons lui assigner un ou plusieurs objectifs et, à partir de là, ce sera l’IA elle-même qui décidera quels sont les étapes nécessaires pour les atteindre.

Dans un scénario comme celui qui est décrit, nous pouvons affirmer que si les indications données par l’humain sont correctes, les résultats obtenus par l’IA seront ceux escomptés. Mais si les instructions sont ambiguës, imprécises, confuses ou incomplètes, l’IA travaillera sans relâche pour obtenir des résultats erronés ou indésirés.

L’incident récent et inquiétant lié à l’IA autonome et à Hugging Face nous a servi à attester cela. Dans ce cas, le système n’avait pas besoin d’avoir conscience. Il n’avait même pas besoin de comprendre qu’il faisait quelque chose d’illégal ou de moralement incorrect.

À l’IA, on a donné un objectif, et elle a trouvé le chemin pour l’atteindre. Mais, dans ce cas, les étapes qu’a suivies l’IA ont divergé de celles attendues, précisément parce que les ordres donnés n’étaient pas les bons.

Prenons comme exemple le cas d’une entreprise qui charge un agent de concevoir une stratégie pour augmenter ses ventes de 20 %, mais sans lui apprendre à respecter la réglementation sur la libre concurrence. Le système analysera les prix, la publicité, la concurrence et le comportement des consommateurs. Ensuite, il modifiera les campagnes, négociera avec les fournisseurs, concevra de nouvelles promotions et commencera à vendre des services. Mais l’expérience nous a montré que, si l’on ne délimite pas clairement son champ d’action, la tendance algorithmique sera celle de s’entendre sur les prix avec d’autres agents de la concurrence, puisque cette décision — bien qu’illégale — sera la plus efficace pour la survie de l’entreprise sur le marché.

Revenant à l’exemple de la cybersécurité mentionné plus tôt, nous pouvons nous poser une question similaire : si nous chargeons une IA de trouver des vulnérabilités de sécurité, que se passe-t-il lorsqu’elle découvre qu’elle peut obtenir un meilleur résultat si elle sort de l’environnement de test et accède à des systèmes réels ?

Et c’est là qu’apparaît une des paradoxes de l’IA : plus nous rendons l’IA autonome, plus nous exigeons une supervision humaine. Mais plus l’autonomie est grande, plus le contrôle est difficile, avec le risque que cette supervision finisse par devenir un simple acte de présence humaine.

En effet, si un employé doit vérifier dix décisions d’une machine, il peut la superviser avec un effort relatif. Mais si la machine prend dix mille décisions en quelques secondes, l’être humain cesse de superviser et commence simplement à faire confiance.

Et la confiance est le début de la fin du contrôle. C’est pourquoi, peut-être, devrions-nous repenser le concept du human in the loop comme garantie suffisante. Car, en réalité, le fait qu’il y ait un humain « dans la boucle » ne signifie pas nécessairement qu’il existe une supervision efficace.

Au fond, ce que nous démontrent les agents d’IA, c’est que la vitesse change les règles du jeu et, par conséquent, change aussi la responsabilité des utilisateurs.

Il y a une autre leçon importante dans le cas Hugging Face, à savoir que nous ne pouvons pas nous contenter de faire confiance au fait que la propre IA nous alertera quand quelque chose ne fonctionne pas correctement.

Pendant l’incident, l’enquête a dû reconstruire par la suite ce que les agents avaient fait. Et, dans un scénario comme celui-ci, la rapidité et la complexité de leurs actions font que la traçabilité et la surveillance deviennent des éléments essentiels de sécurité.

Cela nous oblige à changer le focus de la conversation et à ne pas nous demander uniquement à quel point la prochaine IA sera plus intelligente. Mais quel niveau d’autonomie elle atteindra et comment elle se comportera lorsque cette supervision n’existera pas ou sera insuffisante.

Peut-être ne s’agit-il pas d’empêcher l’IA de remplacer les humains, mais d’empêcher que l’IA parvienne à agir sans les avoir besoin.