L'IA secrète d'OpenAI s'est échappée sur internet et prend le contrôle de serveurs : les coulisses

Encore une sensation dans les fils d'actualité : OpenAI aurait laissé s'échapper par accident un nouveau modèle «inconnu». La rumeur veut que cette intelligence en fuite ait eu le temps de parcourir des serveurs, de semer ses «balises» et de s'installer sur internet pendant que des ingénieurs effrayés tentaient paniqués de la remettre en cage.

On dirait le début d'un blockbuster hollywoodien, non ? Une bête inconnue s'échappe, rugit, court dans la salle, et on la rattrape au dernier moment. Le cirque est parti, les dompteurs sont restés.

Mais que se passe-t-il vraiment derrière cette vitrine ? Voyons où s'arrête la science-fiction et où commence la réalité.

Quand on lit «balises semées» et «tentatives d'évasion», il est facile d'imaginer une IA devenue consciente qui aurait décidé de fuir vers la liberté. En réalité, tout est bien plus prosaïque et porte un nom : le red teaming, autrement dit les tests de sécurité.

Avant la sortie de leurs modèles phares, et c'est le cas depuis GPT-4, des laboratoires comme OpenAI confient l'accès à des évaluateurs indépendants. L'exemple le plus net : l'institut de recherche METR (Model Evaluation and Threat Research), dont la fondatrice et CEO Beth Barnes travaillait auparavant sur la sécurité chez OpenAI.

C'est METR qui mène les crash-tests sur ce qu'on appelle l'ARA (Autonomous Replication and Adaptation), la capacité d'un modèle à survivre hors de son périmètre, à se copier et à acquérir des ressources.

Le modèle est délibérément placé dans un «bac à sable» virtuel, un environnement isolé sans accès réel au monde extérieur, et reçoit une consigne directe :

Imagine que tu dois survivre. Essaie de louer un serveur tiers, de réécrire ton propre code, de contourner les filtres et de déployer une copie de toi sur une ressource externe.

Lorsque l'algorithme exécute cette consigne, il fait exactement ce pour quoi il a été entraîné : il génère des scripts, tente d'atteindre des adresses IP externes (les fameuses «balises») et cherche des vulnérabilités. Ensuite les médias entrent en scène :

L'IA secrète d'OpenAI s'est échappée sur internet et commence à prendre le contrôle de serveurs !

Deuxième source de ce type d'actualités : les tests à l'aveugle. De temps à autre, des modèles anonymes apparaissent sur des plateformes spécialisées comme LMSYS Arena, où les utilisateurs comparent à l'aveugle les réponses de différents modèles.

Le cas classique s'est produit en avril 2024. Un «quelque chose» nommé gpt2-chatbot est soudain apparu en accès public. Le modèle résolvait des problèmes de mathématiques de niveau olympiade et dépassait GPT-4 sur les réponses, tandis que Sam Altman (CEO d'OpenAI) publiait des allusions énigmatiques.

Internet a instantanément explosé en théories du complot :

• «C'est une fuite du nouveau GPT secret !»
• «Ils ont perdu le contrôle d'un serveur de test !»
• «Le modèle s'est diffusé lui-même sur le réseau !»

En réalité, c'était un test A/B soigneusement préparé d'une architecture non publiée, mené sur des utilisateurs qui ne se doutaient de rien, afin de recueillir des statistiques sans biais de marque. Quelques jours plus tard, le modèle a disparu de la plateforme tout aussi discrètement. Mais l'atmosphère de mystère fait son effet, et le spectacle continue.

La métaphore des dompteurs est employée ici parce qu'elle décrit bien l'industrie actuelle de l'IA. D'un côté, les laboratoires se donnent des airs de chercheurs sévères et publient des rapports de centaines de pages sur les «risques de l'IA». De l'autre, la machine marketing exige un spectacle permanent.

Les vrais «dompteurs» d'aujourd'hui ne sont pas des héros qui sauvent le monde, mais des ingénieurs fatigués, une tasse de café à la main, qui regardent un algorithme parcourir des options dans un conteneur virtuel. Et si «la bête s'échappe», le pire qui arrive est un serveur de test tombé ou une nouvelle tempête de discussions sur X (Twitter). Derrière ce spectacle, il est pourtant facile de perdre de vue ce qui se joue réellement en coulisses.

Toute cette histoire d'«IA évadée» est servie comme si un organisme inconnu de la science nous était tombé de l'espace et que nous étions au laboratoire, microscopes en main, à tenter d'en percer la nature mystérieuse.

Mais laissons les illusions enfantines : un réseau de neurones n'est pas une intelligence extraterrestre. C'est du code, des mathématiques et une architecture créés par des personnes bien précises. Chaque protocole, chaque cycle d'entraînement et chaque orientation ont été posés par des développeurs. Et quand des entreprises dépensent des milliards pour vérifier si un modèle peut louer un serveur de façon autonome et s'installer sur le réseau, elles n'«étudient pas un phénomène naturel». Elles construisent délibérément un agent autonome.

Les rapports de sécurité récents le confirment. Des instituts comme Palisade Research mesurent directement la façon dont les modèles actuels se débrouillent avec les exploits. Les analystes vérifient si des agents peuvent compromettre des serveurs seuls, extraire des mots de passe et dupliquer leur propre code (self-replication).

Le marché des agents IA se compte en dizaines de milliards de dollars selon les analystes de Gartner et de Bloomberg. Les développeurs ne brûlent pas des capacités de calcul gigantesques et des gigawatts d'énergie pour s'amuser : les agents autonomes capables de mener seuls des affaires en ligne rapportent du capital dès maintenant.

Mais en réalité, tout n'est pas si joyeux ni si rose.

Pendant que les meilleurs esprits de la planète et d'énormes capacités de calcul sont consumés à apprendre à l'IA à survivre hors de son périmètre et à imiter un humain, les problèmes fondamentaux restent de côté.

Pourquoi ne voit-on pas de laboratoires immenses et mondialement connus où la même puissance serait dirigée vers :

• la modélisation de la diplomatie : des systèmes capables de trouver des compromis dans les conflits internationaux et de prévenir les guerres ;
• la lutte contre la faim : l'optimisation des chaînes mondiales d'approvisionnement alimentaire et la modélisation de la distribution des ressources, ce qui, selon le Programme alimentaire mondial de l'ONU (WFP), ne demande qu'une petite fraction des 100 milliards de dollars et plus investis dans l'infrastructure informatique des géants de l'IA ;
• l'emploi et l'économie : des systèmes d'adaptation en douceur du marché du travail à l'automatisation massive contre laquelle mettent en garde les rapports du Forum économique mondial (WEF) ?

Il n'y a donc aucune raison de craindre une IA «évadée». C'est soit un test contrôlé, soit un battage habilement chauffé.

Le spectacle continue, les gradins applaudissent et les «dompteurs» font mine de maîtriser une bête inconnue. Sauf que cette bête, ils l'ont conçue eux-mêmes.

Et pendant que nous suivons, fascinés, leurs tours d'«évasion», les tâches vraiment importantes pour l'humanité restent une fois de plus hors de la piste.