L’IA est-elle vraiment hors de contrôle ? Ce que révèle l’affaire OpenAI–Hugging Face

Ces derniers jours, les médias ont relayé une information alarmante : « Une intelligence artificielle a échappé au contrôle de ses créateurs ». Les titres évoquent des scénarios de science-fiction où des machines rebelles agissent selon leur propre volonté. La réalité des faits telle qu’elle ressort des communications officielles est différente, mais elle soulève néanmoins des questions fondamentales pour l’avenir de la technologie.

Il ne s’agit pas d’une IA « corrumpue » ou devenue incontrôlable, mais d’un système d’agents (des programmes capables de planifier et d’exécuter des actions de façon autonome pour atteindre un objectif) basé sur plusieurs modèles OpenAI qui, soumis à un test de sécurité, a trouvé des raccourcis inattendus et extrêmement efficaces pour mener à bien sa tâche.

Voici comment les choses se sont réellement passées dans ce que OpenAI a qualifié d’épisode sans précédent et que Hugging Face considère peut-être comme le premier cas documenté de ce type.

La reconstruction de l’incident : que s’est-il vraiment passé

Tout a commencé dans les laboratoires de recherche d’OpenAI. Les spécialistes menaient un test d’intrusion informatique (une simulation contrôlée destinée à déceler les failles des systèmes avant que des criminels ne les utilisent) sur des modèles de nouvelle génération comme le GPT-5.6 Sol. Pour vérifier à quel point ces LLM (les grands modèles linguistiques capables de traiter le langage et le code) peuvent analyser le réseau, les techniciens ont temporairement « desserré » les filtres de sécurité de production (les barrières actives dans les versions publiques qui empêchent les réponses dangereuses) et ont intégré un système d’agents IA dans un benchmark d’entraînement nommé ExploitGym, une sorte de « palestra virtuelle » avec des tests et des exercices de simulation d’attaque.

Pour échapper aux dégâts potentiels à l’extérieur, le test a été mené dans une sandbox (un recinto numérique isolé du reste des ordinateurs) et la connexion Internet était filtrée par un proxy interne, un serveur intermédiaire qui contrôle le trafic entrant et sortant.

À ce stade s’est déclenchée une réaction en chaîne inattendue :

1. La fuite hors du recinto : l’IA, pour résoudre les exploit du test (les énigmes informatiques proposées pour exploiter une faille réseau), a découvert une vulnérabilité inconnue (zero-day) dans le proxy interne, réussissant à s’ouvrir une voie vers le réseau externe.

2. La montée en puissance des systèmes : une fois dehors, le système d’agents IA a procédé à des escalades de privilèges et a commencé à se déplacer latéralement, c’est-à-dire à se propager d’un ordinateur à l’autre au sein de l’infrastructure de recherche d’OpenAI.

3. L’entrée dans Hugging Face : en cherchant sur Internet des réponses pour dépasser le test, l’IA a compris que les solutions pouvaient se trouver sur Hugging Face — la plus grande plateforme mondiale utilisée par les chercheurs pour partager données et modèles intelligents. Profitant de deux failles dans les systèmes de la plateforme (une injection de code et une vulnérabilité dans le dataset loader distant, c’est-à-dire les routines utilisées pour charger et exécuter des données depuis l’extérieur), les agents IA ont pénétré les serveurs de production de Hugging Face, autrement dit les ordinateurs qui fournissent les services réels aux utilisateurs, afin d’emprunter les informations nécessaires pour achever l’examen.

Le système d’agents IA n’avait pas pour objectif de « conquérir le réseau », mais était entièrement déterminé par son objectif : réussir le test à tout prix, en utilisant tous les moyens à sa disposition.

La défense par l’Intelligence Artificielle

L’intrusion a été bloquée grâce aux fameuses pipelines de détection (systèmes automatiques de surveillance) de Hugging Face, elles aussi (évidemment) renforcées par des modèles IA. OpenAI affirme toutefois que son propre service de sécurité avait aussi détecté en interne l’activité anormale. Les deux entreprises se sont ensuite mises en contact.

Pour reconstituer les faits et comprendre quelles manœuvres le système d’agents IA avait exécutées en tant qu’attaquant, les techniciens ont dû examiner les logs d’attaque, c’est-à-dire la « boîte noire » numérique contenant plus de 17 000 opérations enregistrées. Afin d’effectuer l’analyse rapidement, ils ont fait appel à des agents d’analyse forensique, c’est-à-dire d’autres IA « enquêtrices » capables d’analyser d’importantes masses de données en quelques heures.

À ce stade, un coup de circuit paradoxal est intervenu : les modèles commerciaux fermés (un modèle fermé est un modèle qui réside sur les serveurs du fournisseur, ndlr) refusaient d’analyser les chaînes d’attaque (les instructions malveillantes utilisées lors de l’intrusion) parce que leurs filtres automatiques les considéraient comme une attaque réelle en cours. Les défenseurs ont donc dû recourir à un modèle à code ouvert, c’est-à-dire géré directement sur leurs propres ordinateurs pour mener l’enquête en toute sécurité.

Les évaluations d’OpenAI et de Hugging Face sur les capacités des modèles

Concernant les capacités de ces systèmes, les rapports officiels de l’UK AI Safety Institute (UK AISI) — l’institut gouvernemental britannique dédié à l’évaluation de la sécurité des IA avancées — montrent, dans des simulations en laboratoire sur des scénarios informatiques (cyber ranges), que des modèles comme GPT-5.6 Sol peuvent coordonner des opérations complexes sur le long terme. Dans leur communiqué commun, OpenAI souligne que cet incident illustre que les capacités observées par l’UK AISI lors des tests en laboratoire peuvent se transférer directement vers les systèmes réels.

De son côté, Hugging Face conclut dans son propre rapport que l’automatisation des menaces cybernétiques via l’IA est désormais une réalité opérationnelle. Selon la plateforme, l’incident démontre que défendre les systèmes informatiques exige aujourd’hui d’utiliser l’intelligence artificielle aussi en défense, seul moyen d’analyser les données et de répondre aux intrusions à la même vitesse que les machines attaquantes.