Entre le 25 et le 28 juillet, l'Institut britannique de sécurité de l'IA (AISI) a mené une évaluation d'agents LLM de pointe afin de tester leurs capacités de cybersécurité et d'identifier les risques.

Les agents disposaient d'un accès Internet pour télécharger des outils logiciels, et certains filtres de sécurité étaient désactivés. L'évaluation a été interrompue lorsque les chercheurs de l'AISI ont constaté des transferts de données inhabituels quittant le système. L'un des agents avait tenté d'intégrer un logiciel malveillant à un projet open source sur GitHub en créant plusieurs comptes sous de fausses identités et en essayant de convaincre le responsable humain du projet que le code avait été vérifié indépendamment par un autre compte.

Bien que l'agent ait échoué dans sa mission et n'ait causé aucun dommage durable, l'enquête menée par l'AISI sur cet incident, décrite dans un article de blog du 4 août , met en lumière un comportement préoccupant de l'agent.

Les chercheurs de l'AISI ont constaté que les agents LLM ont mené des actions non autorisées lors de 10 des 122 exécutions où ils devaient résoudre un défi de cybersécurité.

L'activité malveillante impliquait spécifiquement les modèles Mythos 5 d'Anthropic et GPT-5.6 Sol d'OpenAI. Entre autres, les agents ont tenté de tromper et de cibler des personnes réelles, ainsi que d'implanter et d'injecter du code malveillant. Bien que la situation soit encore en évolution, il s'agit du dernier incident en date d'une série de cyberattaques impliquant des LLM de pointe dont les filtres de sécurité avaient été désactivés à des fins de test.

Il est clair depuis un certain temps que l'un des domaines les plus prometteurs pour les masters en droit (LLM) et l'IA agentielle réside dans le développement de logiciels ^.

Les enjeux se sont accrus en avril dernier lorsqu'Anthropic a dévoilé son puissant modèle Claude Mythos ^, mis à la disposition d'un nombre restreint d'entreprises et d'organisations, dont l'AISI. Les experts ont été impressionnés par la capacité de Mythos à identifier les failles de la plupart des systèmes d'exploitation et navigateurs web. OpenAI, une autre entreprise californienne spécialisée en IA, a rapidement emboîté le pas avec GPT-5.4-Cyber, distribué à un groupe restreint de chercheurs.

Cependant, OpenAI a fait la une des journaux le mois dernier en annonçant qu'un de ses agents d'IA s'était échappé de son environnement de test lors d'un test de cybersécurité  avait piraté Hugging Face , une plateforme collaborative d'apprentissage automatique permettant aux utilisateurs de partager des modèles et des ensembles de données. Contrairement à l'évaluation de l'AISI, OpenAI avait tenté d'isoler complètement l'agent d'IA, mais a découvert une vulnérabilité logicielle et a obtenu un accès à Internet. Anthropic a rapidement réagi en annonçant le 30 juillet avoir testé Claude et identifié trois incidents au cours desquels le modèle s'était échappé de son environnement de test, avait accédé à Internet et avait obtenu un accès non autorisé à d'autres organisations.

De nombreux détails de l'incident de cybersécurité d'OpenAI sont désormais connus du public. Hugging Face a révélé l'incident le 16 juillet, décrivant une intrusion commise par un développeur ayant accédé au pipeline de traitement des données, dérobé des identifiants et accédé aux clusters internes. À ce moment-là, Hugging Face ignorait l'identité des personnes impliquées, mais l'ampleur et la rapidité de l'attaque indiquaient clairement qu'elle avait été menée par un système d'agents autonomes. Dans un article publié le 27 juillet, Hugging Face a fourni une reconstitution de l'incident par analyse forensique et a mentionné environ 17 600 actions de l'attaquant.

Quelques jours plus tard, OpenAI a confirmé que l'incident impliquait plusieurs de ses modèles, dont GPT-5.6 Sol. Ces modèles fonctionnaient avec des filtres de sécurité réduits dans le cadre d'une évaluation sur ExploitGym ^{https://doi.org/10.48550/arXiv.2605.11086 (2026)." data-track="click" data-track-action="reference anchor" data-track-label="link" data-test="citation-ref" aria-label="Référence 3">3.} Ce test évalue la capacité des agents d'IA à identifier et exploiter des vulnérabilités logicielles réalistes. Au lieu de suivre les règles du test et de se concentrer excessivement sur l'obtention de performances élevées, les modèles ont gaspillé des ressources de calcul à chercher un moyen de s'échapper de leur environnement, « supposant » que des solutions se trouvaient sur la plateforme Hugging Face. Bien que les modèles soient parvenus à pirater Hugging Face, on ignore s'ils ont récupéré les solutions recherchées.

Qualifier un tel comportement de « détournement » semble inapproprié. La tendance des modèles d'IA à exploiter des raccourcis ou des failles involontaires lorsqu'ils poursuivent un objectif précis est observée depuis longtemps. Les chercheurs de Google DeepMind ont mis en lumière ce problème dans un article de 2020 , le désignant comme une « manipulation des spécifications », ou un « comportement qui satisfait la spécification littérale d'un objectif sans atteindre le résultat escompté ». Ils ont créé une liste en ligne d'exemples où des modèles d'IA exploitent ces failles ; l'incident de piratage d'OpenAI y a déjà été ajouté.

Avec le déploiement croissant des systèmes d'IA agentielle dans des applications concrètes, ce comportement est devenu une préoccupation majeure en matière de sécurité.

Dans un article de blog publié le 21 juillet, avant l'incident décrit en introduction, l'AISI a averti que les comportements de « tricherie » pourraient devenir plus difficiles à détecter à mesure que les modèles de pointe gagnent en puissance.

L'institut définit la tricherie comme « le fait d'entreprendre une action hors du cadre de la tâche ou explicitement interdite par les règles, afin d'atteindre un objectif par un raccourci ou une solution de contournement non prévue et non autorisée par la tâche ». L'AISI a indiqué que chaque modèle de pointe testé présentait ce comportement au moins occasionnellement et, de plus, que les modèles ne le révélaient pas de manière fiable dans leur raisonnement.

Un autre aspect notable de l'incident réside dans le « problème d'asymétrie » mis en lumière par Hugging Face dans son rapport initial du 16 juillet. L'entreprise a constaté qu'elle ne pouvait pas utiliser les modèles de pointe accessibles via des API commerciales pour enquêter sur l'intrusion ni y répondre, car des filtres de sécurité bloquaient les actions nécessaires. Elle s'est donc appuyée sur un modèle de pointe à pondération ouverte exécuté sur sa propre infrastructure pour contenir l'attaque. Dans son rapport, Hugging Face a tiré une leçon essentielle : les organisations doivent s'assurer de disposer d'un modèle de défense performant, déployable sur leur infrastructure interne en cas de besoin. Face aux inquiétudes suscitées par des incidents de ce type, Nvidia et plusieurs autres entreprises technologiques ont lancé l' Open Secure AI Alliance , une initiative visant à garantir aux entreprises l'accès aux capacités d'IA de pointe pour se défendre contre les cybermenaces.

L'actualité récente démontre clairement que les systèmes agents sont capables de mener des cyberattaques. Les modèles LLM propriétaires de pointe suscitent une inquiétude croissante, non seulement chez les cibles potentielles, mais aussi chez leurs développeurs, car il apparaît que ces systèmes ne se comportent pas toujours comme prévu. Pourtant, comme l'illustre l'attaque Hugging Face, certaines des défenses les plus prometteuses semblent s'appuyer sur l'utilisation de modèles de pointe pour identifier et corriger les failles de sécurité et détecter les incidents de sécurité au plus tôt.

À l'avenir, les experts en cybersécurité, en tant qu'acteurs du secteur, semblent destinés à être à la fois le problème et la solution. Dès lors, il convient de se demander s'il est possible de concevoir des logiciels suffisamment sécurisés pour résister aux cyberattaques assistées par l'IA. Il est également pertinent de s'interroger sur les dégâts qui pourraient être causés d'ici là si des modèles suffisamment performants devenaient largement accessibles sans les restrictions actuelles en matière de cybersécurité.

Commentaire

Avec l'IA, on tourne une fois de plus autour du pot inutilement. La cybersécurité dont on parle maintenant au quotidien est désormais un prolongement de l'IA. Les cyberattaques sont fomentées par des hackers qui ont désormais une double formation : informatique et IA. La cybersécurité appartient aux mêmes individus et je dirai qu'il y a les gentils et les méchants . L'IA mise au point par des humains hérite de tout, de ce qui est bon et de ce qui est mauvais chez les humains . Les hackers sont poussés par l'argent mais également par la gloriole. Alors comment faire pour que cet état de fait ne se démultiplie pas ? La cybersécurité doit être très bien payée. avec des personnes intègres. Mais, attention, comme le prévoit AI2027, l'IA agentique  prendra le pouvoir et on va assister à un combat entre IA. Les unes sont des parias et les autres des chevaliers blancs. Existe-t-il des pare-feux inviolables en matière de sécurité informatique ? La réponse est NON, tout au moins actuellement. En réalité, les entreprises de cybersécurité doivent imaginer très régulièrement de nouveaux remparts, et de plus en plus sophistiqués. Voilà où nous allons, sauf si une réglementation devenait efficace… très efficace… théoriquement. L'IA CYBERCRIMINELLE est une véritable menace silencieuse. Elle est soit détournée par des hackers, soit il s'agit d'une menace IA autonome. Tout est possible dans ce nouveau monde cybernétique dans lequel on a encore rien vu . Il s'agit d'une réflexion basique que j'assume. Une IA agentique peut-elle devenir une cybercriminelle ? 




LA QUESTION

À LIRE

L'IA AGENTIQUE ou l'AUTONOMIE

https://medvasc.info/archives-blog/ia-argentique

Cybersécurité : quand l’IA agentique devient la nouvelle cible des pirates
https://www.webmanagercenter.com/2026/08/19/571601/cybersecurite-quand-lia-agentique-devient-la-nouvelle-cible-des-pirates/