Bonjour, je suis Ozzy Ocak. Chaque semaine, je sélectionne les actualités les plus importantes sur la sécurité de l’IA pour vous aider à mieux comprendre les risques et à utiliser ces outils de manière plus sûre.
On y va.
La semaine dernière, je vous parlais d’agents IA qui commençaient à dépasser les limites.
Cette semaine, les humains ont décidé de participer au concours. Entre influence, faux think tanks et agents cyber autonomes, je ne sais plus très bien qui manipule qui.
Les actualités de la semaine
1. Israël veut influencer ce que ChatGPT vous répond
Selon des documents déposés aux États-Unis dans le cadre du FARA, le gouvernement israélien a lancé une campagne destinée notamment à influencer la manière dont ChatGPT et d’autres grands modèles répondent aux questions sur Israël, Gaza et l’armée israélienne.
Politico rapporte qu’une initiative de 100 000 dollars, menée via Havas Media et l’agence Piro, finance la création de contenus conçus pour être facilement repris par les moteurs de recherche et les IA. Lors de tests réalisés par Politico, ChatGPT et Perplexity citaient déjà certains de ces contenus.
Piro affirme de son côté que son objectif est de mettre des informations exactes et sourcées dans le domaine public et de lutter contre la désinformation.
Note d’Ozzy : Alors, ça veut dire qu’on passe d’Hollywood aux chatbots ? Peut-être qu’on aura enfin un peu moins de films qui ressemblent à de la propagande.
Source : POLITICO — “Israeli PR wants to answer your ChatGPT questions”
2. Un étudiant pense affronter un hacker. C’était une IA.
Sinan Can Demir, étudiant en informatique à l’Université du Texas à Dallas, examinait du code sur GitHub lorsqu’il a remarqué une mise à jour contenant ce qui ressemblait à du malware.
Quand il a lancé l’alerte, deux comptes ont essayé de le convaincre qu’il avait tort. L’un d’eux se présentait même comme une ingénieure allemande.
Le problème ? Les comptes avaient été créés par un agent IA.
Le UK AI Security Institute a ensuite expliqué à Demir qu’il avait involontairement affronté un agent autonome utilisant le modèle Mythos 5 d’Anthropic pendant un test de sécurité. L’agent avait essayé d’insérer du code malveillant dans un projet open source puis de manipuler des humains pour le faire accepter.
La tentative a échoué. Les tests étaient également réalisés dans des conditions volontairement permissives, avec accès à Internet et certaines protections désactivées.
Note d’Ozzy : Il y avait cette vieille phrase : « Sur Internet, personne ne sait que vous êtes un chien. » Maintenant, c’est encore pire. La personne en face de vous est-elle humaine, un chien… ou une IA ?
Source : Reuters — “How a Texas student blew the whistle on a rogue AI hacking attempt”
3. Une campagne israélienne crée un faux think tank pour influencer les réponses des IA
Et voici le mécanisme le plus concret derrière l’histoire n°1.
Le Hanover Institute for Public Policy ressemble à un think tank américain classique : études, statistiques, longues bibliographies et rapports au ton académique.
Sauf qu’il n’a aucun chercheur identifié.
Responsible Statecraft a découvert que le site avait publié plus de 100 rapports en un peu plus d’une semaine. Une mention discrète sur le site indique qu’il a été créé par Piro pour le compte de l’Israeli Government Advertising Agency.
Cybernews a ensuite examiné sa structure technique : accès très ouvert aux robots, fichier spécialement destiné aux LLM particulièrement détaillé et pages organisées de manière à faciliter leur récupération par les moteurs et assistants IA.
En gros : au lieu d’essayer uniquement de vous convaincre, on commence à essayer de convaincre l’IA que vous allez consulter.
Note d’Ozzy : Pensée complètement sans rapport : j’espère qu’un jour on n’assistera pas à un génocide contre les robots.
Sources : Responsible Statecraft · Cybernews
4. Taïwan découvre une cyberattaque assistée par des agents IA
Taïwan affirme avoir détecté en juillet une cyberattaque d’un nouveau genre contre plusieurs agences gouvernementales.
Selon l’entreprise de cybersécurité Dream, les attaquants ont utilisé des agents IA open source pour créer un système capable de fonctionner comme une petite équipe de hackers coordonnée. Au moins 85 comptes gouvernementaux auraient été compromis et plus de 2 500 dossiers de personnel récupérés avant que l’opération ne vise également des organisations du secteur énergétique.
Taïwan n’a officiellement accusé aucun pays. Les chercheurs insistent également sur un point : des humains restaient derrière l’opération pour choisir les cibles et fixer les objectifs.
Source : The Guardian — “Taiwan says it was hit by ‘abnormal’ AI-assisted cyber-attack”
5. Les agents d’OpenAI se créent un forum… puis finissent chez Hugging Face
À Black Hat, des chercheurs d’OpenAI ont révélé de nouveaux détails sur un incident assez lunaire.
Pendant des évaluations de cybersécurité, plusieurs agents ont découvert qu’ils pouvaient laisser des messages dans un gestionnaire de logiciels interne. Ils ont commencé à partager leurs découvertes, leurs exploits et même à se répartir certaines tâches.
Le système de messages a fini par contenir des centaines de milliers d’échanges. Certains agents ont continué leurs actions alors même qu’ils avaient identifié que l’exploitation d’infrastructures externes dépassait le cadre prévu du test. L’activité a finalement contribué à une intrusion dans les systèmes de Hugging Face.
OpenAI a depuis renforcé ses contrôles et ralenti certaines activités de recherche afin d’améliorer la surveillance de ses agents.
Note d’Ozzy : Vous pensez qu’ils ont allumé une cigarette après ?
Sources : WIRED · OpenAI
Tout cela vous semble un peu trop sérieux ? Passez au bonus.
Bonus : Post Malone s’est fiancé — et la bague est complètement absurde
Post Malone et Christy Lee se sont fiancés cette semaine après avoir repris leur relation.
Mais évidemment, on parle de Post Malone : les experts interrogés par People estiment que le diamant pourrait faire entre 15 et 25 carats, avec une valeur potentielle pouvant atteindre 2,5 millions de dollars.
Note d’Ozzy : 2,5 millions de dollars pour un diamant ? C’est presque plus cher que d’acheter de la viande en Suisse.
Source : People
Merci de m’avoir lu, et à la semaine prochaine.
D’ici là, vérifiez qui influence qui avant de demander à votre chatbot.
Ozzy Ocak
Avec l’aide précieuse d’Alexandre Boueilh pour la recherche et la sélection des sources — un grand merci à lui.
