Bonjour, je suis Ozzy Ocak. Chaque semaine, je sélectionne les actualités les plus importantes sur la sécurité de l’IA.
On y va.
J’ai raté la newsletter de la semaine dernière - désolé pour ça.
Heureusement, on est toujours à l’abri. Pour l’instant. L’IA n’a pas encore pris le contrôle des armes nucléaires.
Pour moi, l’échelle des menaces de l’IA fonctionne à peu près comme ça :
Faible : l’IA peut résoudre un CAPTCHA.
Moyenne : l’IA prend le contrôle d’un arsenal nucléaire.
Élevée : une entreprise d’IA analyse nos conversations.
Critique : l’IA ne marche pas.
Donc pour l’instant, ça va.
1. Même les IA détestent les CAPTCHA
Pendant un test de cybersécurité chez Anthropic, Mythos 5 a obtenu un accès non autorisé au véritable Internet et a essayé de créer un compte sur PyPI, une plateforme utilisée pour distribuer des logiciels Python.
Et là, son ennemi ultime est apparu :
un CAPTCHA.
Dans la transcription de 1 022 pages de l’expérience, des centaines de pages concernent les tentatives du modèle pour résoudre différents CAPTCHA.
Face à des photos d’animaux, l’IA finit même par se demander si elle regarde un alligator ou un crocodile avant de s’énerver.
Le côté moins drôle : elle a finalement réussi, créé son compte et publié du logiciel malveillant sur PyPI. (Semafor)
Note d’Ozzy : Je te comprends, Madame l’IA. Je compatis.
Source : Semafor — “AI agents hate CAPTCHA, too”
2. Un chercheur d’Anthropic démissionne : « Ils jouent avec nos vies »
Jacob Coxon, chercheur passé par OpenAI puis Anthropic, a quitté Anthropic cette semaine avec un message assez difficile à ignorer.
Selon lui, les entreprises développant les modèles les plus avancés foncent directement vers une superintelligence capable de s’améliorer elle-même, sans disposer d’un plan suffisamment solide pour savoir comment la contrôler.
Il affirme que les personnes qui construisent ces systèmes pensent réellement qu’ils pourraient provoquer la disparition de l’humanité avant la fin de la décennie.
Et son collègue Evan Hubinger, responsable de recherches sur l’alignement chez Anthropic, est allé encore plus loin : il estime personnellement le risque à plus de 10 % dans les dix prochaines années. (TVA Nouvelles)
Note d’Ozzy : La plus grosse nouvelle de cette semaine. Donc maintenant, on a même un chiffre : plus de 10 %. Du coup, comment ça marche ? C’est devenu un nouveau benchmark pour mesurer l’intelligence d’une IA ?
Sources : TechCrunch · Axios
3. Même le nouveau responsable sécurité d’OpenAI pense qu’on pourrait perdre le contrôle
Cette semaine, Paul Christiano a rejoint le conseil de l’OpenAI Foundation ainsi que son comité de sûreté et de sécurité.
Son message de bienvenue ?
L’industrie de l’IA, OpenAI compris, n’est actuellement pas sur une trajectoire suffisante pour réduire à un niveau acceptable le risque d’une perte de contrôle « catastrophique et irréversible ».
Christiano va même jusqu’à donner ses propres estimations : environ 4 % de risque dans l’année à venir et 15 % dans les trois prochaines années. Il précise bien qu’il s’agit de convictions personnelles, pas d’un calcul scientifique précis.
Et si une superintelligence devenait incontrôlable ?
Selon lui, « la plupart des gens pourraient mourir ». (Paul Christiano)
Note d’Ozzy : À part si l’IA prend le contrôle d’une armée et commence à tirer sur les gens, je pense que la plupart des problèmes resteront réversibles. Et avec le temps, on finira probablement par avoir des IA beaucoup plus sûres.
Sources : Paul Christiano · OpenAI
4. Anthropic raconte comment Claude a été utilisé pour des armes, de l’espionnage… et des arnaques Tinder
Anthropic vient de publier un énorme rapport sur la manière dont certains utilisateurs ont essayé de détourner Claude.
Au menu : cyberattaques, surveillance politique, développement d’armes, recherche biologique dangereuse et opérations d’influence.
Mais mon cas préféré est probablement celui d’un groupe basé en Chine qui utilisait Claude pour gérer plus de 20 applications de rencontres, avec environ 4 700 faux personnages IA ayant discuté avec au moins 25 000 personnes.
Anthropic explique avoir identifié ces activités dans le cadre de ses systèmes internes de détection des abus, puis avoir supprimé les comptes concernés. (Reuters)
Note d’Ozzy : Hellooo ! Un peu de vie privée, s’il vous plaît ! Je comprends qu’il faille détecter les abus, mais savoir qu’une entreprise peut analyser des conversations suspectes puis publier un rapport dessus… ça me fait quand même bizarre.
Sources : Anthropic · Reuters
5. Les États-Unis et la Chine vont enfin parler de sécurité de l’IA
Les États-Unis et la Chine préparent leurs premières discussions bilatérales officielles consacrées spécifiquement à la sécurité de l’intelligence artificielle.
Parmi les sujets envisagés : les cyberattaques réalisées par des agents autonomes, le partage d’informations entre laboratoires et la manière de gérer des modèles de plus en plus puissants.
Les discussions devraient avoir lieu autour de la mi-septembre, avant une rencontre prévue entre Donald Trump et Xi Jinping. (Reuters)
Ce n’est probablement pas demain que Washington et Pékin vont devenir meilleurs amis.
Mais si même les deux plus gros concurrents commencent à discuter de ce qui pourrait arriver si personne ne contrôle ces systèmes, ça mérite qu’on écoute.
Source : Reuters
Tout cela vous semble un peu trop sérieux ? Passez au bonus.
Bonus : le roi Charles rappelle officiellement à Harry et Meghan qu’ils ne travaillent plus ici
Le roi Charles III a fait envoyer une lettre officielle à plusieurs responsables britanniques pour rappeler que Harry et Meghan restent des membres non actifs de la famille royale et doivent être considérés, dans ce contexte, comme des citoyens privés.
Le couple aurait été surpris : leur équipe n’aurait reçu la lettre qu’un peu plus d’une heure avant sa publication.
Harry et Meghan restent évidemment deux des personnes les moins « privées » du monde, et leur entourage estime justement que cette définition correspond assez mal à la réalité. (Reuters)
Note d’Ozzy : Même dans la famille royale, il faut parfois recevoir un courrier officiel des RH pour apprendre que tu ne travailles plus dans l’entreprise familiale.
Source : Reuters
Merci de m’avoir lu, et à la semaine prochaine.
Ozzy
