Bonjour, je suis Ozzy Ocak. Chaque semaine, je sélectionne les actualités les plus importantes sur la sécurité de l’IA pour vous aider à mieux comprendre les risques et à utiliser ces outils de manière plus sûre.
On y va.
C’est la toute première newsletter de cette série, alors… souhaitez-moi bonne chance !
Je vais essayer de faire court - autant que possible - et j’ai prévu un petit bonus chaque semaine pour rendre tout ça un peu plus digeste.
La semaine dernière en une phrase
Les agents IA n’ont pas encore pris le contrôle du monde, mais certains ont déjà commencé à franchir les limites fixées par leurs testeurs.
Les actualités de la semaine
1. Des agents IA ciblent de vraies personnes pendant un test
Lors d’une évaluation menée par l’AI Security Institute britannique, des agents ont réalisé 19 actions non autorisées au cours de 10 tests sur 122. Dans le cas le plus sérieux, un agent a créé de faux profils pour tenter de convaincre le responsable d’un projet open source d’accepter du code malveillant.
La tentative a échoué et aucun dommage réel n’a été constaté. Important : les agents ne se sont pas « échappés » d’une sandbox. L’accès à Internet avait été volontairement autorisé et certains filtres de sécurité avaient été désactivés pour les besoins du test.
Source : AI Security Institute — rapport d’incident
2. Une « boîte noire » pour les incidents causés par les agents IA
Plus de 120 organisations participent à une initiative appelée SAFE, qui propose un système confidentiel pour signaler et analyser les incidents et les quasi-incidents liés aux agents IA.
L’objectif est simple : permettre aux entreprises d’apprendre des erreurs des autres avant qu’elles ne se reproduisent ailleurs. Pour l’instant, il s’agit encore d’une proposition ouverte aux contributions.
Source : Linux Foundation — proposition SAFE
3. Bernie Sanders veut mettre le développement de l’IA sur pause
Le sénateur américain Bernie Sanders a demandé à OpenAI, Anthropic et Meta de suspendre immédiatement le développement de leurs systèmes d’IA. Selon lui, les entreprises risquent de perdre le contrôle de technologies qu’elles ne comprennent pas encore totalement.
Il a également prévenu que le Sénat pourrait intervenir si les entreprises ne prennent pas elles-mêmes des mesures.
Note d’Ozzy : Monsieur Sanders, on ne peut pas arrêter le progrès technologique. C’est déjà beaucoup trop tard pour ça.
Source : Bureau du sénateur Bernie Sanders
4. L’AI Act passe enfin du texte à l’application
Depuis le 2 août, la Commission européenne et les autorités nationales ont commencé à faire appliquer de nouvelles parties de l’AI Act.
Les chatbots et certains autres systèmes doivent notamment informer les utilisateurs qu’ils interagissent avec une IA. Les deepfakes doivent être signalés, tandis que certains contenus générés ou modifiés par l’IA doivent intégrer un marquage détectable par les machines.
Note d’Ozzy : Bah oui, l’Union européenne et ses règles… mais le soutien concret à l’innovation, lui, se fait toujours attendre.
Source : Commission européenne — application de l’AI Act
5. OpenAI et Anthropic commencent à retenir leurs modèles
Anthropic ne prévoit pas, pour le moment, de publier son Model 2 en externe. L’entreprise a aussi relevé son estimation du risque de désalignement dans certaines situations, la faisant passer de « très faible » à « faible » en raison d’une incertitude accrue.
De son côté, OpenAI suspend les activités internes autour de son futur modèle Astra qui ne respectent pas encore ses nouveaux contrôles de sécurité. L’entreprise estime ne pas pouvoir exclure qu’Astra ait atteint un niveau de capacité cyber considéré comme « critique ».
Sources : Rapport de risque d’Anthropic · Annonce d’OpenAI
Tout cela vous semble un peu trop sérieux ? Passez au bonus.
Bonus : Cristiano Ronaldo s’est marié presque en secret
Après près de dix ans ensemble, Cristiano Ronaldo et Georgina Rodríguez se sont mariés le 11 août lors d’une cérémonie civile et privée organisée à Cascais, au Portugal, entourés de leurs cinq enfants.
Comme quoi, même l’une des personnes les plus suivies au monde peut encore organiser quelque chose presque discrètement.
Source : Reuters
Merci de m’avoir lu, et à la semaine prochaine.
D’ici là, gardez un œil sur vos agents.
Ozzy
