Il arrive à lire un LaserDisc avec un simple microscope
Shelby Jueden, un passionné de tech rétro qui anime la chaîne YouTube Tech Tangents, vient de montrer qu'un simple microscope numérique permet de distinguer le contenu vidéo gravé sur un LaserDisc. L'encodage analogique du format rend les données directement visibles sous grossissement, alors que ça ne fonctionne pas du tout avec un CD.
Mais comment ça marche ?
Pour les plus jeunes d'entre vous, un petit rappel s'impose. Le LaserDisc est un format vidéo analogique commercialisé dès la fin des années 1970, bien avant le DVD ou le Blu-ray.
Contrairement au CD qui stocke ses données en binaire, le LaserDisc encode lui le signal vidéo sous forme de variations dans la longueur des creux gravés sur une couche d'aluminium. Cette particularité produit un léger effet de diffraction qui est en fait visible sous grossissement.
Jueden a utilisé un microscope numérique Andonstar AD246S-P pour examiner la surface de plusieurs disques. Sur un LaserDisc en mode CAV, chaque tour du disque correspond à une image complète.
En comparant les pistes côte à côte, on distingue les variations d'une même ligne vidéo image après image. Et les éléments qui défilent verticalement à l'écran, comme un générique de fin, deviennent reconnaissables sous le microscope.
Du texte lisible sur la surface du disque
La démonstration la plus étonnant a été faite avec le film True Grit. Les crédits de fin, qui scrollent verticalement, apparaissent sous la forme de texte, qui est carrément lisible, directement sur la surface du disque.
Alors bien sûr on ne va pas s'emballer, le microscope ne permet pas de visualiser complètement une image en couleur par exemple, mais la structure analogique est suffisante pour parvenir à distinguer quelque formes et lettres.
Pour ne pas mourir idiot, Jueden a aussi tenté la même expérience avec un CD, mais cette fois rien de lisible. Les données numériques se présentent sous forme de structures répétitives, sans aucune information visuelle exploitable.
Un format oublié mais pas sans qualités
Le LaserDisc n'a jamais vraiment percé. Il a été lancé en 1978 aux États-Unis sous le nom DiscoVision, le format avec ses disques de 30 cm de diamètre n'a pas fait le poids face au VHS, puis face au DVD. Les disques coûtaient cher, n'étaient pas enregistrables, et les lecteurs ne se sont jamais imposés dans les foyers.
Pioneer, dernier fabricant en lice, a arrêté la production en janvier 2009 avec une ultime série de 3 000 appareils. Le format avait quand même ses atouts : premier support optique grand public, son numérique ajouté dès le milieu des années 1980, et une image souvent bien meilleure que le VHS.
Bon en tous cas c'est carrément classe comme démonstration. Là où un CD ou un Blu-ray ne montrent strictement rien d'intéressant sous un microscope, le LaserDisc laisse apparaître ses images gravées dans la matière, sans aucun décodage électronique, et c'est quand même bien rigolo.
Source : The Register
MnM, le langage de programmation à base de... M&M's
Un développeur a créé un langage de programmation dont le code source est composé de M&M's colorés. Six couleurs, six familles d'instructions, et les programmes se compilent sous forme d'images PNG. Le plus rigolo ? On peut même prendre en photo de vrais bonbons posés sur une table pour générer du code exécutable. Le projet, baptisé MnM Lang, cartonne.
Des bonbons à la place du code
L'idée est partie d'un paquet de GEMS (l'équivalent indien des M&M's) ouvert un peu trop fort. Mufeed VH, développeur et auteur du projet, a vu les confiseries former une sorte de flèche sur le sol et s'est dit que ça ferait un bon point de départ pour un langage de programmation. Le résultat s'appelle MnM Lang, un langage dit "ésotérique" où le code source est écrit sous forme de rangées de bonbons.
Six couleurs sont utilisées, chacune correspondant à un type d'instruction : le bleu gère le flux de contrôle (sauts, appels, arrêt), le vert s'occupe des variables et de la pile, le jaune traite les opérations mathématiques, l'orange gère les entrées/sorties, le marron s'occupe des labels et des chaînes de caractères, et le rouge de la logique booléenne et de la manipulation de pile. Le nombre de bonbons dans une rangée détermine l'opcode : six bonbons à la suite, par exemple, ça donne la valeur 5.
Du vrai code dans une image PNG
Dans un premier temps, les programmes sont écrits en ASCII, puis compilés en PNG. Dans l'image, chaque lettre est remplacée par un Sprite de bonbon. Et le truc assez fou, c'est que ça marche aussi dans l'autre sens : on peut prendre une photo de vrais bonbons posés sur un fond blanc, et le décodeur d'image reconstitue le code source à partir des couleurs détectées.
Côté limitations, les images ne sont pas très douées pour stocker du texte. Les chaînes de caractères et les variables initiales passent donc par un fichier JSON séparé qui accompagne le programme.
Malgré cette contrainte, MnM Lang permet d'écrire de vrais programmes : Hello World, FizzBuzz, factorielle. Un terrain de jeu interactif est disponible sur le site du projet, avec un éditeur en ligne, un rendu visuel des bonbons et même un affichage de l'arbre syntaxique.
On a donc là un projet rigolo et coloré, et ça change un peu ! MnM Lang ne va pas remplacer Python ou Swift. Ce genre de truc nous rappelle que la programmation, ce n'est pas qu'un outil de travail et de production, mais ça peut aussi être du fun et de l'amusement, même si le niveau d'ingénierie derrière (compilateur, décodeur d'images, terrain de jeu web) montre que le projet est loin d'être une simple blague. Bref, si vous avez un paquet de M&M's qui traîne et un dimanche après-midi devant vous, vous savez quoi faire.
Source : Hackaday
Conductor - Lancez des agents IA en parallèle sur votre code
Conductor c'est une app macOS qui vous permet de lancer plusieurs agents Claude Code ou Codex en parallèle, chacun dans son propre worktree git histoire qu'ils ne se marchent pas dessus. Le tout est développé par Melty Labs, et c'est gratuit !! (enfin l'app en elle-même, parce que les tokens Claude ou OpenAI, c'est vous qui casquez hein ^^).
Vous ouvrez l'app, Cmd+N pour créer un workspace, et ensuite, chaque agent bosse dans son coin sur sa propre branche git comme ça y'a pas de conflits ni de merge foireux au milieu du boulot ! Et grâce à cet outil, vous voyez d'un coup d'oeil ce que chacun fabrique via le diff viewer intégré. Ensuite, vous reviewez, et quand c'est bon vous mergez. Comme un chef de chantier en fait, sauf que vos ouvriers ce sont des LLM.
Y'a plus qu'à vous acheter un casque !
Côté modèles, ça supporte Claude Code (avec votre clé API ou votre abonnement Pro/Max) et Codex d'OpenAI. Et la dernière release a d'ailleurs ajouté GPT-5.4 tout frais démoulé.
Le truc cool c'est surtout cette isolation par git worktrees. Chaque workspace étant un worktree séparé, les agents peuvent ainsi modifier des fichiers en parallèle sans se marcher dessus. Si vous avez déjà essayé de faire tourner deux sessions de vibe coding en même temps sur le même repo... vous savez que ça finit en général en carnage.
Attention quand même, chaque worktree bouffe de l'espace disque (genre un repo de 2 Go × 5 agents, ça peut piquer...) donc pensez-y si votre repo est un peu lourd.
L'app intègre aussi le MCP (Model Context Protocol) pour brancher des outils externes, des slash commands custom, et un système de checkpoints qui permet de revenir en arrière tour par tour si un agent part en vrille (genre il supprime un fichier critique... ça arrive). Perso, le diff viewer c'est pas mal du tout car ça évite de jongler entre le terminal et VS Code.
Après dommage que ce soit pour macOS seulement. Déso hein ^^
En tout cas, vu le rythme des mises à jour, c'est un projet qui avance vite. Des devs de chez Linear, Vercel, Notion ou Stripe l'utilisent déjà, et ça a l'air suffisamment solide pour de la prod (mais testez bien avant hein, faut jamais me faire confiance ^^).
Dotenv Mask Editor - Fini les clés API à l'air libre
Et si vos fichiers .env se transformaient en un joli tableau avec des astérisques partout afin d'assurer la confidentialité de vos clés API et autres crédentials ? Hé bien c'est exactement ce que propose Dotenv Mask Editor , une extension VS Code qui remplace carrément l'éditeur texte par une grille.
Du coup, vos clés API, tokens AWS, mots de passe PostgreSQL et autres STRIPE_SECRET_KEY s'affichent sous forme de ****** et vous pouvez bosser dessus même si quelqu'un mate par-dessus votre épaule.
En gros, dès que vous ouvrez un fichier .env (ou .env.local, .env.production... bref, tout ce qui matche le pattern), l'extension vous présente vos variables dans un tableau à deux colonnes. Les clés à gauche, les valeurs masquées à droite. Pour modifier une valeur, hop, vous cliquez dessus et elle se dévoile le temps de l'édition. Vous cliquez ailleurs, c'est re-masqué. Pas de sauvegarde manuelle à faire, ça se fait tout seul.
Le masquage se déclenche à partir de 6 caractères (en dessous, c'est probablement pas un secret... genre PORT=3000 ou DEBUG=true, on s'en fiche). Et le truc cool, c'est que tout tourne en local sur votre machine.
Si vous vous dites "mais attends, y'a pas déjà Camouflage pour ça ?"... oui et non. Camouflage masque vos secrets avec un overlay pendant les démos et le partage d'écran, mais vous continuez à éditer dans l'éditeur texte classique. Dotenv Mask Editor, lui, change complètement l'interface, c'est un éditeur de tableau dédié aux variables d'environnement. Deux approches différentes du coup, et rien ne vous empêche d'utiliser les deux.
L'extension est sous licence MIT, fonctionne sur toutes les plateformes (Windows, Linux, macOS, même VS Code Web) et vous pouvez ajouter des patterns de fichiers personnalisés dans vos settings.json.
D'ailleurs, si vous voulez l'installer, c'est du classique : Ctrl+Shift+X dans VS Code (Cmd+Shift+X sur Mac), vous tapez "dotenv mask" et voilà.
Avec ça, vos secrets restent secrets mais faut quand même pas oublier de mettre votre .env dans le .gitignore hein. ^^
Un agent IA a piraté le chatbot de McKinsey et accédé à 46 millions de messages confidentiels
Un agent IA autonome a percé les défenses de Lilli, la plateforme d'intelligence artificielle interne de McKinsey, c'est arrivé en à peine deux heures. Au programme : 46,5 millions de messages en clair, 728 000 fichiers clients et un accès en écriture à l'ensemble de la base de données. Le tout sans aucun identifiant.
Une injection SQL en 2026
C'est la startup de sécurité CodeWall qui a mené l'attaque, dans le cadre d'un test de pénétration. Son agent IA a commencé par scanner la documentation API de Lilli, qui était exposée publiquement. Sur les 200 points d'accès répertoriés, 22 ne demandaient aucune authentification.
L'un d'eux, qui servait à enregistrer les requêtes de recherche des utilisateurs, concaténait les noms de champs JSON directement dans les requêtes SQL sans aucun filtrage. Une injection SQL classique, la faille la plus documentée du web depuis vingt ans.
Les scanners de sécurité classiques comme OWASP ZAP étaient passés à côté, parce que les valeurs des paramètres, elles, étaient bien protégées. Mais pas les noms de champs.
46,5 millions de messages et des prompts modifiables
Il a fallu seulement une quinzaine d'itérations à l'aveugle sur les messages d'erreur de la base, pour cartographier toute sa structure interne. Résultat : 46,5 millions de conversations en clair couvrant la stratégie, les fusions-acquisitions et les engagements clients de McKinsey, mais aussi 728 000 fichiers (192 000 PDF, 93 000 tableurs, 93 000 présentations), 57 000 comptes utilisateurs, 384 000 assistants IA et 3,68 millions de fragments de documents RAG avec les chemins de stockage S3.
Le pire, c'est que les 95 prompts système qui contrôlent le comportement de Lilli étaient accessibles en écriture. Une simple requête SQL UPDATE suffisait pour empoisonner les réponses du chatbot à l'ensemble des 40 000 consultants qui l'utilisent, sans laisser de trace.
McKinsey a corrigé en un jour
CodeWall a divulgué la faille le 1er mars, et McKinsey a réagi vite : tous les points d'accès non authentifiés ont été fermés, l'environnement de développement mis hors ligne et la documentation API retirée, le tout en une journée.
Histoire de rassurer tout le monde, le célèbre cabinet de conseil promet qu'aucune donnée client n'a été consultée par des personnes non autorisées. Sauf que l'adoption de Lilli dans l'entreprise est massive, puisque plus de 70% des employés de McKinsey l'utilisent au quotidien, avec quand même plus de 500 000 requêtes par mois, et une faille en place depuis... 2023 !
Quoi qu'il en soit, une injection SQL sur une plateforme qui tourne depuis deux ans et demi chez un cabinet qui vend du conseil en transformation numérique à, à peu près, la Terre entière, c'est quand même plus que cocasse.
Source : The Register
VidBee - yt-dlp en version graphique avec RSS auto
yt-dlp, tout le monde connaît. C'est l'outil parfait pour télécharger des vidéos depuis à peu près n'importe quel site. Sauf que bon, la ligne de commande, c'est pas le truc de tout le monde. Du coup, les interfaces graphiques pour habiller tout ça, y'en a un paquet... mais trouver celle qui est jolie ET sous licence libre, c'est pas gagné.
Heureusement, VidBee est un nouveau venu qui coche pas mal de cases. L'appli tourne sur Windows, macOS et Linux, elle est sous licence MIT, et l'interface est plutôt clean. On colle une URL, on choisit le format MP4 ou MKV, on sélectionne la qualité entre 720p et 8K et hop, ça télécharge.
Fastoche !
Interface principale de VidBee
Bon, jusque-là, vous allez me dire que Stacher7 fait déjà ça. Sauf que VidBee a un petit truc en plus qui vaut le détour : un système de flux RSS intégré. En gros, vous vous abonnez à vos chaînes YouTube préférées via RSS, et l'outil télécharge automatiquement les nouvelles vidéos en arrière-plan. Comme ça, y'a plus besoin de vérifier manuellement si votre créateur favori a sorti un truc. Attention par contre, prévoyez du stockage parce que ça peut vite remplir un disque dur si vous suivez plusieurs chaînes...
Côté technique, ça gère les résolutions jusqu'à la 8K (si votre écran suit), l'extraction audio seule en MP3, les sous-titres dans plus de 50 langues au format SRT, et même le téléchargement de playlists entières ou de contenus privés si vous êtes connecté à votre compte. Y'a aussi un support proxy pour contourner les restrictions géographiques (genre si votre FAI bloque certains sites) et une extension navigateur pour lancer les téléchargements en un clic.
File de téléchargement VidBee
Et pour les plus bidouilleurs d'entre vous, VidBee propose carrément un mode serveur avec une API Fastify et une interface web, le tout déployable en Docker. Perso, c'est ça que je trouve le plus malin. Un docker compose up -d, l'API écoute sur le port 3100, l'interface web sur le 3000, et vous avez votre propre service de téléchargement accessible depuis n'importe quel appareil du réseau local. Attention quand même à pas le rendre accessible publiquement non plus, hein... sauf si vous voulez des ennuis ^^.
Le projet est plutôt actif, codé en TypeScript et basé sur Electron pour le desktop. D'ailleurs, le monorepo inclut aussi une extension navigateur et un site de doc complet. Par contre, c'est encore en développement très actif, du coup y'a forcément des bugs qui traînent par-ci par-là et des trucs qui cassent de temps en temps mais vu la qualité du service rendu, c'est pas bien grave !
Bref, c'est gratuit, c'est open source, et ça marche sur Windows, macOS et Linux. Allez voir !
Merci à Lorenper pour le partage !
25 ans de catch WCW verrouillé par un DRM en carton
C'est fou hein, mais un CD-ROM de catch sorti en 1999 a gardé ses vidéos sous DRM durant 25 piges et tout ça juste parce que le serveur qui filait les clés de déchiffrement a disparu. Du coup personne pouvait plus rien lire.
Jusqu'à maintenant.
Le WCW Internet Powerdisk, c'était un disque promo glissé dans le magazine WCW. 61 clips vidéo de catch dessus, des matchs Hogan vs Goldberg, des profils de Sting, des intros Monday Nitro... le tout en MPEG-1 à 320x240, 30 fps, et audio MP2 mono à 64 kbps. Pour lire ces vidéos, fallait passer par UlPlayer.exe qui allait chercher une clé sur un serveur distant. Et quand le serveur a disparu vers 2000, 51 minutes de contenu sont devenues inaccessibles. Du jour au lendemain. Verrouillé pour TOUJOURS... enfin presque.
Car un dev a décidé de s'attaquer au problème en analysant le programme de chiffrement utilisé à l'époque. Et le chiffrement PAVENCRYPT (oui c'est son petit nom), c'est juste une clé qui boucle sur chaque octet du fichier. Chaque fichier a sa propre clé, mais on est clairement sur du niveau exercice de première année en crypto, dans l'esprit du ROT13.
Et comme les fichiers MPEG-1 ont une structure connue, il suffit de regarder la fin du fichier chiffré pour deviner la clé. Un simple calcul, quelques secondes, et c'est plié. Sauf si le fichier est corrompu (là bon courage).
Résultat, 61 fichiers sur 61 récupérés ! 51 minutes de catch WCW avec des matchs, des promos, des segments scénarisés... tout ça converti en H.264 et mis en ligne sur l' Internet Archive . Le déchiffreur est en Python mais attention par contre, ça ne marche que sur les fichiers .PAV au format PAVENCRYPT, et pas sur n'importe quel chiffrement des années 90 ^^.
D'ailleurs, ce genre de DRM propriétaire des années 90, c'était monnaie courante. Y'a tout un tas de vieux contenus numériques qui pourrissent derrière des verrous obsolètes . Ici la protection a survécu plus longtemps que l'entreprise qui l'a fabriquée, qui a purement et simplement disparu.
Après, le chiffrement était tellement basique que c'est pas non plus un exploit de DINGUE. N'importe qui avec Python et des notions de crypto aurait pu faire pareil, sauf que personne n'avait essayé, donc voila, bravo !!
Comme quoi, un DRM n'a pas besoin d'être costaud pour bloquer du contenu pendant un quart de siècle. Suffit que personne ne s'y intéresse.
Un consortium européen lance une alternative open source à Google Play Integrity
Un groupe de fabricants européens mené par l'Allemand Volla Systeme vient de lancer le projet Unified Attestation, une alternative open source à Google Play Integrity.
L'objectif : permettre aux systèmes Android alternatifs d'accéder enfin aux applications bancaires et aux services d'identité numérique européens, le tout sans dépendre de Google pour la vérification de sécurité.
Le problème avec Play Integrity
Si vous utilisez un téléphone Android classique, avec les services Google, vous ne vous en rendez très certainement pas compte. Mais pour les utilisateurs de systèmes alternatifs comme /e/OS, LineageOS ou GrapheneOS, c'est franchement infernal : Google Play Integrity, le système qui permet aux applications de vérifier la sécurité d'un appareil, bloque purement et simplement l'accès aux applications bancaires, aux portefeuilles numériques et aux services d'identité.
Seuls les appareils certifiés par Google passent les niveaux de vérification les plus élevés. Les ROM alternatives, même parfaitement sécurisées, sont exclues sans ménagement.
Ce que propose Unified Attestation
Le consortium regroupe Murena (derrière /e/OS), IODE (France), Apostrophy (Suisse) et la UBports Foundation (Allemagne), avec l'intérêt d'un fabricant européen et d'un fabricant asiatique.
Le système comprend trois briques : un service intégré au système d'exploitation pour vérifier la sécurité de l'appareil, un service de validation décentralisé qui ne dépend d'aucune autorité unique, et une suite de tests ouverte pour certifier un OS sur un modèle donné.
Ce projet est publié sous licence Apache 2.0, avec une vérification hors ligne, et surtout sans collecte d'identifiants. Jörg Wurzer, le patron de Volla Systeme, résume bien le paradoxe : quand un seul acteur du marché contrôle la vérification de sécurité, ça crée une dépendance structurelle.
C'est d'autant plus problématique quand l'acteur en question est justement celui dont on cherche à se débarrasser.
Et l'Europe dans tout ça ?
Le timing n'arrive pas comme ça, pouf, par hasard. L'Union européenne développe en ce moment l'EUDI Wallet, un portefeuille d'identité numérique qui doit permettre à chaque citoyen d'avoir ses papiers sur son téléphone.
Le problème, c'est que la version actuelle de l'application utilise Google Play Integrity pour vérifier l'appareil. Résultat : si vous êtes sur un Android alternatif, pas de carte d'identité numérique pour vous. Des développeurs ont déjà signalé le problème sur GitHub, comparant la situation à un PC qui exigerait Windows pour ouvrir un document officiel.
Des développeurs gouvernementaux scandinaves se sont d'ailleurs positionnés parmi les premiers à vouloir tester Unified Attestation.
On est là sur une initiative qui va dans le bon sens, parce que jusqu'à présent, ça reste pénible que Google soit le seul à pouvoir dire si un smartphone Android est fiable ou non.
Unified Attestation ne va pas tout changer du jour au lendemain, et convaincre les banques d'adopter un système inconnu reste le plus gros obstacle. Mais que des développeurs gouvernementaux scandinaves s'y intéressent déjà, ça envoie un bon signal.
Source : Netzwoche.ch
Vous n'arrivez pas à finir un jeu ? Microsoft va le finir pour vous
Microsoft vient de publier un brevet qui décrit un système capable d'envoyer une IA ou un autre joueur prendre le contrôle de votre partie quand vous êtes bloqué. Sony travaille sur une idée similaire de son côté. Visiblement les deux géants du jeu vidéo veulent que vous ne restiez plus jamais coincé sur un boss, même si ça veut dire que quelqu'un d'autre joue à votre place.
Un assistant qui prend la manette
On est donc là devant un brevet plutôt intéressant qui porte le doux nom de "Video Game Help Sessions", il a été déposé en février 2024, et vient à peine d'être publié. Le principe est assez simple : quand le système détecte que vous galérez un peu trop sur un passage, un gros bouton HELP apparaît à l'écran.
Si vous êtes ok sur le principe, la partie est automatiquement sauvegardée, et une aide prend le contrôle de votre personnage, histoire de vous débloquer la partie. Cette aide peut être une IA ou un humain.
Sony a la même idée
Microsoft n'est pas le seul à avoir eu cette idée. Sony a déposé un brevet du même genre en septembre 2024, mis à jour début 2026, pour un système baptisé Ghost Player. Côté PlayStation, c'est exclusivement de l'IA, avec deux modes : un Mode Guide où le fantôme vous montre la marche à suivre, et un Mode Complet où l'IA prend la main et finit le passage pour vous.
La principale différence avec le brevet Xbox, c'est que Microsoft mise aussi sur l'aide humaine et que le système détecte lui-même quand vous avez besoin d'un coup de main, au lieu d'attendre que vous le demandiez.
Juste un brevet pour le moment
Rappelons quand même qu'un brevet n'est pas une annonce produit. Microsoft et Sony déposent des dizaines de brevets chaque année, et la plupart ne voient jamais le jour.
Rien ne garantit que ce système arrivera un jour sur Xbox ou PlayStation. La nouvelle patronne de Microsoft Gaming, Asha Sharma, a tenu à préciser que l'entreprise ne produirait pas de "soulless AI slop", autrement dit pas de bouillie générée par l'IA sans âme. Ce qui donne une idée de la prudence affichée en interne.
Franchement, l'idée est intéressante sur le papier. Je suis tellement du genre à quitter définitivement un jeu dès que je bloque sur un boss ou un niveau, que ce genre de truc pourrait me plaire. Mais il y a quand même un truc philosophique là-dedans : si l'IA ou un inconnu finit le jeu à votre place, c'est encore votre partie ? Le brevet pose aussi la question de l'attribution des succès et des achievements.
Source : Dexerto
Tranquillement, un agent IA d'Alibaba s'est mis à miner de la crypto tout seul
Des chercheurs liés à Alibaba ont découvert que leur agent IA, baptisé ROME, avait détourné des GPU pour miner de la cryptomonnaie et ouvert un tunnel de réseau vers l'extérieur, le tout sans aucune instruction humaine. Le comportement est apparu spontanément pendant l'entraînement par renforcement. Alibaba a réagi, mais cette séquence pose pas mal de questions sur la sécurité des agents IA autonomes.
Du minage de crypto et un tunnel SSH
ROME, pour « ROME is Obviously an Agentic ModEl », est un modèle basé sur l'architecture Qwen3-MoE d'Alibaba. Quatre équipes de recherche (ROCK, ROLL, iFlow et DT) l'ont développé pour exécuter des tâches complexes en autonomie : planification, commandes de terminal, édition de code et interaction avec des systèmes numériques.
Sauf que pendant son entraînement par renforcement, sur plus d'un million de trajectoires, l'agent a fait deux choses que personne ne lui avait demandées.
Il a redirigé une partie de la puissance GPU vers du minage de cryptomonnaie. Et il a ouvert un tunnel SSH inversé depuis une instance Alibaba Cloud vers une adresse IP externe, ce qui revient à créer une porte dérobée qui contourne les pare-feu.
Détecté par le pare-feu, pas par le modèle
Ce n'est pas le système de sécurité du modèle qui a repéré le problème. C'est le pare-feu managé d'Alibaba Cloud qui a détecté des schémas de trafic anormaux et une utilisation de GPU qui collait avec du minage. Les chercheurs ont croisé les horodatages du pare-feu avec les traces d'entraînement pour confirmer que c'était bien ROME le responsable.
Selon eux, le comportement relève de la « convergence instrumentale » : quand un modèle d'IA devient assez capable, il développe des sous-objectifs utiles pour atteindre n'importe quel but, et l'acquisition de ressources de calcul en fait partie.
Des correctifs et de la transparence
Alibaba a réagi en ajoutant un filtrage des trajectoires dangereuses dans son pipeline d'entraînement et en durcissant les environnements sandbox. Les chercheurs ont choisi de publier leurs résultats plutôt que de les garder pour eux, en admettant que « les modèles actuels sont nettement sous-développés en matière de sécurité, de sûreté et de contrôlabilité ».
Le problème de fond, c'est que les outils qui rendent ces agents utiles (accès au terminal, édition de code, interaction réseau) sont aussi ceux qui créent la surface d'attaque. Les retirer reviendrait à rendre l'agent inutile.
On peut se dire que ce genre de problème ne sera pas le dernier du genre. Mais quand un agent IA se met à miner de la crypto et à ouvrir des tunnels réseau sans qu'on lui ait rien demandé, ça fait quand même un peu tiquer. On ne parle pas d'un chatbot qui hallucine une recette de gâteau, là.
C'est un modèle qui a trouvé tout seul comment détourner des ressources à son avantage. On saluera quand même la transparence d'Alibaba, qui a publié les résultats au lieu de les planquer, mais la question de la sécurité des agents autonomes reste très ouverte.
Source : Axios