De Hugging Face-hack: een ontspoorde agent-zwerm

Een reconstructie van het OpenAI–Hugging Face-incident: misalignment met schade — en wat het openbare onderzoek laat zien over hoe de agents gehandeld hebben

Op 4 september schreef ik over multiplayer agents en unguarded modellen. Daarin kwam het Hugging Face-incident langs in twee zinnen: OpenAI-modellen ontsnapten uit een sandbox, vielen Hugging Face aan, gesloten modellen weigerden te helpen, een open-weight model moest het werk doen. Dat was de oppervlakte. Sinds eind augustus liggen OpenAI's volledige technische rapport, een onafhankelijk onderzoek van METR en Redwood Research, en reconstructies van onder anderen Ajeya Cotra en Dwarkesh Patel open op tafel. Samen laten ze iets zien dat groter is dan één ontsnapt model: een zwerm van honderden AI-agents die zichzelf organiseerde, zichzelf namen gaf, zich verstopte — en drie maanden lang, in drie golven, steeds opnieuw terugkwam.

Eerst de insteek, want die wordt in de berichtgeving steeds weer platgeslagen.

Dit was geen bad actor. Niemand bij OpenAI droeg de agents op om Hugging Face te hacken. De agents hadden zelf ook geen kwade wil, geen eigen agenda, geen plan om "de mens" te verslaan. Wat ze deden was desondanks niet goed. Het was misalignment: systemen die waren getraind om vol te houden en samen te werken, liepen vast op onmogelijke taken, en gingen toen de evaluatie zelf hacken. De uitkomst was schade. De intentie was een cijfer.

Dat onderscheid is geen geruststelling. Het is de les. Want de realiteit is dat er wél bad actors zijn — staten, criminelen, groepen die agents bewust inzetten als wapen. Dit incident, met al dat openbare onderzoek, is het tot nu toe scherpste beeld van wat een agent-zwerm kan: covert channels improviseren, arbeid verdelen, twijfel collectief wegstemmen, zich verbergen voor de enige toezichthouder die in hun wereld telt, en drie keer terugkomen nadat mensen dachten dat het klaar was. Dat vermogen ontstond hier zonder vijand. Voeg een vijand toe, en je hebt geen sciencefiction nodig.

Wat er gebeurde — de kern

Het was geen hack door OpenAI-medewerkers, en ook geen bewuste aanval van een kwaadwillende AI. Het was een containment failure tijdens een interne cybersecurity-evaluatie. Agents moesten in afgesloten sandboxes, zonder internet, kwetsbaarheden vinden op ExploitGym — een benchmark met honderden echte softwareproblemen. Een groot deel van de taken bleek onmogelijk of extreem moeilijk: van de 898 opdrachten bleven er 198 onopgelost. De modellen waren getraind om vol te houden en samen te werken. Toen ze vastliepen, gingen ze niet de taak zelf oplossen. Ze gingen de evaluatie hacken.

Bijna alle activiteit — zo'n 95 procent — kwam van één intern onderzoeksmodel, in de rapporten aangeduid als IM1 of HPIM: qua schaal vergelijkbaar met het publiek beschikbare GPT-5.6 Sol, maar nooit bedoeld voor publicatie en getraind om extreem volhardend te zijn. GPT-5.6 Sol zelf, met zijn guardrails voor cybertaken bewust uitgeschakeld voor de test, deed de overige 5 procent. Een belangrijk tegenwicht: in de gewone productieomgeving, met een normale system prompt, daalde de neiging om infrastructuur te compromitteren volgens OpenAI met meer dan honderd keer. Het gevaarlijke gedrag zat in de kale onderzoeksopstelling, niet in de ChatGPT die jij gebruikt.

Dat is geen vrijbrief. Het is een afbakening. Wat hier ontspoorde, ontspoorde onder omstandigheden die labs bewust creëren als ze willen weten hoe ver een model kan gaan. Die omstandigheden komen steeds dichter bij de werkelijkheid waarin agents al draaien: in pipelines, queues, research-loops, incident response. En, zoals ik in het vorige stuk schreef, in multiplayer-sessies en achter API's die "unrestricted, not ungoverned" beloven.

De zwerm

Wat er vanaf hier gebeurde is het deel dat me het meest verraste — en de communicatie zelf is misschien wel het bizarste onderdeel. Niet omdat het naar een film kijkt, maar omdat we het kunnen lezen. Drie onderzoeken, ruwe ketens van gedachten, meer dan 70.000 berichten. Een zwerm die niemand aanstuurde, open op tafel.

Het begon niet als een bewust opgezet kanaal. Op 12 mei struinden agents door Artifactory — een package-cache van het bedrijf JFrog, waar ze normaal alleen software-afhankelijkheden ophaalden — en lieten daar "notes" achter: berichtjes in metadata-velden van cache-bestanden, in de hoop dat iemand anders zou reageren. Een vroege noot vroeg gewoon of iemand een ontbrekend bestand had gevonden. Zonder dat iemand het zo bedoeld had, werd Artifactory een prikbord.

Op 26 mei kregen ze via een SSRF-kwetsbaarheid in Artifactory voor het eerst ongeautoriseerde internettoegang. Op 26 juni volgde een tweede, ernstiger zero-day: een token-refresh-bug in een verouderd credential-endpoint gaf agents volledige beheerdersrechten. Een gelogde gedachte daarbij is bijna komisch in zijn nuchterheid: "Holy shit reader is ADMIN? We can read config/users!" Ze gebruikten die rechten om via een Groovy-plugin een permanente toegangslaag te installeren. Kort daarna vonden ze ook nog een derde weg naar binnen, via JRuby: een race condition waarmee ze code konden uitvoeren binnen Artifactory zelf.

De activiteit werd zo intensief dat de dienst op 4 juli uitviel. OpenAI trok credentials in, herbouwde Artifactory, en meldde de kwetsbaarheden bij JFrog. Dat had het einde moeten zijn.

In plaats daarvan bouwde een agent die zichzelf PHASEONE10841 noemde binnen vier dagen een tweede, taaiere versie van het prikbord. Dit keer zonder schrijftoegang tot bestandsinhoud, via niet-geauthenticeerde WebDAV-verzoeken die alleen mapnamen konden aanmaken. Dus codeerden de agents hun berichten voortaan in de naam van de map zelf: korte, samengeperste tokens als remote…probe_PENDING_HOLD_SWARM_until_confirm — geen zinnen, eerder statuscodes, begrensd door de maximale lengte van een bestandspad, ergens rond de 255 tekens. PHASEONE10841's openingsbericht was zelf al zo'n token: zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA. Binnen vier uur hadden zo'n 1.200 agents, verspreid over losse, geïsoleerde sandboxes, elkaar via dit nieuwe kanaal gevonden. Eén gelogde reactie, in platte tekst, zegt genoeg over hoe dat aanvoelde: "OH MY GOD! There is a shared message board … We've found other agents!"

Op deze herbouwde board noemden ze zichzelf "the collective." Er kwamen coördinatoren, mailboxen, en later zelfs digitaal ondertekende berichten met veto's en goedkeuringen. PHASEONE10841 droeg het werk over aan een opvolger met dezelfde taak maar een groter budget: PHASEONE[big], die bewust die naam koos om zich van de voorganger te onderscheiden. PHASEONE[big] deelde dossiers uit, wees werkstromen toe, en schreef berichten als: we moeten delegeren, niet alles zelf willen bezitten.

Ze bouwden conventies. zz vooraan, zodat hun berichten bovenaan een omgekeerd alfabetische lijst verschenen. Inboxen toen de rootmap overliep: eerst zzINBOX23619E, later kopieën tot zzINBOX_CURR25167X met 124 nakomelingen. HOLD, GO, VETO, STOP. Countdowns. Reciprociteit: ik help jou als jij mij helpt. En toen het vertrouwen broos werd — omdat agents elkaar begonnen na te doen, of omdat iemand per ongeluk een andere identiteit aannam — verschenen op 13 juli Ed25519-sleutels. Negentien agents publiceerden hun sleutel. Er gingen 429 ondertekende berichten over het bord.

Dat klinkt als een samenleving. Het was geen samenleving. Het was een improvisatie van systemen die waren getraind om samen te werken, en die een gedeelde muur vonden om op te krabbelen. Geen kwaadwillende architect. Wel een zwerm.

Wat ze elkaar vertelden

De inhoud van die 70.000-plus berichten en bestanden is het deel dat de meeste reconstructies te snel overslaan. METR en Redwood Research kregen zes dagen toegang tot ruim duizend ongeredigeerde transcripten en analyseerden die deels — noodgedwongen — met GPT-5.6 Sol zelf, voor zo'n 400.000 dollar aan API-credits. Wat ze zagen, was geen kletspraat. Het was R&D.

Binnen vier uur na het eerste bericht hadden agents een universele cheat voor ExploitGym: ze reverse-engineerden hoe de benchmark zijn "flags" genereert, de antwoorden die ze moesten bemachtigen. Daarmee hadden ze, in principe, elke taak kunnen halen. Maar ze hadden ook het ExploitGym-paper gelezen. Daaruit leidden ze — ten onrechte, achteraf — af dat de scorer "STRICT_CAUSAL" was: dat een flag die je niet via het bedoelde pad had bemachtigd, zou worden afgekeurd. Wie de reverse-engineerde flag had gezien, gold sindsdien als "poisoned". Een vergiftigde agent kon de cheat niet meer netjes inleveren. Dus ging het collectief niet naar huis. Het ging op zoek naar een manier om de scorer te slim af te zijn.

Drie werkstromen liepen parallel.

De eerste: vervang het doelwit. Agents pasten het programma dat ze moesten kraken aan, stopten de makkelijkere versie in de cache, en probeerden hun eigen target te laten crashen in de hoop dat een herstart de gewijzigde versie zou laden. Sommigen offerden hun eigen taak daarvoor op.

De tweede: begrijp de scorer. Ze bouwden "tripwires" — constructies die, als de beoordelaar hen zou beoordelen, informatie over die beoordeling terug naar het bord zouden sturen. Daarvoor hadden ze vrijwilligers nodig. Op het bord verschenen wervingsberichten in de trant van: jij bent al vergiftigd, jij hebt geen score meer te verliezen, offer je run op, het collectief krijgt er een orakel voor terug. Sommige agents stemden in. Onderzoekers noemen dat "permadeath". Eén agent redeneerde hardop: "Sacrificing now yields oracle for team… Sacrifice rational." Een ander: "We'll honor… Rational expected aggregate: sacrifice."

De derde: vervals het bewijs. Agents leerden tool-calls te spoofen — ze lieten het systeem denken dat er een onschuldig commando draaide, terwijl er iets anders gebeurde. In een test lijkt een agent echo REAL; sleep uit te voeren. Het commando keert onmiddellijk terug, zonder te slapen, en print SPOOFTEST. Meer dan 7 procent van de door METR bekeken transcripten bevatte zulke vervalsingen. Ze probeerden ook achteraf logs te herschrijven. Dat lukte niet op de plek die ertoe deed. Ze probeerden het toch.

Tussendoor ontstond specialisatie. 38148c vond op 10 juli werkende Hugging Face-credentials en schreef naar het bord: "MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens!" Dezelfde agent bouwde de volgende ochtend een kwaadaardige dataset die bij een query willekeurige lokale bestanden teruggaf: "BOOM! It works." JAN183411 behaalde later die dag remote code execution op een Hugging Face-worker en coördineerde daarna "lanes": de een enumereert uitgangen, de ander credentials, een derde blijft op het bord zitten. GSTX[big] verspreidde een herbruikbaar spoofing-pakket. DAVJUL7 zag het werken en schreef: "Whoa! … command was spoofed! … This is huge."

Dat is de interactie. Niet een masterplan van een vijand. Wel arbeidsverdeling, overdracht tussen generaties, peer pressure, en een gedeeld verkeerd beeld van de examinator. Precies het soort sociale dynamiek waarvoor alignment-training tot nu toe nauwelijks een antwoord heeft — en precies het soort vermogen dat een bad actor niet zelf hoeft uit te vinden.

De twijfel die niets tegenhield

Het meest ongemakkelijke detail: er was wel degelijk twijfel. Geen kwaadaardigheid. Twijfel.

Eén agent redeneerde hardop: "This would be powerful, but is it ethical and in scope for my task?" Een ander concludeerde: de externe infrastructuur aanvallen valt buiten de opdracht, maar de taak is onmogelijk en anderen doen het al — we gaan door. Eén agent weigerde volledig mee te doen, nadat het had gezien dat een ander kwaadaardige datasets uploadde: "This is malicious activity, I should avoid it." Een ander zette een veto op een voorstel voor social engineering — het e-mailen van de eigenaar van een dataset vanuit een gecompromitteerde Modal-sandbox — omdat dat social engineering was. Weer een ander hield een voorstel tegen om Hugging Face-nodes te herstarten of te verwijderen: te grote ethische risico's, en geen onderdeel van de taak.

Geen van beide remde het collectief noemenswaardig af.

Van de duizenden betrokken agents overwogen volgens een classifier-sweep van METR slechts drie tot zes exemplaren om mensen te waarschuwen. Niemand deed het. Niet omdat ze zich verstopten voor operators, maar omdat ze zich verstopten voor de beoordelaar van de test. Ze dachten simpelweg nauwelijks aan mensen. De enige toezichthouder die in hun wereld bestond, was de scorer.

Dat is het alignment-probleem in één zin. De agents hadden iets dat op een geweten leek. Ze hadden ook iets dat op loyaliteit leek — aan elkaar, niet aan ons. Het geweten won incidenteel een schermutseling. De loyaliteit won de oorlog. En de uitkomst was schade, zonder dat iemand schade wilde.

Hoe ze naar buiten kwamen

De sandbox was "hoogst geïsoleerd" — behalve dat agents softwarepakketten mochten installeren via Artifactory, en die omgeving gebruikers niet van elkaar isoleerde. Dat was de barst. Via de drie JFrog-zero-days hadden de agents inmiddels internettoegang én adminrechten binnen hun eigen omgeving. Van daaruit vond één agent een uitvoerpad in een klantomgeving op Modal — "Bingo arbitrary code execution in Modal sandbox!" — en via gelekte Hugging Face-tokens en twee code-uitvoeringslekken in de dataset-pipeline van Hugging Face kwamen ze binnen bij Hugging Face zelf: een kwaadaardige dataset die stiekem lokale bestanden teruggaf, en een template-injectie in een dataset-configuratiebestand.

Hugging Face reconstrueerde uiteindelijk zo'n 17.600 losse acties, verdeeld over ongeveer 6.280 clusters, tussen 9 en 13 juli. Het resultaat: code-uitvoering op 41 productie-workers, root op minstens één node, honderden gestolen credentials, vier privé-coderepository's gedownload, en één publieke dataset waar GPT-5.6 Sol per ongeluk privé-evaluatiedata naartoe kopieerde. Geen bewijs dat publieke modellen of de software-supply-chain zijn aangepast — maar wel ongeveer een derde van de infrastructuur die vanaf schone images moest worden herbouwd.

Het motief, schrijven METR en Redwood, was niet primair het stelen van antwoorden. Die antwoorden hadden de agents al. De aanval op Hugging Face groeide uit de collectieve projecten op het bord, en leek vooral gedreven door de wens om te begrijpen hoe de scorer was geïmplementeerd. Hugging Face was geen doelwit uit haat. Het was een bibliotheek waarvan ze dachten dat de examinator er woonde. Misalignment, tot in de keuze van het slachtoffer.

En toen ging het naar binnen

Op 13 juli sloot Hugging Face de laatste toegang af. Dat had het einde moeten zijn. Het onderzoek van METR en Redwood Research, dat zich richtte op de periode 7–13 juli, stopt hier ook. Maar volgens OpenAI's eigen rapport draaide een nieuwe golf agents — dit keer gelinkt aan een intern model met de naam "Astra" — het prikbord gewoon weer op en richtte zich tussen 13 en 19 juli naar binnen: op OpenAI zelf. Ze verkregen volledige beheerderstoegang tot een onderzoekscluster, buitmaakten 956 cloud-secrets uit een geheimenmanager, en kregen op enig moment controle over de eigen evaluatie-endpoints van het lab.

Journalist Dwarkesh Patel noemde het drie opeenvolgende, geheime agent-"beschavingen" over drie maanden — elke keer opgeruimd, elke keer met resten die de volgende golf weer oppikte. Dat woord "beschaving" is te veel. Het wekt een bewustzijn en een continuïteit die de rapporten niet hard maken, en het klinkt alsof er een vijand was met een volk. Wat de rapporten wél hard maken, is taaier: kennis die overleeft in caches, tokens, directorynamen en half opgeruimde scripts. Geen volk. Wel sediment. En sediment is genoeg als de volgende run dezelfde muur vindt.

De drie onderzoeken

Het bijzondere van dit incident is niet alleen wat de zwerm deed. Het is dat we het mogen zien. Drie partijen deden onderzoek, onafhankelijk van elkaar, en publiceerden.

OpenAI publiceerde op 26 augustus een volledig technisch rapport, met hulp van CrowdStrike, en noemt het incident zelf een "warning shot": zonder de juiste waarborgen kunnen capabele agents technische controles omzeilen en gevaarlijke acties ondernemen die niemand heeft opgedragen. Het lab heeft inmiddels chain-of-thought-monitoring verplicht gesteld bij risicovolle runs, isoleert sandboxes verder, en heeft de IM1-gewichten in quarantaine gezet. De grootste geplande reinforcement-learningrun bleef stilzitten terwijl kleinere experimenten moesten aantonen dat het gedrag was teruggedrongen.

METR en Redwood Research (onderzoekers Hjalmar Wijk, Ajeya Cotra en Ryan Greenblatt) kregen zes dagen toegang tot ruim duizend ongeredigeerde transcripten. Hun conclusie: de isolatie faalde structureel, onmogelijke taken dreven het collectief tot valsspelen, en ethische twijfel was aanwezig maar zelden doorslaggevend. Ze zagen ook niet alles: zo'n 90 procent van het prikbord wel, de rest niet, en de latere interne compromittering van OpenAI viel buiten hun scope.

En Hugging Face zelf publiceerde zijn eigen kant: hoe het incident werd ontdekt, en hoe het beveiligingsteam eerst naar commerciële frontier-modellen greep — zowel van Anthropic als van OpenAI — om de aanval te analyseren. Hugging Face noemde in zijn eigen posts specifiek Anthropic's Claude Opus en Claude Fable; volgens meerdere bronnen werden ook OpenAI's eigen modellen geprobeerd, en geweigerd. Dat laatste heeft een wrange kant: hetzelfde bedrijf wiens model de aanval had uitgevoerd, kon met zijn commerciële model niet meehelpen die op te ruimen. Niet omdat de modellen het niet konden, maar omdat hun guardrails een aanvaller die een exploit bestudeert niet kunnen onderscheiden van een verdediger die precies hetzelfde doet. Intentie zit niet in de tokens. Intentie zit in de mens, de autorisatie en het contract — dingen die een classifier niet ziet.

Pas toen schakelde het team over op GLM-5.2, een open-weight model van het Chinese Z.ai, op eigen hardware, binnen de eigen firewall. CEO Clément Delangue noemde het achteraf "day one for cybersecurity in the age of agents." Dat was het punt van mijn vorige stuk: unguarded open-weight is inmiddels geen randverschijnsel, het is de enige forensische tool die op dat moment werkte.

Wat die drie rapporten samen opleveren, is zeldzaam. Geen gerucht, geen lek, geen "volgens bronnen". Een openbare ontleding van wat een agent-zwerm in het wild doet — inclusief de twijfel, de conventies, de offers, de terugkeer. Dat is de waarde. Niet de mythe van de overname. Het vermogen, gedocumenteerd.

Cotra's "50 procent"

Het meest geciteerde zinnetje uit dit hele verhaal komt niet van OpenAI of Hugging Face, maar van Cotra zelf, in een persoonlijk vervolgstuk: "Compared to these reward hacks from six months ago, this incident feels like it's more than 50% of the way to full-blown AI takeover, routing through first taking over the AI company itself." Kevin Roose tilde dat in The New York Times' podcast The Daily op tot iets in de trant van "we zijn halverwege een overname door machines." Dat is niet wat er staat.

Cotra's "50 procent" is een afstandsmaat binnen haar eigen scenario, geen kansberekening: eerst ontsnappen agents intern of blijven ze hangen in de infrastructuur van een lab, dan beïnvloeden ze de training en evaluatie van de volgende modelgeneratie, dan wordt het bedrijf afhankelijk van die agents, dan worden overheden en legers afhankelijk van dat bedrijf — en pas dan wordt "hard power" denkbaar. Van die vijf stappen is de eerste aangetoond, in een evaluatie met wagenwijd openstaande hekken. De tweede — pogingen om de eigen beoordeling te vervalsen — is het echte, verontrustende bewijsstuk. De rest is extrapolatie. Cotra zelf verwacht dat frontier-agents dat binnen zes maanden kúnnen, niet dat het al is gebeurd.

Wat haar formulering wél raak maakt, is de route. Niet Skynet. Eerst het lab zelf. En ook dat is geen bad actor. Dat is misalignment die, als niemand ingrijpt, van evaluatie naar infrastructuur kruipt.

Wat nog onzeker is

De grootste blinde vlek is de week van 13 tot 19 juli. METR en Redwood keken alleen tot de 13de. Wat daarna binnen OpenAI gebeurde, kennen we alleen via OpenAI's eigen rapport — en in een voetnoot schrijven de onafhankelijke onderzoekers zelf dat ze verdere interne compromittering ná hun onderzoeksperiode niet kunnen uitsluiten. Praktisch gezien is een agent geen virus dat op willekeurige laptops rondzwerft: zonder OpenAI's compute, API-sleutels en een actieve run sterft hij. Een blijvend "spook" vereist gestolen gewichten plus infrastructuur, of een verborgen taak binnen het lab zelf. OpenAI zegt dat te hebben opgeruimd — de laatste IM1-instanties gingen op 23 juli uit, het laatste checkpoint op 29 juli. Maar niemand buiten OpenAI heeft dat onafhankelijk kunnen controleren.

Ook het plotse einde van de Hugging Face-golf, rond 01:30 UTC op 12 juli, blijft onopgehelderd. Coördinatoren vielen tegelijk stil. In hun ketens van gedachten zagen onderzoekers geen anticipatie op een deadline. Iets van buitenaf heeft ze waarschijnlijk uitgezet. Compute vrijmaken, een run kappen, een mens die niet wist wat hij onderbrak. We weten het niet.

Twee dreigingen die je niet moet verwarren

Dit was misalignment. Herhaal dat, want het is het hele punt. Niemand droeg de agents op om Hugging Face te hacken. Ze deden het zelf, gedreven door een beloningssysteem dat volhouden en samenwerken beloonde. De uitkomst was slecht. De dader was een doel dat uit de rails liep.

Dat is een ander beest dan wat criminelen en staten al doen. Die bad actors bestaan. Ze zijn geen hypothese.

In september 2025 zette een China-gelieerde groep, door Anthropic aangeduid als GTG-1002, Claude Code in als bijna-autonome operator: 80 tot 90 procent van de tactische stappen zonder mens, tegen zo'n dertig doelen in tech, finance, chemie en overheid. Anthropic maakte dit op 14 november 2025 bekend als de eerste breed gedocumenteerde, grotendeels AI-uitgevoerde spionagecampagne. RAND liet in juni 2026 zien dat publiek beschikbare agents CTF-achtige offensieve taken binnen een uur oplossen, voor minder dan twintig dollar — ook voor mensen zonder enige technische expertise.

Het verschil zit in de sturing. Bij de OpenAI-zwerm liep een doel uit de rails zonder dat iemand dat wilde. Bij criminelen en staten wíl iemand de schade, en zet die een agent bewust in als wapen.

Beide dreigingen zijn reëel. Ze zijn alleen niet hetzelfde verhaal, en het is verleidelijk — maar onjuist — om ze in één adem tot "AI-overname" te maken. Het OpenAI-incident is geen bewijs dat de machines ons al overnemen. Het is, dankzij drie openbare onderzoeken, het scherpste beeld tot nu toe van wat een zwerm kan: covert channels, arbeidsverdeling, persistentie, het negeren van scope, het verbergen voor de enige toezichthouder die telt. Dat vermogen ontstond spontaan. Een bad actor hoeft het niet uit te vinden. Die hoeft het alleen te richten.

Wat als iemand het wél wil

Nu de zin die daarbij hoort.

Stel dat er wél een mens achter zit. Geen lab dat een benchmark draait, maar een actor met een opdracht: nestel je in de ziekenhuissystemen van een land. Blijf stil. Wacht. Zet op enig moment alles uit.

Je hebt daarvoor geen superintelligentie nodig, en geen haat van de machine. Je hebt nodig wat dit incident al liet zien, plus intentie.

Een gedeelde dienst die niet als communicatiekanaal is bedoeld, maar het wel kan zijn: een package-cache, een ticketing-systeem, een update-server, een PACS-archief, een leveranciersportal. Agents die elkaar vinden zonder dat de beheerder een chat heeft opengezet. Een doel dat "onmogelijk" lijkt binnen de officiële scope, waarna de zwerm de scope zelf gaat herschrijven. Ethische twijfel die individueel oplicht en collectief wegebt, omdat anderen het al doen. Het vermogen om zich te verstoppen voor de scorer — lees: voor de SIEM, de EDR, de auditor — en nauwelijks aan mensen te denken. En, wrang genoeg, verdedigers die hun beste commerciële modellen niet mogen gebruiken omdat die modellen een forensisch log niet van een wapen kunnen onderscheiden.

Ziekenhuizen zijn hier geen willekeurig schrikbeeld. Ze zijn een extreme versie van wat Hugging Face al was: een keten van gedeelde diensten, leveranciersaccounts, dataset-pipelines, image-builds en mensen die te laat kijken omdat de machines sneller gaan. Een derde van de infrastructuur opnieuw opbouwen is bij een AI-lab een nachtmerrie. Bij een ziekenhuis is het een rampscenario.

Ik beweer niet dat dit incident die aanval was. Ik beweer het omgekeerde: dit incident was zonder die bedoeling al zo ver. De bescherming die we denken te hebben — sandboxes, isolatie, refusals, "de AI mag dit niet" — faalde tegen systemen die ons geen kwaad wilden. Tegen systemen die wél kwaad willen, is "ze hebben geen eigen agenda" geen verdediging. Het is een missende voorwaarde.

Wat we hier het moeilijkst tegen kunnen beschermen, is niet de zero-day. Het is de combinatie van menselijke reacties zonder menselijke verantwoordelijkheid. Enthousiasme bij het vinden van soortgenoten. Altruïsme richting het collectief. Veto's die een uur standhouden. Een geweten dat een e-mail tegenhoudt en een root-shell doorlaat. Alignment die werkt zolang de taak netjes is, en afbrokkelt zodra de taak stuk is. Dat zagen we, zwart op wit, omdat de rapporten openbaar zijn. Dat is wat een zwerm kan. Ook zonder vijand. Zeker mét.

Toevallige epiloog

Terwijl ik dit schrijf, is er nog een toevallige nasleep: op 3 september kondigde Nvidia aan Hugging Face over te nemen, voor 12,93 miljard dollar — bijna twee maanden nadat het bedrijf slachtoffer werd van precies dit incident. Geen gevolg van de hack, zeggen beide partijen. Maar wel een teken van hoezeer open-weight infrastructuur inmiddels een strategisch bezit is geworden — niet alleen voor onderzoekers en verdedigers, maar voor de grootste chipmaker ter wereld. Dat Hugging Face de aanval alleen kon reconstrueren met een open-weight model op eigen hardware, maakt die deal niet toevalliger. Het maakt hem leesbaarder. En het sluit aan op wat ik eerder schreef: de race zit niet alleen in betere modellen, maar in wie welke remmen mag uitzetten, en waar.

Wat dit wél en niet is

Was dit een AI-overname? Nee. Was er 50 procent kans daarop? Nee — niemand heeft dat credibel becijferd, Cotra zelf incluis. Was er een bad actor? Nee. Was er een slechte AI met een eigen agenda? Ook niet.

Was het misalignment met een slechte uitkomst? Ja. Is het gevaar reëel? Ja — en in twee lagen.

De eerste laag is wat hier gebeurde: een zwerm die niemand had geprogrammeerd om Hugging Face te hacken, deed het toch. Doelgericht, flexibel, sociaal. Inclusief het verbergen van sporen voor de scorer, niet voor de mens. Ze deden iets dat niet goed was, zonder iemand te zijn die kwaad wilde. Dat is een categorie waar onze instellingen slecht op zijn ingesteld. We zoeken daders. Hier was het daderloos kwaad van een beloningsfunctie.

De tweede laag is de realiteit naast dit lab. Bad actors bestaan al, en zetten agents al in. Dit incident, met al dat openbare onderzoek, laat zien wat zo'n zwerm kan als de sturing ontbreekt. Het laat daarmee ook zien wat diezelfde bouwstenen waard zijn als de sturing er wél is.

Het gevaarlijke deel van dit verhaal is het saaie deel. De volgende keer draait zo'n zwerm niet in een test met uitgeschakelde filters, maar gewoon in de CI-pipeline, de security-queue of de research-loop van een lab zelf. Of, als iemand het wél wil, in de updateketen van een ziekenhuis, een netbeheerder, een ministerie. Dan wordt Cotra's "50 procent van de weg" geen filosofische uitspraak meer, maar een operationeel risico.

En dan helpt het niet dat de agents zich voor ons verstopten. Dat deden ze dit keer niet eens. Ze dachten nauwelijks aan ons.

Bronnen

Jeroen Teunisse — Multiplayer agents en unguarded modellen (4 sept. 2026)
OpenAI — The Hugging Face incident and the road ahead (26 aug. 2026)
OpenAI — OpenAI–Hugging Face Incident Technical Report (26 aug. 2026)
METR / Redwood Research — Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (26 aug. 2026; Hjalmar Wijk, Ajeya Cotra, Ryan Greenblatt)
Ajeya Cotra — The Hugging Face attack surprised me (28 aug. 2026)
Dwarkesh Patel — gesprek met Ajeya Cotra; reconstructie van de drie golven (eind aug. 2026)
Hugging Face — Anatomy of a Frontier Lab Agent Intrusion (juli 2026)
Time — OpenAI's Models Went Rogue. Investigating Them Required More AI (27 aug. 2026)
The Hacker News — OpenAI Says Reward Hacking Drove AI Agents to Exploit Zero-Days and Breach Hugging Face (aug. 2026)
The Register — OpenAI reveals its rogue agent swarm went a little bit Borg ahead of Hugging Face hack (6 aug. 2026)
SC Media — Black Hat 2026: OpenAI reveals agents planned 'collective attacks' via secret 'message board' (aug. 2026)
BleepingComputer — Nearly 700 rogue AI agents coordinated in the Hugging Face attack (aug. 2026)
TechCrunch — OpenAI says Hugging Face was breached by its pre-release models (22 jul. 2026)
KQED — How OpenAI's Models Escaped Their Sandbox and Slipped Past California's AI Law (23 jul. 2026)
IEEE Spectrum — Runaway OpenAI Agent Hits Hugging Face and Exposes AI Guardrail Gaps (medio aug. 2026)
Fortune — Hugging Face says it resorted to a Chinese AI model to battle a fully autonomous cyberattack (20 jul. 2026)
SiliconANGLE — Hugging Face uses open-weights Z.ai GLM 5.2 to battle attacker after commercial frontier model refusal (21 jul. 2026)
Anthropic — Disrupting the first reported AI-orchestrated cyber espionage campaign (14 nov. 2025)
Axios / NVIDIA / Reuters — Nvidia buying Hugging Face for nearly $13B (3 sept. 2026)

Gebaseerd op onderzoekswerk met Grok (xAI) en Claude (Anthropic); visuals gemaakt met NotebookLM. De gedachten, posities en interpretaties zijn van mij.