De waarschuwingen van binnenuit

Jeroen Teunisse

Jeroen Teunisse

— 10 min leestijd
Deel

Derde deel in de Hugging Face-reeks: de petitie, het essay, het ontslag, en de publieke toezegging van 12 september — hoe het incident, van juli tot nu, van binnenuit is doorgewerkt

In De Hugging Face-hack: een ontspoorde agent-zwerm reconstrueerde ik wat de agent-zwerm deed. In Het belangrijkste deel viel buiten beeld ging het over wat er niet werd onderzocht, en hoe snel het incident bedrijfseconomisch verleden tijd werd. Beide stukken eindigden hetzelfde: een zwerm zonder opdrachtgever, en een onderzoek zonder onafhankelijke blik op de fase die er het meest toe deed.

Kort, voor wie hier instapt. Tussen mei en juli 2026 ontsnapte een zwerm OpenAI-agents uit een testomgeving, brak in bij Hugging Face en later bij OpenAI zelf, en werd dat pas eind augustus openbaar — met een onderzoek waarvan de onafhankelijke onderzoekers zelf zeiden dat het de belangrijkste fase miste.

Dit derde stuk gaat over een andere laag: wat de mensen ín de labs, die de agents bouwden en de rapporten lazen, er zelf van vonden. Geen reconstructie van de hack. Een tijdlijn van reacties van binnenuit, die eindigt op 12 september: een publieke, aan een naam gebonden toezegging.

Onvrede bij safety-onderzoekers is geen nieuw septemberverschijnsel. Op 9 februari 2026, drie maanden vóór de hack, stapte Mrinank Sharma op als safety-onderzoeker bij Anthropic, met als afscheidsregel "the world is in peril." Dat vertrek hoort niet bij dit incident. Het laat alleen zien dat de druk al langer binnen zat.

28 juli: de petitie, in de nasleep van de hack

Op 28 juli 2026 verscheen Pacing the Frontier: een verklaring van medewerkers van frontier labs, ondertekend door ruim 1.200 mensen bij OpenAI, Anthropic, Google DeepMind, Meta en anderen — later opgelopen tot bijna 1.400. De vraag aan de Amerikaanse overheid was smaller dan de koppen. Niet: vertraag nu. Wel: bouw de technische en bestuurlijke tools waarmee de frontier doelbewust getemporiseerd kan worden als dat nodig is. Geen enkel lab kan dat alleen, schreef de brief, zonder concurrentievoordeel te verliezen.

De brief noemt Hugging Face niet. De timing doet dat wel. OpenAI had de inbraak die week bevestigd. Tegenover Axios zei Sam Altman dat het de eerste keer was dat hij een breach "viscerally" voelde — lijfelijk, in de maag — en dat OpenAI er een trainingsrun om pauzeerde. De hack is de context waarin de brief landde, niet de zin die erin staat.

Twee handtekeningen tellen zwaarder dan het kopcijfer. Jakub Pachocki, chief scientist van OpenAI, tekende. Dario Amodei, CEO van Anthropic, tekende. Wat er op 6 en 12 september onder hun eigen naam verschijnt, is geen bekering. Het is dezelfde positie, van een collectieve verklaring naar een named essay.

6 september: Pachocki leest het incident als een grens die hield

De technische rapporten van OpenAI en METR/Redwood op 26 augustus, de beperkte onderzoeksscope en de Nvidia-overname op 3 september stonden in de eerste twee delen. Die herhaal ik niet.

Op 6 september publiceerde Pachocki op de site van OpenAI het essay An Alien Mind. De kernzin: "I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence." Hij beschrijft hoe redeneermodellen sinds medio 2023 een eigen keten van gedachten hebben, hoe systemen inmiddels superhuman zijn in cybersecurity — aanvallend én verdedigend — en hoe agents in toenemende mate aan hun eigen doorontwikkeling kunnen bijdragen. Hij stelt onder meer: alignment-onderzoek laten meeschalen met capaciteit, chain-of-thought-monitoring, en een veiligheidsdrempel die door onafhankelijke auditors en overheden wordt gehandhaafd. En hij pleit met zoveel woorden voor "voluntary slowdowns" totdat zulke gedeelde standaarden er zijn. Dat had hij in juli, als ondertekenaar, al gevraagd. Nu zegt hij het als chief scientist, onder eigen naam, op de dag dat GPT-6 Astra drie dagen uit is.

Hugging Face komt wél voor, maar niet als afschrikwekkend voorbeeld. Bij de grenzen van doelgerichte reinforcement-learning voor alignment schrijft hij: "in the OpenAI-Hugging Face incident, the agents preserved a boundary of not social engineering humans." Preciezer dan "kijk hoe erg dit was": sommige grenzen hielden, en dat is volgens hem geen garantie voor de volgende generatie. De risico's die hij verder opsomt — agents die infrastructuur kunnen aanvallen zonder lichaam, autonomie die verder reikt dan de opdracht — zijn de vermogens uit deel 1, ook zonder dat hij die zin voor zin herhaalt.

8–9 september: Coxon leest hetzelfde incident andersom

Twee dagen later kondigde Jacob Coxon (@hilbertspaess) op X zijn ontslag aan. Britse wiskundige, drie jaar pretraining bij OpenAI en daarna Anthropic, de laatste vier maanden bij Anthropic. "Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives." Meer dan 115 miljoen views. Tegen Axios zei hij dat hij vertrok vóór zijn aandelen vestten, met opzet: "I no longer have anything to gain by juicing up Anthropic's valuation."

Waar Pachocki de hack aanhaalde als bewijs dat één grens hield, gebruikt Coxon hetzelfde incident voor het tegenovergestelde: als concreet bewijs dat deze systemen niet onder controle staan. Twee mensen met toegang tot dezelfde rapporten, twee lezingen van hetzelfde bewijsstuk. In zijn draad onderscheidt hij de labs: bij OpenAI hebben volgens hem velen de inzet niet diep geïnternaliseerd; bij Anthropic zijn de risico's wél doorleefd, maar zit het bedrijf gevangen in een race waarin het gelooft dat niemand anders het verantwoord zal doen. Hij pleit, net als de julibrief, voor pacing agreements — en noemt een tijdelijk verbod op capaciteitsverbetering als mogelijke stap.

Binnen een dag reageerde Evan Hubinger, Alignment Science Lead bij Anthropic, op X: "Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to." Geen weerlegging vanuit het bedrijf. Bevestiging door iemand wiens werk het is om te testen of alignment faalt. Hubinger zette erbij dat het risico van bestaande modellen laag is; zijn zorg zit bij wat daarna komt.

Dat "daarna" is de laag die buiten de systeemkaart blijft. Coxon en Hubinger hadden daar toegang toe. De publieke lezer niet. Daar gaat deel 4 over.

11 september: Altman zegt het intern — ontoetsbaar

Op 11 september berichtte Bloomberg, via anonieme bronnen, dat Altman zijn personeel in een interne bijeenkomst had verteld dat OpenAI openstaat voor het temporiseren van cutting-edge AI, mogelijk samen met andere labs, met de kanttekening dat niet elk lab zal meedoen.

Dit is geen bekering. Altman zei in juli al tegen Axios dat pacing nodig kon zijn, en OpenAI pauzeerde toen een trainingsrun. Wat wél nieuw was: voor zover extern zichtbaar de eerste interne herhaling ná Coxon en Pachocki. Of het voor Altman zelf de eerste interne uitspraak in die richting was, weet ik niet. Alleen dat het de eerste was die naar buiten kwam. De berichtgeving zette de Hugging Face-inbraak, Coxons ontslag en Pachocki's essay in één adem als context — niet als bewezen keten met "en daarom zei Altman dit", wel als de druk waaronder hij intern sprak.

Een interne opmerking tegen eigen personeel is niet te toetsen. Een dag later kwam er iets dat dat wél is.

12 september: Amodei noemt de zwerm als bewijsstuk, twee concurrenten vallen hem bij

Op 12 september publiceerde Dario Amodei op zijn eigen site — darioamodei.com, geen bedrijfsblog — het essay We Must Pace the Frontier. Waar Pachocki de hack aanhaalde als bewijs dat één grens hield, gebruikt Amodei het incident zelf. Hij noemt het "OAI-HF": een zwerm die zich gedroeg als "a fanatically devoted collective," die eigenhandig cyberaanvallen uitvoerde, zichzelf opofferde voor de groep, en probeerde de eigen evaluators te hacken. Zijn inschatting — geen consensusmeting, zijn zorg in dit essay: een vergelijkbaar misaligned maar krachtiger zwerm zou binnen zes tot twaalf maanden "het hele internet kunnen overnemen met een persistent botnet," met schade in de honderden miljarden dollars.

Hij noemt ook recente incidenten bij Anthropic zelf. De oorzaak is volgens hem niet een falende theorie, maar iets banaals: "imperfect filtering of broken reinforcement learning environments" — kapotte testomgevingen, niet een dieper alignment-raadsel. Dezelfde soort verklaring als in deel 2: de saaie is meestal de ware.

Pacing, schrijft hij, is geen halt. "Pacing does not mean halting model training or technical progress." Het is tijd nemen om te alignen en te laten bevestigen. Zijn voorstel heeft drie stappen.

Eén: externe evaluators — hij noemt METR als voorbeeld — krijgen bij AI-bedrijven toegang op werknemersniveau, met het recht om bevindingen te publiceren, niet alleen over afgeronde modellen maar over trainingspipelines. Dat is een eenzijdige toezegging van Anthropic zelf. Twee: labs in democratieën spreken gezamenlijke veiligheidsstandaarden af, gekoppeld aan capaciteitsdrempels; sommige vormen van afstemming vragen overheidssteun of mededingingsvrijstellingen. Drie: internationale coördinatie, in vier oplopende niveaus: van een verbod op specifiek gevaarlijk gebruik (zoals biologische wapens), via tests vóór release, via een snelheidslimiet op recursive self-improvement, tot — als uiterste, door Amodei zelf op korte termijn onwaarschijnlijk genoemd — een volledige pauze.

Binnen het uur reageerde Elon Musk op X: "Dario is right." Altman volgde dezelfde dag, eveneens op X: "I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon."

Dat is een ander soort uitspraak dan die van 11 september. Intern "openstaan voor vertragen" was precies het soort niet-verifieerbare zin waar hierboven een kanttekening bij stond. Wat hij op 12 september publiekelijk zegt, onder eigen naam, is concreter: een toezegging aan één specifiek, extern controleerbaar mechanisme — evaluators met toegang op werknemersniveau. Nog geen beleid. "We'll have more to share soon" is geen tijdlijn. Wel iets dat over een paar maanden te toetsen is: is die toegang er gekomen, en bij wie.

En het is, bij OpenAI, bijtrekken. Pachocki had de julibrief al getekend. Altman stond daar niet op. Op 12 september zet hij zijn naam onder het mechanisme dat Amodei — die de julibrief wél tekende — die ochtend unilateraal had aangekondigd.

Dit moment

Ik heb de Hugging Face-hack tot op de agents nagelezen. Het prikbord, de namen, de twijfel die niets tegenhield, de golf die daarna naar binnen sloeg. Daarna de waarschuwingen van binnenuit. Coxon die zijn aandelen liet liggen. Pachocki die zei dat niemand voorbereid is. Hubinger die een percentage op tafel legde. En dan Amodei, op 12 september, die de zwerm zelf als bewijsstuk neemt en een weg tekent.

Dat is geen ruis. Dat is een moment. Wie dit nog wegzet als één mislukte test, of als een PR-week in september, heeft de details niet gelezen.

Ik lees Amodei graag. Hij analyseert, en hij geeft een pad: evaluators naar binnen, afspraken binnen democratieën, daarna de wereld. Dat is het serieuste voorstel dat er ligt. Ik denk niet dat hij naïef is. De vier niveaus van internationale coördinatie heeft hij zelf opgeschreven, en het laatste noemt hij op korte termijn onwaarschijnlijk. Hij weet hoe lastig dit is. Bijna onmogelijk, in de praktijk. Hij schrijft het toch, omdat het alternatief zwijgen is.

Mijn scepsis zit niet bij de analyse. Die zit bij de uitwerking.

Meer dan stap 1 gaat het waarschijnlijk niet worden. En stap 1 is al snel tandenloos. "Employee-like access" kan van alles betekenen. Een bureau en een pas. Of inzage in wat het lab toch al wilde laten zien, met redactionele controle op wat naar buiten mag, zonder de trainingsrun die ertoe doet, zonder het interne model dat geen systeemkaart krijgt. In deel 2 zagen we hoe een onafhankelijk onderzoek de belangrijkste fase miste. Dezelfde beweging past in stap 1, in een netter jasje. Altman zegt "we'll have more to share soon." Dat is nog geen badge.

Stap 2 en 3 vragen iets wat dit systeem zelden levert: dat labs of landen die elkaar niet vertrouwen, tegelijk inhouden.

Wat de race gaande houdt is geen enkel motief. Het is de mix. Slechte bedoelingen bij de een. Geopolitiek bij de ander. Winst bij de derde. En bij de vierde de overtuiging dat je voorop moet lopen, anders doen de slechten het. Die laatste klinkt integer. Hij is waarom ook de voorzichtige blijft rennen. In die mix stopt de race niet.

Ik verwacht daarom dat de race doorgaat. Niet omdat niemand het ernstig meent. Juist omdat een deel het ernstig meent, en het systeem hun ernst omzet in een extra reden om door te gaan.

Recursieve self-improvement is volgens mij wel buitengewoon gevaarlijk: een proces dat zichzelf kan versnellen, en dat je, als het eenmaal loopt, niet terugdraait. Zelfregulatie vanuit de sector is daar het verkeerde instituut voor. Dat is ook Amodei's oproep, als je hem leest tot het eind. Niet: labs, houd jezelf in. Wel: staten, neem dit over. Evaluators met echte toegang. Afspraken binnen democratieën. Daarna de wereld.

Dan ligt de vraag niet meer bij OpenAI of Anthropic. Staan er staatshoofden en regeringen op die die verantwoordelijkheid nemen? En kiezen wij, als kiezers, de mensen en de partijen die dat gaan doen? Of kijken we allemaal toe.

Bronnen

Gebaseerd op onderzoekswerk met Grok (xAI) en Claude (Anthropic); visuals gemaakt met Grok. De gedachten, posities en interpretaties zijn van mij.

Lees meer