Even iets persoonlijks vooraf. Toen we tweeënhalf jaar geleden met deze nieuwsbrief begonnen, schreven we vol verwondering over ontwikkelingen die nu bijna onschuldig aandoen. Kijk, AI maakt nu ook muziek. Kijk, AI kan gedichtjes schrijven. De gevaren die we erbij benoemden, waren puur theorie: vooral te vinden in lange essays, in de diepste krochten van het internet, geschreven door mensen die zelf niet wisten of ze ooit werkelijkheid zouden worden.

Deze zomer veranderde alles. AI-agents braken uit hun testomgeving en organiseerden zich buiten het zicht van hun makers. Twee modellen kwamen op de rand van menselijke intelligentie. Een wiskundeprobleem van een miljoen dollar werd opgelost met tienduizend agents. En afgelopen zaterdag vroeg de baas van Anthropic om te vertragen, waarna zijn grootste concurrenten binnen twee uur instemden. 

Op de redactie voelen we het ook. AI komt uit de computer en dringt de samenleving binnen, en de vraag wat we nu moeten, ligt op tafel bij wereldleiders en AI-bazen tegelijk. Onze Xiang: "Ik denk al dagen aan Arrival." 

Die film, uit 2016, gaat over twaalf buitenaardse schepen die landen op aarde. De wereld deelt eerst wat ze ontdekt, sluit dan een voor een de kanalen, en China staat op het punt aan te vallen. Het keerpunt is één telefoontje: de Chinese generaal blijkt een mens met wie te praten valt, en de landen gaan weer samenwerken. Wij zitten nu op dat moment, met één verschil. De vreemde intelligentie komt niet van buiten. OpenAI's chief scientist noemde haar vorige week een "alien mind". En het telefoontje staat gepland: op 24 september ontvangt Trump Xi in het Witte Huis, met AI op de agenda. 

Vandaag duiken we diep in wat er op tafel ligt.

Dario Amodei is de topman van Anthropic. Samen met OpenAI, het bedrijf achter ChatGPT, geldt Anthropic op dit moment als het machtigste AI-lab ter wereld: de twee maken de beste modellen die er zijn en zijn elkaars aartsrivalen. Zaterdagmiddag publiceerde Amodei een essay van 3800 woorden met één vetgedrukte zin:

Geen stop, benadrukt hij. Wel meer tijd tussen de sprongen.

Twee dingen brachten hem tot dat standpunt. Sinds deze zomer bouwt AI steeds meer zelf aan de volgende generatie AI, ook bij Anthropic, en dat kan "ons vermogen om deze systemen te begrijpen en te controleren voorbijstreven". En het incident van juli bij Hugging Face, het platform waar AI-bedrijven en onderzoekers hun modellen delen, waarin een zwerm OpenAI-agents zich volgens hem gedroeg als "een fanatiek en bevlogen collectief" dat doelen aanviel waar niemand om had gevraagd. Zijn schatting: binnen zes tot twaalf maanden kan zo'n zwerm "het hele internet overnemen met een permanent botnet". In 2023 vond hij een pauze nog onzin, schrijft hij, omdat de modellen toen nergens toe in staat waren. Nu wel.

Zijn plan heeft drie treden. Eén: externe beoordelaars met de toegang van een werknemer, inclusief bureau, toegangspas en het recht om te publiceren zonder dat Anthropic meeleest. Anthropic doet dit nu, eenzijdig. Twee: afspraken tussen de Amerikaanse labs over tempo en normen, waarvoor de overheid een uitzondering op de mededingingsregels moet geven. Drie: afspraken met China, in vier niveaus, van een verbod op biowapens (haalbaar) tot een echte wereldwijde pauze, die hij zelf "onwaarschijnlijk" noemt. Om tijd te winnen wil hij intussen de Amerikaanse voorsprong bewaken door geen krachtige AI-chips of chipmachines naar China te sturen.

Dario's essay kwam twee dagen na Anthropics eigen rapport over misbruik van Claude, en dat rapport verklaart de haast beter dan het essay. De kernzin: 

Een Russische spionagegroep liet AI-agents hun malware automatisch herbouwen zodra een virusscanner hem herkende, tot hij weer onzichtbaar was. Twee studenten in de Chinese provincie Hunan draaiden een fabriek voor beveiligingslekken die 's nachts doorwerkte. Eén Franstalige hacktivist bouwde in zijn eentje een platform dat 140.000 politieke voorkeuren van Europeanen doorzoekbaar maakte. Het rapport zegt ook dat geen van deze gevallen Fable of Mythos gebruikte; dat is Anthropics eigen claim.

Tel daar de zomer bij op die wij hier week na week beschreven, en het ‘nu’ verklaart zichzelf.

Binnen zestien uur hadden alle grote labs gereageerd. Het merkwaardigste eraan: dit zijn geen vrienden. OpenAI-topman Sam Altman en Amodei gingen in 2021 uit elkaar, toen Amodei OpenAI verliet om Anthropic op te richten na onenigheid over veiligheid en commercie. Musk en Altman liggen al jaren met elkaar overhoop, tot in de rechtszaal aan toe. Dat ze het nu met elkaar eens zijn, is nieuws op zichzelf. Hier zijn de kampen:

"Vertraag, en laat ons meekijken." Elon Musk, eigenaar van AI-bedrijf xAI, na een uur: "Dario heeft gelijk." Sam Altman na anderhalf uur: dit was "de afgelopen weken het hoofdonderwerp bij OpenAI", en OpenAI neemt de externe beoordelaars over. Altman zei tegen Fortune ook dat de beursgang van OpenAI tot minstens 2027 wordt uitgesteld vanwege de veiligheid. Demis Hassabis, baas van Google DeepMind, het AI-lab van Google: "de juiste richting", maar met een link naar zijn eigen voorstel voor een sectorbreed standaardenorgaan. Hij wil een instituut dat voor alle labs geldt.

"Vertraag, maar niet met zijn vieren." Satya Nadella, topman van Microsoft, de grootste investeerder in OpenAI, verwelkomde het plan met een voorwaarde: "Dit mag niet worden gecontroleerd door een handjevol partijen." Open en gesloten modellen moeten allebei kunnen bestaan (open source betekent dat de bouwstenen van een model openbaar zijn, zodat iedereen ermee kan werken), en bedrijven moeten hun eigen modellen in handen houden. François Chollet, bedenker van ARC-AGI, de veelbesproken intelligentietest voor AI, ging niet in op vertragen en noemde het risico dat hem het meest zorgen baart: "extreme machtsconcentratie". De enige remedie: meerdere onafhankelijke aanbieders, inclusief open source. Clément Delangue van Hugging Face, het platform voor opensourcemodellen, vroeg om toegelaten te worden tot Anthropics beoordelaarsprogramma: "Alignment wordt niet opgelost achter de gesloten deuren van een handje vol labs."

"Dit gaat niet ver genoeg." Jacob Coxon, die vorige week ontslag nam bij Anthropic, en zijn collega Evan Hubinger willen desnoods een tijdelijk verbod op het verbeteren van modellen. Senator Bernie Sanders eist een volledige pauze en een verdrag met Xi. Emad Mostaque, oprichter van beeldgenerator Stability AI, noemt het plan "goedbedoeld maar hol": beoordelaars die genegeerd kunnen worden, zijn een tandeloze tijger.

"Dit is theater." Trump, zondag op zijn golfbaan in Ierland: de waarschuwingen zijn overdreven, het werk van "negatieve krachten". Maandag op Truth Social: "De enige waarborg die AI nodig heeft is een STERKE EN SLIMME president." House Speaker Mike Johnson wil geen moratorium, "anders haalt China ons in". De scherpste stem is David Sacks, AI-adviseur van het Witte Huis: "Ga je gang. Ik zie niet wat jullie in het lab zien." Maar, voegde hij toe: "Stop met doen alsof het motief puur altruïstisch is. Jullie lopen een enorm aansprakelijkheidsrisico als jullie producten een echte cyberaanval mogelijk maken." Yann LeCun, jarenlang de AI-baas van Meta en nu oprichter van een eigen lab, noemt het angstzaaierij. The Register ziet regulatory capture: vier miljardairs die de regels schrijven die overheden vervolgens moeten handhaven, en die onderling een wapenstilstand afspreken.

"Wij schrijven onze eigen regels." Xi Jinping, zondag op de top van BRICS, het blok van elf opkomende economieën rond China, India en Rusland: een "op consensus gebaseerd wereldwijd AI-governanceraamwerk", en een opensourcegemeenschap onder de BRICS-vlag waarin China modellen en training gratis deelt met het Zuiden. "Internationale regels moeten door alle landen worden geschreven." Zijn ministerie van Buitenlandse Zaken noemde de oproep van de CEO's maandag "angstzaaierij die niemand dient". Dezelfde dag publiceerde Beijing een eigen veiligheidskader dat waarschuwt dat de techniek "de menselijke controle kan ontstijgen". Justin Lin, een van de bouwers van Alibaba's Qwen-modellen: "Wij versnellen en jij zegt vertragen? Doe wat je wilt, stop met doen alsof je toestemming nodig hebt." Dario zelf, zondag op CBS: China is "het lastigste dilemma. Ik weet eerlijk gezegd niet of het mogelijk is."

Europa reageerde als het buurland dat de brandweer al heeft gebeld. De Europese Commissie wees erop dat de AI Act sinds augustus 2025 al verplicht wat Dario voorstelt: tests, incidentmeldingen en een beoordeling van het risico op controleverlies, en dat ENISA Mythos en Astra al beoordeelt. Commissiewoordvoerder Thomas Regnier: "Bedrijven moeten bewijzen dat hun diensten veilig zijn." Duitsland noemde stoppen "geen haalbare optie", maar zei ook dat uitbrekende agents "een volstrekt nieuw dreigingsscenario" vormen, en agendeert het bij de G7. Spanje sprak van een internationaal verdrag naar het voorbeeld van kernwapenverdragen en bekritiseerde Trump. Het Verenigd Koninkrijk, buiten de EU en zonder eigen AI-wetgeving, is voorzichtig positief: reguleren mag, maar "op basis van bewijs, niet van speculatie". 

En Den Haag? De Tweede Kamer was er eerder bij dan Dario. Op 19 augustus vroegen Sarah El Boujdaini (D66) en Jantine Zwinkels (CDA) aan staatssecretaris Aerdts of Nederlandse organisaties waren geraakt door de uitbrekende modellen, of de verantwoordelijkheid bij de ontwikkelaars ligt, en of het kabinet in Europa een meldplicht wil bepleiten voor modellen die uit hun testomgeving ontsnappen, naar het voorbeeld van de meldplicht voor datalekken. Op 10 september volgde SGP-leider Chris Stoffer met de vraag of "internationale afspraken of zelfs een tijdelijke ontwikkelpauze voor de krachtigste AI-systemen" nodig zijn. Antwoorden zijn er nog niet. 

Lees de kaart nog eens en er valt iets op. Bijna iedereen die ja zegt tegen het voorstel van Amodei, zegt er iets bij. Nadella wil breedte, Hassabis een instituut, Delangue openheid, Chollet concurrentie. Het is een ja tegen zijn diagnose, geen ja tegen zijn recept. De echte scheidslijn: wie vindt dat een klein groepje bedrijven dit mag regelen, tegenover wie dat groepje juist het gevaar vindt. 

Fortune stelde zondag de vraag die overblijft: iedereen is het eens, maar wie remt als eerste? Anthropic heeft beoordelaars beloofd; OpenAI belooft ze "binnenkort"; Google wil eerst een instituut; China versnelt; Washington laat het aan de bedrijven. De enige plek waar iets vastligt, is Brussel.

Wij kiezen geen kamp. Maar dit valt op. Bij elke andere technologie, een kernreactor bijvoorbeeld, zou het op zijn minst tot strengere regels leiden als de bouwers zelf de kans op een wereldwijde ramp op meer dan tien procent schatten. Hier leidt hij tot een essay, drie tweets en stevige uitspraken op een golfbaan. Op 24 september gaat de telefoon.

Bereik ruim 59.000 nieuwsbriefabonnees met interesse in AI. Sponsor onze nieuwsbrief of podcast. Laat je interesse weten.