Over deze reeks
Elke zaterdag publiceert AI Report een Nederlandse vertaling van een artikel dat Alberto Romero schreef voor The Algorithmic Bridge. AI Report-abonnees krijgen via deze link 20% korting op een abonnement.
Vertaling en eindredactie: Erwin van Wouw
De strijd tussen Vasten en Vastenavond (detail) van Pieter Bruegel de Oude, 1559
Dario Amodei, CEO van Anthropic, heeft het essay We Must Pace the Frontier gepubliceerd, dat weleens bepalend zou kunnen zijn voor de komende jaren van de sector.
Hij stelt voor dat de sector de ontwikkeling van nieuwe AI-capaciteiten vertraagt en intussen uitzoekt hoe het veilig kan doorgaan. Zijn argument is dat AI zich te snel ontwikkelt – met hulp van AI zelf – en dat de bedrijven die de technologie bouwen niet alles onder controle hebben. Hij noemt de Hugging Face-hack als voorbeeld. Een ander voorbeeld zou de oplossing van het Navier-Stokesprobleem kunnen zijn.
Zijn voorstel bestaat uit drie fasen:
Onafhankelijke beoordelaars toegang geven om het werk binnen AI-bedrijven te controleren. Anthropic zegt hieraan mee te zullen werken.
Coördinatie tussen AI-labs in de VS en in andere democratieën.
Uiteindelijk een zekere mate van internationale coördinatie, ook met China.
De timing is perfect als je de volgende feiten in ogenschouw neemt.
Ten eerste zijn zorgen over AI-veiligheid gemeengoed geworden na de tweet van Jacob Coxon en zijn vertrek bij Anthropic. Of dit deel uitmaakte van een georkestreerde campagne of niet, doet er niet toe.
Ten tweede zijn problemen met AI-veiligheid werkelijkheid geworden door de vele hacks van de afgelopen maanden. Het incident bij Hugging Face is slechts het bekendste. Of die hacks nu wijzen op autonoom gedrag van een onbeheersbare technologie of op ouderwetse, sectorbrede nalatigheid, doet ook hier niet ter zake.
Ten derde wordt de vooruitgang bij frontiermodellen gedomineerd door twee Amerikaanse bedrijven. Ik denk dat het voor de rest moeilijk wordt om Anthropic en OpenAI in te halen. De oplossing van het Navier-Stokesprobleem illustreert dat het best, maar je kunt ook kijken naar de omzetcijfers of benchmarkscores.
Deze drie feiten suggereren dat Amodeis zorgen 1) goed zullen worden ontvangen, omdat anderen de weg hebben vrijgemaakt, 2) redelijk zijn, omdat het gevaar in de echte wereld voelbaar is geworden, en 3) de westerse AI-hegemonie niet hoeven aan te tasten, omdat China te ver achterloopt.
Zijn conculega’s steunden hem.
Kort na de publicatie van het essay spraken Sam Altman van OpenAI, Elon Musk van xAI en Demis Hassabis van DeepMind hun steun uit voor zijn voorstel. Altman, die leidinggeeft aan Anthropics belangrijkste rivaal onder de frontierlabs, kondigde ook aan dat OpenAI onafhankelijke beoordelaars zal toelaten.
Dat is dus ongeveer waar de sector nu staat. Maar hoe zit het met de regeringen?
President Donald Trump, die een van de sleutels tot deze oplossing in handen heeft – de andere is in handen van Xi Jinping – wees de vertraging af. Hij zei dat “wie AI wint, wint”, en gooide er nog wat krachttermen tegenaan. Altman reageerde daar op meesterlijke wijze indirect op: “Maar je zou er wél de Nobelprijs voor de Vrede mee kunnen winnen.” De vraag is dus: wat is groter, Trumps ambitie of Trumps trots? Xi noemde Amodeis oproep tot vertraging op zijn beurt “een tactiek uit de Koude Oorlog”. De Global Times schreef dat het een poging was “om de Chinese AI-ontwikkeling te beteugelen met technologische barrières en monopolies op het gebied van regelgeving, Washingtons monopolistische hegemonie in geavanceerde technologie in stand te houden en China uit te sluiten van het mondiale stelsel voor AI-bestuur”.
Met aan de ene kant de bevreesde sector en aan de andere kant de onbevreesde regeringen, lijkt dit sterk op Oppenheimer versus Truman. Helaas voor Amodei: technologie is macht, maar niet machtiger dan de macht zelf.
Ik denk dus niet dat het ervan gaat komen. Toch ga ik Amodeis bedoelingen serieus nemen. Laten we aannemen dat Trumps ambitie het wint van zijn trots en dat China nog verder achteropraakt.
Je kunt Amodeis essay op allerlei manieren lezen. Die interpretaties bestrijken het hele spectrum, van “dit is een marketingtruc in aanloop naar de beursgang” tot “afremmen is bij lange na niet genoeg; we moeten de technologie volledig stilleggen”, met daartussen alle mogelijke varianten van bezorgdheid, enthousiasme en cynisme. Ik ga ervan uit dat hij meent wat hij zegt en dat zijn zorgen oprecht zijn, om de eenvoudige reden dat we zijn boodschap niet hoeven af te wijzen om er barsten in te ontdekken.
Voor de duidelijkheid: ik denk dat Amodei grotendeels eerlijk is, zoals meestal (hij gelooft er heilig in). Dat Anthropic een bedrijf is dat investeerders tevreden moet houden, winst moet maken enzovoort, sluit niet automatisch uit dat hij ook om andere dingen geeft. Hij pleitte al voor veiligheidsregels lang voordat hij genoeg macht had om die af te dwingen. Zal hij proberen regeringen en de sector in de richting van zijn eigen visie te bewegen als hij daartoe de kans krijgt? Natuurlijk. Dat maakt hem nog niet oneerlijk.
En toch zitten er belangrijke tekortkomingen in zijn plan, ook als we hem serieus nemen. Dat weet hij zelf ook.
Wie Amodeis plan analyseert, ziet dat het belangrijkste onderdeel ook het verstandigste is: als je AI-bedrijven niet kunt vertrouwen om hun eigen huiswerk na te kijken, laat dat dan door buitenstaanders doen. Maar dit is ook de kwetsbaarste stap. Die moet namelijk vlekkeloos werken, omdat alles wat volgt erop voortbouwt.
Het probleem is meteen duidelijk als je METR’s onderzoek naar de Hugging Face-hack hebt gevolgd. De onderzoekers waren niet volledig vrij om de waarheid te achterhalen, en evenmin volledig vrij van belangenconflicten. Zelfs als de sector groen licht had van Washington én reden om aan te nemen dat China zou meewerken, zou het plan hierdoor nog altijd tekortschieten. In een ander stuk schreef ik de volgende voetnoot:
Een opmerking over het rapport zelf: de vooringenomenheid is groot. De onderzoekers beginnen aan hun werk terwijl ze het idee dat AI in psychologische en sociale zin mensachtig is al grotendeels hebben omarmd. Daar kan ik tot op zekere hoogte in meegaan, maar het blijft een vooringenomenheid. Dat blijkt uit de vragen die ze voor hun onderzoek kozen: “Wat deden de agents en waarom?” in plaats van “Hoe heeft OpenAI het verprutst?” of “Waarom faalde de infrastructuur?” Je kunt best betogen dat een AI-incident anders is dan bijvoorbeeld een vliegtuigongeluk of een conventionele softwareaanval, maar dat maakt de rol van mensen en instellingen niet minder belangrijk als je wilt begrijpen wat er is gebeurd. In die zin lopen de onderzoekers het risico zich te laten misleiden door een illusie – deels gecreëerd door OpenAI zelf … – en dat bedrijf zou vermoedelijk veel minder enthousiast zijn over een onderzoek naar zijn eigen tekortkomingen dan over een onderzoek naar het vreemde gedrag van de technologie. METR heeft feitelijk geen enkele bevoegdheid om een volledig onderzoek af te dwingen en moet dus compromissen sluiten met OpenAI. In wezen strookt alles wat je in dit rapport ziet min of meer met OpenAI’s doelen. OpenAI’s bereidheid om mee te werken aan “OMG, kijk eens wat die agents hebben gedaan!” is op zichzelf bijvoorbeeld al een manier om beleidsmakers schrik aan te jagen. Ik ben niet eens cynisch en beschuldig ze ook niet van hypocrisie. Ik beschrijf alleen wat iedereen met macht zou doen (laten we vooral niet vergeten wie die macht daadwerkelijk heeft): geen probleem, kom gerust bij ons thuis onderzoek doen! Maar blijf uit de kelder. En van de zolder. Nou, eigenlijk: blijf maar gewoon in de woonkamer :).
METR erkende zelf dit onvermijdelijke spanningsveld en de gevolgen ervan:
Het werk van METR is afhankelijk van het opbouwen en onderhouden van goede werkrelaties met bedrijven. We vinden het ook belangrijk om drempels te verlagen of weg te nemen die bedrijven ervan weerhouden vrijwillig belangrijke informatie te delen over incidenten waarbij AI afwijkt van de beoogde doelen. Tijdens dit onderzoek waren we ons er terdege van bewust dat we AI-ontwikkelaars er mogelijk toe zouden aanzetten om in de toekomst geen externe onderzoekers meer bij ernstige incidenten te betrekken. Deze overwegingen speelden mee in de keuzes die we maakten bij het opstellen en redigeren van de tekst en het weglakken van passages.
Met dit in het achterhoofd zie ik niet hoe dit voorstel zou kunnen werken, zelfs niet onder uitzonderlijk gunstige omstandigheden: groen licht van de regering, alle partijen akkoord, AI die beheersbaar blijft, enzovoort.
Het dilemma van METR is zo oud als de wereld.
Het gaat terug tot Plato’s De staat – wie controleert de machtigen? – of de Satiren van Juvenalis, een Romeinse dichter uit de eerste en tweede eeuw: Quis custodiet ipsos custodes? (“Wie bewaakt de bewakers?”). Bij Juvenalis ging het niet om futuristische technologie, maar om een nogal menselijke kwestie: overspel. Het grappige is dat het probleem in zekere zin hetzelfde is – als Amodei zijn zin krijgt, zal de sector ons bedriegen.
Veel later, aan het einde van de achttiende eeuw, stonden de grondleggers van de Verenigde Staten voor dezelfde uitdaging. Ze bedachten een manier om die aan te pakken. In nummer 51 van The Federalist schreef James Madison dat de “verschillende samenstellende delen [van de overheid] door hun onderlinge verhoudingen het middel kunnen vormen om elkaar op hun juiste plaats te houden”. Dit werd bekend als checks and balances. Je ontwerpt de interne structuur zo dat die zichzelf bij elkaar houdt: A controleert B, B controleert C, C controleert A. Zoals zo’n houten puzzel die je alleen kunt oplossen door alle onderdelen tegelijk in te duwen of uit te trekken.
“Ambitie”, schreef Madison, “moet worden ingezet als tegenwicht voor ambitie.” Dat zou kunnen werken als hier zo’n interne structuur bestond, maar wie zou binnen Anthropic toezicht houden op METR? Een hypothetische METR 2.0? En wie houdt toezicht op METR 2.0? Enzovoort. Enzovoort. Zo’n driehoeksconstructie is hier niet voorhanden. En al helemaal niet als je opschaalt naar landen. Wie houdt toezicht op Amerika en China? De Verenigde Naties? Het Internationaal Gerechtshof? Laat me niet lachen: macht op papier is een kaartenhuis dat bij een zuchtje wind al instort.
Onder de praktische uitdaging ligt een filosofisch dilemma. Agrippa de Scepticus formuleerde in de eerste eeuw een argument dat hem tot de conclusie bracht dat overtuigingen niet te rechtvaardigen zijn. Toegepast op het idee van checks and balances: als C betrouwbaar is omdat B daarvoor instaat, waarom zouden we B dan vertrouwen? Omdat A daarvoor instaat. Maar waarom zouden we A vertrouwen? Omdat C daarvoor instaat. Alleen zeiden we net dat C uitsluitend betrouwbaar is omdat B betrouwbaar is, en dat B dat alleen is omdat A betrouwbaar is – en zo gaat het eindeloos door.
De sector heeft dus drie opties.
Eén: tot in het oneindige nieuwe toezichthouders aanstellen. (Ik weet dat de sector zwemt in het geld en goed is in getaltheorie, maar zelfs voor deze bedrijven is de oneindigheid onbetaalbaar.)
Twee: toezichthouders voor elkaar laten instaan (een ons-kent-onssysteem dus, waarin de sector zelf mooi buiten schot blijft).
En drie: eenzijdig verklaren dat één toezichthouder betrouwbaar is, zonder verdere onderbouwing, en daarmee een einde maken aan die vervelende discussie.
In de praktijk zal de sector natuurlijk voor optie drie kiezen. De labs zullen METR of een andere organisatie het stempel ‘betrouwbaar’ geven.
Maar hoewel METR in beperkte zin financieel zuiver is, is de organisatie operationeel en sociaal verweven met de sector die ze moet beoordelen (zo werkte CEO Beth Barnes bij OpenAI en Google DeepMind), wat METR een bijzonder zwakke keuze maakt. Daar red je het niet mee.
Amodei houdt vol dat het probleem in de AI-modellen zelf zit: die worden zo goed dat ze per definitie moeilijk te beoordelen zijn. Sorry, maar suggereren dat dát de reden is waarom dit zo moeilijk is, is pure bullshit. Ik heb net laten zien dat er geen radicale aannames over toekomstige capaciteiten nodig zijn om vast te stellen hoe zinloos deze onderneming is: het vraagstuk van bestuur en toezicht is, hoe je het ook bekijkt, moeilijker dan het Navier-Stokesprobleem.
Dus tenzij de volgende generatie modellen die de labs in hun kelders verborgen houden hier stilletjes al een oplossing voor heeft bedacht, denk ik niet dat het deze keer anders zal lopen. De wiskunde geeft zich misschien gewonnen, maar politiek is van een heel andere orde. Al moet je mij hierin misschien ook niet zomaar vertrouwen.
Alberto Romero, 14 september 2026