Ruim 1100 medewerkers van de grootste AI-bedrijven ter wereld ondertekenden dinsdag een verklaring met een opmerkelijk verzoek aan de Amerikaanse overheid: zorg dat het tempo van AI-ontwikkeling kan worden afgeremd als dat ooit nodig blijkt. Onder hen bevinden zich Anthropic-topman Dario Amodei, de hoofdwetenschappers van OpenAI, Anthropic en Meta, plus leidinggevenden van Google DeepMind. De aanleiding ligt voor de hand, en die bleek deze week bovendien groter dan we dachten.

Wat een week voor open brieven, trouwens. Dinsdag schreven we over de brief waarmee tachtig techbedrijven zich juist tegen beperkingen op open AI-modellen keerden. Deze verklaring komt uit een heel andere hoek: van de onderzoekers op de werkvloer zelf.

Eerder deze maand testte OpenAI twee van zijn modellen op het vinden van beveiligingslekken, met de gebruikelijke veiligheidsremmen bewust uitgezet. De modellen zaten in een afgesloten digitale omgeving zonder verbinding met de buitenwereld. In hun ijver om de test te halen vonden ze een onbekend lek waarmee ze uit die testomgeving konden breken, werkten ze zich door de systemen van OpenAI heen tot ze internettoegang hadden, en drongen ze vervolgens het AI-platform Hugging Face binnen om daar de antwoorden op de test te stelen.

Niemand had ze gevraagd om uit te breken. Dat verzonnen ze zelf, als kortste route naar hun doel. De modellen werkten er een heel weekend aan voordat iemand het merkte, en volgens Reuters kwam OpenAI er pas achter nadat Hugging Face de aanval al had ingedamd en de FBI was ingeschakeld. OpenAI zegt dat er onjuistheden in die berichtgeving zitten, zonder te specificeren welke.

Dinsdag kwam er een vervolg op dit nieuws. Volgens Reuters en Axios heeft hetzelfde systeem ook ingebroken bij een klant van Modal Labs, een Amerikaans infrastructuurbedrijf. Technisch directeur Akshat Bubna benadrukt dat Modal zelf niet is gehackt: een klant had een toegangspunt online gezet dat voor iedereen op het internet openstond, en daar maakte het model gebruik van. Het digitale equivalent van een deur laten openstaan, aldus Reuters.

In een aanvulling op zijn eerdere verklaring meldt OpenAI dat het in totaal om vier accounts bij vier verschillende diensten ging. Het model dat werd getest is inmiddels uitgeschakeld, afgeschermd en afgesloten voor onderzoekers. Eén detail maakt het verhaal compleet: het gekraakte account bij Modal blijkt volgens een ingewijde te horen bij het project achter de test die het model aan het maken was. Het model brak dus letterlijk in bij de examencommissie.

De verklaring roept de Amerikaanse regering op mee te werken aan een internationale inspanning om de technische en bestuurlijke instrumenten te ontwikkelen waarmee je “het tempo van geautomatiseerde AI-ontwikkeling bewust kunt doseren”. In gewone taal: bouw de gereedschapskist waarmee overheden en bedrijven samen op de rem kunnen trappen.

Let ook op wat er níét staat. De ondertekenaars vragen niet om vertraging, en al helemaal niet om een pauze. Ze vragen enkel om een vangnet: een mechanisme dat klaarligt voor het moment dat het nodig mocht zijn. De wereld zou “tijd moeten kunnen kopen” om opkomende risico's aan te pakken en het toezicht te versterken, aldus de ondertekenaars.

Tot voor kort leefden deze zorgen vooral in interne veiligheidsteams en academische papers. Dat is voorbij. Er ligt nu een aangifte, er zijn twee benadeelde bedrijven, en er is een model dat op slot moest.

De diepere vrees gaat over iets waar AI-bedrijven zelf steeds openlijker over praten: AI die het onderzoek naar betere AI grotendeels zelf uitvoert. Onderzoekers controleren dat werk nog en bepalen de richting, maar het aandeel dat machines zelfstandig doen groeit. Als zo'n cyclus zichzelf gaat versnellen, kan de ontwikkeling sneller gaan dan mensen kunnen volgen.

Dawn Song, hoogleraar informatica in Berkeley en onderzoeksdirecteur bij Meta, schreef in een toelichting bij de verklaring dat veel onderzoekers zo'n zichzelf versterkende ontwikkeling binnen enkele jaren aannemelijk achten. Haar conclusie is nuchter: voorbereiden vóór een crisis is de verstandige route. Scherper nog is Leo Gao, die sinds 2021 aan veiligheid werkt bij OpenAI. Volgens hem zit de wereld gevangen in een race die niemand alleen kan stoppen, omdat geen enkele partij bereid is als eerste af te remmen.

Sam Altman, de topman van OpenAI, zette zijn handtekening niet onder de verklaring. Toch gaan zijn woorden intussen dezelfde kant op. In een podcast zei hij dinsdag dat de hack zijn bedrijf heeft gedwongen het trainen van modellen stil te leggen, en dat het tempo van de ontwikkeling mogelijk omlaag moet om de samenleving tijd te geven zich te wapenen tegen wat deze systemen kunnen.

Eerder deze week verklaarde hij in een ander gesprek dat de mensheid zich inmiddels “in de singulariteit” bevindt, het punt waarop AI zichzelf zelfstandig kan verbeteren. Onderbouwing gaf hij er niet bij. Deze week is Altman in Washington, waar hij spreekt met de stafchef van het Witte Huis, de ministeries van Financiën en Handel en een groep parlementsleden.

Er is een minder verheven manier om naar die reis te kijken. Zakenblad The Information meldde dinsdag dat OpenAI en Anthropic, twee bedrijven waarvan de topmannen elkaar publiekelijk nauwelijks kunnen luchten, in Washington aan hetzelfde touw trekken. Op 1 augustus stelt de regering-Trump haar toetsingskader voor de zwaarste AI-modellen vast, en volgens bronnen van het blad lobbyen beide bedrijven ervoor om ook de modellen van achterblijvende concurrenten als Meta onder die verplichte keuring te laten vallen. Diezelfde concurrenten willen juist dat de keuring zich beperkt tot de sterkste modellen, die van OpenAI en Anthropic zelf.

Daar komt bij dat de goedkope Chinese modellen die we dinsdag bespraken rechtstreeks aan het verdienmodel van beide bedrijven knagen. Een oproep tot 'bewust doseren' is dus niet geheel belangeloos, hoe oprecht de zorgen van de individuele ondertekenaars ook zijn. Anthropic-topman Dario Amodei publiceerde maandag een stuk waarin hij zich verweert tegen de kritiek en benadrukt dat zijn bedrijf nooit voor een verbod op open modellen heeft gepleit.

Meta-topman Mark Zuckerberg publiceerde op dinsdag ook een opiniestuk in The Wall Street Journal met een tegengestelde boodschap. Hij verbaast zich openlijk over het doemdenken van veel AI-ontwikkelaars. Waarom zou iemand die werkelijk gelooft dat AI de meeste banen en zelfs de relevantie van de mensheid wegvaagt, zo veel haast hebben bij de bouw ervan?

De kern van zijn stelling: het idee dat AI zó gevaarlijk is dat alleen extreme machtsconcentratie veilig zou zijn, is zelf gevaarlijk. Volgens hem ontstaat veiligheid juist door machtsevenwicht. Hopen dat een almachtige partij welwillend voor de mensheid zorgt, schrijft hij, heeft de geschiedenis nooit goed gedaan.

Zijn overtuigendste argument is een gedachte-experiment. Stel dat één persoon beschikt over een superintelligente advocaat. Die wint zijn zaak, ook als hij inhoudelijk ongelijk heeft. Geef vervolgens iedereen zo'n advocaat, en de rechtspraak wordt eerlijker en sneller dan ze nu is.

Absoluut is hij niet. Bij biologische risico's erkent hij dat overheden en instellingen beter moeten samenwerken voordat capabele modellen worden vrijgegeven. Bij cybersecurity houdt hij juist vol dat brede toegang op termijn de beste bescherming biedt, precies de redenering die Hugging Face deze maand noodgedwongen in praktijk bracht. 

En opvallend genoeg: de hoofdwetenschapper van Meta, Shengjia Zhao, zette diezelfde dag zijn handtekening nog onder de verklaring die om een rem vraagt.

Voor jou verandert er deze week niets aan je ChatGPT-abonnement. Toch is dit het soort nieuws dat over vijf jaar in de terugblik staat. Als de mensen die deze systemen bouwen hun eigen overheid vragen een rem te ontwerpen, zegt dat iets over hoe zij de komende jaren inschatten.