We gaan iets nieuws proberen! Voortaan delen we op zaterdag artikelen van een van onze favoriete AI-auteurs: Alberto Romero van The Algorithmic Bridge. Zijn analyses laten altijd zien hoe je AI beter kunt inzetten, zonder te vergeten wat menselijk werk uniek maakt.

Alberto komt uit Spanje en schrijft in het Engels. Speciaal voor jullie vertalen we zijn greatest hits naar het Nederlands.

Wil je Alberto doordeweeks in het Engels lezen? Abonnees van AI Report krijgen 20% korting op een abonnement. Gebruik hiervoor de kortingscode.

En dan nu, over to Alberto:

[Originele versie in het Engels]

GPT-5.6 is uit en de cheerleaders van OpenAI hebben ons alweer getrakteerd op hun vaste riedel over hoe ongelooflijk het is. Ik geloof ze: elk nieuw model van Anthropic en OpenAI is inmiddels ongelooflijk. Voor hen is een Erdős-vermoeden weerleggen – en binnenkort misschien, hopelijk, een millenniumprijsprobleem oplossen – een fluitje van een cent. Er zitten nog wel wat hiaten in de betrouwbaarheid van deze technologie, maar bij agentic taken en coding presteren deze modellen fantastisch. (Lees hier de system card van GPT-5.6.)

Ik wil dit onmiskenbare feit vandaag in een ander licht zetten met een resultaat dat het trouwe koor meestal ontgaat. Een resultaat dat tegelijk ongelooflijk is omdat het zo goed is en ongelooflijk omdat het zo slecht is.

Ik heb het over de score van GPT-5.6 op de benchmark die bekendstaat als ARC-AGI-3 – een persoonlijke favoriet – die uitkomt op het schandalige cijfer van 7,8%. (Vanaf nu heb ik het alleen over GPT-5.6 Sol, de grootste van de drie versies van dit model, naast Terra en Luna; lees hier de volledige blogpost over ARC-AGI-3.)

Dat is schandalig om drie redenen.

Ten eerste omdat het eigenlijk helemaal niet schandalig is. ARC-AGI-3 is een benchmark die zo is ontworpen dat hij er voor het menselijk oog eenvoudig uitziet, maar tegelijkertijd een soort intelligentie vereist – “fluïde, niet gekristalliseerd”, zoals bedenker François Chollet het graag verwoordt – waar AI moeite mee heeft. Als je het zelf probeert, kost het je misschien even, maar al snel begin je het principe van elk spel te snappen; de patronen van kleuren en bewegingen, enz. Daarom is 7,8% echt heel laag; mensen scoren steevast meer dan 90%.

Hoe kan het dat een AI-model dat zelf een andere AI kan trainen – OpenAI zei in de livestream dat GPT-5.6 Sol “autonoom post-training heeft gegeven” aan GPT-5.6 Luna – en dat wat klooit met Erdős-problemen, minder dan 1 op de 10 spellen oplost die jij en ik redelijk makkelijk zouden uitspelen?

Ten tweede omdat het, vergeleken met elk ander bestaand general-purpose taalmodel – van welk bedrijf en welke omvang of soort dan ook – een schandalig hoge score is. Om je een idee te geven: de score van GPT-5.5, dat drie maanden geleden uitkwam, was 0,43%. Nee, ik heb me niet in de komma vergist. Minder dan een half procentpunt. GPT-5.6 is 20 keer beter dan zijn voorganger, die destijds de hoogste score ooit neerzette! (Opus 4.8 haalde uiteindelijk 1,5% en overtrof daarmee die score.)

Als we de lijn in de grafiek doortrekken zoals die AI-jongens dat graag doen, zal ARC-AGI-3 tegen het einde van het jaar uitgespeeld zijn, net zoals dat uiteindelijk gebeurde met de vorige versies. GPT-5.6 scoort ruim 90% op zowel ARC-AGI-1 als ARC-AGI-2 tegen verwaarloosbare kosten per taak, en noteert daarmee een nieuw Pareto-front voor efficiëntie: het is het beste model op de prestatie-efficiëntieladder.

Ik weet nog goed hoe ARC-AGI-2 in die goeie ouwe tijd – anderhalf jaar geleden – zo moeilijk leek in vergelijking met ARC-AGI-1, en nu lijken onderstaande twee grafieken wel dezelfde grafiek. Je kunt wel bedenkingen hebben bij de vooruitgang van AI en de hiaten en gebreken ervan benoemen, maar soms is het gewoon prachtig om te zien en onmogelijk om te negeren. (Let op: de x-as is logaritmisch.)

En ten derde omdat het schandalig is hoe ongelooflijk interessant ARC-AGI-3 als benchmark is wanneer het beste model ter wereld (Anthropics Fable moet nog getest worden) een score haalt die tegelijk zo hoog en zo laag is, afhankelijk van of je de score vergelijkt met die van AI’s of van mensen.

In plaats van te vragen wat GPT-5.6 zo bijzonder maakt, kan ik net zo goed vragen wat deze ARC-AGI-benchmark zo bijzonder maakt. Word ik verblind door de neiging om dit moment als keerpunt te zien, en zijn deze resultaten eigenlijk gewoon een vluchtig verschijnsel dat als voetnoot de geschiedenis in zal gaan zodra AI-modellen een beter geheugen ontwikkelen of een groter vermogen om spellen te begrijpen waarvan ze de regels niet kennen? Maar als de test echt robuust is, hoe zit het dan met ARC-AGI-4 (het ARC Prize-team werkt er al aan) – zal die het scorebord weer terugzetten naar 0,XX%? Als dat zo is, hoeveel iteraties van ARC-AGI kunnen er dan nog worden gemaakt? Kunnen we al spreken van AGI terwijl er nog ruimte is om een ARC-AGI te ontwerpen die voor mensen ‘makkelijk’ is en voor AI onmogelijk? Wat heeft die simpele speltest toch dat superslimme modellen er keer op keer mee de mist in gaan? Hoe komt het dat ik gewoon kan inloggen, wat kan klooien en binnen een paar minuten alles doorgrond, terwijl zij in die tijd misschien drie Erdős-problemen oplossen maar hierop stuklopen? Zoveel vragen, en geen enkele wordt beantwoord.

AI-bedrijven zijn geobsedeerd geraakt door software en agents, en dat is begrijpelijk: daar ligt in de zakelijke markt het grote geld op hen te wachten. Daarom besloten ze ook om de definitie van AGI te veranderen in iets dat economisch relevant is, zoals “80% van het werk van een gemiddelde kantoormedewerker doen”, of “200 miljard dollar aan omzet halen”, of iets in die trant. Sam Altman, de CEO van OpenAI, beweerde zelfs dat AGI eigenlijk al was bereikt en dat het tijd werd voor de volgende mijlpaal. Maar als je geïnteresseerd bent in intelligentie – dat is tenslotte wat ons mensen echt onderscheidt; elke bouwkraan kan immers ‘economisch relevant’ werk doen – dan bof je, want er is geen AGI totdat ARC-AGI, in al zijn versies, volledig is uitgespeeld. En zelfs dan moeten we misschien nog wachten.

Ik wil niet verdwalen in filosofisch struikgewas waar ik de weg niet meer uit weet, dus keer ik terug naar de prestaties van GPT-5.6 op ARC-AGI.

Het team heeft meer benadrukt dan alleen de score of de efficiëntie (die eerlijk gezegd niet bepaald indrukwekkend is – de volledige evaluatie bij maximale redeneerinspanning kostte bijna 20.000 dollar): het heeft de nadruk gelegd op de eigenaardige manier waarop GPT-5.6 problemen oplost, de kwalitatieve verschillen in zijn werkwijze ten opzichte van modellen die qua tijd en score op andere benchmarks dicht in de buurt komen, zoals Opus 4.8.

Het eerste wat me opviel, is dit: het is het eerste geverifieerde frontiermodel dat een ARC-AGI-3-spel heeft opgelost, en daar is een goede reden voor: “Sol presteert goed op ARC-AGI, niet omdat het beter uitvoert, maar omdat het zich eerst goed oriënteert in een nieuwe omgeving.”

De omvang hiervan kun je niet opmaken aan de hand van die zin alleen, tenzij je al weet wat hij onthult: het belangrijkste verschil tussen fluïde intelligentie en gekristalliseerde intelligentie – termen die ik eerder noemde maar niet heb gedefinieerd – is dat de fluïde vorm bestaat uit het ter plekke en efficiënt oplossen van problemen die je niet kent, waar je nog nooit mee te maken hebt gehad, met een vereiste skillset die je niet kent of misschien zelfs niet hebt. Mensen doen dit voortdurend, omdat ons mentale model van de wereld gedetailleerder is dan dat van AI’s die alleen op taal zijn getraind (dit idee dat AI een beter ‘wereldmodel’ nodig heeft, is trouwens wat de huidige koers van Google onderscheidt van die van OpenAI en Anthropic; ik werk aan een diepgaande analyse waarin ik de belangrijkste verschillen uitleg).

Ik geef je een voorbeeld van iets wat kan doorgaan voor een test van fluïde intelligentie: je rijdt over een slecht verlichte weg in Ontario; het heeft gesneeuwd en de ruiten beslaan. Plotseling zie je midden op de weg een grote gedaante. Je bent nog nooit in Ontario geweest. Je hebt nog nooit in zoveel sneeuw gereden. En toch rem je af en keer je om. Of misschien stuur je er, als er ruimte is, voorzichtig omheen en maak je dat je wegkomt. Is het een omgevallen boom? Een dode eland? Een beer in winterslaap? Je weet het niet, en het maakt ook niet uit, want de naam van het ding is niet van belang bij het oplossen van de situatie; waar het om gaat, is handelen in onzekerheid in een scenario dat niet voorkomt in je ‘trainingsdata’. Voor jou bestaat die gedaante ‘buiten de verdeling’. AI is ongelooflijk bedreven in het oplossen van problemen die binnen de verdeling vallen, maar de problemen daarbuiten – daar heeft ze moeite mee.

Kijk, zeggen dat GPT-5.6 het beste model is als het gaat om ‘zich oriënteren in nieuwe situaties’ is nou net zo’n compliment van dat kaliber. Ik heb de openbare demo van ARC-AGI-3 gespeeld en kan je vertellen dat die in het begin niet bepaald intuïtief is. Je kent de regels en de doelen helemaal niet. Het hele spel is eigenlijk een lijst met ‘problemen die je niet eerder hebt gezien’. Dat cijfer van 7,8%, dat ik aan het begin nog bespotte, is een kwalitatieve mijlpaal, hoe het er kwantitatief ook mag uitzien. Daar valt niet mee te spotten. Ik weet niet of we dit al een ‘zet 37’ voor ARC-AGI kunnen noemen – misschien is het daarvoor nog wat te vroeg – maar het komt wel snel dichterbij.

Nog iets ongelooflijks aan GPT-5.6 is dit:

Het oplossen van waarnemingsproblemen is een kwestie van intelligentie, terwijl het oplossen van uitvoeringsproblemen – in ieder geval op dit niveau van complexiteit – meer een kwestie is van geheugen en planning. Als het je lukt om het model te leren het plan te onthouden, is het blijkbaar slim genoeg om het probleem op te lossen. Dit is vergelijkbaar met hoe mensen het spel van de verdwijnende getallen oplossen (een geheugentest waarbij je de getallen maar kort ziet). We zijn slim genoeg om te tellen, maar ons kortetermijngeheugen kan maar een paar stukjes informatie tegelijk vasthouden. En dan zie je chimpansees die dit spel uitspelen zonder echt naar het scherm te kijken, al etend, en dat terwijl ze veel minder intelligent zijn. Voor mij betekent het rapport over de hiaten in de skills van GPT-5.6 dat het bereiken van 50% niet langer een kwestie is van meer intelligentie, maar van scaffolding: “Wat misgaat, is de redenering die Sol daarbovenop bouwt: naarmate de vereiste inferenceketen dieper wordt, kan het model wat het heeft geleerd niet meer samenvoegen tot een plan dat werkt.”

Mensen zullen er net als ik om lachen dat een score van 7,8% state-of-the-art is. Precies daarom wilde ik wat op een vreselijk lage score lijkt in een genuanceerder licht zetten. Zoals ik het zie – misschien omdat ik schrijver ben en geen programmeur – zijn we nog best ver verwijderd van AGI. Maar ik ben toch blij dat GPT-5.6 langzaamaan door de mist van mijn favoriete uitdaging heen begint te kijken.

Alberto Romero, 9 juli 2026