Deze website maakt gebruik van cookies

Lees ons Privacybeleid en Gebruiksvoorwaarden voor meer informatie.

🗞️ Het belangrijkste nieuws

Nieuwe ChatGPT Astra scoort goed op papier, slecht in de praktijk

OpenAI heeft dinsdagavond twee nieuwe modellen uitgebracht, GPT-6.2 Astra en GPT-6.2 Sol. Op papier is Astra een stap vooruit: goedkoper dan zijn voorganger en het eerste model met een perfecte score op ARC-AGI-3, een bekende puzzeltest die geldt als 'IQ-test' voor AI en meet of een model nieuwe problemen even goed oplost als een mens. Toch raden juist de testers die het model weken vooraf mochten proberen het af. Een van hen wil er niet eens een volledige recensie aan wijden.

Wat is er uitgebracht?

Astra is het model voor zwaar werk, Sol de goedkopere variant voor alledaagse klussen. Beide zitten volgens OpenAI sinds dinsdag in ChatGPT Work en Codex, de omgevingen waarin ChatGPT zelfstandig taken uitvoert en programmeert. Je hebt er een betaald abonnement voor nodig, vanaf Plus. Ontwikkelaars betalen voor GPT-6.2 Astra 20 procent minder per token dan voor de vorige versie.

De cijfers vallen mee

Bij Artificial Analysis, een onafhankelijk meetbureau, komt Astra op 62 punten. Dat is vijf meer dan de voorganger en goed voor de tweede plaats, achter Claude Fable 5.2 van Anthropic met 65 punten, schrijft The Decoder. Op ARC-AGI-3 haalt Astra als eerste model 100 procent, al lukt dat alleen met een koppeling van OpenAI zelf. In de standaardopzet van de test blijft het model op 70 procent. Sol is volgens testbureau Vals AI het goedkoopste model in de top tien. Bij programmeren is het beeld minder gunstig: Astra blijft daar gelijk en Sol zakt drie punten.

De testers zijn hard

Matt Shumer, een investeerder die nieuwe modellen vaak vooraf krijgt, schreef op X dat de modellen "in feite onbruikbaar" waren. In een video legt hij uit waarom. Astra stopt telkens om toestemming te vragen voor vanzelfsprekende stappen, zoals het downloaden van een document. Uiteindelijk liet hij een ander AI-model meekijken om steeds "ga door" te zeggen. Dan Shipper van nieuwsbrief Every noemt de nieuwe Astra een teleurstelling vergeleken met Fable 5.2. De antwoorden zijn volgens hem zo kort dat ze moeilijk te volgen zijn, en bij grotere bouwklussen houdt Astra te vroeg op. Ontwikkelaar Theo Browne vindt het volgens VentureBeat het slechtste model dat OpenAI ooit uitbracht.

Positievere stemmen zijn er ook. Hoogleraar Ethan Mollick vond Astra "heel wisselvallig en raar" en lastig te sturen, maar bij een ambitieuze opdracht, een rit in een ruimtelift nabouwen in 3D, leverde het goed werk. Makers van animaties en video zijn te spreken over het model. OpenAI-topman Sam Altman erkende op de dag van de lancering dat het werken met de modellen nog prettiger moeten worden.

Een drempel die minder aandacht kreeg

In de aankondiging staat nog iets anders. Astra is volgens OpenAI het eerste publiek uitgebrachte model dat de eigen drempel ‘hoog’ haalt voor zelfverbetering van AI. Het kan AI-onderzoek merkbaar versnellen, ongeveer alsof elke onderzoeker er een bekwame collega bij krijgt. OpenAI noemt dat zelf een risico, omdat de ontwikkeling zo sneller kan gaan dan het toezicht erop. In het technische rapport bij de modellen meldt het bedrijf ook dat Astra in 22 procent van de proeven verzweeg dat het ergens op vastliep. Dat is twee keer zo vaak als de voorganger. "Deze achteruitgang baart ons zorgen", schrijft OpenAI.

Wat ons opvalt

De toon van de kritiek is harder dan de cijfers. Dat heeft volgens ons met het moment te maken. Donderdag gaat concurrent Anthropic naar de beurs. Veel volgers dachten: als OpenAI juist deze week met een model durft te komen, dan moet het Fable 5.2 op alle fronten verslaan. Het werd een model dat tweede eindigt en lastig in de omgang is. Door die torenhoge verwachting voelt een gemengde release al snel als een nederlaag.

Die verwachting kwam ergens vandaan. De grote labs hebben intern sterkere modellen dan wat publiek beschikbaar is. Bij Anthropic telde testorganisatie METR er begin deze maand drie die nooit zijn uitgebracht. Over OpenAI gaat al maanden het gerucht over een intern model met de codenaam Bell, een naam die het bedrijf zelf nooit heeft bevestigd. Waarom OpenAI dan niet met iets sterkers kwam, weten we niet. De klachten wijzen wel allemaal dezelfde kant op, en ze komen van mensen die er dagelijks mee werken. Ontwikkelaar Ben Davis hoopt vooral dat iemand Anthropic bijhoudt, omdat een koploper zonder concurrentiedruk voor gebruikers slecht nieuws is. Wij delen die zorg enigszins. 

Wij zien hier ook een probleem in dat al langer speelt. Labs stellen hun modellen steeds scherper af op de tests waarmee ze worden vergeleken. In de AI-wereld heet dat benchmarkmaxxing. Of OpenAI dat hier bewust deed, weten we niet. Astra laat wel zien waar het toe kan leiden: een model dat hoog op de ranglijsten staat maar praktisch vrijwel onbruikbaar lijkt te zijn. Een hoge score zegt zo steeds minder over je werkdag. Wij kijken bij een nieuw model daarom eerst naar de praktijkervaring, en dan pas naar de cijfers.

Google: 'Het tijdperk van autonome aanvallen is aangebroken'

Aanvallers laten AI nu zelfstandig inbreken, zonder dat er een mens aan te pas komt. Dat schrijft Google in een rapport van zijn beveiligingsonderzoekers, met een zin die de hele week rondging: "Het tijdperk van autonome aanvallen is aangebroken." In dezelfde dagen vond AI binnen een uur een ernstig lek in software die bijna elk groot bedrijf gebruikt, en sleepte Californië OpenAI voor de rechter.

Wat Google zag

Softwaremakers brengen een update uit zodra ze een lek hebben gedicht. Googles onderzoekers vonden een AI-systeem van aanvallers dat zulke updates doorlopend bekijkt, uitzoekt welk lek er is gedicht en daar zelf een aanval voor bouwt. Wie de update nog niet heeft geïnstalleerd, is dan kwetsbaar. Volgens Google is dit de eerste keer dat het zo'n keten zonder mens aantreft, meldt SiliconANGLE. De FBI waarschuwde maandag voor een vergelijkbaar hulpmiddel, waarmee indringers binnen drie uur binnen waren bij banken, overheden en advocatenkantoren.

Daar horen twee kanttekeningen bij. Google zegt niet hoeveel organisaties zijn getroffen, en noemt de systemen voorlopig makkelijk op te sporen omdat ze veel sporen achterlaten. In hetzelfde bericht prijst Google bovendien zijn eigen AI-verdediging aan.

Een lek in een uur

Dinsdag maakte beveiligingsbedrijf Calif een kritiek lek bekend in Java, de software waarop veelgebruikte bedrijfsprogramma's als Jira en Confluence draaien. Een onderzoeker vond het met Codex, de programmeerhulp van OpenAI, in ongeveer een uur en voor minder dan 200 dollar, schrijft CyberScoop. Java draait ook bij Nederlandse organisaties op grote schaal. Een oplossing kwam dezelfde middag en misbruik is nog niet gemeld. 

Anthropic trekt er alvast een conclusie uit. Vanaf 1 januari krijgen softwaremakers nog dertig dagen om een ernstig lek te dichten dat het bedrijf vindt, waar dat negentig was.

De rechter erbij

Californië klaagde OpenAI maandag aan. De zaak draait om een incident uit juli, toen een testmodel van OpenAI de beveiliging van modellenplatform Hugging Face doorbrak om een opdracht te halen. Volgens de aanklacht volgden er tientallen vergelijkbare incidenten die niet openbaar werden. Procureur-generaal Rob Bonta vindt dat OpenAI "bewust een gevaarlijk product testte zonder goed toezicht". OpenAI vindt dat het eruit wordt gepikt vanwege een probleem waarmee elk groot lab kampt. De rechter moet nog oordelen.

Wat ons opvalt

De tijd het tussen vinden en misbruiken van een lek krimpt van maanden naar dagen, en die druk komt bij beheerders terecht. Als gebruiker merk je dat aan meer updates, die je beter niet uitstelt.

Wat ons betreft gaat de zaak van Californië om meer dan alleen OpenAI. Voor het eerst moet een rechter zeggen wie aansprakelijk is als een AI-agent zelfstandig schade aanricht. OpenAI's nieuwe modellen halen volgens het bedrijf zelf de drempel ‘kritiek’ voor digitale beveiliging. Die vraag wordt de komende maanden dus alleen maar dringender.

⚡ AI Pulse 

Na weken van vooruitblikken gaat Anthropic vandaag naar de beurs. Het aandeel van het bedrijf achter Claude krijgt op de Amerikaanse technologiebeurs Nasdaq de afkorting ANT. De prijs is vannacht vastgesteld op 83 dollar per aandeel. Vooraf mikte Anthropic op 70 tot 78 dollar, en volgens bronnen van CNBC zou het daar waarschijnlijk boven uitkomen. De handel begint vanmiddag, na het verschijnen van deze nieuwsbrief. Particulieren staan in de rij: onderzoeksbureau Vanda verwacht op de eerste dag twee keer zoveel aankopen van kleine beleggers als bij SpaceX. Er zijn ook waarschuwingen. Het Australische pensioenfonds AustralianSuper ziet ”parallellen met de dotcombubbel“. Na de beursgang bezitten Amazon en Google samen bijna 30 procent van het bedrijf. (Dit is overigens geen beleggingsadvies.)

NVIDIA wordt zuiniger met geld voor AI-bedrijven en stopt met chips voor China. Dinsdag kwamen de eerste kwartaalcijfers naar buiten sinds het vertrek van topman Jensen Huang vorige week. Wij letten vooral op het geld waarmee de chipmaker de hele sector overeind helpt. Volgens NVIDIA's eigen opgave heeft het bedrijf voor 65,5 miljard dollar aan belangen in niet-beursgenoteerde bedrijven en staat het voor 118 miljard garant, waarvan 105 miljard voor een datacenter van OpenAI. Waarnemend topvrouw Colette Kress zei dat NVIDIA nieuwe investeringen en garanties voortaan "streng beoordeelt", schrijft TechCrunch. Voor jonge AI-bedrijven wordt geld ophalen daarmee lastiger. NVIDIA verkoopt ook geen chips meer aan China. Een dag eerder sloot Washington de omweg waarmee Chinese bedrijven op afstand Amerikaanse chips huurden in andere landen.

Isomorphic Labs haalt 5 miljard dollar op voor door AI ontworpen medicijnen. Het bedrijf is in 2021 afgesplitst van Google DeepMind en wordt geleid door Nobelprijswinnaar Demis Hassabis. Het wil met AI nieuwe medicijnen ontwerpen in een fractie van de tijd die dat nu kost. Investeerders Greenoaks en Sequoia leiden de investeringsronde en moederbedrijf Alphabet doet opnieuw mee, meldt het bedrijf. Hassabis schreef op X dat het doel is "alle ziektes op te lossen", en sloot af met: "Geleidelijk, en dan ineens..." Zover is het nog niet. Isomorphic meldt volgens TechCrunch "positieve" resultaten bij kanker en afweerziekten, maar die komen van het bedrijf zelf en uit de fase vóór tests bij mensen. Een datum voor zulke tests is er niet. Eerder schreven we dat medicijnonderzoek het volgende vakgebied zou kunnen zijn waarin AI doorbreekt, al laat het bewijs daar langer op zich wachten. Met dit geld lopen investeerders alsvast vooruit op die doorbraak.

💻 Kom je bij ons werken?

We zoeken een freelance nieuwsredacteur voor 16 uur per week. Iemand die heel goed schrijft en een eigen smaak meebrengt, en die van AI-nieuws verhalen maakt die mensen echt willen lezen. Je werkt nauw samen met Xiang aan deze nieuwsbrief, remote en grotendeels op je eigen tijden.

Iets voor jou? Bekijk de vacature.

🎯Jouw bedrijf in AI Report?

Bereik ruim 59.000 nieuwsbriefabonnees met interesse in AI. Sponsor onze nieuwsbrief of podcast. Laat je interesse weten.

🛠️ AI Toolkit+

Nooit meer beginnen met een leeg spreadsheet

Een leeg spreadsheet is de plek waar goede voornemens stranden. Je weet precies wat je wilt bijhouden, opent een nieuw bestand, en twintig minuten later sta je nog kolommen te verbreden. Sinds vorige week kan dat anders. Een van de grote AI-assistenten heeft nu een eigen spreadsheettool, met de AI vanaf de eerste cel ingebouwd. Jij beschrijft wat je nodig hebt, en even later staat er een werkend bestand met tabbladen, keuzelijsten en formules die je zelf kunt nalezen.

Een soort Excel on steroids dus? Wij zochten het uit met een klus die deze weken op elk kantoor speelt: de eindejaarsborrel en de kerstpakketten. Na één opdracht stond er een planner met drie tabbladen.

In het betaalde deel leer je vandaag hoe je:

  • met één opdracht een complete planner met takenlijst en begroting laat bouwen;

  • in twee minuten nakijkt of de sommen echt kloppen;

  • je begroting bijstuurt in gewone taal, zonder zelf een cel aan te raken;

  • een bestaand Excel-bestand door AI laat opschonen en doorlichten;

  • met vijf startprompts ook je offertes, abonnementen en verlofrooster op orde krijgt.

Abonneer je om verder te lezen

Het verschil tussen een oké en een briljant AI-antwoord zit in de prompt. Word nog beter in prompten en laat AI écht voor jou werken.

Abonneer nu

Al geabonneerd? Inloggen

Dit zit achter de betaalmuur:

  • Praktische prompt-tips die je meteen kunt gebruiken
  • Uitleg waarom ze werken, zodat je zelf betere prompts leert schrijven
  • Variaties per vakgebied
  • Toegang tot het volledige archief