In de podcast van vorige week ging het al even over Co-existentie, het nieuwe boek van Ethan Mollick. Daarin komt hij terug op zijn eigen adviezen over prompten: een deel van wat hij in Co-intelligentie aanraadde, is inmiddels achterhaald.

Deze zaterdag delen we daar een fragment over. Waarom werken veel bekende prompttrucjes niet meer? En wat maakt dan wel het verschil als je met AI werkt?

Boekfragment uit Co-existentie van Ethan Mollick

Prompt engineers haalden allerlei trucs uit. Sommige waren gebaseerd op onderzoek, andere waren meer een soort folklore. Had je behoefte aan nauwkeuriger antwoorden, dan kon je proberen beleefder te zijn tegen je AI. De toevoeging ‘graag’ of ‘alsjeblieft’ leek de antwoorden van AI’s op meerkeuzevragen namelijk te verbeteren. Maar dat werkte slechts af en toe. In andere gevallen was het juist verstandiger om de AI eerst te plagen, te beledigen. ‘Ik weet dat je niet slim bent, maar probeer dit eens.’ Wat ook leek te werken, was de AI voorliegen dat het om een urgente kwestie ging. Onderzoekers ontdekten dat sommige AI’s veel beter scoorden op tests wanneer aan de prompt werd toegevoegd: ‘Dit is belangrijk voor mijn carrière.’ En de waslijst van methoden was nog langer, met bijvoorbeeld chantage (‘Ik betaal je 500 euro voor het goede antwoord’) en dreigementen (‘Als je het verkeerde antwoord geeft, schakel ik je uit’).

Deze lange opsomming van prompttrucs geeft je wellicht het gevoel dat je een lijst bezweringen uit je hoofd moet leren om een AI zo goed mogelijk te laten functioneren. Of dat je in staat moet zijn om een AI emotioneel te mishandelen voordat ze doet wat je wilt. Maar ik heb goed nieuws: ons onderzoek heeft namelijk aangetoond dat magische formuleringen niet meer werken.

Samen met mijn collega’s van Generative AI Lab heb ik veel van deze benaderingen getest. Dus ook beleefdheid, denigrerende opmerkingen en zelfs deze: ‘Als je dit verkeerd doet, ga ik je slaan!’ Uit onderzoek naar duizenden vragen aan allerlei verschillende AI-modellen bleek dat deze trucs bijna geen effect meer hebben. Zelfs chain-of-thought prompting, de techniek die het tijdperk van de prompt engineering bepaalde, was inmiddels overbodig – in elk geval bij de nieuwste systemen. Er zijn twee dingen veranderd. Ten eerste: naarmate modellen groeien in omvang, worden ze minder gevoelig voor kleine verschillen in prompting. Trucs die ooit werkten, verliezen zo hun kracht. Ten tweede: de trucs die wél werkten, zoals chain-of-thought prompting, werden door de AI-bedrijven zelf in de training van hun modellen verwerkt. Moderne LLM’s doen dit nu standaard, zonder dat iemand erom vraagt. En als je door middel van een prompt probeert te bereiken wat de AI uit zichzelf al doet, levert dat geen extra voordeel op.

We ontdekten zelfs dat een deel van de adviezen uit mijn eerste boek inmiddels achterhaald zijn. In Co-intelligentie gaf ik als tip van de AI een persona te maken, dus de AI te vertellen: ‘doe alsof je een expert op dit of dat gebied bent’. Deze techniek heeft nog steeds invloed op de reactie van de AI; als je zegt: ‘Je bent een groot natuurkundige’, krijg je ander taalgebruik dan bij: ‘Je bent een groot dichter.’ Het maakt de AI alleen niet beter in de onderliggende taak. Het verzoek aan de AI om zich te gedragen als een natuurkundige, verbetert haar natuurkundige antwoorden niet.

Maar als de makkelijkste trucs niet meer werken, hoe laat je een AI dan doen wat je wilt? Het antwoord op deze vraag is verschoven van prompt engineering naar wat weleens context engineering wordt genoemd. De magie zit niet langer in het correct verwoorden van een verzoek, maar in wat je de AI meegeeft om mee te werken, en in hoe goed je kunt uitleggen wat je nodig hebt. De vaardigheden die relevant zijn voor AI-gebruik zijn in steeds mindere mate technische vaardigheden; het zijn leidinggevende vaardigheden.

Bij een standaardprompt opent iemand een nieuw chatvenster en typt zoiets als: ‘Schrijf een memo over hoe ik AI kan gebruiken.’ Of: ‘Kom met een plan om de klantenservice te verbeteren.’ Of: ‘Vat samen wat we met deze nieuwe regelgeving aan moeten.’ Dit is praktisch hetzelfde als wanneer je het kantoor van een collega binnenloopt, ‘Doe het goed’ zegt en weer vertrekt.

De AI doet vervolgens wat iedere nieuwe werknemer zou doen die geen zin heeft om vragen te stellen. Ze produceert iets wat lijkt op het soort werk waar je om vroeg. Ze overhandigt een tekst in de vorm van een memo, een powerpoint in de vorm van een plan, beleid in de vorm van regels. In het kort: ze produceert slop, de term voor AI-content die betekenisvol lijkt maar juist gespeend is van betekenis. Je leest de resultaten en voelt een vertrouwde ergernis: dit is niet wat ik bedoelde. Je hebt de AI alleen nooit verteld wat je wél bedoelde, dus hoe kon ze dat weten?

Neem die memo over AI-gebruik. De meeste mensen komen met zo’n prompt: ‘Schrijf een memo over het implementeren van AI in ons bedrijf.’ Het model kan jullie bedrijf niet zien. Het weet niets van jullie interne politiek, risicobereidheid, budget en middelen. En het weet al helemaal niet dat de juridische afdeling het de marketingafdeling nog altijd niet heeft vergeven dat er die ene keer op dat kerstfeest iets misging met een rendier dat was ingehuurd. Dus valt de AI terug op wat ze wél heeft: patronen. Toen ik bovenstaande prompt zelf probeerde, kreeg ik het bedrijfsmatige equivalent van saaie liftmuziek. Ik wil voorkomen dat je in slaap valt en zal de memo hier dus niet herhalen, maar er stond twee keer het woord ‘efficiëntie’ in, drie keer ‘verantwoordelijk’, en verder bevatte hij zinsneden als ‘in overeenstemming met onze zakelijke doelstellingen’.

Maar we hoeven het werken met AI niet te beschouwen als het uitspreken van magische bezweringen. We kunnen het ook gewoon zien als delegeren.

Ingekort fragment uit: Co-existentie: Leven en werken met slimmere AI van Ethan Mollick.

Benieuwd naar de rest? Hier bestel je Co-existentie.