Hoe weet je of een nieuw AI-model beter is voor jouw werk?
Een nieuw AI-model is niet automatisch beter voor jouw werk. GPT-5.5 laat zien waarom benchmarks geen antwoord geven, en welke aanpak wel.
Er is een nieuw AI-model. De benchmarks zien er indrukwekkend uit, de early reviews zijn lyrisch, je concurrent post op LinkedIn dat dit alles verandert. Maar betekent het ook dat jouw team er beter werk mee levert? Niet automatisch. AI is op een groeiend aantal taken uitstekend en op andere nog steeds onbetrouwbaar, en die verdeling verschuift met elke release. Ethan Mollick's eerste ervaringen met GPT-5.5 laten zien waarom benchmarks en hype je die vraag niet beantwoorden, en wat wel.
Wat Mollick liet zien met GPT-5.5
Ethan Mollick, hoogleraar aan Wharton, kreeg vroege toegang tot GPT-5.5 en publiceerde zijn bevindingen op zijn blog One Useful Thing. De grootste stap zit volgens hem niet alleen in het model zelf, maar in het samenspel van drie lagen: het model, de app waarin je het gebruikt, en de harness van gereedschappen die de AI kan inzetten. Dat onderscheid werkten we eerder uit naar aanleiding van zijn vorige stuk. Codex gedraagt zich inmiddels als een serieuze concurrent van Claude Code, de nieuwe beeldgenerator levert leesbare tekst in afbeeldingen en slidesachtige mockups, en GPT-5.5 Pro is bovendien een stuk sneller dan de voorganger.
Zijn meest overtuigende voorbeeld is een academisch paper. Mollick gaf Codex een berg oude onderzoeksbestanden over crowdfunding en vroeg om een hypothese, een statistische toets en een complete tekst met literatuuronderzoek. Vier prompts later lag er een paper dat volgens hem prima als uitkomst van een tweedejaars promotieproject zou kunnen gelden. De literatuur klopt, de statistiek klopt, de opmaak klopt. Wat niet klopt: de hypothese is voor een kenner van het vakgebied niet echt interessant.
De gekartelde grens verschuift, maar verdwijnt niet
Dat laatste is het punt. Mollick benoemt expliciet dat de jagged frontier, de gekartelde grens van wat AI kan, blijft bestaan. Het rollenspel dat hij liet bouwen heeft een originele wereld, kloppende regels en mooie illustraties, maar de teksten lijden aan de bekende AI-kwalen: gekunstelde metaforen, dialogen waarin elk personage op dezelfde manier praat, overdreven literaire zinnen. Taken die een jaar geleden onmogelijk waren, zijn nu triviaal. Andere taken blijven hardnekkig moeilijk, ook voor dit model.
Dat maakt de vraag "is dit nieuwe model beter voor mijn werk?" lastiger dan hij lijkt. Want beter waarvoor? Een model dat op 83 procent van de benchmarks wint, kan op jouw specifieke salesvoorstellen, juridische memo's of redactionele eindcheck zomaar slechter scoren dan het vorige. En omgekeerd: een model dat er op papier nauwelijks op vooruit lijkt te gaan, kan op één taak die voor jou kritiek is ineens een stap maken.
Hoe je er wel achter komt
Er is geen shortcut, maar er is wel een methode. Drie stappen om bij elke nieuwe release de vraag te beantwoorden of je ermee aan de slag moet.
Bouw een eigen testset op. Leg een handvol realistische taken uit jouw werk vast: een offerte die je vorige week schreef, een klantmail die lastig was, een analyse die je normaal zelf doet. Vijf tot tien stuks is genoeg. Dit is je ijkpunt. Bij elke nieuwe release draai je dezelfde set opnieuw en vergelijk je de uitkomsten met wat de vorige versie leverde, en met wat jij of een collega ervan zou maken. Dit is de enige manier om te weten waar de gekartelde grens voor jouw werk loopt.
Beoordeel op inhoudelijke scherpte, niet op vorm. Het paper van Mollick klopte technisch, maar miste inhoudelijke scherpte. Dat is de gevaarlijkste categorie fouten: output die er professioneel uitziet en op het eerste gezicht overtuigt, maar bij inhoudelijke toets tekortschiet. Als je je testset beoordeelt, kijk dan niet naar spelling of opmaak. Kijk of de redenering klopt, of de aannames verdedigbaar zijn, of het advies ook werkelijk zou werken in jouw context.
Test het werkproces, niet alleen het model. Mollick's resultaten komen niet uit één model, maar uit de combinatie van model, app en harness. De vraag is dus niet "is GPT-5.5 beter dan GPT-5.4", maar "werkt mijn werkproces met dit model beter dan met het vorige". Dat verschil is groot. Een nieuw model dat net zo goed is als het vorige kan via een nieuwe app of betere tools alsnog veel meer waarde opleveren. Dat principe schreven we al eerder op: de echte winst zit in het proces, niet in het model.
Wekelijkse inzichten in je mail.
Dilemma's, doorbraken en blinde vlekken uit onze AI-praktijk.
Niet het einde, wel een ijkpunt
GPT-5.5 is volgens Mollick niet het eindpunt van de ontwikkeling, maar wel een signaal dat de sprongen eerder groter dan kleiner worden. Elke paar maanden verschijnt een nieuw model en wordt iets wat onmogelijk was ineens makkelijk. De gekartelde grens blijft bestaan, hij ligt alleen verder weg dan voorheen.
Dus hoe weet je of een nieuw AI-model beter is voor jouw werk? Niet door op benchmarks af te gaan, niet door LinkedIn-posts van enthousiaste early adopters te lezen. Wel door een eigen testset op te bouwen, die bij elke release opnieuw te draaien, inhoudelijk te beoordelen en in de context van je werkelijke werkproces te plaatsen. Dat is het verschil tussen een tool kopen en regie op AI voeren.
Wil je zo'n testset opzetten voor jouw organisatie, of weten welke werkprocessen bij jou het eerste baat hebben bij een nieuwe modelrelease? Plan een kennismaking in, we denken graag mee.
