Waarom de beroemdste grafiek in AI niet laat zien wat je denkt

Elke keer dat OpenAI, Google of Anthropic een nieuw AI-model lanceert, kijkt de wereld naar dezelfde grafiek. De 'time horizon plot' van onderzoeksinstituut METR toont een exponentiële curve die suggereert dat AI-modellen in razend tempo capabeler worden. Investeerders gebruiken hem om miljarden los te weken, beleidsmakers om urgentie te creëren, en doomdenkers om het einde der tijden aan te kondigen. Maar wat de grafiek daadwerkelijk meet, is iets heel anders dan wat de meeste mensen aannemen.

Wat de grafiek wél meet

METR, een non-profit die AI-capaciteiten evalueert, stelde een verzameling taken samen. Niet willekeurige taken, maar vrijwel uitsluitend software-engineeringtaken: codeerproblemen, machine learning-uitdagingen en cybersecurityopdrachten. Vervolgens lieten ze menselijke experts dezelfde taken uitvoeren en maten ze hoelang die erover deden. De 'time horizon' van een model is het punt waarop het slagingspercentage daalt tot 50%, uitgedrukt in de tijd die een mens voor diezelfde taak nodig had.

Concreet: als een model een 'time horizon' van vijf uur heeft, betekent dat niet dat het vijf uur zelfstandig kan werken. Het betekent dat het taken kan afronden waar een menselijke expert vijf uur over doet, met een slagingspercentage van 50%. Dat klinkt misschien als een subtiel verschil, maar het is fundamenteel.

Drie dingen die de grafiek níet vertelt

Ten eerste meet de grafiek bijna uitsluitend coderingstaken. Een model dat vijf uur scoort op programmeerwerk, heeft daarmee niets bewezen over juridische analyse, salesgesprekken, redactiewerk of welk ander kenniswerk dan ook. De taken zijn onrepresentatief voor het overgrote deel van het werk dat mensen doen.

Ten tweede zegt de moeilijkheidsgraad in 'menselijke uren' niets over het type complexiteit. Een taak die twee uur duurt omdat het saaie dataverwerking is, verschilt fundamenteel van een taak die twee uur duurt omdat ze diep strategisch inzicht vereist. AI-modellen blinken uit in het eerste, maar worstelen met het tweede.

Ten derde zijn de foutmarges enorm. METR gaf zelf aan dat de score van het best presterende model (Claude Opus 4.5 eind 2025) in werkelijkheid ergens tussen de twee en twintig uur zou kunnen liggen. Dat is geen foutmarge, dat is een ordegrootte verschil.

Waarom dit ertoe doet

De METR-grafiek is een waardevol meetinstrument voor een specifiek domein. Maar zodra hij wordt ingezet als bewijs dat AI binnenkort al het werk van kenniswerkers overneemt, of als onderbouwing voor investeringsbeslissingen van miljarden, wordt een genuanceerd onderzoeksinstrument tot marketingmateriaal gereduceerd.

Voor organisatieleiders is dit een belangrijk inzicht. Niet omdat AI niet indrukwekkend is, want de vooruitgang is reëel en relevant. Maar omdat beslissingen over AI-implementatie gebaat zijn bij nuchterheid. De vraag is niet of een model een vijf-uur-taak kan afronden in een gecontroleerde testomgeving. De vraag is of het betrouwbaar functioneert in jouw processen, met jouw data, onder jouw condities.

Dat is precies het verschil tussen de hype en de werkelijkheid waar steeds meer organisaties tegenaan lopen. De METR-grafiek laat zien dat AI-modellen beter worden in afgebakende technische taken. Dat is goed nieuws. Maar het is geen routekaart voor de toekomst van jouw organisatie.

Die routekaart maak je zelf, op basis van je eigen context, je eigen processen en je eigen ambitie. Niet op basis van één grafiek.

Benieuwd hoe je AI-voortgang vertaalt naar concrete stappen voor jouw organisatie? Plan een kennismaking in, we denken graag mee.