AI maakt minder fouten en dat is het probleem

Executive summary

AI-modellen worden snel beter. Hallucinaties komen minder voor, outputs zijn vloeiender, fouten zijn minder zichtbaar. Dat klinkt als goed nieuws. Gedeeltelijk is het dat ook. Maar het creëert een nieuw en onderschat risico: mensen controleren minder, precies op het moment dat subtiele fouten moeilijker te herkennen zijn. Dit fenomeen, bekend als het jagged frontier-principe, is in academisch onderzoek goed gedocumenteerd maar nauwelijks doorgedrongen in de boardroom. In dit artikel leggen we uit wat het principe inhoudt, welke twee onproductieve opstellingen het uitlokt en hoe je als organisatie een werkbaar antwoord formuleert zonder de ROI van AI te overschatten of de risico's te negeren.

Context en urgentie: de paradox van betere AI

Er is iets merkwaardigs aan de hand met AI-kwaliteit.

Twee jaar geleden waren de fouten van AI-modellen groot, frequent en goed zichtbaar. Een taalmodel dat een niet-bestaande rechtszaak citeerde, of een samenvatting produceerde die de kern van een document volledig miste. Dat viel op. Gebruikers leerden snel: controleer altijd, vertrouw nooit blind.

Maar de modellen zijn sindsdien sterk verbeterd. De grote, schaamteloze fouten komen minder voor. De output oogt professioneler, consistenter, overtuigender. En precies daardoor is er iets veranderd in hoe mensen ermee omgaan: de neiging tot fact-checking neemt af. Niet omdat de risico's zijn verdwenen, maar omdat ze minder zichtbaar zijn geworden.

Dit is de paradox van betere AI: het vertrouwen groeit sneller dan de betrouwbaarheid rechtvaardigt.

Medio februari dit jaar meldde de NOS dat een aantal advocaten op de vingers getikt is, omdat ze jurisprudentie aanhaalden die niet bestond, gegenereerd door AI. Rechters geven aan dat ze dit vaker en vaker zien in de rechtszaal.

In eerste instantie lees je een dergelijk bericht en denk je: hoe is het mogelijk? Maar als we ervan uitgaan dat betreffende advocaten ook waarde hechten aan hun reputatie, dan is het de vraag in hoeverre ze op de hoogte waren van dit risico en dit bewust hebben genomen. Daarbij kun je jezelf de vraag stellen in hoeverre dit geldt voor werkzaamheden die jij of jouw medewerkers verrichten met behulp van AI. Hoe je hallucinaties kunt herkennen en aanwijzen is een vraag die steeds relevanter wordt naarmate de modellen overtuigender worden.

Voor organisaties die AI breed inzetten, in contentproductie, aanbestedingstrajecten, klantcommunicatie en analyse, is dit geen theoretisch probleem. Het is een operationeel risico dat zich stilletjes opbouwt, buiten het zicht van dashboards en KPI's.

Wat betekent dit voor jou?

Als jouw organisatie AI al inzet zonder expliciet beleid rond verificatie en controle, is de kans groot dat medewerkers nu meer vertrouwen op AI-output dan twee jaar geleden. De foutmarges rechtvaardigen dat niet bij risicovolle processen.

Diepte-analyse: het jagged frontier-principe

Wat is het jagged frontier-principe?

In 2023 publiceerden onderzoekers van Harvard, Wharton en MIT samen met Boston Consulting Group een invloedrijk veldexperiment naar de effecten van AI op kenniswerkers. Hun centrale bevinding was verrassend genuanceerd: AI presteert niet uniform goed of slecht. De kwaliteit varieert sterk per taaktype, en die variatie volgt geen logisch patroon dat mensen intuïtief aanvoelen.

Sommige taken die mensen als complex beschouwen, voert AI uitstekend uit. Andere taken die ogenschijnlijk eenvoudig zijn, gaan volledig mis. De grens tussen wat AI wel en niet goed kan, is niet een rechte lijn maar een grillige, onregelmatige rand; een "jagged frontier".

Ethan Mollick, één van de auteurs, beschrijft het zo: AI is tegelijkertijd beter dan de gemiddelde professional op taken waarvoor je jarenlange opleiding verwacht, en slechter dan een eerstejaars student op taken die triviaal gezond verstand lijken te vereisen. Hoe dat eruitziet in de praktijk is inmiddels goed gedocumenteerd.

De automation bias: vertrouwen dat vooruitloopt op bewijs

Onderzoek van Lucas et al. (2024) laat zien dat mensen systematisch te veel vertrouwen geven aan geautomatiseerde systemen, ook wanneer die systemen aantoonbaar fouten maken. Dit heet automation bias: de neiging om de output van een systeem te accepteren zonder kritische evaluatie, simpelweg omdat het een machine is.

Dell'Acqua toonde in eerder onderzoek naar HR-recruiters aan wat hij noemde falling asleep at the wheel: recruiters die AI-aanbevelingen volgden, presteerden slechter op taken buiten het competentiegebied van het model, en ook slechter dan ze zouden doen zonder gebruik van AI, juist omdat ze hun eigen oordeel hadden uitgeschakeld.

Onze hersenen zijn geprogrammeerd om energie te besparen. Dit noemen we ook wel cognitieve gierigheid. Als een slim systeem het zware denkwerk voor ons overneemt, nemen we dat graag aan als de absolute waarheid om mentale inspanning te vermijden. Bovendien hebben we vaak een onterecht groot vertrouwen in de nauwkeurigheid van data en wiskundige modellen.

Bovenstaande is in onze optiek niet een reden om niet te kijken naar de waarde die AI kan leveren, maar om bij de toepassing en het ontwerp rekening te houden met deze risico's en ze te ondervangen. Dit doe je door een proces in te richten met oog voor menselijke checks, maar ook door te kijken naar een aantrekkelijke UX die zo min mogelijk drempels opwerpt voor controle.

Wat betekent dit voor jou?

De tijdwinst die AI oplevert is reëel. Maar een deel van die winst wordt teruggevorderd door het werk van controleren, corrigeren en verifiëren. Wie dat niet incalculeert in de businesscase, rekent zichzelf rijk.

Twee kampen, twee risico's

Als we voor de discussie even generaliseren, zien we in de praktijk bij organisaties die AI hebben uitgerold twee dominante opstellingen. Beide zijn begrijpelijk en beide zijn suboptimaal.

Kamp 1: de optimist

"Ik vertrouw AI grotendeels. De output is goed, al zal er soms een foutje tussen zitten."

De optimist boekt echte productiviteitswinst. AI neemt werk over, de output is vaak goed genoeg, en de medewerker houdt tijd over voor andere taken. Dat is de upside.

De downside is structureel: de incentive om AI in te zetten is vaak het werk makkelijker maken. Als dat de drijfveer is, is er in de basis een neiging om niet extra te controleren. Het risico zit niet in de dagelijkse kleine fouten die vroeg of laat worden opgemerkt. Het zit in de zeldzame maar consequente fout: de feitelijke onjuistheid in een tenderdocument, de verkeerde interpretatie in een juridische samenvatting, de gefabriceerde statistiek in een presentatie aan de directie.

Kamp 2: de scepticus

"Aangezien ik niet alles kan vertrouwen, vertrouw ik niets."

De scepticus, met automation aversion, beschermt zichzelf tegen de risico's van kamp 1, maar betaalt een andere prijs: hij of zij loopt achter op de concurrentie die AI wél inzet, en mist de reële productiviteits- en kwaliteitswinsten die beschikbaar zijn.

Bovendien valt de scepticus vaak ten prooi aan wat we de beschikbaarheidsheuristiek kunnen noemen: de neiging om risico's te overschatten die levendig en concreet in het geheugen zitten, terwijl abstracte statistische voordelen ondergewaardeerd worden. Een zelfrijdende auto die één ongeluk veroorzaakt haalt het nieuws. De duizenden ongelukken die worden voorkomen, verschijnen niet in de krant.

De gezonde middenweg

De organisaties die AI het meest effectief inzetten, doen twee dingen tegelijk: ze omarmen de technologie en ze herontwerpen bewust de controlemomenten. Niet als bureaucratisch vangnet achteraf, maar als integraal onderdeel van het werkproces. De mens blijft regisseur. AI is de assistent. Hoe die balans er concreet uitziet, hangt af van het proces. De risico's van het verkeerd inrichten van die balans zijn inmiddels goed beschreven.

Wat betekent dit voor jou?

Noch blind vertrouwen noch principieel wantrouwen is een strategie. De vraag is niet of je AI inzet, maar hoe je de controlemomenten zo ontwerpt dat ze werken zonder de productiviteitswinst teniet te doen.

Het Dubbel.ai-framework: verantwoorde AI-inzet in vier stappen

Op basis van klantwerk hebben we een aanpak ontwikkeld die de productiviteitsvoordelen van AI combineert met structurele borging van kwaliteit.

1. Organisatie klaar: weet waar niet op gemarchandeerd kan worden

Begin niet met tools, maar met verantwoordelijkheden. Breng per werkproces in kaart welke stappen kerntaken zijn. Taken waarbij fouten directe consequenties hebben voor klanten, compliance of reputatie en welke stappen zich lenen voor AI-ondersteuning zonder dat intensieve controle noodzakelijk is.

2. Cultuur klaar: bouw vertrouwen op de juiste manier op

Automation bias is geen individueel falen, het is een voorspelbaar menselijk patroon. Spreek niet over 'AI die het werk doet', maar over 'AI die ondersteunt bij het werk'. De mens blijft verantwoordelijk. AI levert bouwstenen. Dat productiviteitswinst niet automatisch lucht in de agenda oplevert laat zien waarom die framing ertoe doet.

3. Waarde bewijzen: begin klein en meet echt

De werkelijke ROI van AI is vooraf zelden nauwkeurig te berekenen. Zelfs binnen één werkproces kunnen sommige stappen zich uitstekend lenen voor AI-ondersteuning, terwijl andere stappen zo intensieve verificatie vereisen dat de netto tijdwinst verwaarloosbaar is. De enige manier om dit te weten, is door het te meten. Bouw vanaf de start UX-vriendelijke controlemechanismen in: duidelijke bronverwijzingen, clickable links, expliciete twijfelvlaggen.

4. Veilig opschalen: ontwerp controlepunten in het proces

Zodra een workflow bewijst dat hij werkt is de volgende stap opschalen, maar op een manier die de controlemomenten niet elimineert. Hoe minder verandering een AI-workflow introduceert in de bestaande manier van werken, hoe groter de adoptie.

Implementatiestappenplan: wat doe je maandag?

Stap 1. Inventariseer waar AI nu al wordt ingezet, formeel én informeel. Shadow AI is in de meeste organisaties omvangrijker dan het management weet.

Stap 2. Kies één werkproces met een duidelijk begin- en eindpunt, dat AI al gebruikt of waarvoor het voor de hand ligt. Kies bewust een proces met een ingebouwde menselijke eindcheck.

Stap 3. Bepaal wat de doelstelling is en wat de ROI behelst. Is dit kwaliteitsverbetering, kwantiteit verhogen of tijdsbesparing? Bepaal de baseline.

Stap 4. Breng de stappen in kaart en markeer per stap: wat is de foutmarge die acceptabel is? Wat zijn de consequenties van een fout die niet wordt opgemerkt? Waar zitten de natuurlijke controlemomenten?

Stap 5. Bouw verificatie in het ontwerp, niet als nacontrole, maar als onderdeel van de workflow. Bronverwijzingen, twijfel aangeven, go/no-go-stappen die aansluiten op bestaande beslismomenten.

Stap 6. Meet de werkelijke winst (in tijdsbesparing, kwantiteit of kwaliteit) na vier weken, inclusief de tijd besteed aan controle en correctie. Vergelijk met de situatie zonder AI. Pas op basis daarvan de businesscase aan.

Wat betekent dit voor jou?

Je hoeft niet te wachten tot de hele organisatie klaar is. Één proces, één team, vier weken. Dat levert meer inzicht op dan elk theoretisch model.

AI is klaar. Zijn jouw mensen dat ook?

Wil je weten hoe zo'n aanpak er voor jouw organisatie uit zou zien? Plan een kennismaking in