Hoe test je of je AI doet wat het moet?

AI inzetten in je product of werkproces klinkt eenvoudig. Een taalmodel aansluiten, een prompt schrijven, en klaar. Maar wie het serieus probeert, ontdekt al snel dat de output onvoorspelbaar is. Dezelfde vraag levert bij elke keer een ander antwoord op. Hoe weet je dan of het werkt? Dat is waar evaluaties, in de AI-wereld kortweg 'evals' genoemd, onmisbaar worden.

Het testen van AI verschilt fundamenteel van het testen van traditionele software. Bij conventionele code kun je exacte uitkomsten controleren: geeft functie X bij input Y altijd resultaat Z? Bij taalmodellen bestaat die zekerheid niet. De output varieert, zelfs bij identieke input. Dat vraagt om een andere aanpak, eentje die meer lijkt op het beoordelen van een medewerker dan op het testen van een machine.

Een bruikbaar evaluatieframework begint bij het opstellen van heldere succescriteria. Niet vaag ('het antwoord moet goed zijn') maar specifiek en meetbaar. Denk aan criteria als correctheid, volledigheid, toon, veiligheid en efficiëntie. Voor elk criterium stel je een schaal op met referentievoorbeelden. Wat is een score 5 op correctheid? Wat is een 2? Die concreetheid maakt het verschil tussen evaluatie als ritueel en evaluatie als sturingsinstrument.

Een opvallende ontwikkeling is het inzetten van taalmodellen als beoordelaar van andere taalmodellen. Een sterk model beoordeelt of de output van je systeem voldoet aan de opgestelde criteria. Dat klinkt circulair, maar in de praktijk blijkt het verrassend effectief, mits je de beoordelaar goed instrueert en de scores steekproefsgewijs vergelijkt met menselijke beoordelingen. Nieuwe technieken maken het zelfs mogelijk om precies aan te wijzen waar een model de fout ingaat, wat het evaluatieproces verder aanscherpt.

In productie verschuift de focus van 'werkt het?' naar 'blijft het werken?'. Dat vraagt om drie lagen monitoring: systeemmetrics (latentie, foutenpercentage, tokengebruik), kwaliteitsmetrics (beoordelingsscores, hallucinatiepercentage) en businessmetrics (adoptie, retentie, tevredenheid). Die combinatie geeft je niet alleen zicht op technische prestaties, maar ook op de vraag of je AI daadwerkelijk waarde levert.

Voor organisaties die AI integreren in hun processen is de boodschap helder: een prototype dat indruk maakt in een demo kan alsnog falen bij echte gebruikers. Het verschil zit in systematisch evalueren, niet eenmalig maar doorlopend. Wie dat goed organiseert, bouwt niet alleen een beter product, maar voorkomt ook het soort verrassingen dat vertrouwen ondermijnt.