Hoe betrouwbaar is AI bij complexe taken?

Samenvatting

De taalmodellen waar organisaties nu op bouwen zijn soms briljant en soms verbijsterend dom. Wiskundig onderzoek laat zien dat die grilligheid niet verdwijnt door modellen groter te maken: bij samengesteld redeneren lopen ze tegen structurele grenzen aan. Turing Award-winnaar Yann LeCun haalde ruim een miljard dollar op om een alternatief te bouwen, zogenoemde world models, maar hij is niet de enige die op een nieuw paradigma gokt. De kans is groot dat de AI van de toekomst niet uit één architectuur bestaat, maar uit een samenspel van meerdere. Voor organisaties die hun AI-strategie bepalen, is de les: zet niet alles op één kaart.

Wat er speelt

Op 1 april sprak Yann LeCun, Turing Award-winnaar en oprichter van AI-startup AMI Labs, op Brown University een volle zaal toe met een boodschap die weinig aan duidelijkheid te wensen overliet. Taalmodellen zijn volgens hem een doodlopende weg naar menselijke intelligentie. Ze manipuleren taal op een manier die ons doet denken dat ze slim zijn, maar ze begrijpen niets van de fysieke wereld. Op een van zijn slides stond, in rode hoofdletters: als je geïnteresseerd bent in menselijke intelligentie, werk dan niet aan taalmodellen. Eerder schreven we al over zijn kritiek op de huidige koers van AI.

Dat is een stellige positie, en LeCun neemt daarmee bewust een gok. Maar het onderzoek dat zijn onvrede onderbouwt, staat wel stevig. Onderzoekers van de Allen Institute for AI, Columbia University en Stanford University hebben het afgelopen jaar wiskundig aangetoond dat de transformer-architectuur, de ruggengraat van alle grote taalmodellen, structurele beperkingen heeft bij samengesteld redeneren. Geef een taalmodel twee feiten die het moet combineren tot een nieuw inzicht, en het faalt zodra de complexiteit toeneemt.

De grilligheid van AI

Vraag een taalmodel wat er gebeurt als je een glas van de tafel stoot, en het antwoord klinkt overtuigend: het glas valt en breekt. Maar het model snapt niet waarom. Het heeft nooit zwaartekracht ervaren, nooit glas horen breken. Het reproduceert een patroon uit miljoenen teksten waarin glazen breken na een val. Dat onderscheid, tussen patronen herkennen en de wereld begrijpen, zit in de kern van wat onderzoekers jaggedness noemen: AI-modellen zijn op sommige taken bovenmenselijk en op andere verbijsterend zwak.

Draai een probleem net iets anders en een model dat zojuist nog feilloos presteerde, geeft een antwoord dat nergens op slaat. Het klassieke voorbeeld: vraag een taalmodel of je naar de autowasserette moet lopen of rijden als die acht minuten lopen van je huis is, en het zegt "loop lekker." Waarna je uiteraard zonder auto aankomt.

Nouha Dziri van de Allen Institute for AI testte die grilligheid systematisch op varianten van een klassieke logische puzzel. Bij twee huizen met twee kenmerken per huis scoorde GPT-4 feilloos. Bij vier huizen met vier kenmerken zakte de score naar tien procent. Bij vijf huizen, de originele puzzel: nul procent. Extra trainingsdata hielp bij varianten die leken op het trainingsmateriaal, maar zodra de structuur afweek, stortte de prestatie in. Het model imiteert patronen die het heeft gezien, maar generaliseert niet.

En dat is precies wat organisaties van AI verwachten. Wie een taalmodel inzet om offertes samen te stellen, juridische documenten te analyseren of complexe klantcases te beoordelen, gaat ervan uit dat het model stappen kan combineren. Dat soort samengesteld redeneren is waar de architectuur structureel tekortschiet. De gevolgen zijn ook zichtbaar bij hallucinaties: het model combineert feiten verkeerd en presenteert het resultaat met vol vertrouwen.

Onderzoeker Binghui Peng van Stanford toonde aan dat zelfs wanneer je een transformer vergroot, de problemen meeschalen. Groter maken lost het niet op. Die grens is wiskundig, niet praktisch. Dat wil niet zeggen dat taalmodellen nutteloos zijn. Voor code, voor tekst, voor analyse werken ze uitstekend. Maar de verwachting dat één architectuur steeds slimmer wordt totdat ze alles kan, botst op grenzen die niet weggaan met de volgende modelversie.

Eén paradigma is waarschijnlijk niet genoeg

LeCun trekt de meest radicale consequentie uit die beperkingen. Zijn startup AMI Labs haalde ruim een miljard dollar op om een fundamenteel ander type AI te bouwen: world models. In plaats van het volgende woord in een zin te voorspellen, voorspellen deze modellen de volgende toestand van een fysieke omgeving op basis van een handeling. Taal is, zoals onderzoekers het noemen, een extreem verliesgevende compressie van de werkelijkheid. World models werken met rijkere data: video, audio, sensoren.

Maar LeCun is niet de enige die een nieuw paradigma probeert. David Silver, bekend van AlphaGo, is een lab gestart dat AI leert door trial-and-error in de echte wereld, vergelijkbaar met hoe een baby leert. Onderzoekers experimenteren met diffusion-modellen voor tekst, een techniek die al een revolutie veroorzaakte bij het genereren van afbeeldingen. En er wordt gewerkt aan biologische en analoge computing, benaderingen die de energieconsumptie van AI drastisch zouden kunnen verlagen.

De kans is groot dat de AI van de toekomst niet uit één model bestaat, maar uit een samenspel van paradigma's die elkaars blinde vlekken compenseren. Rik Lamers, AI-onderzoeker bij Nvidia, vergelijkt het met een groep mensen: één individu kan grillig zijn, maar een groep van duizend is dat veel minder. Leg genoeg verschillende competentieprofielen over elkaar en je krijgt uiteindelijk een cirkel in plaats van een ster met gaten.

Dat klinkt logisch, maar de uitvoering is allesbehalve simpel. Je kunt niet zomaar verschillende modellen aan elkaar knopen en hopen dat het werkt. Lamers wijst erop dat naïef samenknopen van systemen altijd stukloopt op het verbindingsmechanisme, dat de zwakste schakel wordt. De modellen moeten samen getraind worden, zodat ze elkaars sterke en zwakke punten leren kennen. Dat is precies wat al gebeurt bij de nieuwste beeldgeneratoren, waar transformers en diffusion-modellen symbiotisch zijn geïntegreerd. Die aanpak opschalen naar drie, vier of vijf paradigma's tegelijk is een open onderzoeksvraag.

Nederland speelt mee

Opvallend genoeg speelt Nederland een rol in de opkomst van world models. Pim de Witte, een Nijmeegse ondernemer, bouwde met zijn gamingplatform Medal een van de grootste databases van gamebeelden ter wereld. Die beelden blijken precies de trainingsdata die world models nodig hebben: gestandaardiseerde video's van mensen die navigeren, racen en reageren in voorspelbare maar complexe omgevingen. OpenAI bood naar verluidt een half miljard dollar voor zijn bedrijf. De Witte weigerde en startte General Intuition, een AI-startup die inmiddels ruim 130 miljoen dollar ophaalde om world models te bouwen op basis van die gamedata.

Fei-Fei Li haalde met World Labs meer dan een miljard dollar op. Google DeepMind lanceerde Genie 3, het eerste real-time interactieve world model. En Nvidia's Cosmos-platform werd al meer dan twee miljoen keer gedownload. Tezamen stroomde meer dan twee miljard dollar naar dit nieuwe type AI. Dat ook DeepMind al langer in deze richting beweegt, schreven we eerder. Hoe world models er concreet uitzien, lees je hier.

Wat dit betekent als je nu AI-keuzes maakt

Voor de meeste organisaties zijn taalmodellen op dit moment het juiste gereedschap. Ze schrijven teksten, analyseren documenten, vatten samen en automatiseren communicatie. Voor code zijn ze zelfs uitzonderlijk goed, juist omdat code al een tekstrepresentatie is van een logische wereld. Die toepassingen raken niet aan de grenzen die de onderzoekers beschrijven.

Waar het wél relevant wordt, is bij de verwachtingen die je stelt aan wat er hierna komt. Veel AI-strategieën zijn gebouwd op de aanname dat taalmodellen steeds slimmer worden en uiteindelijk complexe taken volledig zelfstandig uitvoeren. LeCun waarschuwt dat bijna geen van de huidige agentische systemen in staat is de gevolgen van eigen acties te voorspellen. Ilya Sutskever, medeoprichter van OpenAI, sprak recent over een terugkeer naar het onderzoekstijdperk: we lopen tegen afnemende meeropbrengsten aan bij het standaard transformer-paradigma.

De praktische les voor organisaties is helder. Taalmodellen blijven krachtig voor alles wat met tekst te maken heeft. Maar baseer je strategie niet op het idee dat één architectuur alles gaat oplossen. De AI van over vijf jaar zal waarschijnlijk bestaan uit meerdere samenwerkende paradigma's, elk sterk op een ander domein. Organisaties die dat begrijpen en hun governance en verwachtingen daarop inrichten, hoeven straks niet bij te sturen als de technologie verschuift.

Wil je jouw AI-strategie toetsen op dit soort verschuivingen? Plan een kennismaking in.