Moet je website nu al klaar zijn voor AI-agents?

llms.txt kost een middag maar niemand vraagt erom

llms.txt is een tekstbestand in de root van je site, familie van robots.txt (een voorstel uit de ontwikkelaarsgemeenschap, zonder standaardenorganisatie erachter), waarin je in gewone taal samenvat wat je site is en waar de belangrijkste pagina's staan. De gedachte erachter is netjes: help taalmodellen begrijpen waar je over gaat, dan hoeven ze niet door je hele HTML te ploegen.

Het loopt hard. HTTP Archive mat in de Web Almanac van 2025 een geldige llms.txt op 2,13 procent van de desktopsites en 2,1 procent van de mobiele sites. Voor een bestand dat twee jaar geleden nog niet bestond is dat snelle groei.

Alleen vraagt niemand erom. John Mueller van Google reageerde er op Reddit kort en droog op:

"AFAIK none of the AI services have said they're using LLMs.TXT (and you can tell when you look at your server logs that they don't even check for it). To me, it's comparable to the keywords meta tag." - John Mueller

Iemand die zo'n twintigduizend domeinen beheert bevestigde in hetzelfde gesprek dat de bestanden nauwelijks worden opgevraagd. De vergelijking met de keywords meta tag is pijnlijk raak, want dat was ook een veld waarin je netjes mocht opschrijven waar je pagina over ging, waar uiteindelijk geen zoekmachine iets mee deed.

Op zichzelf is dat geen ramp. Een middag werk, niemand heeft er last van. Het risico zit in wat er daarna in een organisatie gebeurt. Iemand meldt dat de site nu "AI-ready" is, het vinkje gaat op groen en het gesprek over wat AI met je website doet is afgelopen voordat het begon. Die kosten staan op geen enkele factuur.

Wil je echt sturen wat AI-crawlers met je content doen, dan gebeurt dat nog steeds in robots.txt. Dat bestand heeft 94,1 procent van de sites. Het aandeel dat expliciet iets over GPTBot zegt groeide van 2,6 procent in 2024 naar 4,5 procent in 2025. Daar staat je beleid.

Wat Google met WebMCP probeert te repareren

Kijk naar hoe een AI-agent vandaag een website gebruikt en je snapt meteen waarom er aan een standaard wordt gewerkt. De agent krijgt je pagina binnen als pixels of als een berg HTML, gokt welk veld het zoekveld is, gokt welke knop verstuurt en probeert het. Vergelijk het met een uitzendkracht die je systeem nog nooit heeft gezien en die je zonder uitleg achter het scherm zet. Het lukt vaak. Het lukt niet altijd. En als het misgaat weet niemand precies waarom.

WebMCP draait dat om. Je site biedt zelf een lijstje handelingen aan die een agent kan aanroepen, met een naam en een omschrijving erbij: zoek een product, plan een afspraak, dien een aanvraag in. De agent hoeft niets meer te raden, hij leest wat er te doen valt. Dezelfde uitzendkracht, nu met een instructiekaart naast het toetsenbord.

Twee dingen maken dit serieuzer dan het zoveelste voorstel. Het wordt geïncubeerd binnen de W3C, in de Web Machine Learning Community Group. Microsoft is mede-auteur. Google zette de documentatie in mei online na een preview-programma dat in februari openging. Sinds Chrome 149 loopt er een publieke testfase waarvoor sites zich kunnen aanmelden. Dat past in een bredere beweging waarin autonome agenten van proeftuin naar productie verschuiven.

Technisch kan het op twee manieren. Dat verschil bepaalt vooral je kosten. De ene variant komt neer op het annoteren van formulieren die je al hebt, zonder dat er programmeerwerk bij komt. De andere vraagt om echt ontwikkelwerk. Voor wie een moderne, schone site heeft is de eerste route een kwestie van dagen. Voor wie tien jaar aan maatwerk heeft gestapeld wordt het een project.

De adoptie staat nog vrijwel op nul

Nu de nuchtere kant. Google kondigde op I/O negen deelnemers aan de testfase aan: Expedia, Booking.com, Shopify, Credit Karma, TurboTax, Redfin, Etsy, Instacart en Target. Indrukwekkende logo's. Alleen zeggen logo's dat er interesse is, niet dat er iets live staat. Buiten demo's en testpagina's was de implementatie op echte sites medio 2026 te verwaarlozen.

Zwaarder weegt dat de vraagkant ontbreekt. Geen van de grote agents roept die tools op dit moment aan. Claude, ChatGPT Agent, Perplexity en Gemini kijken nog altijd naar de DOM of naar screenshots van je pagina. Google belooft dat Gemini in Chrome de eerste wordt die het wel doet. Tot dat moment bouw je een balie waar nog niemand langskomt.

De standaard zelf beweegt ook nog. In juli verhuisde de aanroep van de ene plek in de browser naar de andere, waarna Chrome de oude locatie afkeurde. Iedereen die vroeg was mocht opnieuw. Dat hoort bij een testfase, maar het zegt wel iets over het stadium.

En er is geen browserconsensus. Edge heeft experimentele ondersteuning achter een vlag. Firefox en Safari praten mee zonder toezegging om het te bouwen. Mozilla laat in de discussie weten vooral in de ene variant geïnteresseerd te zijn en niet in de andere. Een webstandaard die één browser implementeert is nog geen webstandaard.

Daarbovenop laat het voorstel zelf een paar dingen open: hoe je de gebruiker om bevestiging vraagt bij handelingen die dat verdienen, of je tools standaard zichtbaar maakt voor de agent die in de browser meedraait en of de browser controleert wat er in- en uitgaat. Prompt injection blijft daarbij een reëel risico, want een taalmodel dat instructies van een pagina leest kan instructies meekrijgen die jij daar niet hebt gezet. Google heeft bewust vastgelegd dat volledig autonome scenario's zonder mens erbij geen doel zijn. Er zit iemand in de lus.

Naast WebMCP lopen MCP en NLWeb

Er is meer dan één spoor. Dat is precies waarom kiezen nu lastig is.

MCP, het protocol waar de naam op leunt, zit aan de serverkant. Daar draai je een aparte dienst die een agent kan aanroepen, los van je website. Dat werkt goed voor interne systemen en voor partners, het is inmiddels breed geadopteerd en voor veel organisaties de eerste plek waar dit gesprek landt. De prijs: je bouwt authenticatie en gebruikerscontext een tweede keer, naast wat je site al doet.

NLWeb is Microsofts inzet, aangekondigd in mei 2025. Het maakt van je site een plek waar iemand in gewone taal een vraag kan stellen, gebouwd op wat er meestal al ligt: schema.org-annotaties en RSS. Elke NLWeb-installatie fungeert meteen als MCP-server. TripAdvisor, Shopify, Eventbrite en Hearst waren er vroeg bij.

Drie sporen dus, deels overlappend, met verschillende eigenaren en verschillende volwassenheid. Voor wie nu moet beslissen betekent dat vooral dat er nog niets definitiefs te kiezen valt. Wie vandaag alles op één kaart zet, begint volgend jaar met flinke kans opnieuw.

Verdient dit nu aandacht in jouw organisatie?

Voor de meeste organisaties is dit nog geen project. Er is geen agent die je tools aanroept, de standaard verschuift nog en de browsers zijn het oneens. Bouwen kan wachten.

Voor een kleinere groep ligt het anders. Dat zie je aan de lijst deelnemers. Expedia, Booking.com, Etsy, Instacart, Target, Redfin, TurboTax: boeken, kopen, vergelijken, aanvragen. Zit een groot deel van je waarde in een handeling die iemand op je site verricht en zou een agent die handeling namens hem kunnen doen, dan is nu meekijken verstandig, zodat je weet wat er ligt op het moment dat de eerste agent aanklopt.

Twee dingen kun je hoe dan ook deze maand doen. Geen van beide kost een sprint.

Kijk of AI-assistenten je al bezoekers sturen. Google Analytics herkent dat verkeer inmiddels als apart kanaal. Dat cijfer is de beste thermometer die je hebt voor hoe hard dit bij jou gaat.

En zorg dat niemand in je organisatie "AI-ready" zegt op basis van een llms.txt. Dat is geen muggenzifterij over woorden. Zodra een vinkje groen staat verdwijnt een onderwerp van de agenda. Dit hoort er de komende jaren op te blijven. AI-zoekmachines herschrijven de regels voor online vindbaarheid. Die verschuiving vraagt om een gesprek dat je elk kwartaal opnieuw voert.

Halverwege de jaren negentig bouwden bedrijven een website omdat de concurrent er een had, zonder goed te weten waar het heen ging. Achteraf was dat goed besteed geld, ook al klopte die eerste versie nergens van. Dit voelt als een vergelijkbaar moment, met één verschil: je kunt het nu van een afstand volgen zonder meteen te investeren. Bekijk alle artikelen over AI-agenten.

Waar op jouw site zou een agent straks iets kunnen doen wat nu een mens doet? Dat is de vraag om een keer aan tafel te leggen. Plan een kennismaking in, we denken graag mee.