Wat de nieuwe AI-training opt-out betekent voor publishers

Google, Microsoft, OpenAI en Anthropic maakten op 30 oktober bekend dat ze één gedeeld signaal in robots.txt gaan respecteren. Daarmee geeft een website aan dat de content niet gebruikt mag worden om AI-modellen te trainen. Voor publishers die nu per crawler een regel bijhouden is dat een stap vooruit: één groep in robots.txt in plaats van een groeiende lijst botnamen. Het signaal dekt alleen training. Voor zoekmachines en voor AI-antwoorden die je artikelen samenvatten verandert er niets. Hieronder wat er precies is afgesproken, waar de grenzen liggen en wat je deze week in je robots.txt kunt zetten.

Eén groep in robots.txt in plaats van een lijst crawlers

Het voorstel komt van Kevin Kelley van Anthropic en is ingediend bij de IETF, de organisatie die internetstandaarden beheert. Technisch verandert er weinig. Je gebruikt dezelfde syntax als nu, alleen zet je op de User-Agent-regel geen botnaam maar een zogeheten policy token: __usage_ai-training. Daaronder schrijf je gewone Disallow- en Allow-regels. Drie regels volstaan om je hele site uit AI-training te houden en bijvoorbeeld een persmap wel vrij te geven. Het token zegt niets over crawlen zelf: een bot mag de pagina nog steeds ophalen, alleen niet gebruiken om te trainen.

De vier bedrijven lopen niet gelijk op. Anthropic is begonnen met de implementatie, al kost uitrol over alle diensten volgens Kelley nog tijd. OpenAI belooft ondersteuning in de komende maanden, Microsoft start op 1 februari 2027 en Google mikt op begin 2027. Tot die tijd blijven je bestaande regels voor GPTBot, ClaudeBot en Google-Extended gewoon gelden. Het nieuwe signaal komt er bij. Meta ontbreekt in het rijtje: communicatiechef Andy Stone sprak op X steun uit voor een gemeenschappelijk signaal, maar het bedrijf heeft niets toegezegd. Meta's crawler blokkeer je dus voorlopig nog apart.

Zoeken en AI-antwoorden vallen buiten het signaal

Dat is de kanttekening die Alissa Cooper van het Knight-Georgetown Institute plaatst in een analyse op Tech Policy Press. Het token leunt op de definitie van AI-training uit de IETF-werkgroep AIPREF: content gebruiken om de parameters van een model aan te passen. Alles daarbuiten blijft ongeregeld. Of een zoekmachine je pagina's mag indexeren, of een AI-assistent je artikel mag ophalen en samenvatten in een antwoord (grounding), daar zegt het signaal niets over.

Voor publishers is dat precies de open vraag. Een artikel dat in een AI-antwoord wordt samengevat levert geen klik op, en de eerste cijfers laten zien hoe grillig dat kanaal beweegt. Die discussie ligt in meerdere landen al bij toezichthouders. Cooper vindt het opvallend dat de twee partijen die vrijwel de hele zoekmarkt in handen hebben wel het trainingssignaal omarmen en geen vergelijkbaar signaal voor zoeken aanbieden, terwijl de werkgroep daar al maanden over praat.

De bedrijven leggen het token bovendien verschillend uit. Google behandelt een opt-out via het gedeelde token als een blokkade van Google-Extended. Die dekt zowel training als grounding in Gemini. Microsoft houdt training en grounding strikt gescheiden en vraagt voor grounding een aparte instelling. Hetzelfde regeltje heeft dus per bedrijf een andere reikwijdte.

Een voorstel van één auteur, nog geen standaard

Het document is een zogeheten individual draft: een voorstel dat iedereen bij de IETF kan indienen en dat geen formele status heeft. Dat kennen we van llms.txt, een vergelijkbaar tekstbestand zonder standaardenorganisatie erachter. De werkgroep AIPREF werkt al bijna twee jaar aan twee andere documenten, een woordenlijst voor AI-voorkeuren en een manier om die in robots.txt te zetten. Die zijn wel door de groep aangenomen. Het nieuwe voorstel moet nog besproken worden en kan onderweg veranderen.

Dat heeft een praktisch gevolg voor de AI Act. De Europese gedragscode voor aanbieders van algemene AI-modellen verplicht ondertekenaars om crawlerinstructies te volgen die voldoen aan de robots.txt-standaard (RFC 9309) of latere IETF-versies daarvan. Een voorstel zonder standaardstatus valt daar nog niet onder. Google noemt het mechanisme consistent met de gedragscode, maar afdwingbaar via die route is het nog niet. Je leunt dus op de vrijwillige toezegging van vier bedrijven. Omdat het om de vier grootste gaat, kan het signaal in de praktijk de norm worden lang voordat de standaard er is.

Voeg de nieuwe groep toe en laat je bestaande regels staan

Blokkeer je nu al AI-training per crawler, dan voeg je de groep __usage_ai-training toe met een Disallow op de paden die je wilt afschermen. De regels voor GPTBot, ClaudeBot en Google-Extended laat je staan, want die gelden tot de uitrol rond is. Let op: een bestaande wildcard-groep (User-Agent: *) telt niet als opt-out. Zonder expliciete groep heb je volgens het voorstel geen voorkeur uitgesproken.

Bedenk daarna apart wat je wilt met grounding en zoeken. Bij Google hangen training en grounding aan dezelfde schakelaar: een opt-out via het token betekent ook geen vermelding in Gemini-antwoorden. Sta je Google-Extended expliciet toe, dan sta je beide toe. Een tussenweg, wel grounding en geen training, biedt Google op dit moment niet. Je plek in de gewone zoekresultaten verandert hier niet door. AI Overviews en AI Mode regel je apart, via Search Console. Bij Microsoft regel je grounding wel los van training, per pagina. Wie nu NoArchive of NoCache gebruikt als AI-signaal verliest dat per 1 maart 2027.

En het grotere plaatje: een opt-out haalt niets uit bestaande trainingssets en levert geen vergoeding op. Microsoft zegt dat ook letterlijk: de nieuwe voorkeuren scheppen geen licentie- of betaalafspraak. Andersom gaat een private afspraak met een AI-bedrijf volgens de draft wel boven het signaal. Robots.txt is de standaardstand, een contract de uitzondering. Wie content wil verzilveren in plaats van alleen afschermen, kijkt dus naar licentieafspraken. Hoe de New York Times die strijd voert, en wat dat betekent voor wie zelf waardevolle content maakt, beschreven we eerder. Dat is een aparte route, met een eigen gesprek aan tafel.

Wil je weten hoe je je content beschermt zonder je vindbaarheid in zoekmachines en AI-assistenten te verliezen? Plan een kennismaking in, we denken graag mee.