Wie bepaalt wat AI met de teksten en foto's op jouw website mag doen? Tot vorige week was het eerlijke antwoord: dat is een rommeltje. Op 30 oktober kwam daar beweging in. Google, Microsoft, OpenAI en Anthropic — de bedrijven achter onder meer Gemini, Copilot, ChatGPT en Claude — kondigden alle vier op dezelfde dag aan dat ze één gezamenlijk signaal gaan ondersteunen waarmee een website kan zeggen: gebruik mijn content niet om AI-modellen te trainen. Eén regel in een tekstbestandje, in plaats van een aparte afspraak per AI-bedrijf. In dit artikel leggen we uit wat er precies is afgesproken, wat die regel wél en niet doet, en — belangrijker — hoe je als ondernemer bepaalt of je hem überhaupt wilt gebruiken.
Eerst even: wat is robots.txt?
Vrijwel elke website heeft een bestandje dat robots.txt heet. Het is een soort huisreglement voor geautomatiseerde bezoekers: zoekmachines en andere 'crawlers' lezen het voordat ze je site bezoeken, en zien daar welke delen van de site ze wel en niet mogen bekijken. Zo werkt het al zo'n dertig jaar, en voor gewone zoekmachines werkt het prima.
Met de komst van AI werd het onoverzichtelijk. Elk AI-bedrijf stuurt zijn eigen crawlers het web op, vaak meerdere per bedrijf en elk met een eigen naam. Wilde je als website-eigenaar niet dat je content in trainingsdata belandde, dan moest je al die namen kennen, stuk voor stuk in je robots.txt zetten, en de lijst bijhouden zodra er weer een nieuwe bij kwam. In de praktijk deed bijna geen mkb-bedrijf dat — niet uit onwil, maar omdat het ondoenlijk was.
Wat is er nu afgesproken?
De vier bedrijven scharen zich achter een voorstel dat is ingediend bij de IETF, de organisatie die internetstandaarden beheert. De kern: er komt één vaste naam die je in robots.txt kunt opnemen en die niet bij één bedrijf hoort, maar een voorkeur uitdrukt richting álle AI-trainers die de standaard ondersteunen. Zet je achter die naam 'alles verboden', dan zeg je in één keer tegen Google, Microsoft, OpenAI, Anthropic en toekomstige deelnemers: train je modellen niet op mijn site. Je kunt het ook fijnmaziger instellen, bijvoorbeeld alles blokkeren behalve je persberichten.
Helemaal af is het nog niet. Het voorstel is een concept, nog geen officiële standaard, en de invoering verschilt per bedrijf: Anthropic zegt al begonnen te zijn, OpenAI mikt op 'de komende maanden', Microsoft gaat de voorkeur vanaf 1 februari 2027 honoreren en Google richt zich op begin 2027. Meta heeft sympathie uitgesproken maar nog niets toegezegd. Toch is de richting duidelijk — en dat is voor het eerst.
Voor het eerst spreken de grote AI-bedrijven dezelfde taal over wat een website wel en niet wil: één regel in plaats van een lijst crawlers bijhouden.
Wat die ene regel wél en niet doet
Belangrijk om scherp te hebben: dit signaal gaat over trainen — content gebruiken om AI-modellen slimmer te maken. Het is géén alleskunner. De belangrijkste punten op een rij:
- Je blijft gewoon vindbaar in zoekmachines. Zowel Google als Microsoft zegt expliciet dat de opt-out je positie in de normale zoekresultaten niet raakt.
- Het is een voorkeur, geen slot op de deur. Bedrijven die de standaard niet ondersteunen, kunnen het signaal negeren; er staat geen handhaving achter.
- Het werkt niet met terugwerkende kracht: content die al verzameld is, haal je er niet mee terug.
- Het gaat niet over 'grounding' — AI die je pagina live opzoekt om een vraag van een gebruiker te beantwoorden. Daarvoor komt Microsoft bijvoorbeeld met aparte instellingen.
- Let op bij Google: wie de gezamenlijke opt-out gebruikt zonder verder iets in te stellen, wordt daar ook uitgesloten van Gemini-antwoorden die webpagina's aanhalen. Vindbaarheid in AI-antwoorden en trainen lopen daar dus deels door elkaar.
De echte vraag: wil je er wel uit?
Nu het eerlijke verhaal. Voor een deel van de bedrijven is deze opt-out een uitkomst: fotografen, ontwerpers, uitgevers en bedrijven waarvan de content zélf het product is, krijgen eindelijk een werkbare knop om 'nee' te zeggen. Als jouw kennisbank, beeldbank of cursusmateriaal je verdienmodel is, is dit nieuws om serieus op te pakken.
Maar voor de meeste mkb-bedrijven ligt het precies andersom. Jouw website staat er niet om beschermd te worden — hij staat er om gevonden te worden. En steeds vaker gebeurt dat vinden via AI: mensen vragen ChatGPT of Gemini om een aannemer, een leverancier of een specialist in de buurt, en krijgen een antwoord met een paar namen erin. Een AI die jouw site nooit heeft gelezen, noemt jouw naam niet. Wie uit reflex 'alles blokkeren' aanzet, kan zichzelf dus onzichtbaar maken in precies het kanaal dat de komende jaren groeit. De juiste vraag is daarom niet 'hoe houd ik AI buiten?', maar: welke delen van mijn site wil ik juist zo goed mogelijk door AI laten begrijpen, en zit er iets tussen dat ik wil afschermen?
Voor de meeste mkb-bedrijven is de website geen schat om te bewaken, maar een etalage: je wilt juist dát AI hem gelezen heeft als een klant om een aanbeveling vraagt.
Wat je nu concreet kunt doen
Haast is er niet: de eerste bedrijven honoreren het signaal pas de komende maanden, de rest begin 2027. Maar een half uurtje aandacht is het wel waard. Kijk (of laat je websitebouwer kijken) wat er nú in je robots.txt staat — er circuleren al jaren kant-en-klare 'blokkeer alle AI-bots'-lijstjes op internet, en die zijn soms klakkeloos overgenomen zonder dat de eigenaar het weet. Beslis vervolgens bewust: wil je vindbaar zijn in AI-antwoorden (voor de meeste bedrijven: ja), of heb je content die je echt wilt afschermen? En zet een reminder voor begin 2027, wanneer de standaard breed ondersteund wordt, om je keuze door te voeren met die ene nieuwe regel.
Twijfel je hoe jouw site er op dit punt voorstaat — of hoe goed AI je bedrijf überhaupt kan vinden en begrijpen? Doe de gratis AI-check, dan kijken we mee. En bouwen of vernieuwen we een website voor je, dan nemen we dit soort keuzes standaard mee in de oplevering; een eerste traject begint bij Taitanic vanaf zo'n €1.500.