AI crawlers in robots.txt: wat blokkeer je en wat laat je toe?

Je robots.txt bepaalt of ChatGPT, Claude en Perplexity je producten kunnen vinden. Of je er niet in voorkomen. Veel webshops hebben nooit bewust gekozen. Een oude User-agent: * regel, een WAF-regel die "bots" blokkeert, of een CMS-plugin heeft de keuze voor hen gemaakt.

Dit artikel gaat over toegang. Welke crawlers bestaan er, wat doen ze, en welke regel zet je erin? De strategie erachter (hoe word je geciteerd) staat in GEO voor webshops: gevonden worden in ChatGPT en AI Overviews.

Drie soorten AI-bots, drie verschillende beslissingen

Praat niet over "AI-bots" als één groep. Er zijn drie soorten, en je beslist per soort.

1. Training-crawlers. Verzamelen content voor modeltraining. Blokkeren kost je geen zoekverkeer.
2. Search-crawlers. Bouwen een index voor antwoorden met bronvermelding. Blokkeren betekent: niet genoemd worden.
3. User-initiated fetchers. Halen een pagina op omdat een gebruiker erom vraagt. Vaak negeren ze robots.txt, of gelden de regels niet volledig.

Wie alles blokkeert, kiest dus ook voor onzichtbaarheid in AI-zoekresultaten. Dat kan een bewuste keuze zijn. Maak hem dan wel bewust.

De crawlers op een rij

De namen hieronder komen uit de documentatie van de aanbieders zelf. Die wijzigt vaker dan je denkt. Controleer de actuele lijst voordat je een regel uitrolt.

Drie nuances die in de tabel verdwijnen:

• Google-Extended heeft geen eigen user-agent in je logs. Het is alleen een token in robots.txt. Google zegt dat het je opname in Google Search niet beïnvloedt. Over AI Overviews zegt die documentatie niets. Die draaien op de gewone Googlebot-index. Meer daarover in Google AI Overviews en AI Mode: impact op je webshop.
• Applebot-Extended crawlt niet. Het stuurt alleen het gebruik van data die Applebot al ophaalde. Wil je ook uit Siri- en Spotlight-zoekresultaten, dan moet je Applebot zelf blokkeren.
• ChatGPT-User en Perplexity-User zijn geen crawlers. Een mens vroeg om je pagina. Blokkeer je die in je firewall, dan faalt precies het moment waarop een klant naar jouw shop wilde kijken.

Robots.txt-beleid per doel

Er zijn drie realistische strategieën. Kies er een.

Doel 1: maximale zichtbaarheid

Je verkoopt producten en wilt genoemd worden. Laat alles toe. Een expliciete regel is niet nodig, maar maakt je intentie leesbaar en dwingt je te controleren dat een brede Disallow niet per ongeluk bots raakt.

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /*?*sort=

Doel 2: zichtbaar zijn, niet trainen

Dit is voor de meeste webshops het verstandigste compromis. Je blijft vindbaar in AI-zoekresultaten, en je content gaat niet in trainingsdata.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

Eerlijk voorbehoud: dit geldt voor toekomstige crawls. Wat al is opgehaald, haal je niet terug. En robots.txt is een verzoek, geen slot. Bots die zich netjes gedragen volgen het. Andere niet.

Doel 3: content beschermen

Je hebt unieke content die je concurrent niet mag overnemen: redactionele teksten, specificatiedata, prijslijsten. Blokkeer alle bovenstaande bots in robots.txt, en voeg een WAF-regel toe voor bots die zich niet aan robots.txt houden. Accepteer dat je dan niet in AI-antwoorden verschijnt.

Robots.txt alleen beschermt niets tegen scrapers die het negeren. Daarvoor heb je rate limiting en bot-detectie nodig (zie verderop).

Wat is llms.txt, en helpt het?

llms.txt is een voorstel voor een markdown-bestand in de root van je site (/llms.txt). Het bevat een korte beschrijving van je site en links naar de belangrijkste pagina's, bedoeld voor taalmodellen. Het is geen vervanger van robots.txt. Het regelt geen toegang.

De eerlijke stand van zaken: er is geen bewijs dat een grote AI-aanbieder het bestand standaard gebruikt om te bepalen wat hij citeert. Google's John Mueller schreef in juni 2025 op Bluesky dat "no AI system currently uses llms.txt". Hij vergeleek het met de keywords-metatag. Latere berichten over zijn standpunt en over metingen van het gebruik spreken elkaar deels tegen. Controleer de actuele stand voordat je er tijd in steekt.

Wat dat betekent in de praktijk:

• Het bestand maken kost een uur. Verwacht er geen verkeer van.
• Het kan nuttig zijn voor agents en coding-tools die je documentatie gericht inlezen. Voor een webshop is dat zelden relevant.
• Meet het zelf. Zoek in je serverlogs naar requests op /llms.txt. Zie je geen AI-user-agents, dan weet je genoeg.
• Investeer eerst in wat zeker werkt: renderbare HTML, schone structured data en snelle responses.

Rendering: wat een bot niet ziet, bestaat niet

Dit is het deel dat webshops het vaakst de das omdoet. Veel AI-crawlers voeren geen JavaScript uit. Controleer dit per aanbieder in hun documentatie. Ga ervan uit dat je content in de eerste HTML-respons moet zitten.

Een headless of React-storefront dat producten pas na een API-call in de browser rendert, levert zo'n bot een lege pagina. Geen prijs, geen beschrijving, geen voorraadstatus.

Check het zelf, zonder tools:

curl -s -A "OAI-SearchBot" https://jouwshop.nl/product-url | grep -i "productnaam"

Staat je productnaam, prijs en beschrijving niet in de output? Dan ziet de bot ze ook niet. De oplossing is server-side rendering of statische generatie voor producten en categorieën. De afwegingen staan in SSR vs SSG voor productpagina's.

Let ook op:

• Reviews en prijzen via JavaScript-widgets. Vaak onzichtbaar voor bots.
• Lazy-loaded productomschrijvingen achter een klik of tab.
• Cookiewall of botchallenge die een niet-JS-client een interstitial toont.

Productdata en structured data

Wie een product wil laten citeren, moet het ondubbelzinnig beschrijven. JSON-LD met Product, Offer, AggregateRating en Brand in de server-gerenderde HTML geeft crawlers prijs, valuta en beschikbaarheid zonder te gokken. Zorg dat de data in je markup overeenkomt met wat zichtbaar op de pagina staat.

Houd de basis op orde:

• Eén canonical URL per product, geen parameters in de canonical.
• Een XML-sitemap met alleen indexeerbare URL's.
• Duidelijke specificaties in tekst, niet alleen in afbeeldingen.

De uitwerking staat in structured data voor e-commerce. Voor de rest van de technische basis gebruik je de technische SEO-checklist voor webshops.

Controleer je serverlogs

Je robots.txt zegt wat je wilt. Je logs laten zien wat er gebeurt. Doe deze controle eens per kwartaal.

Checklist:

• Filter je access logs op de user-agents uit de tabel. Tel requests per bot per week.
• Kijk naar statuscodes. Veel 403's of 429's voor een bot die je wilt toelaten betekent dat je WAF of CDN hem blokkeert.
• Controleer of /robots.txt zelf een 200 geeft, ook voor bots. Een 5xx op robots.txt kan ertoe leiden dat crawlers terughoudend worden.
• Verifieer bots met de IP-lijsten van de aanbieder. OpenAI, Anthropic en Perplexity publiceren die als JSON. Een user-agent is zo vervalst.
• Zoek naar user-agents die zich voordoen als een AI-bot maar van een ander IP-bereik komen.

Let op je CDN. Cloudflare en vergelijkbare diensten hebben eigen instellingen voor AI-bots die je robots.txt kunnen overschrijven. Controleer in je dashboard wat er aan staat. Meer over die laag in CDN-configuratie voor e-commerce. Ook belangrijk: een wijziging in robots.txt werkt bij sommige aanbieders pas na zo'n 24 uur, zeggen OpenAI en Perplexity.

Agressieve bots afremmen

Een crawler die je Magento-shop plat trekt, is een performanceprobleem, geen SEO-vraagstuk. Facetnavigatie met duizenden filtercombinaties is de klassieke valkuil.

Werkvolgorde:

1. Sluit eerst de filterruimte af in robots.txt (sortering, filters, zoekresultaten). Dat helpt voor alle bots.
2. Crawl-delay. Anthropic zegt Crawl-delay te ondersteunen voor ClaudeBot. Het is een niet-standaard extensie, dus reken er niet op bij andere bots.
3. Rate limiting op WAF- of CDN-niveau, per IP en per user-agent. Geef verified bots een ruimere limiet dan onbekende.
4. Blokkeer niet op IP-basis alleen. Anthropic waarschuwt dat IP-blokkades de bot kunnen beletten je robots.txt te lezen.
5. Cache agressief. Een gecachte productpagina kost bijna niets, ook als een bot hem duizend keer ophaalt.

Voor scrapers die zich niet aan robots.txt houden en voor misbruik zoals carding heb je een WAF met botdetectie nodig. Dat is een ander probleem dan AI-zichtbaarheid. Zie ook Magento 2 security checklist.

Zo pak je het aan

1. Bepaal je doel: zichtbaarheid, zichtbaar-zonder-training, of bescherming.
2. Schrijf de robots.txt per bot, niet met één brede regel.
3. Controleer dat je WAF en CDN verified bots niet blokkeren.
4. Test met curl of productcontent in de eerste HTML-respons staat.
5. Zet Product-structured data server-side in de pagina.
6. Maak desgewenst een llms.txt, maar verwacht er niets van.
7. Check je logs over een maand en stel bij.

Meer over wat AI voor je shop kan betekenen vind je op AI voor webshops.

Veelgestelde vragen

Moet ik GPTBot blokkeren of toestaan?

Dat hangt van je doel af. GPTBot verzamelt content voor training van OpenAI-modellen. Blokkeren heeft volgens OpenAI geen invloed op je zichtbaarheid in ChatGPT Search. Daarvoor gebruikt OpenAI OAI-SearchBot. Wil je gevonden worden maar niet meetrainen, blokkeer dan GPTBot en laat OAI-SearchBot toe.

Beïnvloedt het blokkeren van Google-Extended mijn Google-rankings?

Nee. Google stelt dat Google-Extended je opname in Google Search niet beïnvloedt en geen rankingsignaal is. Het regelt het gebruik van je content voor Gemini-training en grounding. Wil je volledig uit Google Search, dan is dat een andere beslissing met grote gevolgen.

Heeft mijn webshop een llms.txt nodig?

Nee. Er is geen bevestiging dat grote AI-aanbieders het bestand gebruiken, en Google's John Mueller zei in 2025 dat geen AI-systeem het op dat moment gebruikt. Het schaadt niet, maar het is geen prioriteit. Controleer in je serverlogs of er bots om vragen.

Respecteren AI-bots mijn robots.txt altijd?

De zoek- en trainingscrawlers van OpenAI, Anthropic en Perplexity volgen robots.txt volgens hun eigen documentatie. Bij user-initiated fetchers zoals ChatGPT-User en Perplexity-User gelden de regels mogelijk niet. Scrapers van derden volgen het helemaal niet. Daarvoor heb je WAF-regels en rate limiting nodig.

Kunnen AI-crawlers mijn JavaScript-shop lezen?

Ga ervan uit van niet. Veel AI-crawlers voeren geen JavaScript uit, dus content die alleen client-side rendert is onzichtbaar. Test met curl of je productnaam, prijs en beschrijving in de eerste HTML staan. Zo niet, dan is server-side rendering de oplossing.

Toegang inrichten zonder gokwerk

Een goede robots.txt, een WAF die de juiste bots doorlaat en server-side gerenderde productpagina's zijn een kwestie van een paar dagen werk. Wil je dat iemand je robots.txt, logs en rendering doorloopt? Neem contact met ons op.