Gratis tool

Robots.txt-generator met AI-crawlers

Kies je platform, bepaal per crawler wat je toestaat en kopieer of download het resultaat. Bij elke AI-crawler staat wat blokkeren je kost en wat het oplevert, zodat je een bewuste keuze maakt in plaats van een gok.

1. Platform

Blokkeer nooit /static/ of /media/: Google heeft de CSS, JavaScript en afbeeldingen nodig om je pagina te renderen. Layered navigation-parameters (kleur, maat) blokkeer je alleen als je zeker weet dat die filterpagina's geen zoekwaarde hebben.

2. Crawlers
  • GooglebotZoekmachineGoogle

    Crawlt voor Google Search, Google Shopping, Discover én AI Overviews en AI Mode.

    Wat kost of levert blokkeren op?
    Kost:
    Je verdwijnt uit Google. Voor vrijwel elke webshop het grootste deel van het organische verkeer.
    Levert op:
    Niets, behalve bij een testomgeving of staging die je toch al achter een wachtwoord hoort te zetten.
  • BingbotZoekmachineMicrosoft

    Crawlt voor Bing, DuckDuckGo en Ecosia, en is een belangrijke bron voor ChatGPT-zoeken en Copilot.

    Wat kost of levert blokkeren op?
    Kost:
    Minder zichtbaarheid in Bing én in AI-zoekmachines die de Bing-index gebruiken.
    Levert op:
    Vrijwel niets. Bingbot is een nette crawler die crawl-delay respecteert als de serverbelasting een issue is.
  • OAI-SearchBotAI-zoekenOpenAI

    Crawlt voor de zoekfunctie in ChatGPT, waar pagina's als bron met link verschijnen.

    Wat kost of levert blokkeren op?
    Kost:
    Je pagina's worden minder of niet getoond en geciteerd in ChatGPT-zoekresultaten.
    Levert op:
    Je content verschijnt niet in ChatGPT-zoeken. Wordt níet gebruikt voor training; daarvoor is GPTBot.
  • ChatGPT-UserAI-zoekenOpenAI

    Haalt een pagina op als een ChatGPT-gebruiker daar zelf om vraagt, bijvoorbeeld door een link te plakken.

    Wat kost of levert blokkeren op?
    Kost:
    ChatGPT kan je pagina niet openen als een gebruiker erom vraagt, ook niet om je product te vergelijken.
    Levert op:
    Weinig. Dit is geen crawler die je hele shop afloopt maar een losse opvraag per gebruikersverzoek.
  • PerplexityBotAI-zoekenPerplexity

    Bouwt de index waaruit Perplexity antwoorden en bronvermeldingen haalt.

    Wat kost of levert blokkeren op?
    Kost:
    Je verschijnt minder of niet als bron in Perplexity.
    Levert op:
    Je content wordt niet in Perplexity-antwoorden verwerkt.
  • GPTBotAI-trainingOpenAI

    Verzamelt content om toekomstige modellen van OpenAI te trainen.

    Wat kost of levert blokkeren op?
    Kost:
    Je content zit niet in de trainingsdata. Merk- en productkennis in het model zelf kan daardoor minder actueel zijn.
    Levert op:
    Je content wordt niet gebruikt voor training. Heeft geen effect op ChatGPT-zoeken (OAI-SearchBot).
  • ClaudeBotAI-trainingAnthropic

    Verzamelt content om modellen van Anthropic (Claude) te trainen.

    Wat kost of levert blokkeren op?
    Kost:
    Je content zit niet in de trainingsdata van Claude.
    Levert op:
    Je content wordt niet gebruikt voor training van Claude.
  • Google-ExtendedAI-trainingGoogle

    Geen aparte crawler maar een token: bepaalt of Google je content mag gebruiken voor Gemini-training en grounding.

    Wat kost of levert blokkeren op?
    Kost:
    Geen effect op Google Search, AI Overviews of AI Mode. Die gebruiken de gewone Googlebot-index.
    Levert op:
    Je content wordt niet gebruikt voor training van Gemini-modellen.
  • Applebot-ExtendedAI-trainingApple

    Token waarmee je aangeeft of Apple je content mag gebruiken voor training van zijn AI-modellen.

    Wat kost of levert blokkeren op?
    Kost:
    Geen effect op Siri- en Spotlight-suggesties; die gebruiken Applebot.
    Levert op:
    Je content wordt niet gebruikt voor training van Apple-modellen.
  • CCBotAI-trainingCommon Crawl

    Bouwt een open webarchief dat veel partijen gebruiken als trainingsdata voor taalmodellen.

    Wat kost of levert blokkeren op?
    Kost:
    Je content komt niet in nieuwe Common Crawl-archieven, en daarmee in minder trainingssets.
    Levert op:
    Je beperkt hergebruik van je content door partijen die je niet kent.
  • BytespiderAI-trainingByteDance

    Crawler van ByteDance (TikTok), gebruikt voor onder meer AI-modellen.

    Wat kost of levert blokkeren op?
    Kost:
    Voor een Nederlandse webshop vrijwel niets: er staat geen zoekproduct tegenover dat verkeer naar je shop stuurt.
    Levert op:
    Minder serverbelasting en geen gebruik van je content voor hun modellen.
3. Paden en sitemap
robots.txt
# robots.txt voor een Magento 2-shop
# Gemaakt met https://coding.nl/seo/tools/robots-txt-generator
# Let op: robots.txt regelt crawlen, niet indexeren. Gebruik noindex om pagina's uit Google te houden.

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /catalogsearch/
Disallow: /search/
Disallow: /wishlist/
Disallow: /sales/
Disallow: /sendfriend/
Disallow: /review/product/
Disallow: /catalog/product_compare/
Disallow: /*?*SID=
Disallow: /*?*product_list_mode=
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_dir=

Sitemap: https://www.jouwshop.nl/sitemap.xml
  • Goed: Geen problemen gevonden.

Robots.txt is een verzoek, geen slot. Nette crawlers houden zich eraan; scrapers niet. Wil je echt afschermen, dan doe je dat op serverniveau. Meer over AI-crawlers lees je op GEO voor webshops.

Hoe gebruik je de robots.txt-generator?

  1. 1

    Kies een preset voor je platform. Die vult de gebruikelijke paden in die je niet gecrawld wilt hebben, zoals checkout, account en interne zoekresultaten.

  2. 2

    Loop de crawlers langs. Zoekmachines laat je vrijwel altijd toe. Bij AI-crawlers kies je per bot: AI-zoeken (wordt je geciteerd) is iets anders dan AI-training (wordt je content gebruikt om modellen te trainen).

  3. 3

    Vul je sitemap-URL in en pas de disallow-paden aan. Blokkeer geen CSS, JavaScript of afbeeldingen die nodig zijn om de pagina te renderen.

  4. 4

    Kopieer of download het bestand en zet het in de root van je domein (https://jouwshop.nl/robots.txt). Test daarna in het robots.txt-rapport van Google Search Console.

Veelgestelde vragen

Nee. Robots.txt regelt crawlen, niet indexeren. Een geblokkeerde URL kan nog steeds in Google verschijnen, zonder beschrijving, als er links naar wijzen. Wil je een pagina uit de index, gebruik dan een noindex-metatag en laat de pagina juist crawlbaar. Noindex in robots.txt werkt sinds 2019 niet meer.

Meer gratis SEO-tools

SERP-previewTitle en meta description testen op pixelbreedte, desktop en mobiel, met waarschuwingen.Hreflang-generatorHreflang-set bouwen voor NL, BE, DE en meer, gevalideerd, als link-tags of sitemap-XML.Product-schema-generatorProduct- en Offer-markup met verzending en retourbeleid, gecontroleerd op merchant-listingvelden.
Alle SEO-tools

Verder lezen

Wat is robots.txt?Wat is GPTBot?GEO: zichtbaar in ChatGPT en AI OverviewsTechnische SEO voor webshopsAI-crawlers, llms.txt en robots.txtCrawlbudget voor grote webshops

Liever dat iemand het in je shop regelt?

Wij voeren de audit uit, implementeren de fixes zelf in Magento, Shopify of Laravel en meten het effect. Een half uur via video, vrijblijvend.

  • Direct met het vaste team, geen tussenlagen
  • Concrete feedback op je huidige situatie of plannen
  • Eerlijk advies, ook als het antwoord "niet doen" is
  • Indicatie van kosten en tijdlijn
Liever bellen? 0591-239 299
Beschikbaar deze week

Plan een gratis Tech Check

Vrijblijvend jouw uitdagingen bespreken

Of bel direct: 0591-239 299