Definitie
Robots.txt is een tekstbestand in de root van je domein dat crawlers vertelt welke paden ze wel en niet mogen ophalen. Het regelt crawlen, niet indexeren.
Wat is robots.txt?
Robots.txt staat altijd op /robots.txt in de root van een (sub)domein. Het bestand bevat groepen regels per user-agent, met Disallow- en Allow-regels en optioneel een verwijzing naar je sitemap. Het Robots Exclusion Protocol is sinds 2022 vastgelegd als internetstandaard (RFC 9309).
Google ondersteunt de wildcards * (elke reeks tekens) en $ (einde van de URL). De meest specifieke regel wint: een langere Allow gaat voor een kortere Disallow. Crawl-delay negeert Google; Bing ondersteunt het wel.
Robots.txt geldt per host en protocol. https://www.voorbeeldshop.nl/robots.txt geldt dus niet voor https://voorbeeldshop.nl of voor een subdomein als cdn.voorbeeldshop.nl. Google leest maximaal 500 KiB van het bestand; regels daarna worden genegeerd. Geeft robots.txt een 5xx-fout, dan stopt Google tijdelijk met crawlen van de hele site. Een 404 op robots.txt betekent juist dat alles mag.
Wat robots.txt niet doet
Robots.txt voorkomt crawlen, geen indexering. Een geblokkeerde URL kan nog steeds in Google verschijnen, zonder beschrijving, als er genoeg links naartoe wijzen. Wil je een pagina uit de index houden, gebruik dan noindex en laat de pagina crawlbaar.
Een noindex-regel in robots.txt werkt niet. Google heeft de ondersteuning daarvoor in 2019 stopgezet. En robots.txt is geen beveiliging: het bestand is openbaar en kwaadwillende bots negeren het.
Zo werkt het in Magento en Shopify
In Magento beheer je robots.txt via Content > Design > Configuration, per website of store view, onder "Search Engine Robots". Daar stel je ook de standaard meta robots in. Typische regels blokkeren /checkout/, /customer/, /catalogsearch/ en sorteer- en limietparameters van de productlijst.
Shopify levert een standaard robots.txt die onder meer /cart, /checkout, interne zoekresultaten en sorteer-URL's blokkeert. Aanpassen kan sinds 2021 via het template robots.txt.liquid in je thema. Voeg regels toe aan de standaardgroepen in plaats van het hele bestand te vervangen, anders mis je toekomstige updates van Shopify.
Robots.txt is ook de plek om AI-crawlers als GPTBot, ClaudeBot en PerplexityBot toe te laten of te weren. Dat is een bewuste keuze per bot, geen standaardinstelling.
Veelgemaakte fouten
De klassieker: "Disallow: /" meenemen van staging naar productie na een livegang. Daarnaast: CSS- en JS-mappen blokkeren, waardoor Google de pagina niet kan renderen. URL's blokkeren die al geïndexeerd zijn en dan verwachten dat ze verdwijnen. En regels die niet matchen omdat de parameter ergens anders in de query string staat; gebruik /*?*param= in plaats van /*?param=.
Test elke wijziging vóór livegang. Het robots.txt-rapport in Search Console laat zien welke versie Google heeft opgehaald en of er fouten in staan. Controleer daarnaast met een paar concrete URL's of ze wel of niet geblokkeerd worden.
Voorbeeld robots.txt voor een webshop
User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /catalogsearch/
Disallow: /*?*product_list_order=
User-agent: GPTBot
Disallow: /
Sitemap: https://www.voorbeeldshop.nl/sitemap.xmlVerder lezen
Gerelateerde begrippen
Veelgestelde vragen
Haalt een Disallow een pagina uit Google?+
Nee. Disallow voorkomt dat Google de pagina ophaalt. Een al geïndexeerde URL kan blijven staan. Gebruik noindex en blokkeer pas daarna, als dat nodig is.
Hoe snel ziet Google een wijziging in robots.txt?+
Google cachet robots.txt doorgaans tot 24 uur. Via het robots.txt-rapport in Search Console kun je een nieuwe versie laten ophalen.
Kan ik robots.txt aanpassen in Shopify?+
Ja, via een robots.txt.liquid-template in je thema. Shopify adviseert de standaardregels te behouden en alleen regels toe te voegen.