ClaudeBot

ClaudeBot is een webcrawler van Anthropic, het bedrijf achter de AI-assistent Claude. Volgens Anthropic verzamelt hij webcontent die kan bijdragen aan het trainen van de modellen. Blokkeer je ClaudeBot in robots.txt, dan geef je aan dat je toekomstige content buiten de trainingsdata moet blijven.

Anthropic gebruikt drie user-agents, die je los kunt toestaan of blokkeren:

- ClaudeBot: verzamelt content voor modeltraining.

- Claude-User: haalt een pagina op wanneer een gebruiker Claude een vraag stelt waarvoor een website bezocht moet worden.

- Claude-SearchBot: crawlt het web om de kwaliteit en relevantie van zoekantwoorden in Claude te verbeteren.

Volgens Anthropic kan het blokkeren van Claude-User of Claude-SearchBot je zichtbaarheid in de zoekantwoorden van Claude verminderen.

Claude zelf is een AI-assistent die door consumenten en veel bedrijven wordt gebruikt, onder meer voor onderzoek en vergelijkingen. Wanneer Claude het web doorzoekt, toont het de gebruikte bronnen met links. Dat is het moment waarop je shop zichtbaar kan worden.

Anthropic zegt dat zijn bots robots.txt respecteren en ook de niet-standaard regel Crawl-delay ondersteunen. Dat laatste is handig voor shops die last hebben van crawlbelasting: Googlebot negeert Crawl-delay, ClaudeBot volgt hem wel.

Robots.txt geldt per host. Wil je een subdomein zoals b2b.voorbeeldshop.nl ook uitsluiten, dan heeft dat subdomein een eigen robots.txt nodig.

Anthropic publiceert geen vaste IP-reeksen, omdat het IP-adressen van cloudproviders gebruikt. Blokkeren op IP is daardoor onbetrouwbaar. Gebruik robots.txt, of een firewallregel op user-agent als je zeker wilt zijn. Houd er rekening mee dat iemand een user-agent kan vervalsen.

Dat is een zakelijke keuze. Maak die per doel, niet per bot:

- Training (ClaudeBot, GPTBot, Google-Extended, Applebot-Extended, CCBot): wil je dat je content in trainingsdata belandt? Voor de meeste productinformatie is dat geen geheim; die staat ook bij fabrikanten en marktplaatsen. Eigen koopgidsen en redactionele content kun je wel willen beschermen.

- Zoeken (Claude-SearchBot, OAI-SearchBot, PerplexityBot): wil je als bron in AI-antwoorden verschijnen? Voor een webshop is het antwoord bijna altijd ja.

- Gebruikersverzoeken (Claude-User, ChatGPT-User): blokkeren betekent dat een klant die Claude vraagt jouw productpagina te lezen, een foutmelding krijgt.

Of training invloed heeft op hoe vaak een model je merk noemt, is niet goed gemeten. Wees sceptisch over harde cijfers daarover.

In Magento 2 voeg je regels toe via Content > Design > Configuration, per website of store view, onder "Search Engine Robots". Controleer daarna of de webserver geen statisch robots.txt-bestand serveert dat de instelling overschrijft. In Shopify gebruik je robots.txt.liquid in je thema.

Let op: een eigen groep voor een bot vervangt voor die bot de regels uit "User-agent: *". Herhaal dus je uitsluitingen voor checkout, account en zoekresultaten in elke groep die je toestaat.

In serverlogs zie je de user-agents terug. Dat is de enige manier om te controleren of ze echt langskomen en hoeveel verzoeken ze doen.

Zie je in de logs veel verzoeken van ClaudeBot op filter- of zoek-URL's, sluit die dan uit in robots.txt of stel een Crawl-delay in. Dat beperkt de belasting zonder dat je de bot volledig hoeft te blokkeren.