CCBot (Common Crawl)

Common Crawl is een non-profitorganisatie die al jaren grote delen van het openbare web crawlt en de resultaten gratis beschikbaar maakt. De crawler heet CCBot. De user-agent bevat CCBot met een versienummer en een verwijzing naar commoncrawl.org.

Het archief wordt gebruikt voor onderzoek, voor het analyseren van trends op het web en voor het bouwen van zoektechnologie. Het bekendste gebruik is het trainen van taalmodellen. Veel grote modellen zijn deels getraind op gefilterde versies van Common Crawl-data.

Common Crawl publiceert ongeveer maandelijks een nieuwe crawl met miljarden pagina's. Iedereen kan die data downloaden. Dat maakt het een van de meest gebruikte bronnen voor wie een taalmodel wil trainen zonder zelf het hele web te crawlen.

GPTBot en ClaudeBot verzamelen content voor één bedrijf. CCBot verzamelt voor iedereen. Wat in een Common Crawl-archief belandt, kan door elk AI-bedrijf, elke onderzoeker en elk bedrijf met een eigen model worden gedownload.

Dat heeft twee gevolgen:

- Blokkeer je GPTBot en ClaudeBot maar niet CCBot, dan kan je content via Common Crawl alsnog in trainingsdata terechtkomen.

- Blokkeer je CCBot, dan geldt dat alleen voor toekomstige crawls. Archieven die al gepubliceerd zijn, worden niet aangepast.

Common Crawl zegt dat CCBot robots.txt volgt en de Crawl-delay-regel ondersteunt. Het waarschuwt ook dat er crawlers zijn die zich ten onrechte als CCBot voordoen. CCBot draait op eigen IP-reeksen met reverse DNS, zodat je echte verzoeken kunt verifiëren.

CCBot levert je geen zoekverkeer op. Er is geen Common Crawl-zoekmachine waar klanten je vinden. De vraag is dus puur: wil je dat je content beschikbaar is voor AI-training in het algemeen?

Argumenten om CCBot te blokkeren:

- Je hebt al besloten AI-training uit te sluiten bij OpenAI, Anthropic, Google en Apple. Zonder CCBot-regel is dat besluit half uitgevoerd.

- Je catalogus is groot en CCBot zorgt voor merkbare crawlbelasting op filter-URL's.

Argumenten om CCBot toe te staan:

- Je wilt dat taalmodellen je merk en assortiment kennen, ook modellen van kleinere aanbieders.

- Je productinformatie is openbaar en niet uniek.

Er is geen bewijs dat één van beide keuzes je omzet aantoonbaar beïnvloedt. Kies bewust en leg vast waarom.

Vergeet niet dat een blokkade van CCBot niets verandert aan crawlers die zich niet aan robots.txt houden. Wie dat soort verkeer wil tegenhouden, moet op serverniveau of bij de CDN filteren, met de kans dat ook legitieme bots last krijgen.

CCBot volgt links. Bij een Magento-shop met layered navigation kan dat betekenen dat hij duizenden filtercombinaties bezoekt die niet gecachet zijn. Die verzoeken komen dan bij PHP en de database terecht in plaats van bij Varnish.

Twee maatregelen helpen, ongeacht je keuze over training:

- Sluit filterparameters uit voor alle bots, bijvoorbeeld met Disallow-regels voor URL's met meerdere parameters.

- Gebruik Crawl-delay voor CCBot als je hem toestaat maar wilt afremmen. Googlebot negeert die regel, CCBot volgt hem.

Kijk in je serverlogs hoeveel verzoeken CCBot doet en op welke URL's. Dat is de feitelijke basis voor je beslissing.