Definitie
Crawlbudget is het aantal URL's dat Google op je site kan en wil crawlen in een bepaalde periode. Het wordt bepaald door crawlcapaciteit (je server) en crawlvraag (hoe interessant je URL's zijn).
Wat is crawlbudget?
Crawlbudget is de hoeveelheid tijd en requests die Googlebot aan je site besteedt. Google beschrijft het als de combinatie van twee dingen.
De crawlcapaciteit: hoeveel Google kan crawlen zonder je server te overbelasten. Reageert je server snel en foutloos, dan gaat de limiet omhoog. Komen er veel 5xx-fouten of trage responses, dan remt Google af.
De crawlvraag: hoeveel Google wil crawlen. Populaire, vaak gewijzigde pagina's krijgen meer aandacht. Duplicaten en pagina's zonder waarde krijgen minder.
Wanneer het ertoe doet voor webshops
De eerlijke versie: voor de meeste kleine shops is crawlbudget geen probleem. Google noemt het in zijn documentatie vooral relevant voor sites met meer dan een miljoen pagina's, of meer dan 10.000 pagina's die dagelijks wijzigen, en voor sites met veel URL's in de status "Gevonden - momenteel niet geïndexeerd".
Webshops vallen sneller in die categorie dan je denkt. Niet door het aantal producten, maar door URL-explosie. Een categorie met 6 filtergroepen van elk 10 opties levert in theorie miljoenen combinaties op. Tel daar sortering, aantal per pagina en paginering bij op, en een shop van 5.000 producten biedt Google meer URL's aan dan een nieuwssite.
Het gevolg: nieuwe producten en prijswijzigingen worden later opgepikt, en belangrijke pagina's worden minder vaak ververst.
Zo houd je crawlbudget onder controle
In Magento: bepaal welke filters indexeerbare landingspagina's mogen zijn en blokkeer de rest. Denk aan robots.txt-regels voor sorteer- en limietparameters en filters via een POST-formulier of zonder crawlbare link. Zorg dat Varnish of een andere full page cache zijn werk doet, want een snelle server verhoogt de crawlcapaciteit.
In Shopify blokkeert de standaard robots.txt al sorteer-URL's en interne zoekresultaten. Filter-URL's van zoek- en filterapps verdienen extra aandacht; pas ze zo nodig aan via robots.txt.liquid.
Overal: houd je sitemap schoon (alleen canonieke 200-URL's), los redirectketens op en voorkom soft 404's.
Meet daarna of het werkt. Het rapport Crawlstatistieken in Search Console toont requests per dag, gemiddelde responstijd en een uitsplitsing naar statuscode en doel (ontdekken of vernieuwen). Daalt het aandeel parameter-URL's en stijgt het aandeel product- en categoriepagina's, dan gaat het crawlbudget naar de goede plek.
Veelgemaakte fouten
Noindex inzetten om crawlbudget te besparen. Google moet een noindex-pagina juist crawlen om de tag te zien, dus dat bespaart weinig. Robots.txt is het middel om crawlen te voorkomen. Ook een fout: crawlbudget als verklaring gebruiken voor elk indexeringsprobleem, terwijl de echte oorzaak dunne content is.
Ook een denkfout: alle filter-URL's blokkeren. Sommige filtercombinaties hebben echte zoekvraag en verdienen juist een indexeerbare, crawlbare landingspagina. Kies op basis van data.
Robots.txt-regels tegen URL-explosie (Magento)
User-agent: *
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_mode=
Disallow: /catalogsearch/Verder lezen
Gerelateerde begrippen
Veelgestelde vragen
Heeft mijn webshop een crawlbudgetprobleem?+
Kijk in Search Console naar het aantal "Gevonden - momenteel niet geïndexeerd" en naar Crawlstatistieken. Besteedt Googlebot het grootste deel van zijn requests aan parameter-URL's, dan is het antwoord ja.
Kan ik mijn crawlbudget verhogen?+
Indirect. Een snellere, stabiele server verhoogt de crawlcapaciteit. Minder waardeloze URL's en betere interne links verschuiven de aandacht naar pagina's die ertoe doen.