Definitie
Crawlen is het proces waarbij een zoekmachinebot pagina's opvraagt en links volgt om nieuwe en gewijzigde URL's te ontdekken. Zonder crawl geen indexering en geen ranking.
Wat is crawlen?
Crawlen is het ophalen van webpagina's door een bot, zoals Googlebot of Bingbot. De bot vraagt een URL op, leest de HTML, haalt er links uit en zet die op een wachtrij. Zo ontdekt een zoekmachine je site, pagina voor pagina.
Een bot vindt URL's op drie manieren: via links op pagina's die hij al kent, via je XML-sitemap en via externe links naar je site. Een URL die nergens gelinkt staat en niet in je sitemap zit, bestaat voor een zoekmachine in de praktijk niet.
Crawlen is stap één van drie. Daarna volgt renderen (de pagina uitvoeren zoals een browser, inclusief JavaScript) en indexeren (beslissen of de pagina in de zoekindex komt). Een pagina die gecrawld is, is dus nog niet geïndexeerd.
Waarom het ertoe doet voor webshops
Een blog met 200 artikelen krijgt Google probleemloos rond. Een webshop met 15.000 producten, filters en sorteeropties levert al snel honderdduizenden crawlbare URL's op. De meeste daarvan zijn varianten van dezelfde pagina.
Elke request die Googlebot besteedt aan ?sort=price_asc&color=rood&page=7 gaat niet naar je nieuwe collectie of je aangepaste prijzen. Bij grote catalogi bepaalt crawlgedrag hoe snel wijzigingen in de zoekresultaten zichtbaar worden. Dat raakt direct je omzet, zeker bij seizoensproducten en aanbiedingen.
De rekenstap is simpel. Stel dat Googlebot per dag 20.000 URL's van je shop ophaalt en dat 70 procent daarvan filtervarianten zijn. Dan blijven er 6.000 requests over voor je echte categorieën en producten. Met een catalogus van 30.000 producten duurt het dan dagen voordat elke productpagina één keer is bezocht. Een nieuwe prijs of voorraadstatus loopt in de zoekresultaten dan ook dagen achter.
Zo werkt het in Magento, Shopify en Laravel
Magento genereert met layered navigation standaard filter-URL's met parameters. Zonder ingreep zijn die allemaal crawlbaar. Met de instelling "Use Categories Path for Product URLs" ontstaan daarnaast meerdere paden naar hetzelfde product.
Shopify heeft een vaste URL-structuur en blokkeert in de standaard robots.txt onder meer de winkelwagen, checkout, interne zoekresultaten en sorteer-URL's. Collectie-gefilterde product-URL's (/collections/x/products/y) blijven wel crawlbaar, maar canonicaliseren naar /products/y.
Bij een Laravel-maatwerkshop of headless frontend bepaal je alles zelf. Dat is vrijheid, maar ook verantwoordelijkheid: wie filters als crawlbare links bouwt, krijgt dezelfde problemen als bij Magento.
Veelgemaakte fouten
Filters en sorteeropties als gewone <a href>-links aanbieden zonder beleid. Belangrijke categorieën alleen bereikbaar maken via een JavaScript-menu dat pas na een klik laadt. Staging-omgevingen open laten staan, zodat Google een tweede kopie van je shop crawlt.
En de meest onderschatte fout: aannemen dat Google alles crawlt. Controleer het. Het rapport Crawlstatistieken in Google Search Console en je serverlogs laten zien waar de bot werkelijk zijn tijd aan besteedt.
Verder lezen
Gerelateerde begrippen
Veelgestelde vragen
Wat is het verschil tussen crawlen en indexeren?+
Crawlen is het ophalen van een pagina. Indexeren is de beslissing om die pagina op te slaan in de zoekindex. Google crawlt veel meer pagina's dan het indexeert.
Hoe zie ik of Google mijn webshop crawlt?+
Via Google Search Console: Instellingen > Crawlstatistieken toont het aantal requests, responscodes en bestandstypen. Je serverlogs geven het volledige beeld per URL.
Kan ik Google vragen een pagina te crawlen?+
Ja, met de URL-inspectietool in Search Console kun je indexering aanvragen. Dat werkt per URL. Voor grote aantallen zijn een actuele sitemap en goede interne links de route.