Googlebot

Googlebot is de verzamelnaam voor de crawlers die Google Zoeken voeden. Er zijn twee hoofdvarianten: Googlebot Smartphone en Googlebot Desktop. Sinds mobile-first indexing crawlt Google de meeste sites vrijwel volledig met de smartphone-variant.

Googlebot werkt in twee fases. Eerst haalt hij de HTML op. Daarna rendert de Web Rendering Service de pagina met een actuele (evergreen) Chromium, zodat ook content die via JavaScript wordt geladen zichtbaar wordt. Dat renderen gebeurt niet altijd direct na het crawlen.

Naast Googlebot heeft Google andere crawlers, zoals Googlebot-Image, Storebot-Google (voor Shopping) en AdsBot. Google-Extended is geen crawler maar een robots.txt-token dat alleen het gebruik voor Gemini-training regelt. AI Overviews draaien op de gewone Googlebot-index.

Wat Googlebot niet ziet, telt niet mee. Toont je mobiele thema minder content dan desktop, bijvoorbeeld een ingeklapte productomschrijving die pas na een klik via JavaScript laadt, dan is dat wat Google beoordeelt.

Blokkeer je per ongeluk Googlebot op serverniveau, bijvoorbeeld met een te strenge bot-protectie of WAF-regel, dan verdwijnen pagina's uit de index. Dat gebeurt vaker dan je denkt, juist bij shops die last hebben van scrapers.

Googlebot let ook op je server. Reageert die traag of geeft hij veel 5xx-fouten, dan verlaagt Google het crawltempo automatisch. Een Magento-shop zonder werkende full page cache of met een zware cron-job op het verkeerde moment, merkt dat in de Crawlstatistieken. Snelle hosting en een goed ingestelde cache zijn dus niet alleen voor bezoekers. Ze bepalen ook hoeveel van je shop Google per dag kan bijhouden.

De user-agent "Googlebot" is eenvoudig te vervalsen. Scrapers doen dat massaal. Een echte Googlebot herken je aan een reverse DNS-lookup die eindigt op googlebot.com of google.com, gevolgd door een forward lookup die weer naar hetzelfde IP-adres wijst. Google publiceert daarnaast de IP-ranges van zijn crawlers als JSON-bestanden.

Voor Magento- en Laravel-shops met eigen hosting is dit de basis van zinnige bot-filtering en logfile-analyse. Shopify regelt de servers zelf; daar heb je geen toegang tot ruwe logs.

CSS- en JS-bestanden blokkeren in robots.txt, waardoor Google de pagina niet goed kan renderen. Rate limiting die ook echte Googlebot afknijpt met 429- of 503-responses. En geo-redirects op IP-basis: Googlebot crawlt grotendeels vanuit de VS, dus een automatische doorverwijzing op basis van land kan je Nederlandse pagina's onzichtbaar maken.

Controleer na elke wijziging in je firewall, CDN of bot-protectie met de URL-inspectietool in Search Console of Google je pagina nog kan ophalen. Een live test toont direct de HTML die Googlebot ontvangt, inclusief de gerenderde versie.