Definitie
Logfile-analyse is het onderzoeken van je serverlogs om te zien welke URL's zoekmachines en AI-crawlers werkelijk opvragen, hoe vaak en met welke statuscode.
Wat is logfile-analyse?
Elke webserver logt requests: tijdstip, IP-adres, URL, statuscode, responsgrootte en user-agent. Logfile-analyse filtert daaruit de requests van crawlers zoals Googlebot, Bingbot, GPTBot of PerplexityBot, en analyseert ze.
Crawl-tools als Screaming Frog laten zien wat een bot zou kunnen vinden. Search Console geeft een steekproef en totalen. De logs laten zien wat er werkelijk gebeurt, per URL en per dag.
Voor een eerste analyse heb je geen dure tools nodig. Met grep, awk en een spreadsheet kom je ver. Bij grotere volumes werken specialistische log-analyzers of een import in een database beter, zodat je kunt groeperen op paginatype, statuscode en week. Maak vooraf een indeling van je URL's: categorie, product, filter, zoekresultaat, CMS en overig.
Wat het oplevert voor webshops
Een paar vragen die je alleen met logs goed beantwoordt:
Waar besteedt Googlebot zijn requests aan? Gaat de helft naar filter- en sorteer-URL's, dan weet je waar je crawlbudget weglekt. Hoe vaak worden je belangrijkste categorieën en producten bezocht? Producten die maanden niet gecrawld zijn, tonen in Google mogelijk verouderde informatie.
Welke statuscodes krijgen bots? Pieken in 5xx-fouten of trage responses op bepaalde tijden, bijvoorbeeld tijdens een import of reindex, remmen het crawlen af. En welke AI-crawlers komen langs, hoe vaak, en respecteren ze je robots.txt?
Zo pak je het aan in Magento, Shopify en Laravel
Voor Magento en Laravel op eigen hosting heb je de access logs van nginx of Apache. Let op: draait er Varnish of een CDN zoals Cloudflare voor je server, dan bereiken gecachete requests je webserver niet. Je hebt dan de logs van die laag nodig, of je mist een deel van het verkeer.
Verifieer bots altijd. Veel requests met een Googlebot-user-agent zijn nep. Filter op reverse DNS (googlebot.com of google.com) of op de IP-ranges die Google publiceert. Voor AI-crawlers publiceren OpenAI en andere partijen ook hun IP-ranges.
Shopify geeft geen toegang tot ruwe serverlogs. Daar ben je aangewezen op het rapport Crawlstatistieken in Search Console en op wat je CDN of een eventuele proxy registreert.
Werk met minimaal enkele weken aan data. Een dag zegt weinig; patronen zie je pas over langere periodes.
Veelgemaakte fouten
Elke user-agent met "Googlebot" erin vertrouwen. Alleen de webserverlogs analyseren terwijl de CDN het grootste deel afhandelt. Logs te kort bewaren door logrotatie, waardoor er na een incident niets te analyseren valt. En vergeten dat logs IP-adressen van bezoekers bevatten: dat valt onder de AVG, dus filter eerst op bots en bewaar niet meer dan nodig.
Googlebot-requests per statuscode (nginx-log)
grep 'Googlebot' /var/log/nginx/access.log \
| awk '{print $9}' | sort | uniq -c | sort -rn
# Let op: verifieer daarna de IP-adressen via reverse DNSVerder lezen
Gerelateerde begrippen
Veelgestelde vragen
Waarom zijn logs beter dan Search Console?+
Search Console toont totalen en voorbeelden, alleen voor Google. Logs tonen elke request van elke bot, per URL, inclusief AI-crawlers en Bing.
Kan ik logfile-analyse doen op Shopify?+
Niet met ruwe serverlogs, want Shopify geeft die niet vrij. Gebruik Crawlstatistieken in Search Console en eventuele logs van een CDN of proxy die je zelf beheert.