Sitemap-index

Een losse XML-sitemap mag maximaal 50.000 URL's bevatten en ongecomprimeerd maximaal 50 MB groot zijn. Heb je meer, dan splits je de sitemap op en maak je een sitemap-index: een bestand met een <sitemapindex>-element en per sitemap een <sitemap> met de locatie en optioneel de lastmod.

Een sitemap-index mag zelf ook tot 50.000 sitemaps bevatten. Nesten mag niet: een index verwijst naar sitemaps, niet naar andere indexbestanden. In Search Console en robots.txt hoef je alleen de index op te geven; Google vindt de onderliggende sitemaps zelf.

Een sitemap mag ook gecomprimeerd worden aangeboden als .xml.gz. De limiet van 50 MB geldt dan voor het uitgepakte bestand. Voor de meeste webshops is het aantal URL's de grens die je eerder raakt.

Ook als je onder de limiet blijft, is opsplitsen nuttig. Met aparte sitemaps voor producten, categorieën, CMS-pagina's en blog zie je in Search Console per sitemap hoeveel URL's geïndexeerd zijn. Dat werkt als een filter in het indexeringsrapport.

Daar zit de echte waarde. Staan er van de 8.000 producten maar 5.000 in de index, terwijl categorieën bijna volledig zijn geïndexeerd? Dan weet je waar je moet zoeken: dunne productteksten, varianten die op elkaar lijken of producten die te diep in de structuur zitten. Voor grote shops kun je nog verder splitsen, bijvoorbeeld per merk of hoofdcategorie.

Houd lastmod eerlijk. Google gebruikt lastmod alleen als die consequent klopt. Een datum die bij elke generatie op vandaag springt, negeert Google op den duur.

Een praktische indeling voor een middelgrote shop: één sitemap voor categorieën, één of meer voor producten, één voor CMS-pagina's en één voor blogartikelen. Voeg alleen URL's toe die je in de index wilt. Filterpagina's zonder zoekvraag horen er niet in, ook niet als ze technisch bereikbaar zijn.

Magento genereert sitemaps via Marketing > SEO & Search > Site Map en de instellingen onder Stores > Configuration > Catalog > XML Sitemap. Bij "Generation Settings" en "Sitemap File Limits" stel je het maximum aantal URL's en de bestandsgrootte in. Wordt een limiet overschreden, dan maakt Magento zelf een index met genummerde sitemaps. Een indeling per type is niet standaard; daarvoor heb je een extensie of maatwerk nodig. Maak per store view een eigen sitemap.

Shopify levert automatisch /sitemap.xml als index. Die verwijst naar aparte sitemaps voor producten, collecties, pagina's en blogs, bij grote catalogi opgesplitst in genummerde bestanden. Aanpassen kan niet, maar de indeling is bruikbaar zoals hij is.

In Laravel genereer je de index zelf, bijvoorbeeld met spatie/laravel-sitemap of een eigen command. Lees de producten dan in chunks uit de database, zodat het geheugen niet volloopt.

URL's in de sitemap die redirecten, een 404 geven, op noindex staan of een canonical naar een andere URL hebben. Elke URL in de sitemap moet een indexeerbare 200 zijn. Ook fout: een sitemap-index die naar sitemaps op een ander domein of http-adres wijst, en een gegenereerd bestand dat na een deploy weg is omdat het in een map stond die bij de release wordt overschreven.

Controleer de sitemap periodiek met een crawler. Laat die alle URL's uit de sitemap ophalen en filter op alles wat geen 200 is of een afwijkende canonical heeft. Dat is een kleine moeite en voorkomt dat Google de sitemap als onbetrouwbaar gaat zien.