Definitie
De meta robots-tag is een HTML-tag in de head die zoekmachines vertelt of ze een pagina mogen indexeren, links mogen volgen en hoe het zoekresultaat eruit mag zien.
Wat is de meta robots-tag?
De meta robots-tag staat in de head van een pagina: <meta name="robots" content="noindex, follow">. Zonder tag gaat een zoekmachine uit van index, follow. Je hoeft die standaardwaarden dus niet expliciet te zetten.
De belangrijkste waarden zijn noindex (niet in de index opnemen), nofollow (links op deze pagina niet volgen), none (beide), nosnippet (geen tekstfragment tonen), max-snippet, max-image-preview en unavailable_after. Je kunt ook één crawler aanspreken met name="googlebot" of name="bingbot" in plaats van robots.
Staan er tegenstrijdige instructies op een pagina, dan kiest Google de meest beperkende. Een pagina met zowel index als noindex wordt dus behandeld als noindex. Dezelfde instructies kun je ook als HTTP-header meesturen; dat heet de X-Robots-Tag.
Er is een volgorde om te onthouden. Google leest eerst robots.txt. Mag de URL gecrawld worden, dan haalt Google de pagina op en leest pas dan de meta robots-tag en de X-Robots-Tag. Wat in de tag staat, heeft dus alleen effect op URL's die niet geblokkeerd zijn.
Waarom het ertoe doet voor webshops
Een webshop heeft veel pagina's die wel bereikbaar moeten zijn, maar niet in Google horen. Denk aan interne zoekresultaten, het winkelwagenoverzicht, accountpagina's, vergelijkingslijsten en filtercombinaties zonder zoekvraag. De meta robots-tag is het gereedschap om die uit de index te houden zonder ze te blokkeren.
Het verschil met robots.txt is belangrijk. Robots.txt houdt crawlers weg, maar haalt niets uit de index. Noindex haalt een pagina uit de index, maar alleen als Google de pagina kan ophalen. Combineer je die twee op dezelfde URL, dan werkt de noindex niet.
Gebruik nofollow op paginaniveau spaarzaam. Op een filterpagina met noindex wil je meestal dat Google de links naar producten nog wel volgt. Noindex, follow is daar de logische combinatie. Houd er wel rekening mee dat Google pagina's die lang op noindex staan op den duur minder vaak crawlt.
Zo werkt het in Magento en Shopify
Magento heeft een standaardwaarde onder Content > Design > Configuration, per website of store view, bij "Search Engine Robots" > "Default Robots". Kies daar INDEX, FOLLOW voor productie. Per CMS-pagina, categorie of product kun je de waarde niet standaard aanpassen; daarvoor heb je een extensie of maatwerk nodig. Voor layered navigation wil je bijvoorbeeld noindex vanaf twee gecombineerde filters.
Shopify heeft geen admin-instelling voor meta robots. Je voegt de tag toe in theme.liquid met een conditie, bijvoorbeeld op template of collectie-handle. Voor losse producten, pagina's en blogartikelen kun je de metafield seo.hidden op 1 zetten. Shopify zet dan een noindex en haalt de URL uit de sitemap.
In Laravel of een headless frontend bepaal je het per route of per model. Zorg dan dat de tag in de server-gerenderde HTML staat en niet pas na JavaScript wordt toegevoegd.
Veelgemaakte fouten
De bekendste: NOINDEX, NOFOLLOW blijft na livegang op de hele site staan, omdat het op staging zo was ingesteld. Controleer na elke release minstens de homepage, een categorie en een product.
Andere fouten: noindex op gepagineerde categoriepagina's, waardoor producten op pagina 2 en verder slechter gevonden worden. Een noindex die client-side via JavaScript wordt verwijderd; Google ziet de noindex in de eerste HTML en rendert de pagina dan mogelijk niet meer. En noindex-pagina's die in de XML-sitemap blijven staan.
Meet het effect in Search Console. Onder Pagina-indexering staat "Uitgesloten door noindex-tag". Staan daar URL's die je wel in de index wilt, dan heb je een fout gevonden voordat hij omzet kost.
Shopify: noindex op interne zoekresultaten en een filter
{% if template contains 'search' or current_tags %}
<meta name="robots" content="noindex, follow">
{% endif %}Verder lezen
Veelgestelde vragen
Moet ik index, follow op elke pagina zetten?+
Nee. Dat is de standaard. Een pagina zonder meta robots-tag wordt behandeld als index, follow.
Werkt noindex als de pagina in robots.txt geblokkeerd is?+
Nee. Google moet de pagina ophalen om de noindex te zien. Een geblokkeerde URL kan zonder content in de index blijven.
Hoe zet ik een product op noindex in Shopify?+
Met de metafield seo.hidden op waarde 1, of met een conditie in theme.liquid. Shopify haalt het product dan ook uit de sitemap.