Gevonden, maar niet geïndexeerd in Search Console: oplossen

"Gevonden - momenteel niet geïndexeerd" betekent dat Google je URL kent maar nog niet heeft opgehaald. "Gecrawld - momenteel niet geïndexeerd" betekent dat Google de pagina wél heeft opgehaald en besloot hem (nog) niet op te nemen. Het eerste is meestal een crawl- en prioriteitsprobleem, het tweede bijna altijd een kwaliteits- of duplicatieprobleem.

Die twee statussen lijken op elkaar, maar vragen een andere aanpak. Wie ze over één kam scheert, gaat massaal "Indexering aanvragen" klikken. Dat lost zelden iets op.

Waar je deze statussen vindt

In Google Search Console ga je naar Indexering > Pagina's. Onder "Waarom pagina's niet worden geïndexeerd" staan de redenen. Klik op een reden en je krijgt een lijst met voorbeeld-URL's (maximaal 1.000 per rapport).

De twee statussen in dit artikel:

Beide zijn geen fouten in technische zin. Google geeft aan dat het een keuze is. Je taak is om die keuze makkelijker te maken.

De rekenstap: is dit eigenlijk een probleem?

Voordat je iets fixt: kijk welke URL's het zijn. Exporteer de lijst en groepeer op patroon.

In de praktijk zie je bij webshops vaak dit soort URL's in deze rapporten:

• /schoenen?kleur=zwart&maat=42&sort=price (filtercombinaties)
• /catalogsearch/result/?q=sokken (interne zoekresultaten)
• /collections/sale/products/sneaker-x (alternatieve productpaden)
• /schoenen?p=14 (diepe paginering)
• /review/product/list/id/123 (reviewpagina's van Magento)

Staan daar vooral dit soort URL's? Dan werkt Google prima. Die pagina's horen niet in de index. Het echte werk is dan het crawlen ervan beperken, niet ze geïndexeerd krijgen.

Staan er productpagina's, categoriepagina's of blogartikelen tussen die omzet moeten opleveren? Dan heb je wél een probleem. Elke categoriepagina buiten de index is een pagina die geen organisch verkeer kan opleveren.

Een simpele verdeling helpt:

1. URL's die niet geïndexeerd hoeven te worden: crawlen beperken.
2. URL's die wel geïndexeerd moeten worden: oorzaak zoeken en oplossen.
3. URL's die niet meer bestaan of niets toevoegen: redirecten, samenvoegen of verwijderen.

"Gevonden - momenteel niet geïndexeerd": oorzaken

Google kent de URL, via je sitemap of een link, maar heeft hem nog niet opgehaald. Google zelf noemt als typische reden dat crawlen werd uitgesteld omdat de site overbelast leek. Bij webshops zien we nog drie patronen.

1. Te veel URL's, te weinig crawlcapaciteit

Een shop met 5.000 producten kan door filters, sorteringen en parameters honderdduizenden crawlbare URL's hebben. Google verdeelt zijn aandacht over al die URL's. Nieuwe producten komen dan achteraan in de rij.

Dit speelt vooral bij grote catalogi. Meer daarover in crawlbudget voor grote webshops.

2. Een trage of instabiele server

Googlebot past zijn crawltempo aan op de reactiesnelheid van je server. Reageert je server traag of geeft hij 5xx-fouten, dan crawlt Google minder.

Check dit in Instellingen > Crawlstatistieken in Search Console. Let op:

• de gemiddelde reactietijd
• het aandeel serverfouten (5xx)
• het aandeel "host had problemen" in de beschikbaarheidsgrafiek

Een Magento-shop zonder werkende full page cache, of een server die bij elke crawlpiek omvalt, ziet hier direct het effect van.

3. Zwakke interne links

Een URL die alleen in de XML-sitemap staat en nergens vanuit de site gelinkt wordt, krijgt weinig prioriteit. Google ziet een sitemap als hint, niet als opdracht. Producten die alleen bereikbaar zijn via pagina 23 van een categorie zitten in hetzelfde schuitje.

Oplossingen voor "Gevonden"

• Beperk crawlbare rommel. Blokkeer zinloze parametercombinaties in robots.txt. Bijvoorbeeld:

User-agent: *
Disallow: /*?*sort=
Disallow: /*?*dir=
Disallow: /*?*limit=
Disallow: /catalogsearch/

Let op: robots.txt voorkomt crawlen, niet indexeren. Een geblokkeerde URL kan alsnog in de index komen zonder content als er genoeg links naartoe wijzen. En een noindex die achter een robots.txt-blokkade staat, ziet Google nooit.

• Verbeter serverrespons. Full page cache, Varnish, voldoende PHP-workers, een database die niet bij elke crawlpiek vastloopt.
• Link belangrijke pagina's intern. Vanuit het menu, vanuit categorieën, vanuit gerelateerde producten. Hoe minder klikken vanaf de homepage, hoe beter.
• Houd je sitemap schoon. Alleen canonieke URL's met status 200 en indexeerbaar. Geen redirects, geen noindex-pagina's, geen gefilterde URL's.

"Gecrawld - momenteel niet geïndexeerd": oorzaken

Hier heeft Google de pagina wél gezien. Dat maakt de diagnose scherper: het probleem zit in wat Google aantrof.

1. Dunne of bijna-identieke content

Productpagina's met alleen de leveranciersomschrijving, die op 40 andere webshops staat. Categoriepagina's met drie producten en geen tekst. Varianten die als losse pagina's bestaan met dezelfde tekst en alleen een andere kleur.

Google kiest dan één versie en laat de rest liggen. Vaak is dat niet jouw versie.

2. Duplicaten zonder duidelijke canonical

Als /sneaker-x, /heren/sneaker-x en /sale/sneaker-x dezelfde content tonen, moet Google kiezen. Een canonical helpt, maar Google behandelt die als hint. Wijzen je interne links, sitemap en canonical niet allemaal dezelfde kant op, dan kan Google een andere keuze maken.

In de URL-inspectie zie je onder "Indexering van pagina" zowel de "Door gebruiker aangegeven canonieke URL" als de "Door Google geselecteerde canonieke URL". Verschillen die twee, dan heb je je oorzaak gevonden. Zie ook canonical tags: de fouten die we het vaakst zien.

3. Content die pas na JavaScript verschijnt

Als je productomschrijving, prijs of productlijst pas na het uitvoeren van JavaScript in de pagina komt, ziet Google bij de eerste ronde een lege pagina. Rendering volgt later en niet altijd volledig. Bekijk in de URL-inspectie via "Gecrawlde pagina bekijken" de HTML die Google echt heeft opgeslagen.

4. Lage waarde ten opzichte van de rest van je site

Zoekresultaatpagina's, tagpagina's, lege categorieën, archiefpagina's per maand. Google indexeert ze soms een tijd en laat ze dan weer vallen. Dat is geen straf. Dat is opruimen.

Oplossingen voor "Gecrawld"

• Maak de pagina uniek. Eigen productomschrijving, specificaties in een tabel, vragen die klanten echt stellen, maatadvies, gebruikservaring. Bij categoriepagina's: een korte, specifieke intro en goede filters.
• Voeg samen wat te dun is. Tien bijna-lege subcategorieën kunnen beter één sterke categorie met filters zijn. Redirect de oude URL's met een 301.
• Maak canonicals consistent. Canonical, interne links, sitemap en hreflang wijzen naar dezelfde URL.
• Zorg dat content in de HTML staat. Server-side rendering voor alles wat moet ranken.
• Zet noindex op wat er niet in hoort. Interne zoekresultaten en filtercombinaties zonder zoekvraag: noindex, follow in plaats van hopen dat Google het zelf uitzoekt.

Wat "Indexering aanvragen" wel en niet doet

De knop "Indexering aanvragen" in de URL-inspectie zet een URL in de crawlwachtrij. Dat is handig voor een handvol belangrijke pagina's na een wijziging. Het is geen garantie op indexering, en er zit een dagelijkse limiet op.

Voor honderden URL's is het zinloos. Als de oorzaak kwaliteit of duplicatie is, crawlt Google de pagina opnieuw en neemt hij hem opnieuw niet op.

De knop "Oplossing valideren" in het Pagina's-rapport is iets anders. Die vraagt Google om de URL's in die groep opnieuw te beoordelen nadat jij iets hebt aangepast. Gebruik hem pas nadat je de oorzaak echt hebt opgelost. Validatie kan weken duren.

Een werkwijze die we in audits gebruiken

Concreet, in deze volgorde:

1. Export de URL's uit beide rapporten.
2. Groepeer op URL-patroon: producten, categorieën, filters, zoekresultaten, CMS, blog, overig.
3. Tel per groep. Een groep van 40.000 filter-URL's vraagt een andere fix dan 300 productpagina's.
4. Inspecteer per groep vijf tot tien URL's met de URL-inspectie: welke canonical koos Google, wat staat er in de gecrawlde HTML, wanneer was de laatste crawl.
5. Controleer de serverlogs. Komt Googlebot überhaupt op deze URL's? Hoe vaak? Welke statuscodes krijgt hij? Hoe je dat doet staat in logfile-analyse voor SEO.
6. Fix per groep: crawlen beperken, content verbeteren, samenvoegen of noindex.
7. Meet na vier tot acht weken in het Pagina's-rapport of het aantal geïndexeerde, relevante URL's stijgt.

Het doel is niet "nul URL's in deze rapporten". Een gezonde webshop heeft altijd URL's die Google terecht overslaat. Het doel is dat elke pagina die omzet kan opleveren in de index staat.

Platformspecifieke valkuilen

Magento 2

• Layered navigation maakt per filter een nieuwe URL met parameters. Zonder beleid zijn dat er al snel tienduizenden.
• Met "Use Categories Path for Product URLs" op Ja bestaat elk product onder meerdere paden. De canonical naar het korte pad is dan noodzakelijk.
• Reviewpagina's (/review/product/list/...) en vergelijkpagina's zijn standaard crawlbaar.

Welke admin-instellingen hierbij horen, staat op Magento SEO.

Shopify

• Thema's linken vaak naar /collections/x/products/y. Shopify zet de canonical op /products/y, maar Google crawlt beide paden.
• Tagpagina's binnen collecties (/collections/schoenen/zwart) leveren veel dunne pagina's op.
• De sitemap genereert Shopify automatisch. Pagina's eruit halen gaat via het metafield seo.hidden.

Wanneer je dit niet zelf moet willen oplossen

Twee situaties waarin het rapport een symptoom is van iets groters:

• Het aantal niet-geïndexeerde URL's explodeert na een migratie. Dan zit er vaak een fout in redirects, canonicals of interne links. Elke week wachten kost omzet.
• Belangrijke categorieën vallen er één voor één uit. Dan speelt er meestal een structureel duplicatie- of renderingprobleem.

In beide gevallen begint het met een technische SEO-audit, en eindigt het met fixes in het platform zelf. Wij doen beide: de analyse en de implementatie in Magento, Shopify of Laravel. Het overzicht van onze aanpak staat op technische SEO voor webshops.

Veelgestelde vragen

Wat is het verschil tussen "Gevonden" en "Gecrawld - momenteel niet geïndexeerd"?

Bij "Gevonden" kent Google de URL maar heeft hij hem nog niet opgehaald. Bij "Gecrawld" heeft Google de pagina wel opgehaald en besloten hem nu niet te indexeren. Het eerste wijst meestal op crawlprioriteit of serverbelasting, het tweede op kwaliteit of duplicatie.

Helpt het om indexering aan te vragen via de URL-inspectie?

Voor een paar belangrijke URL's na een wijziging: ja, het versnelt het crawlen. Het garandeert geen indexering en er zit een dagelijkse limiet op. Als de oorzaak dunne content of duplicatie is, verandert opnieuw aanvragen niets.

Moet ik deze URL's uit mijn sitemap halen?

Haal URL's eruit die niet geïndexeerd hoeven te worden, zoals filtercombinaties of noindex-pagina's. Belangrijke pagina's laat je erin staan en je lost de oorzaak op. De sitemap hoort alleen canonieke, indexeerbare URL's met status 200 te bevatten.

Hoe lang duurt het voordat Google een pagina alsnog indexeert?

Dat varieert van dagen tot maanden, afhankelijk van de oorzaak en hoe vaak Google je site crawlt. Meet na vier tot acht weken in het Pagina's-rapport. Validatie via "Oplossing valideren" kan ook enkele weken duren.

Is een groot aantal niet-geïndexeerde URL's slecht voor mijn hele site?

Niet automatisch. Veel webshops hebben duizenden filter- en zoek-URL's die terecht buiten de index blijven. Het wordt een probleem als ze crawlcapaciteit wegnemen van pagina's die wel omzet moeten opleveren.