Google-Extended

Google-Extended is geen aparte crawler. Het is een product-token dat je in robots.txt gebruikt. Er komt geen bot met die naam langs; Google crawlt gewoon met zijn bestaande crawlers en kijkt naar de regel voor Google-Extended om te bepalen wat het met de content mag doen.

Volgens Google's documentatie regelt het token twee dingen:

- Of je content gebruikt mag worden voor het trainen van toekomstige Gemini-modellen, voor de Gemini-apps en de Gemini API in Vertex AI.

- Of je content gebruikt mag worden voor grounding: het meegeven van Search-content aan het model op het moment van een vraag, in de Gemini-apps en in Grounding with Google Search op Vertex AI.

Hier gaat het vaak mis. Google schrijft expliciet dat Google-Extended geen invloed heeft op opname in Google Search en geen rankingsignaal is.

AI Overviews en AI Mode horen bij Google Search. Ze gebruiken de gewone Googlebot-index. Een Disallow voor Google-Extended haalt je daar dus niet uit. Wie niet in AI Overviews wil verschijnen, moet snippet-instructies gebruiken zoals nosnippet, data-nosnippet of max-snippet, of noindex. Die beperken ook je gewone zoekresultaat.

Omgekeerd geldt: Google-Extended toestaan levert je geen extra zichtbaarheid in Search op.

Ook belangrijk: blokkeer nooit Googlebot in de veronderstelling dat je daarmee "alleen de AI" tegenhoudt. Dan verdwijn je uit de gewone Google-zoekresultaten en uit AI Overviews tegelijk. Google kent geen aparte crawler voor AI Overviews die je los kunt blokkeren. Een Disallow voor Google-Extended verandert ook niets aan je crawlbudget: het is geen bot die verzoeken doet, dus je server krijgt er niet minder bezoek door.

Voor de meeste webshops maakt het weinig uit voor omzet. Het gaat over de vraag of je content in Gemini-training en Gemini-antwoorden buiten Search terechtkomt.

Overwegingen:

- Heb je veel unieke redactionele content, zoals uitgebreide koopgidsen, dan kun je die uit training willen houden.

- Blokkeer je grounding, dan kan Gemini (de app) je pagina's minder goed als bron gebruiken. Dat is een kanaal waar klanten ook producten vergelijken.

Er is geen bewezen voor- of nadeel voor je rankings. Kies bewust en documenteer waarom.

In Magento voeg je de regel toe via Content > Design > Configuration onder "Search Engine Robots". In Shopify via robots.txt.liquid. Laat Googlebot zelf altijd ongemoeid; die regel bepaalt je hele Google-zichtbaarheid.

Apple heeft een vergelijkbaar token: Applebot-Extended. Daarmee geef je aan dat content die Applebot crawlt niet gebruikt mag worden voor het trainen van Apple's AI-modellen. Applebot zelf, voor Siri en Spotlight, blijft dan gewoon crawlen.