GPTBot

GPTBot is een webcrawler van OpenAI. Volgens OpenAI's documentatie crawlt hij content die gebruikt kan worden voor het trainen van de generatieve AI-modellen van OpenAI. Hij identificeert zich met "GPTBot" in de user-agent en respecteert robots.txt.

OpenAI heeft meerdere bots, elk met een eigen doel:

- GPTBot: training van modellen.

- OAI-SearchBot: pagina's ophalen en tonen in ChatGPT search.

- ChatGPT-User: pagina's bezoeken als een gebruiker daar in een gesprek om vraagt. Omdat dat door een gebruiker wordt gestart, geldt robots.txt hier mogelijk niet.

De instellingen staan los van elkaar. Je kunt GPTBot blokkeren en OAI-SearchBot toestaan.

Dat is een zakelijke afweging, geen technische. Er zijn argumenten voor beide kanten.

Voor blokkeren:

- Je wilt niet dat unieke content, zoals eigen koopgidsen of productteksten, kosteloos in een trainingsset belandt.

- Je wilt crawlbelasting beperken. Bij grote catalogi met veel filter-URL's kan elke extra bot merkbaar zijn.

Voor toestaan:

- Wat in trainingsdata zit, bepaalt mede wat een model zonder te zoeken over je merk "weet". Een merk dat nergens in de trainingsdata voorkomt, wordt minder snel genoemd.

- Voor de meeste webshops is productinformatie geen geheim; ze staat ook bij fabrikanten en marktplaatsen.

Hoe groot het effect van training op merkvermeldingen is, is niet goed gemeten. Wees sceptisch over iedereen die daar harde cijfers over geeft.

Andere aanbieders hebben vergelijkbare trainingscrawlers. ClaudeBot verzamelt data voor de modellen van Anthropic. Applebot-Extended en Google-Extended zijn tokens waarmee je Apple en Google vraagt je content niet voor AI-training te gebruiken. Neem één beslissing over training en pas die consequent toe op alle aanbieders, in plaats van per bot te gokken.

In Magento 2 beheer je robots.txt via Content > Design > Configuration, per website of store view, onder "Search Engine Robots". Daar kun je eigen regels toevoegen. Controleer daarna of de webserver niet een statisch robots.txt-bestand serveert dat de instelling overschrijft.

In Shopify pas je robots.txt aan via het template robots.txt.liquid in je thema. Je voegt daar een eigen user-agent-groep toe naast de standaardregels van Shopify.

Let op: een eigen groep voor een bot vervangt voor die bot de regels uit "User-agent: *". Wil je dat GPTBot ook je admin- en checkout-uitsluitingen volgt, dan moet je die regels in zijn groep herhalen, of hem volledig blokkeren.

Kijk in je serverlogs welke user-agents langskomen en welke URL's ze opvragen. User-agents zijn te vervalsen; OpenAI publiceert IP-reeksen waarmee je kunt verifiëren of een verzoek echt van GPTBot komt. Op een Hypernode- of Cloudflare-omgeving kun je bots ook op netwerkniveau beperken, maar doe dat bewust per bot en niet met een breed "blokkeer alle AI"-vinkje.