ChatGPT-User

ChatGPT-User is een van de user-agents van OpenAI. Hij verschijnt wanneer een gebruiker in ChatGPT een actie start waarvoor een webpagina bezocht moet worden. Bijvoorbeeld: iemand plakt een link naar je productpagina en vraagt "wat zijn de afmetingen?", of een custom GPT haalt informatie van je site op.

OpenAI zegt in zijn documentatie drie dingen over deze user-agent:

- Hij wordt niet gebruikt om het web automatisch te crawlen.

- Hij wordt niet gebruikt om te bepalen of content in ChatGPT search verschijnt. Daarvoor is OAI-SearchBot.

- Omdat de verzoeken door een gebruiker worden gestart, gelden robots.txt-regels mogelijk niet.

OpenAI heeft meerdere bots met elk een eigen doel:

- GPTBot: crawlt voor het trainen van modellen.

- OAI-SearchBot: crawlt om sites te tonen in ChatGPT search.

- ChatGPT-User: haalt een pagina op voor een specifieke gebruiker, op het moment zelf.

De beslissingen staan los van elkaar. Je kunt GPTBot blokkeren, OAI-SearchBot toestaan en ChatGPT-User met rust laten. Dat is voor de meeste webshops ook de logische combinatie.

ChatGPT-User gedraagt zich meer als een browser dan als een crawler. Eén gebruiker, één verzoek, op het moment dat iemand iets over jouw pagina wil weten. Dat zijn vaak mensen die al dicht bij een aankoop zitten.

Ook agentfuncties in ChatGPT, waarbij ChatGPT zelfstandig een taak uitvoert, bezoeken websites. OpenAI documenteert per functie welke user-agent het gebruikt. Controleer de actuele lijst op de documentatiepagina van OpenAI, want die is de afgelopen tijd meermaals aangepast.

Een klant die ChatGPT vraagt om twee productpagina's te vergelijken, krijgt bij een blokkade geen informatie over jouw product. De concurrent wordt dan wel beschreven.

Toch blokkeren veel shops ChatGPT-User zonder het te weten. De oorzaak zit meestal niet in robots.txt, maar in:

- Bot protection of WAF-regels bij Cloudflare of je hostingpartij die alle onbekende bots weren.

- Rate limiting die na een paar snelle verzoeken een 429 of een captcha teruggeeft.

- Een cookie- of leeftijdsmuur die de inhoud verbergt tot er geklikt wordt.

Test het zelf: plak een productlink in ChatGPT en vraag om de specificaties. Krijg je een fout of een vaag antwoord, kijk dan in je serverlogs wat ChatGPT-User terugkreeg.

Zorg ook dat de belangrijkste informatie zonder JavaScript leesbaar is. ChatGPT-User leest de pagina zoals hij die terugkrijgt. Een productpagina die prijs en specificaties pas na een API-call toont, levert dan een half antwoord op.

Iedereen kan een user-agent vervalsen. OpenAI publiceert daarom de IP-reeksen van ChatGPT-User als JSON-bestand. Wil je zeker weten dat een verzoek echt is, vergelijk dan het IP met die lijst. Veel CDN's hebben OpenAI's bots al als geverifieerde bots opgenomen, zodat je ze in één regel kunt toestaan.

Moet een deel van je site echt afgeschermd blijven, zoals een B2B-prijslijst? Doe dat met inloggen of serverregels, niet met robots.txt. Voor ChatGPT-User geldt robots.txt mogelijk niet, en voor andere bots is het ook alleen een verzoek.

In een audit nemen we serverlogs mee om te zien welke AI-user-agents je shop bereiken en welke statuscodes ze krijgen.