Definitie
OAI-SearchBot is de crawler die OpenAI gebruikt om websites te tonen in de zoekfuncties van ChatGPT. Blokkeer je hem, dan verschijn je niet als bron in ChatGPT-zoekantwoorden.
Wat is OAI-SearchBot?
OAI-SearchBot is de bot van OpenAI die pagina's ophaalt voor ChatGPT search. Als ChatGPT een vraag beantwoordt met bronnen en links, komen die mede uit wat deze crawler heeft opgehaald. OpenAI gebruikt de data van OAI-SearchBot volgens eigen documentatie niet voor het trainen van modellen; daar is GPTBot voor.
Sites die OAI-SearchBot uitsluiten, verschijnen volgens OpenAI niet in ChatGPT-zoekantwoorden. Ze kunnen hooguit nog als navigatielink opduiken. Na een wijziging in robots.txt duurt het ongeveer 24 uur voordat OpenAI's systemen zich aanpassen.
Waarom dit de belangrijkste AI-bot voor webshops is
Voor een webshop is OAI-SearchBot de bot met het meest directe effect. Hij bepaalt of je als bron met link verschijnt wanneer iemand ChatGPT vraagt naar een product, merk of winkel. Dat is verkeer dat je in GA4 terugziet als verwijzing van chatgpt.com.
ChatGPT gebruikt voor zoeken niet alleen de eigen crawl. Het leunt ook op zoekpartners, waaronder Bing. Daarom horen bij deze bot twee andere acties:
- Zorg dat je shop goed geïndexeerd is in Bing. Controleer dat in Bing Webmaster Tools.
- Gebruik IndexNow om nieuwe en gewijzigde URL's direct aan Bing te melden. Handig bij prijs- en voorraadwijzigingen.
Een veelgemaakte fout: een beveiligingsplugin, CDN-regel of firewall die "AI-bots" in één keer weert. Dan blokkeer je OAI-SearchBot ongemerkt mee. Controleer je robots.txt én je WAF-instellingen.
Wat OAI-SearchBot moet kunnen zien
Ga ervan uit dat deze crawler geen JavaScript uitvoert, zoals de meeste AI-crawlers. Wat hij niet in de eerste HTML-respons vindt, bestaat voor hem niet.
Voor een webshop betekent dat:
- Productnaam, prijs, voorraadstatus en kernspecificaties in server-side HTML.
- Product- en Offer-markup in JSON-LD in de bron, niet pas geïnjecteerd via een tagmanager.
- Categoriepagina's met echte links naar producten, niet alleen een JavaScript-grid dat later laadt.
Magento met Hyvä en standaard Shopify-thema's renderen dit server-side. Headless frontends en sommige PWA-oplossingen niet altijd. Test het door de pagina met curl op te halen en te kijken wat er in de HTML staat.
Toestaan zonder alles open te zetten
Je kunt OAI-SearchBot toestaan en tegelijk dezelfde uitsluitingen laten gelden als voor andere zoekmachines: checkout, account, winkelwagen en eindeloze filtercombinaties. Een eigen user-agent-groep vervangt de algemene regels, dus herhaal die uitsluitingen in de groep.
Verifieer echte bezoeken. User-agents zijn te vervalsen, en scrapers doen zich graag voor als bekende bots. OpenAI publiceert de IP-reeksen van OAI-SearchBot. Vergelijk die met je serverlogs voordat je conclusies trekt over hoe vaak ChatGPT je shop bezoekt. In GA4 zie je het resultaat terug als verwijzend verkeer van chatgpt.com, vaak met een utm_source=chatgpt.com-parameter.
robots.txt: OAI-SearchBot toestaan met dezelfde uitsluitingen
User-agent: OAI-SearchBot
Disallow: /checkout/
Disallow: /customer/
Disallow: /*?*price=
Allow: /
User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /*?*price=Verder lezen
Gerelateerde begrippen
Veelgestelde vragen
Wat is het verschil tussen OAI-SearchBot en GPTBot?+
OAI-SearchBot haalt pagina's op voor ChatGPT search en bepaalt of je als bron verschijnt. GPTBot verzamelt data voor modeltraining. Je kunt ze los van elkaar toestaan of blokkeren.
Hoe snel werkt een wijziging in robots.txt voor OAI-SearchBot?+
OpenAI geeft aan dat het ongeveer 24 uur duurt voordat een robots.txt-wijziging is verwerkt.