Applebot-Extended

Apple crawlt het web met Applebot. Die content gebruikt Apple voor zoekfuncties in onder meer Siri, Spotlight en Safari. Applebot-Extended is een aanvullend token dat je in robots.txt gebruikt om aan te geven of Apple diezelfde content ook mag gebruiken voor het trainen van zijn generatieve foundation-modellen, die onder Apple Intelligence draaien.

Volgens Apple crawlt Applebot-Extended zelf geen pagina's. Er komt dus geen bot met die naam langs in je logs. Apple kijkt naar de regels voor Applebot-Extended om te bepalen wat het met de door Applebot gecrawlde content mag doen.

Het werkt daarmee vergelijkbaar met Google-Extended bij Google.

Apple publiceerde Applebot-Extended in 2024, rond de aankondiging van Apple Intelligence. Sindsdien hebben veel nieuwsuitgevers het token geblokkeerd. Voor webshops ligt die afweging anders, omdat productinformatie zelden het verdienmodel is.

Wel: een Disallow voor Applebot-Extended vraagt Apple je content niet te gebruiken voor training van generatieve modellen.

Niet:

- Het haalt je niet uit Siri-suggesties, Spotlight of Safari-zoeken. Daarvoor zou je Applebot zelf moeten blokkeren.

- Het verwijdert niets uit modellen die al getraind zijn. Het geldt voor gebruik vanaf het moment dat Apple je regel leest.

- Het vermindert je crawlbelasting niet, omdat er geen aparte crawler is.

Wil je training uitsluiten, dan heb je een aparte regel voor Applebot-Extended nodig. Een regel voor Applebot alleen regelt dat niet, en blokkeren van Applebot kost je juist de zoekzichtbaarheid.

Applebot zelf wil je als webshop vrijwel altijd toelaten. Zichtbaarheid in Siri en Spotlight is een klein kanaal, maar het kost niets.

Bij Applebot-Extended gaat het om dezelfde vraag als bij GPTBot, ClaudeBot en Google-Extended: wil je dat je content in trainingsdata belandt? Een praktische aanpak:

- Neem één beslissing over AI-training en pas die op alle aanbieders toe. Dat voorkomt een robots.txt vol tegenstrijdige regels.

- Productspecificaties, prijzen en merkinformatie zijn zelden geheim. Ze staan ook bij fabrikanten en marktplaatsen.

- Uitgebreide eigen koopgidsen, testverslagen en redactionele content zijn waar een opt-out het meest voor de hand ligt.

Of een opt-out invloed heeft op hoe vaak Apple-diensten je merk noemen, is niet bekend. Er zijn geen betrouwbare metingen.

In Magento voeg je de regel toe via Content > Design > Configuration onder "Search Engine Robots". In Shopify via robots.txt.liquid. In een Laravel-shop zet je hem in public/robots.txt of in een route die robots.txt genereert.

Controleer na het aanpassen de live versie op /robots.txt. Bij shops achter Cloudflare kan een gecachte oude versie nog een tijd blijven staan. Cloudflare biedt daarnaast eigen instellingen voor AI-crawlers die robots.txt-regels toevoegen; zorg dat die niet botsen met wat je zelf hebt ingesteld.

Wil je gericht per pad werken, bijvoorbeeld alleen /koopgids/ uitsluiten van training, dan kan dat met een Disallow op dat pad in de groep voor Applebot-Extended.

Leg je keuze vast in een korte notitie bij je robots.txt, met datum en reden. Wie later de shop overneemt of migreert, weet dan waarom de regel er staat en kan hem bewust aanpassen.