# ════════════════════════════════════════════════════════════
# Beeldradar — spelregels voor crawlers
# ════════════════════════════════════════════════════════════
#
# Drie soorten bezoek, drie antwoorden:
#
#   zoekmachines      welkom op de publieke site, de applicatie niet
#   antwoord-machines welkom op de publieke site, de applicatie niet
#   trainingscrawlers nergens welkom
#
# Dit bestand is een verzoek, geen slot. Het slot staat in
# conf.d/08-beeldradar-bots.conf en in Beeldradar\Core\BotGuard, en die drie
# horen gelijk te lopen.

# ── Zoekmachines (Googlebot, bingbot, en de rest) ───────────
User-agent: *
Disallow: /monitor
Disallow: /beelden
# /collecties heeft sinds 5 augustus 2026 geen eigen scherm meer, maar de regel
# blijft staan: het adres antwoordt nog met een 301 naar /beelden, en zonder deze
# regel loopt een crawler dat rondje wél.
Disallow: /collecties
Disallow: /dossiers
# /klanten en /licenties stonden hier ook. Die schermen staan niet meer in
# routes/web.php, dus de paden bestaan niet en er valt niets af te schermen.
# Komt de klantenadministratie ooit terug, dan horen deze twee regels mee terug:
# dit blok sluit af op naam, en wat er niet in staat ligt voor een crawler open.
Disallow: /tarieven
Disallow: /facturen
Disallow: /instellingen
Disallow: /abonnement
Disallow: /credits
Disallow: /vandaag
Disallow: /wachtrij
Disallow: /help
Disallow: /superadmin
Disallow: /inloggen
Disallow: /aanmelden
Disallow: /uitloggen
Disallow: /wachtwoord-vergeten
Disallow: /wachtwoord-reset
Allow: /

# ── Antwoord-machines ───────────────────────────────────────
# Deze agents zijn niet de trainingscrawler: ze vullen de zoekindex van een
# assistent of halen een pagina op omdat een gebruiker er op dat moment naar
# vraagt. Ze stonden hier eerder op één hoop met de trainingscrawlers, en het
# gevolg was dat Beeldradar onvindbaar was voor ChatGPT.
#
# Hier bewust omgekeerd opgeschreven dan hierboven: alles dicht, en dan per
# pagina open. Bij een lijst van verboden paden is één vergeten route genoeg om
# de klantomgeving te openen; bij een lijst van toegestane paden kost een
# vergeten route je alleen een vermelding.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: YouBot
Disallow: /
Allow: /$
Allow: /hoe-het-werkt
Allow: /prijzen
Allow: /auteursrecht
Allow: /veelgestelde-vragen
Allow: /contact
Allow: /voorwaarden
Allow: /privacy
Allow: /verwerkersovereenkomst
Allow: /sitemap.xml
Allow: /assets/

# ── Trainingscrawlers ───────────────────────────────────────
# Beeldradar bestaat bij het idee dat beeldmateriaal niet zomaar hergebruikt
# wordt. Dan train je er zelf ook geen modellen mee.
#
# Google-Extended hoort hier en kost geen zichtbaarheid: AI Overviews en
# Gemini-grounding draaien op de gewone Googlebot, niet op deze agent.
#
# Deze lijst is letterlijk wat App\Services\RechtenvoorbehoudService::robotsRegels()
# uitschrijft, en die leest BotGuard::TRAINING. Zes agents stonden hier niet
# (Doubao, TikTokSpider, Webzio-Extended, img2dataset, PanguBot, iaskspider)
# terwijl BotGuard ze al weigerde: de twee lijsten waren stil uit elkaar gelopen.
# `php8.4 scripts/vindbaarheid.php` meldt het voortaan als dat opnieuw gebeurt.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: FacebookBot
User-agent: Bytespider
User-agent: Doubao
User-agent: TikTokSpider
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: AI2Bot
User-agent: Timpibot
User-agent: omgili
User-agent: Webzio-Extended
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: PetalBot
User-agent: PanguBot
User-agent: iaskspider
Disallow: /
# Eén uitzondering, en die is het hele punt: het machineleesbare
# rechtenvoorbehoud tegen AI-training (W3C TDMRep). Zonder deze regel zegt
# "Disallow: /" hierboven óók dat dit bestand niet opgehaald mag worden, en dan
# kan de crawler het voorbehoud niet lezen dat speciaal voor hem is geschreven.
# RFC 9309 laat de langste overeenkomende regel winnen, dus dit ene pad gaat
# open en de rest blijft dicht.
Allow: /.well-known/tdmrep.json

Sitemap: https://beeldradar.nl/sitemap.xml