kisemo.com
01 · Crawler · ● etabliert

Bot-Allow (robots.txt)

Explizites Allow für ClaudeBot, GPTBot, PerplexityBot, Google-Extended und weitere LLM-Crawler in der robots.txt. Voraussetzung für jede Sichtbarkeit in LLM-Antworten — wer hier blockt, ist nicht zitierbar.

Score-Beitrag
+10/100
Wirksamkeit
sehr hoch
Adoption
78%
Letztes Update
2026-05-30

// Was es ist

Jeder LLM-Anbieter dokumentiert seine Crawler offen: GPTBot (OpenAI für ChatGPT-Training), OAI-SearchBot (ChatGPT-Search), ClaudeBot (Anthropic), Claude-User + Claude-SearchBot, PerplexityBot, Perplexity-User, Google-Extended (Gemini & AI Overviews), CCBot (Common Crawl). 'Nicht erwähnt in robots.txt' ist nicht dasselbe wie 'Allow' — manche Bots interpretieren das Fehlen als Erlaubnis, andere als Disallow. Sicher ist nur explizit.

// So setzt du es um

Aufwand: trivial · Zeit: 15 Min

  1. Aktuelle robots.txt prüfen unter deinedomain.de/robots.txt
  2. Code-Snippet aus dem Parameter kopieren und ergänzen
  3. Deprecated Bots (anthropic-ai) entfernen
  4. Erreichbarkeit testen, dann Server-Logs prüfen ob Bots crawlen

// Code-Beispiel

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://example.com/sitemap.xml

// Score-Entwicklung

monatlich aktualisiert

Noch keine Historie. Erster Snapshot: 2026-05. Liniendiagramm erscheint ab dem zweiten Monats-Review.

  1. 2026-05 10 pt · etabliert Initial-Snapshot beim Launch von kisemo-content v1.0 (migriert aus 420sge.com)

// Quellen

  1. [01]

    OpenAI · Bots-Dokumentation

    OpenAI

    Offizielle Doku der Crawler GPTBot, OAI-SearchBot und ChatGPT-User mit User-Agent-Strings und IP-Ranges.
  2. [02]

    Anthropic · Crawler-Dokumentation (ClaudeBot)

    Anthropic

    Offizielle Dokumentation des Anthropic-Crawlers ClaudeBot inkl. User-Agent, Verhalten und Opt-Out.
  3. [03]

    Google · Web Publisher Controls für Google-Extended

    Google · 2023-09

    Ankündigung und Spezifikation des Google-Extended User-Agents — trennt Gemini-Training vom regulären Googlebot.
  4. [04]

    Perplexity · Bot Documentation

    Perplexity

    Perplexity-Bots PerplexityBot und Perplexity-User mit User-Agent-Strings und Verhalten.
  5. [05]

    Cloudflare Radar · Bot Index

    Cloudflare

    Aktuelle Verifizierte-Bots-Liste mit AI-Crawler-Kategorisierung.

// Audit auf deiner Site

Der Kisemo-Monitor prüft das automatisch — pro Kunden-Domain, wöchentlich. Audit-Typ: robots_txt

$ start monitor →