Schadet es SEO, wenn ich KI-Crawler erlaube?

Nein. KI-Crawler sind getrennt von Googlebot. Google-Extended z.B. steuert nur Gemini-Training, nicht Google-Rankings. Klassisches SEO bleibt unberührt.

Halten sich KI-Bots an robots.txt?

Die großen Anbieter (OpenAI, Google, Anthropic, Perplexity, Apple) ja. Bei kleineren oder nicht öffentlich dokumentierten Bots kann es Ausnahmen geben.

Wie oft sollte ich robots.txt aktualisieren?

Sobald neue relevante KI-Crawler bekannt werden — meist 2–4 Mal pro Jahr. Halte eine Wartungsroutine, um nicht den Anschluss zu verlieren.

Tools

robots.txt für KI-Crawler: GPTBot, PerplexityBot & Co.

Zuletzt aktualisiert: April 2026

Die robots.txt ist der Türsteher deiner Website. Wer hier KI-Crawlern keinen Zutritt gewährt, wird in den entsprechenden Modellen nicht zitiert — oder schlimmer: gar nicht erst gelernt.

Welche KI-Crawler gibt es?

GPTBot — OpenAI, sammelt Daten für ChatGPT-Training.
OAI-SearchBot — OpenAI, für ChatGPT Search (live).
PerplexityBot — Perplexity, für Antworten und Citations.
Google-Extended — Google, für Gemini-Training (separat von Googlebot).
ClaudeBot / Claude-Web — Anthropic.
CCBot — Common Crawl, Datenbasis vieler Modelle.
Applebot-Extended — Apple Intelligence.
Bytespider — ByteDance / Doubao.

Welche Bots solltest du erlauben?

Für maximale KI-Sichtbarkeit: alle relevanten Bots erlauben. Ausnahmen sind sensible Bereiche (interne Doku, Login, Checkout) — die sollten ohnehin blockiert sein.

Eine Blockade von GPTBot & Co. wirkt sich nicht direkt auf SEO aus, aber massiv auf KI-Sichtbarkeit. Der häufigste Fehler: Marken übernehmen Default-robots.txt von CMS-Templates und wundern sich später, warum sie unsichtbar sind.

Wie sieht ein vollständiges robots.txt-Beispiel aus?

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/

Sitemap: https://brandar.de/sitemap.xml

Wann solltest du Crawler selektiv blockieren?

Paywall-Inhalte: blockieren, um nicht kostenlos in Trainingsdaten zu landen.
UGC-Bereiche mit Datenschutzrelevanz.
Interne Tools, Login-Bereiche, Checkout.

Eine pauschale Blockade aller KI-Bots ist nur sinnvoll, wenn Marke und Content explizit nicht in KI-Antworten erscheinen sollen — was selten ein wirtschaftliches Ziel ist.

Wie prüfst du, ob deine robots.txt funktioniert?

Direkt im Browser aufrufen: https://deinedomain.de/robots.txt.
Mit Googles robots.txt-Tester (Search Console) Pfade und User-Agents prüfen.
Server-Logs analysieren: Welche Bots greifen tatsächlich zu?
Mit Tools wie Brandar tracken, ob deine Inhalte in KI-Antworten auftauchen — der ultimative Praxistest.