robots.txt und KI-Crawler: wer hat Zugang, wer nicht

GPTBot, ClaudeBot, PerplexityBot: Wer darf was crawlen? Und wie stellst du sicher, dass deine Website von KI-Modellen gefunden wird?

Schnellüberblick: Diese Bots solltest du kennen

GPTBot (OpenAI): Indexiert für ChatGPT-Antworten und für Training.

OAI-SearchBot (OpenAI): Speziell für ChatGPT-Search, frisches Web-Wissen.

ClaudeBot (Anthropic): Indexiert für Claude-Antworten.

PerplexityBot und Perplexity-User: Crawl + Live-Anfragen für Perplexity-Antworten.

Google-Extended: Steuert, ob Google deine Seite für KI-Antworten (Gemini, AI Overviews) nutzen darf, getrennt vom normalen Googlebot.

Applebot-Extended: Für Apple Intelligence und Siri-Antworten.

Der häufigste Fehler

Viele Websites haben eine alte robots.txt aus SEO-Zeiten, die generisch alle Bots blockt. Das war früher okay, weil nur Google relevant war. Heute schließt das alle KI-Modelle aus.

Beispiel für eine fatale Zeile:

User-agent: *
Disallow: /

Das blockt alles. Wer das stehen hat, ist in keiner KI-Antwort, egal wie gut das Content ist.

Eine saubere robots.txt für 2026

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://deine-domain.de/sitemap.xml

Das erlaubt die wichtigsten KI-Crawler explizit und gibt allen anderen Bots normalen Zugriff, blockt aber sensible Bereiche.

Wo du das einbauen kannst

WordPress: Yoast oder Rank Math haben einen Editor für robots.txt. Alternativ als Datei robots.txt im Root des Servers.

Webflow: Project Settings → SEO → Indexing → robots.txt.

Shopify: Online Store → Themes → Edit code → robots.txt.liquid.

Static-Hosting (Vercel, Netlify): Datei robots.txt ins public-Verzeichnis.

Wie du nach dem Update prüfen kannst

Besuche deinedomain.de/robots.txt im Browser. Du solltest die aktualisierte Datei sehen. Bei Trast AI checken wir das automatisch beim monatlichen Optimierungs-Run und sagen dir, welche Bots aktuell blockiert sind.

Was du nicht tun solltest

KI-Bots in der robots.txt erlauben, aber gleichzeitig ein Cloudflare- oder WAF-Regelwerk fahren, das diese Bots blockt. Das passiert öfter, als man denkt. Im Zweifel die Server-Logs prüfen, welche User-Agents tatsächlich durchkommen.