AI-Crawler erlaubt
Prüft dass GPTBot, ClaudeBot, PerplexityBot und Google-Extended nicht in robots.txt blockiert sind.
Was dieser Check misst
Wir parsen `/robots.txt` und simulieren User-Agent-Matching für die grossen AI-Crawler: GPTBot (OpenAI), ChatGPT-User (OpenAI Search), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google AI), CCBot (Common Crawl).
Warum es wichtig ist
Wenn AI-Crawler nicht laden können, erscheinst du nicht in ChatGPT-Suche, Claude-Zitaten, Perplexity-Antworten oder Google AI Overviews. Das ist der Top-Fail im GEO. Die meisten Sites blocken AI unbewusst durch restriktive Defaults oder schlechten Rat aus Blog-Posts.
Wie unser Audit es erkennt
/robots.txt laden. Robots.txt-Parser für jede AI-User-Agent gegen Root simulieren. Flag wenn blockiert.
Typische Findings
- error_outline`User-agent: GPTBot\nDisallow: /` — blockt AI-Suche explizit.
- error_outlineDefault `User-agent: *` mit spezifischen Rules cascadet versehentlich AI-Block.
- error_outlineKeine robots.txt — AI technisch erlaubt, aber keine explizite Einladung.
So behebst du es
Explizite `Allow: /`-Blöcke für jede AI-Crawler. AI-Suche ohne Training: ChatGPT-User, ClaudeBot, PerplexityBot erlauben; GPTBot, Google-Extended blocken. /prompts/allow-ai-crawlers für Copy-Paste.
Copy-Paste Fix-Prompt für deinen Stack
Lovable · Cursor · Bolt · v0 · Replit · Windsurf · Claude Code · Base44
Häufige Fragen
Trainiert OpenAI auf meinem Content bei GPTBot?expand_more
Schadet AI-Allow dem SEO?expand_more
Soll das auf deiner Site geprüft werden?
Pantra läuft den vollen Audit (SEO, Sicherheit, GEO, Performance, Schema, Technik, Bilder) in 10 Sekunden und generiert stack-spezifische Fix-Prompts.
Site scannenÄhnliche Checks
JSON-LD Structured Data
Prüft JSON-LD Structured Data im <head> — Pflicht für Rich Results und AI-Zitate.
AI-Suche (GEO)Server-Side Rendering
Prüft ob Haupt-Content im initialen HTML rendert, nicht erst nach JavaScript.
AI-Suche (GEO)llms.txt-Datei
Prüft auf /llms.txt — AI-spezifischer Guide zum Site-Content.
AI-Suche (GEO)Statische Content-Dichte
Prüft wie viel echter Text im initialen HTML ohne JS-Ausführung steht.