Robots.txt einrichten die Such- und AI-Crawler erlaubt — v0
Ohne robots.txt gelten Defaults — meist OK für Google, aber unsichtbar für ChatGPT, Claude und Perplexity ausser deren Bots werden explizit erlaubt.
In v0 fixen
Vercel AI-Component- und App-Generator
`app/robots.ts` mit `MetadataRoute.Robots`-Export anlegen.
Anderes Tool? Wähle deinen Stack:
Der Prompt für v0
Diesen Text exakt so in deinen v0-Chat kopieren und einfügen.
Regenerate my v0 component / page with these fixes applied: Add a robots.txt 1. Create /public/robots.txt. 2. Allow GPTBot, ClaudeBot, PerplexityBot and Google-Extended (one User-agent block each, all with `Allow: /`). 3. Add a `Sitemap:` line pointing to your sitemap.xml.
Warum das wichtig ist
robots.txt ist die erste Datei die jeder Crawler lädt. Sie sagt Bots was sie laden dürfen und in welchem Tempo. Keine Datei = Default-Allow für die meisten guten Bots — OK, aber du verlierst die Möglichkeit AI-Crawler gezielt einzuladen oder Abuser zu blocken.
2023-2025 haben OpenAI, Anthropic, Perplexity und Google AI-Crawler eingeführt die `robots.txt` respektieren und nur von erlaubenden Sites laden. Viele Entwickler blockieren sie versehentlich durch restriktive Default-Configs; andere lassen sie durch Nichtexistenz der Datei unerlaubt.
Wenn du in ChatGPT-Search, Claude-Antworten, Perplexity-Zitaten oder Google AI Overviews erscheinen willst, musst du den jeweiligen Bot explizit erlauben. Wichtigster GEO-Schritt und in 30 Sekunden erledigt.
So nutzt du diesen Prompt in v0
- 1. Dein v0-Projekt öffnen.
- 2. Prompt oben mit Copy-Button kopieren.
- 3. In v0-Chat einfügen und senden.
- 4. Diff reviewen, Änderungen akzeptieren, neu deployen.
- 5. Fix mit der Checkliste unten verifizieren.
Typische Fehler vermeiden
- error_outline`User-agent: *\nDisallow: /` aus Template shippen — blockiert alles.
- error_outlineGPTBot, ClaudeBot, PerplexityBot wegen eines Blog-Posts mit "AI-Crawler blocken" sperren — kostet dich alle AI-Suche-Sichtbarkeit.
- error_outline`Sitemap: https://deinesite.com/sitemap.xml`-Zeile am Ende vergessen.
- error_outline`Disallow: /api` (meist korrekt) mit `Disallow: /` (falsch) kombinieren.
- error_outlineSowohl `public/robots.txt` als auch `app/robots.ts` — Next.js wählt unvorhersehbar.
Wie du prüfst ob der Fix geklappt hat
- check_circle`https://deinesite.com/robots.txt` öffnen — liefert Datei-Inhalt als plain text.
- check_circleIn Google Search Console → Einstellungen → Crawling → robots.txt-Bericht — keine Fehler, keine Warnungen.
- check_circle`curl -s https://deinesite.com/robots.txt | grep "gptbot"` — bestätigt dass die GPTBot-Zeile existiert.
- check_circleBlockierte URL mit Googles robots.txt-Tester (Search Console) testen.
Häufige Fragen
Entfernt Disallow eine URL aus Google?expand_more
Welche AI-Crawler erlauben?expand_more
Heisst AI-Crawler erlauben dass sie auf meinem Content trainieren?expand_more
Alle 34 Prompts passend zu deiner v0-Site?
Pantra scannt deine Site in 10 Sekunden, erkennt den Stack und generiert genau die Prompts die passen — nur die du brauchst.
Site scannenÄhnliche v0-Prompts
GPTBot, ClaudeBot und PerplexityBot erlauben — v0
Prompt um AI-Crawler zu whitelisten damit ChatGPT, Claude und Perplexity deine Seiten zitieren können. In jedem AI-Stack.
SEOSitemap.xml generieren die alle Routen abdeckt — v0
Stack-spezifischer Prompt um /public/sitemap.xml mit allen öffentlichen Routen zu erstellen — für Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code und Base44.
AI-Suche / GEOllms.txt-Datei anlegen — v0
Stack-spezifischer Prompt um llms.txt zu publizieren — ein kuratierter Guide der LLMs sagt worum es auf deiner Site geht.
SEOEinen einzigartigen <title>-Tag pro Seite setzen — v0
Copy-Paste-Prompt um auf jede Seite einen einzigartigen, keyword-relevanten <title>-Tag zu setzen — in Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code oder Base44.