Robots.txt einrichten die Such- und AI-Crawler erlaubt — Bolt
Ohne robots.txt gelten Defaults — meist OK für Google, aber unsichtbar für ChatGPT, Claude und Perplexity ausser deren Bots werden explizit erlaubt.
In Bolt fixen
StackBlitz In-Browser AI-App-Builder mit WebContainers
Bolt-Projekte laufen in einem Browser-Container — File-Pfade sind echt, aber Deploy-Target variiert. Prompt unten in deinen Bolt-Chat einfügen und der Fix rollt in einem Rutsch über das ganze Projekt aus.
Anderes Tool? Wähle deinen Stack:
Der Prompt für Bolt
Diesen Text exakt so in deinen Bolt-Chat kopieren und einfügen.
In Bolt, please update my project with these exact changes: Add a robots.txt 1. Create /public/robots.txt. 2. Allow GPTBot, ClaudeBot, PerplexityBot and Google-Extended (one User-agent block each, all with `Allow: /`). 3. Add a `Sitemap:` line pointing to your sitemap.xml.
Warum das wichtig ist
robots.txt ist die erste Datei die jeder Crawler lädt. Sie sagt Bots was sie laden dürfen und in welchem Tempo. Keine Datei = Default-Allow für die meisten guten Bots — OK, aber du verlierst die Möglichkeit AI-Crawler gezielt einzuladen oder Abuser zu blocken.
2023-2025 haben OpenAI, Anthropic, Perplexity und Google AI-Crawler eingeführt die `robots.txt` respektieren und nur von erlaubenden Sites laden. Viele Entwickler blockieren sie versehentlich durch restriktive Default-Configs; andere lassen sie durch Nichtexistenz der Datei unerlaubt.
Wenn du in ChatGPT-Search, Claude-Antworten, Perplexity-Zitaten oder Google AI Overviews erscheinen willst, musst du den jeweiligen Bot explizit erlauben. Wichtigster GEO-Schritt und in 30 Sekunden erledigt.
So nutzt du diesen Prompt in Bolt
- 1. Dein Bolt-Projekt öffnen.
- 2. Prompt oben mit Copy-Button kopieren.
- 3. In Bolt-Chat einfügen und senden.
- 4. Diff reviewen, Änderungen akzeptieren, neu deployen.
- 5. Fix mit der Checkliste unten verifizieren.
Typische Fehler vermeiden
- error_outline`User-agent: *\nDisallow: /` aus Template shippen — blockiert alles.
- error_outlineGPTBot, ClaudeBot, PerplexityBot wegen eines Blog-Posts mit "AI-Crawler blocken" sperren — kostet dich alle AI-Suche-Sichtbarkeit.
- error_outline`Sitemap: https://deinesite.com/sitemap.xml`-Zeile am Ende vergessen.
- error_outline`Disallow: /api` (meist korrekt) mit `Disallow: /` (falsch) kombinieren.
- error_outlineSowohl `public/robots.txt` als auch `app/robots.ts` — Next.js wählt unvorhersehbar.
Wie du prüfst ob der Fix geklappt hat
- check_circle`https://deinesite.com/robots.txt` öffnen — liefert Datei-Inhalt als plain text.
- check_circleIn Google Search Console → Einstellungen → Crawling → robots.txt-Bericht — keine Fehler, keine Warnungen.
- check_circle`curl -s https://deinesite.com/robots.txt | grep "gptbot"` — bestätigt dass die GPTBot-Zeile existiert.
- check_circleBlockierte URL mit Googles robots.txt-Tester (Search Console) testen.
Häufige Fragen
Entfernt Disallow eine URL aus Google?expand_more
Welche AI-Crawler erlauben?expand_more
Heisst AI-Crawler erlauben dass sie auf meinem Content trainieren?expand_more
Alle 34 Prompts passend zu deiner Bolt-Site?
Pantra scannt deine Site in 10 Sekunden, erkennt den Stack und generiert genau die Prompts die passen — nur die du brauchst.
Site scannenÄhnliche Bolt-Prompts
GPTBot, ClaudeBot und PerplexityBot erlauben — Bolt
Prompt um AI-Crawler zu whitelisten damit ChatGPT, Claude und Perplexity deine Seiten zitieren können. In jedem AI-Stack.
SEOSitemap.xml generieren die alle Routen abdeckt — Bolt
Stack-spezifischer Prompt um /public/sitemap.xml mit allen öffentlichen Routen zu erstellen — für Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code und Base44.
AI-Suche / GEOllms.txt-Datei anlegen — Bolt
Stack-spezifischer Prompt um llms.txt zu publizieren — ein kuratierter Guide der LLMs sagt worum es auf deiner Site geht.
SEOEinen einzigartigen <title>-Tag pro Seite setzen — Bolt
Copy-Paste-Prompt um auf jede Seite einen einzigartigen, keyword-relevanten <title>-Tag zu setzen — in Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code oder Base44.