SEO·Windsurf
SEOWindsurf

Robots.txt einrichten die Such- und AI-Crawler erlaubt — Windsurf

Ohne robots.txt gelten Defaults — meist OK für Google, aber unsichtbar für ChatGPT, Claude und Perplexity ausser deren Bots werden explizit erlaubt.

rocket_launch

In Windsurf fixen

Codeium agentische AI-IDE mit Cascade

Windsurf Cascade kann das ganze Projekt durchlaufen und Multi-File-Edits in einem Rutsch anwenden. Prompt unten in deinen Windsurf-Chat einfügen und der Fix rollt in einem Rutsch über das ganze Projekt aus.

Anderes Tool? Wähle deinen Stack:

LovableCursorBoltv0ReplitWindsurfClaude CodeBase44

Der Prompt für Windsurf

Diesen Text exakt so in deinen Windsurf-Chat kopieren und einfügen.

Using Windsurf Cascade, apply these edits across the project in one pass:

Add a robots.txt

1. Create /public/robots.txt.
2. Allow GPTBot, ClaudeBot, PerplexityBot and Google-Extended (one User-agent block each, all with `Allow: /`).
3. Add a `Sitemap:` line pointing to your sitemap.xml.

Warum das wichtig ist

robots.txt ist die erste Datei die jeder Crawler lädt. Sie sagt Bots was sie laden dürfen und in welchem Tempo. Keine Datei = Default-Allow für die meisten guten Bots — OK, aber du verlierst die Möglichkeit AI-Crawler gezielt einzuladen oder Abuser zu blocken.

2023-2025 haben OpenAI, Anthropic, Perplexity und Google AI-Crawler eingeführt die `robots.txt` respektieren und nur von erlaubenden Sites laden. Viele Entwickler blockieren sie versehentlich durch restriktive Default-Configs; andere lassen sie durch Nichtexistenz der Datei unerlaubt.

Wenn du in ChatGPT-Search, Claude-Antworten, Perplexity-Zitaten oder Google AI Overviews erscheinen willst, musst du den jeweiligen Bot explizit erlauben. Wichtigster GEO-Schritt und in 30 Sekunden erledigt.

So nutzt du diesen Prompt in Windsurf

  1. 1. Dein Windsurf-Projekt öffnen.
  2. 2. Prompt oben mit Copy-Button kopieren.
  3. 3. In Windsurf-Chat einfügen und senden.
  4. 4. Diff reviewen, Änderungen akzeptieren, neu deployen.
  5. 5. Fix mit der Checkliste unten verifizieren.

Typische Fehler vermeiden

  • error_outline`User-agent: *\nDisallow: /` aus Template shippen — blockiert alles.
  • error_outlineGPTBot, ClaudeBot, PerplexityBot wegen eines Blog-Posts mit "AI-Crawler blocken" sperren — kostet dich alle AI-Suche-Sichtbarkeit.
  • error_outline`Sitemap: https://deinesite.com/sitemap.xml`-Zeile am Ende vergessen.
  • error_outline`Disallow: /api` (meist korrekt) mit `Disallow: /` (falsch) kombinieren.
  • error_outlineSowohl `public/robots.txt` als auch `app/robots.ts` — Next.js wählt unvorhersehbar.

Wie du prüfst ob der Fix geklappt hat

  • check_circle`https://deinesite.com/robots.txt` öffnen — liefert Datei-Inhalt als plain text.
  • check_circleIn Google Search Console → Einstellungen → Crawling → robots.txt-Bericht — keine Fehler, keine Warnungen.
  • check_circle`curl -s https://deinesite.com/robots.txt | grep "gptbot"` — bestätigt dass die GPTBot-Zeile existiert.
  • check_circleBlockierte URL mit Googles robots.txt-Tester (Search Console) testen.

Häufige Fragen

Entfernt Disallow eine URL aus Google?expand_more
Nein. robots.txt blockiert Crawling, nicht Indexierung. Zum Entfernen: `<meta name="robots" content="noindex">` oder `noindex`-HTTP-Header.
Welche AI-Crawler erlauben?expand_more
GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Google AI), CCBot (Common Crawl), Applebot-Extended (Apple AI).
Heisst AI-Crawler erlauben dass sie auf meinem Content trainieren?expand_more
GPTBot und Google-Extended sind speziell fürs Training. ClaudeBot und PerplexityBot hauptsächlich für Suche. Wenn du nur AI-Zitate ohne Training willst: nur ClaudeBot und PerplexityBot erlauben.

Alle 34 Prompts passend zu deiner Windsurf-Site?

Pantra scannt deine Site in 10 Sekunden, erkennt den Stack und generiert genau die Prompts die passen — nur die du brauchst.

Site scannen

Ähnliche Windsurf-Prompts

AI-Suche / GEO

GPTBot, ClaudeBot und PerplexityBot erlauben — Windsurf

Prompt um AI-Crawler zu whitelisten damit ChatGPT, Claude und Perplexity deine Seiten zitieren können. In jedem AI-Stack.

SEO

Sitemap.xml generieren die alle Routen abdeckt — Windsurf

Stack-spezifischer Prompt um /public/sitemap.xml mit allen öffentlichen Routen zu erstellen — für Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code und Base44.

AI-Suche / GEO

llms.txt-Datei anlegen — Windsurf

Stack-spezifischer Prompt um llms.txt zu publizieren — ein kuratierter Guide der LLMs sagt worum es auf deiner Site geht.

SEO

Einen einzigartigen <title>-Tag pro Seite setzen — Windsurf

Copy-Paste-Prompt um auf jede Seite einen einzigartigen, keyword-relevanten <title>-Tag zu setzen — in Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code oder Base44.

Mehr im Glossar erfahrenarrow_forward