AI-Suche / GEO·Windsurf
AI-Suche / GEOWindsurf

GPTBot, ClaudeBot und PerplexityBot erlauben — Windsurf

AI-Antwortengines zitieren nur Sites die ihre Bots laden dürfen. Wenn du GPTBot, ClaudeBot und PerplexityBot in robots.txt nicht erlaubst, bist du unsichtbar in ChatGPT und Perplexity — egal wie gut der Content ist.

rocket_launch

In Windsurf fixen

Codeium agentische AI-IDE mit Cascade

Windsurf Cascade kann das ganze Projekt durchlaufen und Multi-File-Edits in einem Rutsch anwenden. Prompt unten in deinen Windsurf-Chat einfügen und der Fix rollt in einem Rutsch über das ganze Projekt aus.

Anderes Tool? Wähle deinen Stack:

LovableCursorBoltv0ReplitWindsurfClaude CodeBase44

Der Prompt für Windsurf

Diesen Text exakt so in deinen Windsurf-Chat kopieren und einfügen.

Using Windsurf Cascade, apply these edits across the project in one pass:

Allow AI crawlers

1. Open /public/robots.txt (create it if missing).
2. Add four blocks: `User-agent: GPTBot` / `Allow: /`, then ClaudeBot, PerplexityBot and Google-Extended — same pattern.
3. Do NOT add a global `User-agent: * / Disallow: /` — that overrides the bot-specific allows on some parsers.

Warum das wichtig ist

2024-2025 begann AI-Suche (ChatGPT, Claude, Perplexity, Google AI Overviews) echten Referral-Traffic zu senden — und wichtiger: der erste Ort zu werden wo User fragen stellen. Das alte Modell — in Google ranken, Klicks bekommen — wird ersetzt durch "in AI-Antwort zitiert werden, Traffic bekommen".

Jede grosse AI-Firma publiziert einen Crawler der robots.txt respektiert. OpenAI: GPTBot (Training) und ChatGPT-User (Live-Web-Search). Anthropic: ClaudeBot. Perplexity: PerplexityBot. Google: Google-Extended. Common Crawl (CCBot) powered viele Open-Source-Modelle.

Wenn du die Bots nicht explizit erlaubst, fallen sie auf "was auch immer User-agent: * sagt" zurück. Viele Sites shippen mit restriktiven Defaults und blocken versehentlich alles. Der Fix ist eine sechs-Zeilen-Allow-Liste — der höchste Hebel im GEO.

So nutzt du diesen Prompt in Windsurf

  1. 1. Dein Windsurf-Projekt öffnen.
  2. 2. Prompt oben mit Copy-Button kopieren.
  3. 3. In Windsurf-Chat einfügen und senden.
  4. 4. Diff reviewen, Änderungen akzeptieren, neu deployen.
  5. 5. Fix mit der Checkliste unten verifizieren.

Typische Fehler vermeiden

  • error_outlineAlle Bots mit `User-agent: *\nDisallow: /` blocken und Allow-Rules für AI vergessen.
  • error_outlineNur GPTBot erlauben und andere vergessen — ChatGPT-Search und ChatGPT-Training nutzen verschiedene Crawler.
  • error_outlineAI blocken wegen eines Blog-Posts der "AI-Crawler blocken" empfahl — kostet dich die AI-Suche-Sichtbarkeit.
  • error_outlineAllow-Rules in falscher Reihenfolge — `User-agent: *` `Disallow: /` zuerst, dann spezifische Allows danach.

Wie du prüfst ob der Fix geklappt hat

  • check_circle`/robots.txt` besuchen und prüfen dass die sechs User-agent-Blöcke existieren, je mit `Allow: /`.
  • check_circleMit https://www.bing.com/webmasters/help/robots-txt-analyzer oder ähnlichen Tools testen.
  • check_circleServer-Logs nach 1-2 Wochen auf GPTBot, ClaudeBot, PerplexityBot User-Agents prüfen — sollten erscheinen.
  • check_circleIn ChatGPT mit Web-Browsing eine Query stellen wo du Zitate erwartest — checken ob du auftauchst.

Häufige Fragen

Trainiert OpenAI auf meinem Content wenn ich GPTBot erlaube?expand_more
Ja — GPTBot ist speziell fürs Training. Wenn du in ChatGPT-Antworten erscheinen willst ohne Training: ChatGPT-User (Search) erlauben und GPTBot (Training) blocken. Gleich bei Google-Extended.
Schadet AI-Crawler-Allow dem SEO?expand_more
Nein. Google-AI-Crawler sind separat von Googlebot. Google-Extended blocken beeinflusst normales Google-Ranking nicht.
Gibt es einen Nachteil?expand_more
Die Training-Frage ist philosophisch. Operativ: mehr Traffic aus AI-Zitaten, kein Server-Load-Problem (AI-Crawler sind höflich).

Alle 34 Prompts passend zu deiner Windsurf-Site?

Pantra scannt deine Site in 10 Sekunden, erkennt den Stack und generiert genau die Prompts die passen — nur die du brauchst.

Site scannen

Ähnliche Windsurf-Prompts

SEO

Robots.txt einrichten die Such- und AI-Crawler erlaubt — Windsurf

Prompt für eine korrekte /public/robots.txt für Google, Bing und AI-Crawler wie GPTBot und PerplexityBot — in Lovable, Cursor, Bolt, v0, Replit, Windsurf, Claude Code, Base44.

AI-Suche / GEO

llms.txt-Datei anlegen — Windsurf

Stack-spezifischer Prompt um llms.txt zu publizieren — ein kuratierter Guide der LLMs sagt worum es auf deiner Site geht.

AI-Suche / GEO

JSON-LD Structured Data setzen — Windsurf

Prompt um Organization, Article und FAQ JSON-LD im <head> zu setzen — sagt Google und AI-Crawlern genau was die Seite repräsentiert.

AI-Suche / GEO

Server-Side Rendering einbauen — Windsurf

Stack-spezifischer Prompt damit Key-Content im HTML-Response landet, nicht nur per JS gerendert wird.

Mehr im Glossar erfahrenarrow_forward