Gib deine Domain ein und sieh in Sekunden, ob GPTBot, ClaudeBot, PerplexityBot und 13 weitere KI-Crawler deine Website lesen dürfen. Kostenlos, ohne Anmeldung.
TL;DR
KI-Suchmaschinen wie ChatGPT, Perplexity und Claude können deine Website nur empfehlen, wenn ihre Crawler sie lesen dürfen. Ob das der Fall ist, entscheidet deine robots.txt. Dieses Tool prüft 16 relevante KI-Crawler gegen deine robots.txt und zeigt pro Crawler, ob er Zugang hat.
Ein AI Crawler ist ein Programm, mit dem KI-Anbieter wie OpenAI, Anthropic oder Perplexity Webseiten abrufen. Die Inhalte fliessen in Trainingsdaten, Suchindizes und Live-Antworten der KI-Assistenten ein.
Jeder grosse KI-Anbieter betreibt eigene Crawler mit unterschiedlichen Aufgaben. GPTBot sammelt Trainingsdaten für OpenAI-Modelle, OAI-SearchBot indexiert Seiten für ChatGPT Search, und ChatGPT-User ruft Seiten live ab, wenn ein Nutzer sie in ChatGPT öffnet.
Für deine Sichtbarkeit in KI-Antworten zählen vor allem die Such- und Live-Crawler. Wenn OAI-SearchBot oder PerplexityBot deine Site nicht lesen dürfen, kann ChatGPT Search oder Perplexity dich nicht als Quelle zitieren.
Die robots.txt liegt im Root deiner Domain und regelt pro User-agent, welche Pfade ein Crawler abrufen darf. Ein "Disallow: /" für einen KI-Crawler sperrt ihn komplett aus.
Viele Websites blockieren KI-Crawler ohne es zu wissen. Häufige Ursachen sind pauschale Bot-Blocklisten von Sicherheits-Plugins, kopierte robots.txt-Vorlagen oder eine generelle "User-agent: *"-Sperre.
Ein spezifischer Eintrag ersetzt dabei die Wildcard-Gruppe komplett. Steht in deiner robots.txt eine eigene Gruppe für GPTBot, gelten die Regeln unter "User-agent: *" für GPTBot nicht mehr.
Wichtig zu wissen: robots.txt ist eine Bitte, kein technischer Schutz. Die grossen Anbieter wie OpenAI, Anthropic, Google und Perplexity dokumentieren aber öffentlich, dass ihre Crawler die Regeln respektieren.
Für KI-Sichtbarkeit relevant sind OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Googlebot und Bingbot. Wer in KI-Antworten empfohlen werden will, sollte diese Crawler nicht blockieren.
Die Entscheidung hängt von deinem Ziel ab. Ein Verlag, der seine Inhalte schützen will, blockiert Trainings-Crawler wie GPTBot oder CCBot. Ein Kleinunternehmen, das über KI gefunden werden will, sollte alle Such-Crawler zulassen.
Eine Sonderrolle hat Google-Extended: Das Token steuert nur, ob deine Inhalte für Gemini-Training und -Grounding genutzt werden. Die AI Overviews in der Google-Suche speisen sich aus dem normalen Googlebot-Index und bleiben von Google-Extended unberührt.
Auch Bingbot ist für KI-Sichtbarkeit relevanter als viele denken. Microsoft Copilot nutzt den Bing-Index direkt, und ChatGPT Search greift ebenfalls auf Bing-Daten zurück.
Ergänze für jeden gewünschten Crawler eine eigene Gruppe mit "Allow: /". Unser kostenloser robots.txt Generator erstellt dir die komplette Datei mit korrekten Regeln für alle 16 Crawler.
Nach der Änderung lohnt sich ein erneuter Check. Crawler rufen die robots.txt bei jedem Besuch neu ab, die Änderung wirkt also sofort.
Dieses Tool prüft die Technik. pantra.io misst zusätzlich jeden Tag, ob ChatGPT, Perplexity, Claude und Google AI dich bei echten Kundenfragen empfehlen, und schliesst die Lücken automatisch.
KI-Sichtbarkeit messenWir nutzen Cookies fuer anonyme Reichweitenmessung und um die Wirksamkeit unserer Werbung zu verstehen. Notwendige Cookies sind immer aktiv. Mehr in der Datenschutzerklaerung.