Wähle pro KI-Crawler, ob er deine Website lesen darf, ergänze gesperrte Pfade und deine Sitemap. Der Generator baut daraus eine syntaktisch korrekte robots.txt, direkt im Browser.
User-agent: * Allow: / User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Allow: / User-agent: CCBot Allow: / User-agent: Meta-ExternalAgent Allow: / User-agent: Applebot-Extended Allow: / User-agent: Amazonbot Allow: / User-agent: Bytespider Allow: /
Lege die Datei als /robots.txt in das Root-Verzeichnis deiner Domain.
TL;DR
Die robots.txt regelt, welche Crawler deine Website lesen dürfen, und entscheidet damit über deine Sichtbarkeit in KI-Suche. Dieser Generator erstellt explizite Regeln für 14 KI-Crawler plus eine saubere Wildcard-Gruppe und beachtet die wichtigste Stolperfalle: Eine spezifische User-agent-Gruppe ersetzt die Wildcard-Regeln komplett.
Die robots.txt liegt im Root der Domain und besteht aus Gruppen: Jede beginnt mit "User-agent:" und enthält Allow- und Disallow-Regeln. Crawler suchen zuerst ihre eigene Gruppe und fallen sonst auf "User-agent: *" zurück.
Das Robots Exclusion Protocol ist seit 2022 als RFC 9309 standardisiert. Jeder seriöse Crawler ruft die Datei vor dem Crawling ab und hält sich an die Regeln seiner Gruppe.
Wichtig für das Verständnis: Es gewinnt immer genau eine Gruppe. Findet GPTBot eine eigene Gruppe, ignoriert er alles unter "User-agent: *" vollständig.
Eine Wildcard-Gruppe gilt zwar auch für KI-Crawler, macht deine Absicht aber nicht explizit. Eigene Gruppen pro KI-Crawler dokumentieren die Freigabe eindeutig und überleben spätere Änderungen an der Wildcard-Gruppe.
In der Praxis passieren die meisten Fehler bei späteren Änderungen. Jemand sperrt einen Pfad für alle Crawler, kopiert eine Vorlage mit Bot-Blockliste, und plötzlich ist GPTBot ausgesperrt, ohne dass es jemand merkt.
Explizite Gruppen machen die robots.txt robust und lesbar. Jeder sieht sofort: Diese Website will von KI-Suchmaschinen gelesen werden, mit genau diesen Ausnahmen.
Der Generator dupliziert gesperrte Pfade deshalb in jede Crawler-Gruppe. Das ist kein Fehler, sondern technisch notwendig, weil die spezifische Gruppe die Wildcard-Regeln ersetzt.
Wer über KI gefunden werden will, erlaubt alle Such- und Live-Crawler: OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot und Bingbot. Trainings-Crawler wie CCBot oder Bytespider kann man getrennt davon blockieren.
Die Crawler unterscheiden sich im Zweck. Such-Crawler indexieren dich für KI-Antworten und bringen Sichtbarkeit. Trainings-Crawler sammeln Daten für Modell-Training und bringen dir direkt erstmal nichts.
Für die meisten Kleinunternehmen ist die Antwort trotzdem einfach: alles erlauben. Der Schaden durch entgangene KI-Sichtbarkeit wiegt fast immer schwerer als die Nutzung der eigenen Inhalte in Trainingsdaten.
Googlebot und Bingbot stehen bewusst nicht zur Auswahl. Wer sie blockiert, verschwindet aus der normalen Websuche, aus den AI Overviews und aus Copilot. Das wäre für ein Unternehmen fast immer ein Fehler.
Die Datei muss unter https://deine-domain.ch/robots.txt erreichbar sein, also im Root-Verzeichnis liegen. Bei Next.js gehört sie in den public-Ordner, bei WordPress ins Hauptverzeichnis, sofern kein SEO-Plugin sie dynamisch erzeugt.
Prüfe das Ergebnis danach mit unserem AI Crawler Checker. Er liest deine Live-robots.txt und zeigt pro Crawler, ob die Freigabe angekommen ist.
Dieses Tool prüft die Technik. pantra.io misst zusätzlich jeden Tag, ob ChatGPT, Perplexity, Claude und Google AI dich bei echten Kundenfragen empfehlen, und schliesst die Lücken automatisch.
KI-Sichtbarkeit messenWir nutzen Cookies fuer anonyme Reichweitenmessung und um die Wirksamkeit unserer Werbung zu verstehen. Notwendige Cookies sind immer aktiv. Mehr in der Datenschutzerklaerung.