← Zum GlossarSEO-Grundlagen

robots.txt

Eine Textdatei im Root der Domain, die steuert, welche Crawler welche Bereiche einer Website abrufen dürfen.

Die robots.txt liegt unter deine-domain.ch/robots.txt und gibt Crawlern Regeln vor. Ein häufiger und teurer Fehler ist, dass sie versehentlich wichtige Bereiche oder ganze KI-Crawler wie GPTBot und PerplexityBot aussperrt.

Wichtig: robots.txt verhindert das Crawlen, nicht die Indexierung. Um eine Seite aus dem Index zu halten, brauchst du ein noindex, nicht nur eine Disallow-Regel.

Verwandte Begriffe

XML-SitemapEine XML-Datei, die alle indexierbaren URLs einer Website auflistet und Suchmaschinen beim Auffinden aller Seiten hilft.GPTBotDer Web-Crawler von OpenAI, der Inhalte für ChatGPT sammelt. Er muss in der robots.txt erlaubt sein, damit deine Seite berücksichtigt wird.Crawl-BudgetDie Menge an URLs, die ein Suchmaschinen-Crawler in einem bestimmten Zeitraum auf deiner Website abruft.

Quellen und weiterführend

Wirst du in KI-Antworten empfohlen?

pantra.io misst täglich, ob ChatGPT, Perplexity, Claude und Google AI dich bei echten Kundenfragen nennen, und schliesst die Lücken automatisch.

KI-Sichtbarkeit messen