Ein Programm, das automatisch Webseiten abruft und ausliest. Suchmaschinen und KI-Systeme bauen damit ihren Index und ihr Wissen auf.
Ein Crawler (auch Bot oder Spider) ist ein Programm, das selbstständig Webseiten besucht, ihren Inhalt liest und Links zu weiteren Seiten folgt. So entdecken Suchmaschinen neue und geänderte Inhalte.
Der bekannteste Crawler ist der Googlebot. Daneben crawlen heute KI-Systeme das Web mit eigenen Bots, etwa GPTBot (OpenAI), ClaudeBot (Anthropic) und PerplexityBot. Was diese Crawler nicht lesen dürfen, kann in KI-Antworten nicht empfohlen werden.
Über die robots.txt steuerst du, welche Crawler welche Bereiche deiner Website lesen dürfen. Ein versehentlich blockierter Crawler ist einer der häufigsten Gründe für fehlende Sichtbarkeit.
Beispiel
Sperrt deine robots.txt den GPTBot aus, kann ChatGPT deine Inhalte nicht lesen und wird dein Unternehmen kaum je als Quelle nennen.
pantra.io misst täglich, ob ChatGPT, Perplexity, Claude und Google AI dich bei echten Kundenfragen nennen, und schliesst die Lücken automatisch.
KI-Sichtbarkeit messenWir nutzen Cookies fuer anonyme Reichweitenmessung und um die Wirksamkeit unserer Werbung zu verstehen. Notwendige Cookies sind immer aktiv. Mehr in der Datenschutzerklaerung.