Fehler #2: Kein llms.txt — KI navigiert blind durch deine Site
llms.txt ist der neue Standard, mit dem du KI-Systemen eine strukturierte Karte deiner Website gibst. Ohne diese Datei crawlen KI-Bots deine Seite ohne Orientierung, verpassen deinen besten Content und können dich nicht richtig einordnen. Fix in unter einer Stunde.
Was ist llms.txt — und warum existiert es überhaupt?
llms.txt wurde 2024 von Jeremy Howard (fast.ai) als informeller Standard vorgeschlagen und hat sich seitdem schnell verbreitet. Die Idee: eine einfache Markdown-Datei, die KI-Systemen erklärt, wer eine Website ist, was sie enthält und wo die wichtigsten Inhalte zu finden sind.
So sieht eine vollständige llms.txt aus
Die Datei liegt unter deinedomain.com/llms.txt. Sie ist reines Markdown — kein JSON, kein XML, kein spezielles Format. KI-Systeme lesen Markdown nativ und können den Inhalt direkt verarbeiten.
llms.txt in einer Stunde erstellen und deployen
Warum KI-Crawler ohne Orientierung deinen besten Content verpassen
Ein KI-Crawler der eine neue Website besucht, hat ein grundlegendes Problem: Er sieht Hunderte oder Tausende von URLs, aber hat keinen Kontext darüber, welche davon am relevantesten sind, was die Website insgesamt macht und warum ihr Inhalt vertrauenswürdig ist. Ohne diesen Kontext trifft der Crawler Entscheidungen auf Basis von Signals wie Ladezeit, HTML-Struktur und internen Verlinkungen — aber das sind schwache Signals.
Ein konkretes Beispiel: Eine Website hat einen Blog mit 50 Artikeln, eine Landing Page, eine Pricing-Seite und eine Über-uns-Seite. Ohne llms.txt crawlt PerplexityBot möglicherweise zuerst die Pricing-Seite (weil sie intern am stärksten verlinkt ist), dann einige Blog-Artikel, und versucht daraus zu synthetisieren, worum es bei der Website geht. Mit llms.txt sieht der Crawler sofort: Das ist ein GEO-Tool, die wichtigsten Seiten sind /geo-fehler und /learn, und hier ist ein direkter Überblick über Features und Pricing.
Der Unterschied ist nicht theoretisch. Er zeigt sich darin, ob KI-Systeme beim Synthesisieren einer Antwort auf eine Frage wie "Welche GEO-Tools gibt es?" deine Seite korrekt einordnen können. Eine Site die als "irgendeine Website mit Blog" gesehen wird, hat eine andere Chance zitiert zu werden als eine die als "spezialisiertes GEO-Audit-Tool für Unternehmen mit umfassender Wissensbasis" verstanden wird.
llms.txt gibt KI-Systemen genau diesen Kontext — in einem Format das für KI-Verarbeitung optimiert ist. Kein JSON-LD, das primär für strukturierte Datenextraktion gedacht ist. Kein HTML das geparsed werden muss. Klares Markdown, das LLMs direkt verarbeiten können.
Perplexity AI hat als erste grosse Plattform öffentlich kommuniziert, llms.txt zu unterstützen. Andere folgen. Da der Standard jung ist und noch wenige Websites ihn implementiert haben, ist der First-Mover-Vorteil real: Wer heute implementiert, hat gegenüber Wettbewerbern die noch keine llms.txt haben einen messbaren Vorteil bei der Qualität der KI-Crawler-Orientierung.