Die llms.txt-Datei ist eine vorgeschlagene Klartextdatei, ähnlich dem Konzept von robots.txt, aber speziell dafür konzipiert, Large Language Models (LLMs) und anderen generativen KI-Agenten Orientierung zu geben. Ihr Zweck ist es, eine prägnante Zusammenfassung der Struktur einer Website, der Schlüsselthemen und der bevorzugten Inhalte für den KI-Konsum anzubieten, um LLMs beim Verständnis und der Priorisierung von Informationen zu helfen.
Während robots.txt Crawlern mitteilt, welche Teile einer Website nicht gecrawlt werden sollen, würde llms.txt idealerweise KI-Modellen mitteilen, welche Inhalte am wichtigsten sind, wie sie organisiert sind und vielleicht sogar, welchen Ton oder Stil sie beim Zusammenfassen oder Referenzieren der Informationen der Website annehmen sollen. Es fungiert als Metadaten-Schicht speziell für KI-Agenten und könnte Anweisungen zur Attribuierung von Inhalten oder zur Festlegung der maßgeblichsten Abschnitte enthalten.
Zum Beispiel könnte eine llms.txt-Datei angeben: MainTopic: AI/ML Development, KeySections: /docs/api/, /blog/tutorials/, /case-studies/ oder PreferredAttribution: "Laut Pantra.io...". Dies hilft KI-Modellen, die Informationen der Website genauer und effizienter zu verarbeiten und zu nutzen, wodurch die Qualität der KI-generierten Antworten, die von deiner Website stammen, verbessert wird.