Google-Extended ist ein spezifischer User-Agent-Token, der von Google eingeführt wurde, um Website-Betreibern mehr Kontrolle darüber zu geben, wie ihre Inhalte verwendet werden. Indem du diesen User-Agent in deiner robots.txt-Datei blockierst, kannst du verhindern, dass Google die Daten deiner Website zum Training seiner großen Sprachmodelle (LLMs) und anderer generativer KI-Technologien verwendet.
Dies ist bedeutsam für Entwickler und Content-Ersteller, die ihr geistiges Eigentum schützen oder die Monetarisierung ihrer Inhalte kontrollieren möchten. Während das Blockieren von Googlebot deine Website aus den Google-Suchergebnissen entfernen würde, zielt das Blockieren von Google-Extended speziell auf das KI-Training ab, ohne deine organische Suchsichtbarkeit zu beeinträchtigen.
Um dies zu implementieren, fügst du die folgenden Zeilen zu deiner robots.txt-Datei hinzu:
User-agent: Google-ExtendedDisallow: /
Dies weist die KI-Trainings-Crawler von Google an, keinen Teil deiner Website zu besuchen. Es ist ein wichtiges Tool zur Verwaltung deines digitalen Fußabdrucks im Zeitalter der generativen KI.