Dein Crawl Budget ist die Anzahl der Seiten, die ein Suchmaschinen-Crawler, wie Googlebot, bereit und in der Lage ist, auf deiner Website innerhalb eines bestimmten Zeitraums zu crawlen. Es ist keine unbegrenzte Ressource; Suchmaschinen haben begrenzte Ressourcen und priorisieren, welche Seiten basierend auf verschiedenen Faktoren gecrawlt werden.
Eine größere Website mit vielen Seiten, insbesondere solche, die sich häufig ändern, benötigt ein gesundes Crawl Budget, um sicherzustellen, dass alle wichtigen Inhalte entdeckt und im Suchindex aktualisiert werden. Faktoren wie die Website-Geschwindigkeit, die interne Linkstruktur und das Vorhandensein von Duplicate Content können alle beeinflussen, wie effizient dein Crawl Budget genutzt wird.
Wenn deine Website beispielsweise 10.000 Seiten hat, Googlebot aber nur 100 Seiten pro Tag crawlt (dein Crawl Budget), wird es lange dauern, bis neue Inhalte oder Updates indexiert werden. Die Optimierung deiner Website durch das Beheben defekter Links, das Entfernen von Seiten mit geringer Qualität und die Verbesserung der Website-Geschwindigkeit hilft Suchmaschinen, deine Website effizienter zu crawlen und das zugewiesene Crawl Budget optimal zu nutzen.