In Kürze: Crawl Budget
Das Crawl Budget ist der zeitliche Rahmen, den der Googlebot für das Crawlen, Indizieren und Positionieren einer Website nutzt. Es beeinflusst die Sichtbarkeit und das Ranking einer Website in den Suchergebnissen erheblich.
Begriffsdefinition
Der Begriff „Crawl Budget“ beschreibt die Menge an Zeit und Ressourcen, die der Googlebot (Webcrawler von Google) für das Crawlen und Indizieren einer Website aufwendet. Täglich führt der Googlebot einen Fresh Crawl durch, um neue Inhalte zu entdecken, und alle 30 Tage einen Deep Crawl, um die gesamte Website zu analysieren.
Funktionsweise des Crawl Budgets
- Scannen: Der Googlebot scannt die Zielseite, unabhängig davon, ob es sich um eine neue oder bereits indexierte Seite handelt.
- Indizierung: Während des Scan-Vorgangs wird die URL als sichtbares Ergebnis in den Datenbanken der Suchergebnisse (SERPs) indiziert.
- Positionierung: Die Suchmaschine entscheidet, wo die Seite in den Suchergebnissen erscheint, basierend auf Faktoren wie Ladezeit und Verlinkungen.
Unterscheidung: Crawl Budget und Index Budget
Das Crawl Budget unterscheidet sich vom Index Budget. Während das Crawl Budget die Häufigkeit beschreibt, mit der Seiten analysiert werden, bezieht sich das Index Budget auf die Anzahl der URLs, die in den Index aufgenommen werden können. Eine unzureichende Nutzung des Index Budgets kann auftreten, wenn eine Website Seiten mit 404-Fehlern enthält, was das Crawl Budget zusätzlich belastet.
Mögliche Komplikationen
Wenn viele Seiten 404-Fehler aufweisen, wird das Index Budget nicht vollständig ausgeschöpft. Dies kann dazu führen, dass nur ein Teil der Website gecrawlt wird, was insbesondere bei großen Websites problematisch ist.
Zusammenhang: Crawl Budget und SEO
Das Crawl Budget hat einen direkten Einfluss auf die Sichtbarkeit einer Website in den Suchmaschinen. In der Suchmaschinenoptimierung (SEO) gibt es den Bereich „Crawl Budget Optimization“, der darauf abzielt, den Googlebot gezielt auf wichtige Seiten zu lenken. Durch das Ausschließen von Seiten mit Fehlercodes oder minderwertigen Inhalten kann das Crawl Budget effizienter genutzt werden.
Handhabung des Crawl Budgets
Um das Crawl Budget einer Website zu ermitteln, kann die Google Search Console verwendet werden. Dort können folgende Werte abgelesen werden:
- Die täglich gescannten Zielseiten
- Die heruntergeladenen Bytes
- Der zeitliche Rahmen für das Herunterladen
Allgemein gilt: Je mehr Seiten gescannt werden, desto besser. Ein schneller Download bedeutet, dass mehr Seiten innerhalb des Crawl Budgets geprüft werden können.
Crawl Budget Optimization
Zur Optimierung des Crawl Budgets können SEOs und Webmaster folgende Strategien anwenden:
- Geringe Klicktiefe: Eine flache Seitenarchitektur erleichtert den Zugang zu Zielseiten.
- Interne Verlinkungen: Sinnvolle interne Links erhöhen die Usability und zeigen dem Googlebot wichtige Seiten.
- Zweitrangige Seiten ausschließen: Unwichtige Seiten können über die robots.txt von der Indexierung ausgeschlossen werden.
- Bereitstellung einer Sitemap: Eine XML-Sitemap hilft dem Googlebot, die wichtigsten Seiten zu finden.
- Vermeidung von Duplicate Content: Identische Inhalte sollten entfernt oder umgeleitet werden, um das Crawl Budget nicht zu verschwenden.
- Regelmäßig neue Inhalte: Frische Inhalte erhöhen die Wahrscheinlichkeit, dass der Googlebot die Seite häufiger besucht.
- Optimierung der Servergeschwindigkeit: Ein schneller Server reduziert die Ladezeiten und verbessert die Crawling-Effizienz.
Durch die Implementierung dieser Maßnahmen kann das Crawl Budget einer Website effektiv gesteigert werden, was zu einer besseren Sichtbarkeit in den Suchergebnissen führt.
« Back to Glossary Index