In Kürze: Deep Crawl
Der Deep Crawl ist ein essenzieller Prozess, bei dem Suchmaschinen-Crawler die Fähigkeit besitzen, tiefere Unterseiten einer Website zu durchsuchen und zu indexieren. Dies ermöglicht eine umfassende Erfassung von Inhalten, die über die Hauptseite hinausgehen, und verbessert die Sichtbarkeit dieser Seiten in den Suchergebnissen.
Erklärung: Deep Crawl
Was ist ein Deep Crawl? Der Begriff bezeichnet die Fähigkeit eines Suchmaschinen-Crawlers, selbstständig Unterseiten einer Website nach Inhalten zu durchsuchen und diese zu indexieren. Bei einigen Suchmaschinen ist die Indexierung von Inhalten auf eine bestimmte Verzeichnistiefe der Internetseite begrenzt. Der Deep Crawl sorgt dafür, dass auch Unterseiten einer Website als eigenständige Seiten bewertet und indexiert werden.
Ziel des Deep Crawls
Ein Deep Crawl verfolgt die Absicht, Tiefen-Verlinkungen (sogenannte Deep Links) aufzuspüren, um tiefer in die Website-Strukturen einzudringen. Der Crawler, ein Suchmaschinen-Roboter, durchsucht sämtliche Unterseiten einer Domain und wertet sie als eigenständige Seiten. Dadurch können Unterseiten selbstständig ranken und werden bei Suchanfragen als eigenständige Bestandteile einer Website ausgegeben.
Wie funktioniert ein Deep Crawl?
Der Deep Crawl sorgt für eine Tiefen-Indexierung von Websites. Der Crawler sucht auf verschiedenen Ebenen nach Deep Links, die tiefere Unterseiten miteinander verknüpfen. Zum Beispiel verweist der Lexikonbeitrag SEO auf die Unterseite Algorithmus. Dieser Verweis stellt einen Deep Link dar, dem Google folgt. Auf diese Weise hangelt sich Google von Seite zu Seite und verschafft sich einen Überblick über die gesamte Website.
Indexierung und Ranking
Die Indexierung der Unterseiten erfolgt durch das Auslesen des Quellcodes der Website, wobei die Ranking-Faktoren der jeweiligen Suchmaschine berücksichtigt werden. Die Webseite wird bewertet und erhält im Idealfall ein gutes Ranking bei relevanten Suchanfragen.
Rolle des Crawl Budgets beim Deep Crawl
Das Crawl Budget ist ein entscheidender Faktor, der angibt, wie viele Seiten Google auf einer Domain maximal durchsucht. Bei umfangreichen Websites crawlt Google in der Regel nur einen Teil der Unterseiten, was dazu führen kann, dass wichtiger Traffic durch fehlende Indexierung verloren geht. Um dem entgegenzuwirken, sollten Seitenbetreiber eine flache Seitenstruktur entwickeln und unwichtige Unterseiten vom Crawling ausschließen.
Unterschied zwischen Deep Crawl und Fresh Crawl
Der Deep Crawl und der Fresh Crawl sind zwei unterschiedliche Aktualisierungszyklen von Google. Während der Deep Crawl intensiv Websites untersucht und jedem Link folgt, um den gesamten Inhalt zu erfassen, crawlt der Fresh Crawl Webseiten permanent und oberflächlich, um schnell neue Inhalte zu indexieren. Die Häufigkeit, mit der eine Website besucht wird, hängt von Faktoren wie der Markenstärke und der Aktualisierungsrate ab.
Neue Indexierungsstruktur durch Google Caffeine
Im Jahr 2010 aktivierte Google eine überarbeitete Datenbank- und Indexstruktur namens Caffeine. Diese ermöglicht eine netzartige Struktur anstelle der bisherigen Ebenenunterteilung. Dadurch kann Google schneller und flexibler Websites crawlen und indexieren, was besonders wichtig ist, da täglich große Mengen an Daten hinzukommen. Zudem ermöglicht die Caffeine-Struktur den Zugriff auf Inhalte aus sozialen Medien und Nachrichten-Plattformen in Echtzeit, was zu stets aktuellen Ergebnislisten führt.
Weiterführende Informationen
What Crawl Budget Means for Googlebot
« Back to Glossary Index