In Kürze: Crawler
Ein Crawler ist ein automatisiertes Programm, das das Internet nach Inhalten durchsucht, Webseiten analysiert und Informationen indexiert. Diese Technologie ist entscheidend für die Funktionsweise von Suchmaschinen.
Erklärung: Crawler
Was ist ein Crawler (Suchmaschinen-Roboter, der Webseiten durchsucht)? Ein Crawler ist ein Programm, das selbstständig das Internet nach Inhalten durchsucht und sowohl Webseiten als auch Informationen vollständig ausliest und indexiert. Aufgrund der automatisierten Suche werden Crawler auch als Robots bezeichnet. Der Weg, den die Crawler im Internet zurücklegen, ähnelt einem Spinnennetz, weshalb sie auch als Spider bekannt sind.
Funktionsweise von Crawlern
Die Crawler besuchen Internetseiten meist über Hyperlinks, die auf bereits indexierten Webseiten integriert sind. Der ausgelesene Inhalt wird dann im Cache (Zwischenspeicher) gespeichert, ausgewertet und gegebenenfalls indexiert. Grundlage der Indexierung (Aufnahme in den Suchmaschinenindex) ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten werden anschließend in den Suchergebnissen der Suchmaschinen angezeigt.
Bedeutung von Crawlern
Crawler sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Unsere erfahrenen SEO (Search Engine Optimization, deutsch: Suchmaschinenoptimierung)-Experten stellen sicher, dass Ihre Webseite (Internetauftritt) für Crawler einwandfrei lesbar ist, damit alle Inhalte indexiert werden können.
« Back to Glossary Index