Ein Web-Crawler ist auch als Spiderbot oder einfach Crawler baknnt. Ein Crawler ist ein Internet-Bot, der systematisch das World Wide Web durchsucht, um Inhalte zu katalogisieren.
Suchmaschinen und einige andere Websites verwenden Crawler-Softwares, um ihre Inhalte zu aktualisieren oder Inhalte anderer Websites zu kategorisieren bzw. indexieren. Crawler kopieren zudem zur Verarbeitung Seiten durch eine Suchmaschine, die die heruntergeladenen Seiten indiziert, damit die Benutzer effizienter suchen können.
« Back to Glossary Index