Der Robots-Exclusion-Standard, auch bekannt als das Robots-Exclusion-Protocol oder einfach robots.txt, ist eine Datei, die von Websites verwendet wird, um mit Crawlern und anderen Web-Robotern zu kommunizieren. Diese Datei legt fest, welche Bereiche der Website von Crawlern nicht bearbeitet oder gescannt werden sollen.
Crawler werden oft von Suchmaschinen verwendet, um Websites zu kategorisieren. Allerdings arbeiten nicht alle Crawler mit robots.txt zusammen. Solche Programme sind z.B. E-Mail-Harvester, Spambots, Malware und Crawler, die nach Sicherheitslücken scannen.
« Back to Glossary Index