Robots.txt

Pixelgrafik

Mit der Datei robots.txt, die auf jedem Server im Rootverzeichnis liegen sollte, kann den Search Bots die Indizierung bestimmter Dateien oder Verzeichnisse "untersagt" werden. Fast alle halten sich daran. Nach manchen Untersuchungen soll der Traffic, der von Robots im Netz verursacht wird, bis zu 7% des gesamten Netzverkehrs ausmachen.

Mit Hilfe eines robots-txt-Generators kann man eine Textdatei erstellen, welche die Information für den Spider enthält, welche Verzeichnisse indiziert werden sollen und welche nicht.