Robots.txt

Robots.txt ist eine Textdatei. Mit dem Eintragen dieser Textdatei ist es möglich, den Spider davon abzuhalten, ausgewählte Unterseiten, Ordner oder Dateien einzusehen und damit Aufnahme in den Datenbestand der Suchmaschinen zu verhindern. Ist der Spider der Suchmaschine seriös, was bei den großen Suchmaschinen der Fall ist, wird er dieser Anweisung Folge leisten. Wer eine Webseite hat, die in gar keinem Fall indexiert werden soll, muss das Verzeichnis in jedem Fall mit einem Passwort schützen. Mit Hilfe der IP bzw. des Agent Namen des Spiders kann der Webmaster erkennen, welche Spider nicht der Vorgabe folgen bzw. sich nicht an diese halten wollen. Vom Zugriff auf die Webseite können die Spider, die sich nicht an die Vorgabe halten, über die Htaccess-Datei abgehalten werden. Sind Robots auf der Suche nach Seiten für Spam-Zwecke, so werden diese sich nicht an die Vorgabe halten.