Robots.txt Standard

Zu jeder Website gehört eine robots.txt Datei, die Bots den Weg weist. Zugriffe auf die ganze Seite bzw. einzelne Dateien und Unterordner  können gesperrt werden. Robots.txt folgt einem Standard (Robot Exclusion Standard). Die bekannten Suchmaschinen rufen diese Datei ab und folgen den Anweisungen.

Bad Bots ignorieren diese  Regeln allerdings. Daher sperrt man diese auch besser direkt über die .htaccess aus.

Bots den Zugriff komplett verweigern:

User-agent: *
Disallow: /

 

 

Bestimmten Bot sperren e.g.:

User-agent: CazoodleBot
Disallow: /

Die Datei  robots.txt befindet sich im Root, wo sich auch die index.html  der Webseite befindet und kann normalerweise  von jedem gelesen werden.Über eine Anweisung in der .htaccess kann das Auslesen via Browser gestoppt werden.Aber wozu dieses Vorgehen tatsächlich gut sein soll, ist eher fraglich, wenn man nichts zu verbergen hat.

Auch wenn es keine Anweisungen in der  robots.txt gibt, macht es dennoch Sinn eine solche Datei  zu erstellen und auf den Server zu laden, damit 404 Fehler in den Logdateien vermieden werden.

Ein Robots.txt Check wird von verschiedenen Seiten angeboten.  Es ist auf jeden Fall empfehlenswert, die Datei zu überprüfen, um Fehler zu vermeiden..