Suchmaschinen aussperren mit der Datei robots.txt
In dieser Datei können Betreiber von Websites angeben, welcher Such-Robot welche Verzeichnisse auslesen darf und welcher was nicht lesen darf. Die Datei enthält also Anweisungen für Robots von Suchmaschinen. Die überwiegende Mehrheit der Suchmaschinen-Robots befolgt diese.
Beim nächsten Besuch des Suchmaschinenroboters werden Änderungen in den Index übernommen oder die Seite entfernt - meist nach einigen Wochen.
Zwar lässt sich auch in einzelnen HTML-Dateien mit Hilfe des Robots Meta-Tag für Suchprogramme das Auslesen erlauben bzw. verbieten. Doch das betrifft nur die jeweilige HTML-Datei und maximal alle weiteren, durch Verweise erreichbaren Dateien.
In einer zentralen robots.txt können Sie dagegen unabhängig von der Datei- und Verweisstruktur Ihres Web-Projekts festlegen, welche Verzeichnisse und Verzeichnisbäume ausgelesen werden dürfen, und welche nicht.
Wie erstellt man die Datei robots.txt?
- Verwenden Sie z.B. einen Texteditor wie Notepad, Textpad oder Wordpad. Auch mit Word lassen sich Textdateien erzeugen. Wichtig ist, dass Sie bei "Speichern unter" den Dateityp "Nur Text *.txt" oder "Textdatei *.txt" wählen.
- Speichern Sie die Datei unter robots.txt ab. Beachten Sie die Kleinschreibung!
- Um Ihre Website aus Suchmaschinen zu entfernen und alle Robots daran zu hindern, sie künftig zu crawlen, fügen Sie folgende Angaben in diese Datei ein:
User-agent: *
Disallow: /
- Die Datei sollte im Stammverzeichnis Ihres Servers liegen, also z.B. unter http://www.ihredomain.de/robots.txt
Häufig ist es auch nur nötig, Teile der Website für Suchmaschinen zu sperren, z.B. Ihre Hochzeitsbilder.
- Dazu sperren Sie nur das jeweilige Verzeichnis, in dem sich die entsprechende Website bzw. Bilder befinden:
User-agent: *
Disallow: /hochzeitsbilder/
Weitere Informationen:
robotstxt.org/orig.html
Selfhtml
Praxistipp: Erstellen Sie Ihre robots.txt bequem per robots.txt-Generator
fueralles.de/Robots-text-Generator.html
meine-erste-homepage.com
Neu: Gemeinsame Regeln der großen Suchmaschinenbetreiber für die Datei robots.txt www.at-web.de
Es besteht allerdings keinerlei Garantie, dass sich Suchmaschinen an die Verbote in der robots.txt halten. Ordentlich programmierte Robots beachten die Datei, aber Robots, die mit bösen Absichten das Web durchsuchen, halten sich vermutlich nicht daran. Wenn Sie Informationen sicher vor allen Augen verstecken wollen, richten Sie z.B. einen Passwortschutz ein.
« Zurück |