Uebereifer bei AOL und MSN? Suchrobots aussperren

[Beate Otteni <beate.otteni _at__ hwwa.de>]

Bernhard Eversberg schrieb:

> Hallo Liste,
>
> Ist es anderswo auch schon aufgefallen, dass die Spider von AOL und MSN die Datei
> robots.txt nicht mehr beachten? Bei uns jedenfalls ist es augenscheinlich so. Man
> findet anstandslos Dateien aus Verzeichnissen, die in der robots.txt stehen.
> Es ist wohl eh nur ein ungeschriebenes Gesetz, aber wir z.B. haben da Sachen zu
> liegen, deren Indexierung gar nicht sinnvoll ist, sondern tonnenweise Nieten in
> den Suchergebnissen liefert, wie z.B. Neuerwerbungs- und Zeitschriftenlisten.
>
> MfG B.E.
>
> Bernhard Eversberg

Hallo Herr Eversberg!
Falls Sie die Robots von AOL und MSN aussperren wollen, können Sie folgendermaßen
verfahren:

Manche Robots kommen - aus unbekannten Gründen - mit robots.txt Dateien nicht klar,
die
größer als 1 kB sind. Scheint ein Software Bug zu sein. Achten Sie deshalb darauf,
die
Unterverzeichnisse nicht allzu detailliert aufzuführen. Beschränken Sie sich im
Zweifelsfalle
darauf, ganze Verzeichnisbäume zu sperren oder lassen sie ausführliche Kommentare
weg.
Andernfalls kann es passieren, dass die gesamte Site ausgeschlossen wird.

Hin und wieder kommt es vor, dass Robots "durchdrehen" und eine Site häufig und mit
hoher
Bandbreite scannen. Wenn Sie dies merken, zum Beispiel anhand der Logfiles, dann
sperren
Sie ihn mittels robots.txt einfach aus. Und dann hoffen sie, dass der Robot diese
Anweisung
dann auch befolgt ...
Quelle: Die Suchfibel


--
Mit freundlichen Grüßen
Beate Otteni
Fremdsprachliche Dokumentarin

Hamburgisches Welt-Wirtschafts-Archiv (HWWA)
Zeitschriften-Dokumentation
Neuer Jungfernstieg 21
D-20347 Hamburg

Tel.: ++49 (0)40/42834-251
Mail: beate.otteni _at__ hwwa.de
Home: www.hwwa.de