Re: Uebereifer bei AOL und MSN? Suchrobots aussperren

["Bernhard Eversberg" <ev _at__ buch.biblio.etc.tu-bs.de>]

On 13 Jun 02, at 12:34, Beate Otteni wrote:

>
> Manche Robots kommen - aus unbekannten Gründen - mit robots.txt Dateien nicht
> klar, die größer als 1 kB sind.
Das ist nicht der Fall.

> Hin und wieder kommt es vor, dass Robots "durchdrehen" und eine Site häufig und
> mit hoher Bandbreite scannen. Wenn Sie dies merken, zum Beispiel anhand der
> Logfiles, dann sperren Sie ihn mittels robots.txt einfach aus. Und dann hoffen
> sie, dass der Robot diese Anweisung dann auch befolgt ... Quelle: Die Suchfibel
>
Es steht ausdruecklich drin:
User-agent: *
...
d.h. alle, auch MSN und AOL, sollen die nachfolgenden Verzeichnisse nicht
auswerten. Sie tun's aber.

B.E.


Bernhard Eversberg
Universitaetsbibliothek, Postf. 3329,
D-38023 Braunschweig, Germany
Tel.  +49 531 391-5026 , -5011 , FAX  -5836
e-mail  B.Eversberg _at__ tu-bs.de