Re: Uebereifer bei AOL und MSN? Suchrobots

[Beate Otteni <beate.otteni _at__ hwwa.de>]

> Es steht ausdruecklich drin:
> User-agent: *
> ...
> d.h. alle, auch MSN und AOL, sollen die nachfolgenden Verzeichnisse nicht
> auswerten. Sie tun's aber.

Daß Suchrobots sich an gesperrten Dateien auf Servern vergreifen, scheint momentan
ein generelles Problem zu sein:
Heise-Meldung vom  11.03.02 zum Google-Robot

Google hat zu Meldungen Stellung genommen, in denen berichtet wurde, dass die
Suchmaschine gegen Web-Standards verstoße. Der Suchmaschinen-Spezialist Klaus
Schallhorn hatte festgestellt, dass Google auch Seiten von sicheren Servern
indiziert, die das Protokoll HTTPS zur Übertragung benutzen. Dabei ignorierte Google
entgegen der eigenen Indizierungsrichtlinie die Datei robots.txt, mit der Webmaster
Suchmaschinen-Robots anweisen können, bestimmte Bereiche der Site zu besuchen
beziehungsweise nicht zu berücksichtigen.
...
Bei der Umsetzung der neuen Funktion sei ein Fehler aufgetreten, durch den die Datei
robots.txt nicht berücksichtigt wurde. Google habe daher mittlerweile sämtliche
HTTPS-Seiten aus seinem Cache entfernt. Die aufgerüstete Version von Googles Crawler
soll robots.txt auch bei HTTPS-Seiten respektieren und noch innerhalb der nächsten 30
Tage zum Einsatz kommen. (jo/c't)

Kompletter Text zu finden unter:
www.heise.de/newsticker/result.xhtml?url=/newsticker/data/jo-11.03.02-000/default.shtml&words=Robots

Ich würde Ihnen vorschlagen, diesen Vorgang direkt an MSN und AOL zu melden.

--
Mit freundlichen Grüßen
Beate Otteni
Fremdsprachliche Dokumentarin

Hamburgisches Welt-Wirtschafts-Archiv (HWWA)
Zeitschriften-Dokumentation
Neuer Jungfernstieg 21
D-20347 Hamburg

Tel.: ++49 (0)40/42834-251
Mail: beate.otteni _at__ hwwa.de
Home: www.hwwa.de