Re: Volltextserver für Psychologische Liter atur

[Michael Jost <jo _at__ zblmath.FIZ-Karlsruhe.DE>]

>  Lothar Kalok <Lothar.Kalok _at__ ub.uni-giessen.de> wrote:

> > Auch hier etwas Wasser in den Wein: auf der Seite
> >  http://xxx.uni-augsburg.de/RobotsBeware.html
> > wehrt sich das Archiv gegen die Indexierung durch
> > Suchmaschinen.

> > Bei einer Google-Suche wird man dennoch fuendig, z.B.
> > http://arxiv.org/abs/physics/0212042
> > allerdings findet man nicht alles, was man bei direkter
> > Suche
> > im Archiv finden kann. Leider habe ich nicht die Zeit,
> > dies
> > genauer zu untersuchen.


Die "robots.txt" von arxive.org erlaubt Google's Roboter
(und nur diesem) ausdrücklich den Zugriff auf gewisse
Unterverzeichnisse (6 von ca 40).
(Der Augsburger Spiegelserver hingegen nicht.)
Das erklärt, warum arxiv-Dokumente in Google zu finden sind.

Offensichtlich kommt Google mit dem Indexieren der dort
abgelegten Dokumente ("millions of distinct URL's that lead
to gigabytes of data") aber nicht nach, so dass man in Google
nicht alles findet.

Das ist ein gutes Beispiel für die nötige besondere Versicht bei
der Verwendung von allgemeinen Suchmaschinen wie Google.

Herr Eversberg hatte ja zuvor hier auch schon über seine
diesbezüglichen Erfahrungen mit Google berichtet; nun ist
arxiv (bei allem Respekt, Herr Eversberg) sicherlich "bedeutender"
als die Sammlungen in BS, und selbst da schafft es Google nicht...



Beste Grüsse,
 - Michael Jost