Re: Volltextserver für Psychologische Liter atur

[Michael Jost <jo _at__ zblmath.FIZ-Karlsruhe.DE>]

Klaus Graf wrote:

> > Auch hier etwas Wasser in den Wein: auf der Seite
> >  http://xxx.uni-augsburg.de/RobotsBeware.html
> > wehrt sich das Archiv gegen die Indexierung durch
> > Suchmaschinen.
>
>
> Das ist absolut unverstaendlich.


Keineswegs. Auf der angegebenen Seite finden sich auch
Begründungen, die ich für absolut nachvollziehbar halte:

"Very few of these ... would ever dream of downloading entire
databases via anonymous ftp, but for some reason conceptualize
www sites as somehow associated only to small and limited
databases. This mentality must change --- large databases
such as this one [which has millions of distinct URL's that
lead to gigabytes of data] are likely to grow ever more
commonly exported via www."

Man hält sich dort an den anerkannten "robots exclusion standard"
(robots.txt), wie viele andere verständlicherweise auch, damit die
Leitungen nicht verstopft werden und die Belastung der Server
sich in Grenzen hält. Die obige Behaupting, der Server hätte "millions
of distinct URL's" halte ich für arg untertrieben (wurde wohl vor
längerer Zeit geschrieben).

Für bibliothekarisch Interessierte sollte folgende Bemerkung
nachvollziehbar sein:
"Presumably you neither would be terribly thrilled if every aspiring
encyclopedia editor were to send a gang of blind 600 lb gorillas to
your library, armed with a photocopy machine."

Nachdem auf der genannten Seite die "robots exclusion" begründet
wurde, ist dort zu lesen:
"If some specific application requires relaxation of the above
guidelines, contact www-admin _at__ arXiv.org in advance of any attempted
download."

Beste Grüsse,
 - Michael Jost