[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: Sehr spezieller Offline Browser



Herr Schaarwaechter schrieb:

> Ich kann genauso auf einer Seite den Link
> http://www.altavista.de/cgi-
> bin/query?pg=q&what=web&kl=de&q=schaarwaechter
> unterbringen, das wuerde dann wahrscheinlich auch von den "Saug-
> Programmen" heruntergeladen (nicht probiert). 

Probiert. Ergebnis: Jein; die meisten Roboter sind "intelli-
gent", und unterlassen Aufrufe von festverdrahteten Datenbank-
abfragen soweit sie sie aus der URL erkennen koennen, aber
nicht alle. Habe wegen einem so einem Ding ein Robots.txt
schreiben muessen, wo jetzt explizit drin steht, dass Aufrufe
von Sachen in meinem cgi-Verzeichnis unerwuenscht sind.

   Mit freundlichen Gruessen

Heinrich C. Kuhn



+---------------------------------------------------------
|    Dr. Heinrich C. Kuhn
|    Seminar fuer Geistesgeschichte der Renaissance
|    Ludwig-Maximilians-Universitaet Muenchen
|    D-80539 Muenchen / Ludwigstr. 31/IV
|    T.: +49-89-2180 2018, F.: +49-89-2180 2907
+---------------------------------------------------------


Listeninformationen unter http://www.inetbib.de.