Re: Problem mit Google

["Sascha Carlin" <sc@xxxxxxxx>]

Jörg Prante said:
> 1. Der Server www.augustana.de besitzt die IP 80.67.17.37
> Die Google-Indexierung geht über die IP-Nummer. Unter http://80.67.17.37/
> erscheint jedoch im Browser die Meldung "404 Not Found". Wenden Sie sich an
> Ihren Provider, um diese Einstellung zu korrigieren.

Wenn es so laufen sollte wie Sie sagen, wäre keine einzige Website, die in
einem Shared Hosting Environment liegt, sprich sich eine IP mit vielen
andere Websites teilt, in Google aufgenommen.

Da dies offensichtlich aber so ist, muss ich Sie falsch verstanden haben
oder Sie etwas durcheinander bringen.

> 2. Sie haben leider keine Datei http://www.augustana.de/robots.txt angelegt.
> Diese sollte zumindest die Zeile "User-agent: googlebot" enthalten, oder
> aber
> "User-agent: *" für alle Suchmaschinen. Google verhält sich höflich und
> indexiert nicht, falls Sie über die Datei robots.txt den Zugang sperren.

Ist keine robots.txt vorhanden, gilt das als Vorabfreigabe, alles zu spidern
- wobei natürlich Meta-Tags in einzelnen Seiten weiterhin beachtet werden.
Im Übrigen ist ist Ihr Beispiel fehlerhaft. Es müsste

User-agent: *
Disallow:

heißen. Die robots.txt dient nicht dazu, Suchmaschinen ein-, sondern
auszuladen.

Gruß, Sascha Carlin

-- 
Sascha Carlin
website: http://www.itst.org/
blog:    http://www.itst.org/web/
mailto:  sc@xxxxxxxx
gpg:     http://www.itst.org/sc_at_itst_dot_net.asc