Re: Stopwortliste

["Dr. Joachim Meier" <Joachim.Meier _at__ ptb.de>]

Lieber Herr Fricke,

mit einer von Ihnen gewünschten universellen Stoppwortliste werden
Sie sich und Ihren Kunden keinen Gefallen tun.

Wenn Sie ein gutes IR-System einsetzen, spielt das Datenvolumen (fast
) keine Rolle bei der Retrievalzeit. Bei einem guten IR-System können
Sie für jede Kategorie (Feld) eine eigene, spezifisch angepaßte
Stoppwortliste angeben. Falls Sie für den Basic Index
(typisch werden dort alle Textfelder, außer Thesaurus-Termen und
Klassifikationsbezeichnungen, indiziert) eine dem Themengebiet
angepaßte Stoppwortliste erzeugen wollen, so analysieren Sie doch die
Häufigkeit der einzelnen Indexbegriffe. Dann  sehen Sie gleich wo und
was Sie sparen, wenn Sie einzelne Wörter als Stoppworte definieren.
Und sie merken, wo Sie womöglich sinntragende Worte (vormals) blind
eliminiert hätten.

Bitte beachten Sie auch, daß bei Vorhandensein einer Stoppwortliste
beim Indexierungsprozeß jedes Wort mit der Stopwortliste verglichen
wird. Bei einer langen Stoppwortliste wird das den
Indexierungsvorgang ganz schon verlängern. Erst recht lange
dauern wird es, falls Sie ein großes Textvolumen haben. Machen
Sie doch  vorab Vergleichstests an einer repräsentativen aber nicht
zu großen Datenmenge: einen Indexierungslauf mit, einen ohne
Stoppwortliste.

Gruß
JM


> From:          Jens Fricke <jfricke _at__ dialup.nacamar.de>
> To:            Internet in Bibliotheken <INETBIB _at__ ub.uni-dortmund.de>
> Subject:       Stopwortliste
> Date:          Wed, 01 Sep 1999 10:11:06 +0200
> Reply-to:      Internet in Bibliotheken <INETBIB _at__ ub.uni-dortmund.de>

> Sehr geehrte Damen und Herren,
>
> da ich bislang sehr wertvolle Informationen aus dem Abo dieser Liste
> erhalten habe,
> wende ich mich nun selbst mit einer Bitte an Sie. Vielleicht kann mir
> jemand weiterhelfen:
>
> Für ein Projekt, in dem sehr umfangreiche Textmengen für die
> Volltext-Recherche zu indizieren sind, suche ich eine möglichst
> umfangreiche deutsche Stopwortliste. In Frage käme zum Beispiel eine
> Liste aller deutscher Verben oder etwas ähnliches. Das Format spielt
> keine Rolle.
>
> Gibt es für entsprechende Wortlisten evtl. freie oder kommerzielle
> Quellen oder auch nur Erfahrungen in der möglichst automatisierten
> Erstellung solcher Wortlisten?
>
> Mit freundlichen Grüßen aus Frankfurt/M.
>
> Jens Fricke
>
>
> --
>
>
> ****************************
> Jens Fricke
> EDV-Berater
> Auerfeldstrasse 17
> 60389 Frankfurt
>
> fon: +49(0)173 31 32 714
> fax: +49(0)69 47 88 56 63
> mailto:fricke _at__ jensfricke.de
> http://www.jensfricke.de
> ****************************
>

*   Dr.-Ing. Joachim E. Meier
*   Physikalisch-Technische Bundesanstalt (PTB) (http://www.ptb.de)
*   Ref. Q.11    PF 3345    Tel. +49-531-592-8131
*   D-38023 Braunschweig    Fax. +49-531-592-8137
*   GERMANY                 E-mail: Joachim.Meier _at__ ptb.de