Re: Neue EULER Suchmaschine

[Michael Jost <jo _at__ zblmath.FIZ-Karlsruhe.DE>]

Klaus Graf wrote:

> > [Wie das EULER Ranking funktionert...] Sagen wir (noch) nicht.
> > Ein solches Feature wurde zwar von mehreren (auch in dieser Liste) für
> > bibliographische Datenbanken immer wieder als wertvoll genannt,
> > ohne dass jedoch bisher unumstrittene Realisierungsmöglichkeiten aufgezeigt
> > wurden.
> > Wir ziehen es zur Zeit vor, unsere experimentelle Version unkommentiert
> > und unerklärt dem gefälligen Publikum zur Evaluation anzubieten, so daß
> > dessen Erwartungshorizont durch technischen Voraberklärungen nicht verbogen wird.
> > Der gemeine Nutzer (der nicht über INETBIB informiert wird) wird auch
> > gar nicht erst darauf hingewiesen.
> > Wenn das Resultat überzeugt, überlegen wir weiter...
> 
> Diese arrogante Haltung ueberzeugt ganz und gar nicht.

Tut mir leid, falls das arrogant klang, war jedenfalls nicht so gemeint.

Wenn wir jetzt schon das Verfahren (das in seiner jetzigen Form absolut nicht 
wasserdicht ist!) bekanntgeben wuerden, wuerde dies das Bild, das sich Evaluatoren 
von der Brauchbarkeit des Verfahrens machen, beeinflussen.
Der Evaluator nimmt dann nicht nur die Uebereinstimmung des Ranking-*Resultates* mit seinen
(oft wenig bewussten) eigenen Erwartungen und Relevanzkriterien in Bezug auf eine
konkrete Anfrage wahr, sondern vergleicht auch die abstrakte Ranking-*Methode* 
mit seinen eigenen (oft wenig bewussten) allgemeinen Vorstellungen ueber Relevanz
von Literatur.
Dies wuerde das Ergebnis der Evaluation verfaelschen, deren Sinn es nicht ist, ein
Bild ueber allgemeine Vorstellungen von Relevanz zu gewinnen (so schoen es waere,
so etwas zu haben - aber das ist nicht unser Projektziel), sondern die
Nutzerzufriedenheit mit einer speziellen Art von Sortierung der Trefferlisten
in einer speziellen Suchmaschine zu ermitteln.
Bei vielen Arten von Tests ist es so, dass die Testpersonen ueber gewisse Fakten
im Dunkeln gelassen werden (muessen). Das hat aber nichts mit Arroganz zu tun,
sondern ist eine methodische Notwendigkeit.

Arrogant ist hoechstens, dass *wir* die Bedingungen des Tests festlegen 
und nicht Sie, Herr Graf.

Beste Gruesse,
 - Michael Jost


-- 
Michael Jost
Fachinformationszentrum  Karlsruhe
 - Zentralblatt MATH
Franklinstr. 11
D-10587 Berlin

jo _at__ zblmath.fiz-karlsruhe.de
Tel (49)(30) 3923000, Fax (49)(30) 3927009