[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [InetBib] peer review



Liebe Liste,

K. Schuldt hatte ja schon in LIBREAS (http://libreas.wordpress.com/2012/06/06/peer-review-eine-entscheidungsfrage-fur-kleine-zeitschriften/) gut fundiert gefragt, „warum das Peer Review-System weiter existiert, wenn es doch laut Kritik so ineffizient ist.“ Insofern ist die Frage von Frau Kubota nicht neu. Andererseits kann ich nur davor warnen, alles als „Unsinn“ zu bezeichnen, was man noch nicht verstanden hat. Im Prinzip wäre das Peer Reviewing hier auch eher off topic, wenn nicht Herr Deeg schon den Bogen zum Internet geschlagen hätte, und wenn die klassische Szientometrie (am SCI) nicht zur Altimetrie übergegangen wäre. Außerdem zeichnet sich schon längst ab, dass man mit Hilfe des Internets vom Pre Peer Reviewing zum Post Peer Reviewing wechseln konnte.

Die Bibiometrie und auch die Szientometrie (weil Wissen publiziert werden muss, wenn man daran ein Urheberrecht erwerben will) hatte schon immer das Problem, dass sie von Laien reihenweise fehlinterpretiert wurde.

Z.B. Viel zitiert bedeutet nicht hohe Qualität, sondern nur dass eine Arbeit bekannt ist, und damit auch oft umstritten. Dass Garfield trotzdem einen Zusammenhang zwischen Nobelpreisen und hohen Zitationsraten nachweisen konnte, liegt nur daran, dass man bei einem Nobelpreis bekannt genug sein und auch eine breite Kritik durchgestanden bzw. Bestätigung gefunden haben muss. Dahinter steht auch die Ortega Hypothese, bei der so viele Laien glauben, man könnte Wissenschaft auch nur mit einer kleinen geistigen Elite betreiben und auf die „Phalanx der drittklassigen WissenschaftlerInnen“ verzichten. Dass die Ausbreitung einer jeden neuen Theorie immer auch eine kritische Masse an Anhängern finden muss (s. Nobelpreise), wir dabei völlig übershen.

Die Laienhaftigkeit in der Szientometrie war so lange kein großes Problem, solange die meisten Menschen gar nicht wussten, dass es einen SCI gibt. Nun aber glaubt jeder mitreden zu können – auch ohne sich wirklich damit näher zu beschäftigen, bis in die Universitätsspitzen mit ihren Pseudorankings. Das beginnt schon damit, dass die meisten Rankings keine Fehlergrenzen angeben, und damit verschweigen, mit welcher Wahrscheinlichkeit sich jemand statt auf Platz 6 sich auch auf Platz 16 befinden könnte. Bekannt ist ja u.a. die Verwechslung der Ränge bei FU und HU vor einigen Jahren, weil sie beide aus einer Berliner Universität hervorgingen.

MfG
Walther Umstätter

Am 2013-08-07 09:39, schrieb Christoph Deeg:
Guten Morgen werte Damen und Herren,

ich finde die Fragestellung sehr interessant und sehe hier Parallelen zu
Social-Media-Strategien bzw. Digitalen Strategien.

Kurz zur Erklärung;

Auch in diesem Bereich geht es um Verlinkung und Reputation. Das
gegenseitige Verlinken ist quasi der erste Schritt. In vielen SEO- &
SIO-Strategien (Search-Engine-Optimation und Social-Impact-Optimation)
werden Themen und damit verbundene relevante Personen definiert und
entwickelt. Verlinkung ist relevant aber noch wichtiger ist die Interaktion
mit den Personen und Inhalten.  Dafür gibt es spezielle Scores und
Analysetools. Nun kann man Engagement auch durch negative Interaktionen
z.B. durch lokale und kontrollierte Shitstorms erzeugen. Deshalb werden
parallel qualitative Monitoring-Tools benutzt. Einige der Tools sind in der
Lage multilingual zu analysieren wobei sie auch die Emotionen der
Interagierenenden messen.

Ein ähnliches Modell stellt der Edge-Rank bei Facebook dar, der auf
rudimentäre Art und Weise Relevanz von Beiträgen durch Parameter wie
aktueller und potentieller Erfolg,  Aktualität und Nähe zur eigenen
Community misst.

Es gibt hier viele interessante Ansätze,  die in der Regel in einem
Social-Media-Command-Center zusammengefasst werden.

Dies alles ist zum jetzigen Zeitpunkt bei Ihrer Fragestellung sicherlich
nicht relevant und ich habe auch nur ein paar kleine Elemente
angesprochen.  Zudem funktioniert dies alles nicht bei geschlossenen
Systemen wie wir sie auch oft in Bibliotheken vorfinden aber ich kann mir
vorstellen,  dass man sich von diesen sehr erfolgreichen Ansätzen
inspirieren lassen kann.

Das Problem mit der Bereitschaft vieler in dieses Thema involvierten
Menschen,  hier einen Wandel herbeizuführen, lässt sich damit natürlich
nicht lösen.

Beste Grüße Christoph Deeg

gesendet von meinem Galaxy S3
Am 07.08.2013 09:07 schrieb "Annette Kustos" <
Annette.Kustos@xxxxxxxxxxxxxxxx>:

Guten Morgen Frau Kubota,
:-)
Im Mund Verbieten war ich noch nie gut... Allerdings esse ich auch nicht immer umbestellte Speisen auf... Bei dieser 2. Sprachdidaktikmail bin ich
bald geplatzt..und ganz doof ist, wenn Sie politisch nicht ganz
ungefährliche Begriffe den eigentlichen Themen beimischen. Man will
schließlich, sollte man mal angegriffen werden, wenigstens fuer etwas
aufgeknüpft werden, was man selber gesagt hat...und nicht durch die
lustigen Ontologien, die sich durch sowas bilden
Naja.
Bzgl Ihrer Bedenken zum Evaluierungswahn und den Bewertungsschemata als Anzeiger von Wissenschaft stimme ich Ihnen im Großen und Ganzen zu, auch
wenn sie nicht neu sind. Es wehren sich aber zu wenige, insbesondere
Professoren dagegen, möglicherweise, weil sie jetzt endlich oben angekommen sind in dem System. Man sehe sich mal neuere HGs an.. Das Berichteschreiben nimmt noch mehr zu. Andererseits brauchen Makrosysteme Steuerung und die
Politik Entscheidungshilfen.
Da haben sich aber Beratersysteme gebildet mit anderen Interessen... Es gibt schon Verwaltungen, die sich bibliometrischer Verfahren bestimmter Marktplayer bedienen um Forschungsevaluation zu betreiben. Diese Systeme sind ursprünglich durchaus zielfuehrend gewesen, heute sind das aber mehr
und mehr Marktbereiniger.
Als Bibliothek steht man da vor einem unlösbarem Problem. Man will den
Entscheidern, der Wissenschaft, solche Fachinformationsdienste bieten, aber
nicht blind an der Marktbereinigung teilnehmen, zumal sie bzgl.
Preisgestaltung dieser Anbieter uns selber trifft. Zudem sind es auch oft Kleinzeitschriften etc., in denen frisch gedacht wird.. Eine Wissenschaft,
die erst mal alle abstrusen Ideen eliminiert, macht sich zur leblosen
Maschine.

Da hilft insgesamt nur Open Access...ganz beharrlich vor sich hin....
Schoene Gruesse


Von meinem iPad gesendet

Am 07.08.2013 um 05:43 schrieb "Naomi Kubota" <
naomi.anne.kubota@xxxxxxxxxxxxxx>:

> Sehr geehrte Damen und Herren,
>
>
> was off-topic-Diskussionen betrifft: Wenn sich jemand von einer ganz
> bestimmten Person gestört fühlt, bestehen ja durchaus Möglichkeiten, den
> Spam-Filter entsprechend einzustellen.
> e
> Ich möchte die Frage von "peer review" und quantitativen Kriterien bei
der
> Beurteilung wissenschaftlicher Publikationen gerne prinzipiell
diskutieren.
>
> Was h-Faktoren und Zitierindices betrifft:
>
> Ich halte das für den größten Unsinn überhaupt. Z.B. in der Mathematik
sind
> wegen der quantitativen Erhebungen, wie oft welcher Artikel zitiert wird,
> sogenannte "Zitier-Kartelle" entstanden, mit anderen Worten: Zitierst Du
> mich, zitier ich dich. Für Laien nicht überprüfbar, da die das
> Fachchinesisch sowieso nicht verstehen, dürfte aber deutlich sein, daß
> wissenschaftlich ausgebildete MathematikerInnen von Statistik und
> quantitativen Erhebungen einige Ahnung haben... Mit solchen Kriterien
> sollen dann Karrieren entschieden werden.
>
> Was die "Rankings" von wissenschaftlichen Zeitschriften betrifft:
>
> Auch Unsinn. In der biologischen Forschung führt das z.B. dazu, daß eine
> Fachzeitschrift, die ein gutes Ranking haben möchte, im großen und ganzen
> solide Arbeit leistet, aber ab und zu einen Artikel publiziert, der
> ziemlicher Schwachsinn ist. Dann tritt die ganze Phalanx der
drittklassigen
> WissenschaftlerInnen an, um energisch gegen diesen Artikel in einem
> erstklassigen Journal Gegen-Artikel zu publizieren. Das sorgt zuverlässig
> dafür, daß die Fachzeitschrift sehr oft zitiert wird, damit steigt das
> Ranking - wegen eines Artikels, der zum "Fortschritt der Wissenschaften"
> wirklich gar nichts beiträgt.
>
> Auch GeisteswissenschaftlerInnen sind durchaus im Laufe der Zeit in der
> Lage, gute Copy-und-Paste-Techniken zu erlernen, damit aus einem Buch
> mehrere werden, die sich fast nur im Titel unterscheiden, jedenfalls so
gut
> wie gar nicht im Gehalt. Da sowieso niemand Zeit hat, die ganze Literatur
> durchzulesen, sieht die Bibliographie wunderbar lang aus, was vor allem
bei
> DFG-Bewerbungen sehr hilft (z.B. Beantragung von
> Sonderforschungsbereichen). Ich nenne diesen strukturellen Druck
> "Beschäftigungstherapie für ProfessorInnen". Als ob die nichts Besseres
zu
> tun hätten, vom Bäumevernichten zwecks Papierherstellung ganz zu
schweigen.
> Es nimmt auch unnötig Platz in den Bibliotheken weg. Die meisten wirklich
> wichtigen Bücher in den Geisteswissenschaften entstanden oft nach einer
> Forschungszeit von ca. 10 Jahren. Da wäre meine Devise: Mehr Lesen, mehr
> Denken und weniger Publizieren. Dann wird die Forschung besser, weil
> gehaltreicher.
>
> Zuletzt zu der Frage der peer review:
>
> In einem Gebiet, das klein genug ist, daß sich mehr oder weniger alle
> "wichtigen" Personen weltweit sowieso kennen, zumindest in Schriftform
und
> in bezug auf die Themen der Forschungspublikationen, ist die ganze Idee,
> ein Artikel werde nach "objektiven, wissenschaftlichen" Kriterien
> begutachtet, ziemlicher Humbug. Abgesehen von der Frage, daß natürlich
> Schulen entstehen und daß einem Artikel oder einer Beurteilung angesehen
> werden kann, aus welcher Schule das kommt (was ist dann
"wissenschaftliche
> Objektivität"?), ist es oft auch möglich, de facto herauszufinden, wer
den
> Artikel geschrieben hat. Telefonanrufe werden von den KollegInnen ja in
der
> Regel nicht aufgezeichnet, und ich kenne keinen Fall, wo jemand wegen
> solcher Fragen vor Gericht gegangen wäre. Daß solche peer reviews dann
der
> größeren Wissenschaftlichkeit verhelfen, wage ich zu bezweifeln.
>
> In der Regel ist es immer noch so, daß erfahrene, gestandene
> WissenschaftlerInnen gut beurteilen können, ob ein Artikel oder Buch eine
> gute Idee solide ausarbeitet oder nicht. Diese Beurteilerei mit
> vermeintlich anonymen Gutachten trägt zu dieser Frage rein gar nichts bei
> und hält eher ProfessorInnen mit ständigen Evaluationen beschäftigt,
statt
> daß die mal mehr lesen, nachdenken und gute Ideen entwickeln.
>
> (Auf vergleichbarer Ebene ist nur zu Bedauern, daß alle drei Jahre
> Cambridge Oxford evaluiert und alle drei Jahre Oxford Cambridge
evaluiert.
> Ein department verändert sich nicht so schnell, und die ständige
> Herumschreiberei an Gutachten hält die WissenschaftlerInnen eher davon
ab,
> ihre Zeit auch mal sinnvoll zu verwenden. Die kennen sich sowieso alle
> gegenseitig, die bloße Papierform, per Bürokratie dazu genötigt zu
werden,
> etwas darüber zu schreiben, daß auch die KollegInnen ihre Jobs behalten
> sollen, ist auf dem Misthaufen neoliberaler Theoriebildung gewachsen.
Gute
> wissenschaftliche Arbeit hat nichts mit marktwirtschaftlichen "Gesetzen"
zu
> tun.)
>
> Früher war es auch in Deutschland völlig üblich, daß einE HerausgeberIn
> einer Fachzeitschrift, der/die viele Forschungsjahre hinter sich hatte,
> Artikel auf Plausibilität und Form prüfte und dann entschied, ob das
> publiziert wird oder nicht. Der Ruf einer Zeitschrift ist in der Fachwelt
> langfristig gefestigt und bekannt, und auf Forschungsebene wissen früher
> oder später alle, an wen sie sich mit welcher Publikation/Frage zu wenden
> haben.
>
> Diese ganze Herumevaluiererei und Herumquantifiziererei hat keine
> Verbesserung wissenschaftlicher Forschung gebracht und gehört
abgeschafft.
>
> Herr Professor Dr. Heil von der BBAW (Althistoriker) kann da mehr Details
> erläutern.
>
> Übrigens gibt es z.B. in den USA zahlreiche Fälle, in denen nicht nur die
> DoktorandInnen eine tenure track-Stelle bekommen, bevor die Promotion
> publiziert ist (das ist der Normalfall), sondern auch bis zu zehn Jahre
an
> der Druckfassung feilen, bis sie als Buch herauskommt - oder auch gar
> nicht. Trotzdem bekommen die Leute tenure.
>
> Mit konstruktiven Grüßen
>
>
> Naomi Anne Kubota
> --
> http://www.inetbib.de

--
http://www.inetbib.de


--
http://www.inetbib.de

Listeninformationen unter http://www.inetbib.de.