Probleme mit dem Peer Review – bessere Veröffentlichungspraxis
Mittlerweile mehren sich die kritischen Stimmen. Mal ein konstruktiver Gegenvorschlag von mir.
(Die Meldung ist auch schon etwas älter, aber ich war die letzten Tage sehr beschäftigt und meine Blog-Themen sind etwas liegen geblieben…)
Auf Heise ist ein sehr lesenswerter Artikel über Kritik an der und Verbesserungsvorschläge für die völlig veraltete Publikationspraxis, die sich eigentlich noch an den technischen Gegebenheiten des 19. Jahrhunderts orientiert.
Sehr lesenswert ist auch dieser Aufsatz darüber (gefunden in Fefes Blog), daß die Veröffentlichungspraxis selbst ein Hauptproblem und die Ursache für viele grobe wissenschaftliche Fehler ist. Oder anders gesagt: Wissenschaft und die bestehende Veröffentlichungspraxis sind miteinander unvereinbar. Und da wir die Veröffentlichungspraxis nun einmal haben, ist eben die Wissenschaft weg. (Es gibt ja in verschiedenen Bereichen inzwischen schon Journale, die nur noch das veröffentlichen, was zuvor nachweislich irgendwo anders abgelehnt wurde, und die sind meistens besser als die anderen.)
Mein Vorschlag für eine (mehr oder weniger radikale) Änderung der Veröffentlichungspraxis wäre:
- Verlage und papierbasierte Hauptveröffentlichungen komplett abschaffen.
- Peer Review usw. nur noch bei resourcenbegrenzten Veranstaltungen, wie Konferenzen
- Striktes Prinzip der Selbstveröffentlichung: Es darf nicht sein, daß ein Wissenschaftler seine Veröffentlichung nicht rauskriegt, weil irgendein korruptes oder dämliches Gremium zu lange braucht oder er mehrere Versuche braucht, bis es endlich jemand frißt.
- Dazu sollte es an jeder Uni oder Institut einen Server geben, auf dem Veröffentlichungen publiziert werden (einheitliches Format wie z. B. PDF A4), und die – ähnlich wie News-Server – miteinander vernetzt sind und entweder ganze Papers oder nur die Verzeichnis und Abstracts kopieren. Das sollte dann so sein, daß dadurch gewisse Sicherheit erreicht wird.
Beispielsweise sollten die Server, die von einem Paper Kenntnis erhalten, über dessen Hash Zeitstempel usw. bilden, damit man nicht behaupten kann, das Paper wäre schon früher da gewesen (um nicht rückzudatieren). Bockmist-Papers oder Plagiate sollten nicht rückstandsfrei rückzuziehen sein. Das wiederholte Aufkochen derselben Inhalte sollte nachweisbar sein. Auch prophylaktische Alternativ-Papers (jede mögliche Variante wird beschrieben und dann später die, die sich als richtig herausstellt, herausgezogen, um Sachkunde vorzutäuschen) sollten nicht unerkannt möglich sein. Außerdem natürlich eine saftige Redundanz gegen Verlust, Sabotage usw. Und ein ordentlicher Suchindex, damit man Plagiate schneller finden kann.
Authentizität bezüglich der Autoren oder zumindest des Ursprungsservers muß freilich sein, damit Papers nicht gefälscht werden können (damit man nicht irgendwem ein absichtlich schlechtes Paper unterschieben oder sich bekannte Autoren auf eigene Papers ziehen kann).
Und dann eben das Grundprinzip, daß nicht wie bisher erst bewertet und dann veröffentlicht, sondern umgekehrt erst veröffentlicht und dann bewertet wird, daß also die Bewertung nicht den Zeitpunkt der Veröffentlichung beeinflussen kann.
- Keine teuren Journale, alles kostenlos verfügbar. Was nicht kostenlos für alle öffentlich zugänglich ist, gilt nicht mehr als „veröffentlicht”. Sagt ja schon das Wort.
- Das führt natürlich dazu, daß da auch unglaublich viel Mist publiziert wird. Jeder Spinner, jeder Scharlatan, jeder Lobbyist, jeder Hokus-Pokus-Fuzzi wird publizieren, was ihm in den Sinn kommt.
Dann aber, wenn es bereits veröffentlicht ist, kann man es zur so etwas wie einem „Peer Review” einreichen (oder die sich selbst die veröffentlichten Papers suchen), die dann so etwas wie einen Digest herausgeben. Oder was man bei Blogs einen „Planet” nennt. Also nicht die Erstveröffentlichung durchführen, sondern nur Referenzen, Leselisten, „Best of” herausgeben. Damit kann man, wenn man will, sein Lesen stets auf das beschränken, was andere für gut halten, wenn man so will. Man muß aber nicht. Vor allem können die Gremien den Zeitpunkt der Veröffentlichung nicht mehr manipulieren.
Und sie müssen sich mehr Mühe geben. Denn wen sich zeigt, daß es gute Papers gab, die nicht in die Liste aufgenommen wurden, verliert nicht mehr der Autor des Papers, sondern die Reviewer an Reputation. Die müßten sich dann wirklich anstrengen, wenn sie Leser haben wollen.
Damit kann im Prinzip jeder Herausgeber werden. Beispielsweise könnten Studenten auf lesbare und vorlesungsnützliche Papers verlinken.
- Und das wäre vermutlich weit billiger als das, was die Uni-Bibliotheken derzeit für Journals usw. ausgeben. Könnte (und sollte) man komplett alle abbestellen. Wer in einem teuren Journal publizieren will – bitte. Aber eine Veröffentlichung ist das dann nicht.
- Und wenn man dann einfach mal zu einem Paper sämtliche (!) Veröffentlichungen desselben Autors oder anderer Autoren zum gleichen Thema anzeigen kann, wird das auch viel transparenter.
- Und weil es dann eben auch viel Mist geben wird (beispielsweise werden Kreationisten und Leute, die an Geister glauben, jede Menge Zeugs schreiben), jeder so seine eigene persönliche Blacklist bzw. seine Scores bezüglich Autoren, Institutionen, Stichworten, Themen bilden, anhand derer die Suchergebnisse gefiltert und sortiert werden.
- Da Universitäten in der Regel eigene Rechenzentren haben, wäre so ein Server kein Problem. Für kleinere Institutionen, selbst für Privatforscher, müßte ein kleinerer Server (PC, Terabyte-Platten, gewöhnlicher Internet-Anschluß) ausreichen, sofern er regelbasiert nur Papers und Verzeichnisse runterlädt, die gewissen Regeln entsprechen. So wie man das früher auch im Usenet gemacht hat.
Zur Not kann man ein Gebührenmodell in Form einer geringen Gebühr für das Veröffentlichen einführen, etwa wenn jede Veröffentlichungen den Autor (!) z. B. 2 Euro kostet.
Das wäre mein Vorschlag.
Nachtrag: Ich vergas zu erwähnen: Eine Kommentarfunktion im Stil des Usenet wäre auch nicht schlecht.
11 Kommentare (RSS-Feed)
An den Betreiber des jeweiligen Knotens. Könnte auch eine Landesbibliothek oder sowas sein. Oder der Universitätsverband eines Bundeslandes.
Bitte alles mit PGP signieren 😉
Sollte ja kein Problem sein …
Ein Problem ist es nicht. Aber viel nutzen tut’s dann auch nicht.
Erstens ist PGP nicht rechtsverbindlich. Zweitens löst es die allermeisten Probleme hier nicht (Zeitstempel, Verfügbarkeit, Nicht wieder löschen können usw.) nicht.
Wie so oft: Irgendwelches Krypto reinrühren hilft halt nicht immer.
Distributiv ist definitv keine schlechte Idee, bei Versionsverwaltungen empfinde ich das auch deutlich angenehmer.
Vor allem kann man sich dann deutlich schneller eine kleine Bibliothek zusammenstellen. Ich habe vor einiger Zeit mal 400 Artikel im PDF heruntergeladen, im PubMed waren teilweise Verlinkungen zu den Journalen, das war eine Heidenarbeit …
Konstruktive Vorschläge um das Publikationswesen zu verbessern sind generell wünschenswert. Ich finde die obigen (radikalen!) Ideen interessant, gerade der Ansatz zu mehr ‘open access’ wäre sehr wünschenswert. Natürlich gäbe es auch ein paar Probleme, gerade auch weil dann auch wie oben erwähnt wohl viel (bzw. noch viel mehr) Mist ungeprüft veröffentlicht wird. Das schwierigste scheint mir aber zu sein wie man die Qualität/Wert eines papers wirklich sinnvoll würde definieren können. Bei Berufungen ist die Anzahl Publikationen in ‘high-impact-journals’ ein wichtiges Kriterium (leider scheint es sogar je länger desto mehr DAS Kriterium zu werden). Auch wenn diese Entwicklung nicht ideal ist so ist es doch eine relativ klar messbare grösse (Kandidat X hat dann N papers davon B high-impact, während Kandidat Y nur M hat dafür aber C high-impact etc.). Das heisst dann, dass die Berufungskommision gut begründen muss wieso sie einen Kanditaten mit ‘schlechteren’ Publikationen bevorzugt. Beim oben vorgeschlagenen Modell liesse sich die Qualität eines papers nicht mehr so klar definieren (man kann nicht von einer Berufungskommision erwarten, dass sie die (z.T. wohl unnützen) Kommentare zu sämtlichen Publikationen lesen/verstehen würde) was viel mehr Spielraum für Mauscheleien geben würde. Genau diese Mauscheleien sollten ja aber eingeschränkt werden.
@Matias: Um den “Impact Factor” ist es nicht schade, der ist für
eine solche Beurteilung sowieso nicht geeignet. Es wird nämlich nicht
die Wirkung von Veröffentlichungen gemessen, sondern die Wirkung von
Zeitschriften, und selbst die nur fehlerhaft.
Wie man z.B. in Kommentar nachlesen kann,
werden für die Berechnung erst einmal nur die Zeitschriften erfasst,
die vom “Institute for Scientific Information” (ISI) in ihrem
“Science Citation Index” erfasst werden. Für eine solche ISI Zeitschrift X
berechnet man den Impact Factor für das Jahr n als den Quotienten
Zahl der Verweise aus Artikeln des Jahres n in ISI Zeitschriften
auf Artikel der Jahre n-1 und n-2 in der Zeitschrift X
IF(X,n) = ——————————————————————
Zahl der Artikel der Jahre n-1 und n-2 in der Zeitschrift X
Das ist natürlich in mehrfacher Hinsicht Unfug. Ganz abgesehen davon,
dass Verweise aus Bücher, Dissertationen etc. ganz unter den Tisch
fallen, ist auch die Auswahl der erfassten Zeitschriften vollkommen
willkürlich. Man beachte, dass diese Auswahl zweimal Wirkung zeigt:
zum einem wird für viele Zeitschriften gar kein Impact Factor berechnet,
aber auch Verweise auf Artikel in einer ISI Zeitschrift tragen zur
Berechnung nichts bei, wenn sie nicht ebenfalls von einer ISI Zeitschrift
herkommen.
Wenn es wichtiger ist, _wo_ etwas veröffentlicht wird als _was_
veröffentlicht wird, lädt das geradezu zu Korruption und
Günstlingswirtschaft ein, und verstärkt natürlich die Verlegermacht.
Zudem ist die Auswahl der Zeitfenster in der obigen Berechnung willkürlich
und wird vielen Disziplinen nicht gerecht, in denen es eben schon ein wenig
dauert, bis ein Resultat steht und veröffentlichungsreif ist, wobei
ja auch noch die Zeit bis zur Veröffentlichung selbst einen Verweis
aus dem Zeitfenster schiebt. Ich hab’ da z.B. einen Artikel von 2009
in einer Zeitschrift, die womöglich von ISI erfasst ist. Insgesamt
habe ich 18 Verweise. Davon sind 7 Bücher, die also schon einmal
wegfallen. Von den verbliebenden 11 Veröffentlichungen ist genau eine
von 2007, also noch im Zeitfenster. Aber 2007 war sie noch ein Preprint
im arXiv und als solches habe ich es natürlich auch zitiert. Diese
Arbeit ist dann 2009 als Artikel in der gleichen(!) Zeitschrift erschienen,
aber dies hat keinerlei Auswirkungen auf den Impact Factor.
Zu diesen willkürlichen Wahlen liefert auch diese Diskussion eine
unterhaltsame Lektüre.
Weiterhin bevorzugt die obige Berechnung Zeitschriften mit wenigen langen
Artikeln gegenüber solchen mit vielen kürzeren Artikeln. Einen fachlichen
Grund kann ich dafür nicht erkennen.
Der wesentliche Punkt ist aber schließlich, dass der Impact Factor
_absolut_nichts_ über die Wirkung eines Artikel aussagt, sondern
lediglich etwas über die _durschnittliche_ Wirkung der in einer
Zeitschrift publizierten Artikel, und die Variation kann durchaus
beträchtlich sein. Zur Beurteilung der Publikationen von Bewerbern
ist er völlig ungeeignet.
Moin,
ich kann deinen Thesen im Großen und Ganzen zustimmen und bin überzeugt, dass die Zukunft des wissenschaftlichen Veröffentlichens zumindest ansatzweise in dieser Richtung liegt.
Allerdings erzeugst du mit einem offenen Publishing-System zwei Probleme:
1. Qualitätskontrolle wird noch schwieriger bis unmöglich. Wie soll die Qualitätskontrolle statt durch die hohen Zirkel der Wissenschaft geschehen?
2. Wie schaffst du Übersicht und Struktur? In vielen Forschungsbereichen hast du jeden Monat schon jetzt eine solch unüberblickbare Masse an Veröffentlichungen, selbst zu spezifischen Themen. Wie sollen die Informationen hier effizient statt durch Journals organisiert werden?
Was ich damit sagen will: Die bisherigen Mechanismen sorgen wenigstens für eine gewisse Selektion und Organisation, auch wenn sie deutlich suboptimal sein mögen.
Hier gilt aber meiner Meinung nach der Grundsatz der Verhältnismäßigkeit – lieber suboptimale Selektion und Organisation und damit suboptimale Zugänglichkeit zu Informationen statt Freiheit für alle, Daten ohne Ende und keinerlei Information.
Weiterhin sollte man akzeptieren, dass auch die scheinbar rationale Wissensgesellschaft eine archaische, bisweilen irrationale Sozialstruktur bleibt und immer bleiben wird. Daher wird man gewisse Tendenzen wie Sozialisation/Gleichmachung, Cliquenbildung und Recht des Stärkeren (gemäß Hierarchie) wohl höchsten entgegenwirken, sie aber nie komplett eliminieren können. An der Realität Mensch kommt man nicht vorbei – auch nicht mit einem offenen Veröffentlichungssystem.
Würde mich über konkrete Gedanken zu den oben gestellten Fragen freuen, bin nämlich an einem ähnlichen Thema dran.
Beste Grüße,
Martin
Ideen hätte ich da schon einige.
Kommt mir jetzt aber so vor, als soll ich da jemandem, der anonym auftaucht, als Ideengeber dienen. Das fände ich jetzt nicht so toll.
Moin,
der Verdacht ist natürlich berechtigt.
Allerdings ist dein Blog ja an sich als Ideengeber und “Reflektor” gedacht, oder?
Ich bin bloß, wie gesagt, an der Thematik konkret interessiert und wollte mich schon seit längerem mal mit einem Informatiker darüber austauschen, da ich von den technisch-theoretischen Aspekten keine Ahnung hab.
Also wie du magst. Anonymität kann bei Interesse aufgehoben werden.
Beste Grüße,
Martin
@Hardmut: Zu Deinem 4. Kritikpunkt: In der Physik ist http://arxiv.org doch schon sehr nah an so einem Online-System dran. ArXiv ist genau so ein verteiltes System, dessen Mirrors von diversen Universitäten betrieben wird.
“Zur Not kann man ein Gebührenmodell in Form einer geringen Gebühr für das Veröffentlichen einführen, etwa wenn jede Veröffentlichungen den Autor (!) z. B. 2 Euro kostet.”
Die an wen gezahlt werden? Weil Du schlägst ja auch Peerings vor …