Die Diskussion über Predatory Journals ist in vollem Gange. Jörn Loviscach schaltet sich ein und sagt: Es muss um Inhalte gehen!

Im Bereich der Bildungswissenschaften richten die Schein-Konferenzen und -Fachzeitschriften nach einer ersten Durchsicht auf Autorinnen und Autoren aus dem deutschsprachigen Raum keinen wissenschaftlichen Schaden an. Die Probleme liegen ganz woanders, zum Beispiel bei der Statistik.

Passend zur Saure-Gurke-Zeit bringen NDR, WDR und SZ ein in Fachkreisen schon lange mit Stirnrunzeln betrachtetes Phänomen auf die Titelseiten. Sie veranstalten dabei einen – in heutigen Zeiten gefährlichen – Rundumschlag gegen die Wissenschaft, indem sie nicht deutlich unterscheiden zwischen:

• Betrug mit absichtlich falschen Ergebnissen,
• Scheinwissenschaft,
• durch Schlamperei und/oder mangels Kontrolle falschen Ergebnissen,
• Betrug mit Spesenabrechnungen für Konferenzbesuche, die verkappte Weltreisen sind,
• Aufpolieren von Kennzahlen,
• notgedrungenem Publish or Perish,
• Naivität.

Die ersten drei Spielarten könnte man mit fake science, pseudo science bzw. junk science betiteln. Allerdings sind diese Bezeichnungen nicht scharf und werden als Kampfbegriffe auch genau umgekehrt verwendet.

Die Reportagen hätten obendrein erwähnen können, dass laut Nature auch der Wissenschaftsverlag Springer und der weltweite Ingenieurverband IEEE bis Anfang 2014 zusammen mindestens 120 computergenerierte Paper veröffentlicht haben – was auf eine Dunkelziffer an nicht-reviewten Veröffentlichungen schließen lässt, die um Größenordnungen darüber liegt. Ob da die probate Gegenmaßnahme sein kann, einen automatischen Filter zu installieren?

Im Netz spielt sich nun Interessantes ab: Auch Predatory Open Access ist Open Access; und so sieht man Analysen in Form von Open Science, zum Beispiel mit dem Ergebnis, dass die meisten Autorinnen und Autoren nur einmal hereingefallen zu sein scheinen. Auf Twitter „beglückwünscht“ der frisch gegründete Satire-Kanal @WorldAcademySET unter anderem deutsche Autorinnen und Autoren zu ihren WASET-Papern. Ob die echte WASET diesen Kanal bald schließen lassen oder aber übernehmen wird?

Adoptierte Kuckuckseier

Einige sehr wichtige Checks scheinen auch mit den offenen Papern schlecht automatisierbar: Sind auf den Arbeiten die korrekten Institutionen angegeben? Sind die korrekten Mitautoren angegeben? Es lässt sich nicht einmal ausschließen, dass jemand ein Paper unter fremden Namen veröffentlicht, um jemand anderen zu schaden. Diese Probleme sind allerdings nicht einmal in der nachträglichen Stellungnahme der Redaktionen erwähnt.

Allerdings erübrigen sich solche Checks fast, wenn die betroffenen Arbeiten sogar auf den Webseiten der Hochschulen gelistet werden. Ich konnte am 2. August 2018 noch locker ein Dutzend Publikationslisten an deutschen Universitäten finden, in denen „WASET“ als Veranstalter oder Verlag vorkommt. Auf den Seiten eines staatlich-österreichischen Forschungsinstituts posiert eine Forscherin mit einem Best-Paper-Award von WASET. Das ist überraschend, denn man sollte spätestens dann wissen, welches Spiel hier gespielt wird, wenn man die „Konferenz“ besucht hat – und eigentlich schon dann, wenn man zu seiner Einreichung keine Reviews bekommen hat.

Schwach, aber nicht unmöglich

Die Leserinnen und Leser aus den Bildungswissenschaften können ein wenig aufatmen: In den ersten 600 Suchergebnissen im Bereich „Educational and Pedagogical Sciences“ von WASET habe ich nur drei Beiträge aus dem deutschsprachigen Raum gefunden: eine akzeptable, wenn auch nicht bahnbrechende Literaturübersicht über Augmented Reality aus den Hause eines deutschen Automobilunternehmens und dann noch zwei kurze Abstracts aus der Schweiz zu Gender-Themen, beide bei derselben Konferenz – was ein lehrreiches Versehen gewesen sein mag, denn die Arbeiten tauchen nicht in für Google sichtbaren Publikationslisten auf.

Die OMICS-Webseite findet bei der Suche nach „Education“ 1007 Artikel. In den ersten 600 davon sind mir vier Arbeiten aus dem deutschsprachigen Raum aufgefallen. Eine davon hat nichts mit Bildung zu tun; die anderen drei befassen sich mit der Ausbildung in Medizin und Pflege. Diese drei sind inhaltlich und formal nicht katastrophal, hinterlassen aber von der Relevanz, den Fallzahlen bzw. der Methodik her den Eindruck, dass sie bei der Begutachtung in regulären Journals durchgefallen sind. Von diesen dreien tauchen zwei in Veröffentlichungslisten auf den Webseiten der jeweiligen Institutionen auf, eine von diesen beiden auch im Forschungsbericht der Universität – mit falsch geschriebenem, aber dennoch klar erkennbarem „OMICS“ im Verlagsnamen.

Zählen und Lesen

Die aktuelle Aufregung verdrängt das Wichtigste: Wo etwas veröffentlicht ist, ist Nebensache, insbesondere in Zeiten, in denen arXiv, SSRN, PsyArXiv und ihre Verwandten oder gar Selbsthilfemaßnahmen die Journals in den Hintergrund treten lassen. Die erste Frage muss vielmehr sein, was drinsteht. Wenn Journalistinnen und -Journalisten Publikationen bloß zählen, begehen sie denselben Fehler wie die Gutachterinnen und Gutachter, Hochschulleitungen und Ministerien, die Publikationen zählen, Impact Factors listen und den h-Index auf Google Scholar glauben. Aber wer hat heute noch Zeit zum Lesen?

In zu vielen „korrekt“ veröffentlichten Arbeiten zu Bildungsthemen steht wenig Sachdienliches oder sogar vermeidbar (!) Falsches. Es mangelt an Systematik und Vernetzung; und selbst aufwändige Studien sind von methodischen Problemen geplagt.

Mich treibt vor allem der unvorsichtige Umgang mit statistischen Methoden um, der in den Bildungswissenschaften gang und gäbe ist. Das fängt mathematisch banal bei Berichten über Vorkurse an, in denen Korrelation zur Kausalität mutiert: Dass die Studierenden, die teilgenommen haben, später besser abschneiden, führt Autorinnen und Autoren öfters zu der Aussage, dass der Vorkurs die Studierfähigkeit steigert. Allerdings lassen sie dabei gerne außer Acht, welche Studierenden überhaupt an einer solchen freiwilligen Veranstaltung teilnehmen und welche von diesen obendrein den Vorkurs abgebrochen haben.

Statistische Beschwörungsformeln

In der Psychologie – aber nicht in den Bildungswissenschaften – ist die Masse an unreplizierbaren Ergebnissen seit Jahren ein heißes Thema, mit solchen Resultaten wie der Forderung einer Gruppe von prominenten Autorinnen und Autoren, die Signifikanzschwelle für neue Entdeckungen von fünf Prozent auf fünf Promille zu senken, um zumindest das Schlimmste zu verhindern. Was dabei die p-Werte überhaupt bedeuten, ist sogar vielen Statistik-Dozentinnen und -Dozenten unklar.

Um verschiedene Studien vergleichbar zu machen, setzt man in den Bildungswissenschaften auf standardisierte Effektstärken als gemeinsame Währung: Endlich lassen sich Äpfel scheinbar ungestraft mit Birnen vergleichen! Außerdem ist insbesondere der Nenner der standardisierten Effektstärke für – gewollte oder ungewollte – Manipulationen ein offenes Tor. Aber auch der Zähler hat es in sich, schon allein aus folgendem Grund: Vergleicht man bei einer didaktischen Intervention das Nachher mit dem Vorher oder eine didaktische Intervention mit Nichtstun oder eine didaktische Intervention mit herkömmlichem Unterricht?

Eingeebnete Phänomene

Um in jedem Sinne eindimensionale Ergebnisse zu produzieren, sind Ranglisten von standardisierten Effektstärken en vogue. Es stört kein nachdenklich machendes Wort zu Randbedingungen und großen Variationsbreiten. John Hattie kommt das Verdienst zu, hieraus eine Industrie gemacht zu haben. Seine Meta-Meta-Analysen strotzen vor Fragwürdigkeiten. Auch hier scheinen zu wenige Menschen genau gelesen zu haben – insbesondere nicht die von Hattie zitierten Studien gelesen zu haben.

Wie Terry Wrigley beleuchtet, neigen das klassische „evidenzbasierte“ Vorgehen und insbesondere die damit einhergehenden Meta-Analysen dazu, das einfach Messbare in den Fokus zu stellen – was im Zweifelsfall etwas anderes ist als das für die Bildung Interessante. Und sie fahren wie eine Dampfwalze über die individuellen Unterschiede zwischen Disziplinen und Situationen, Lernenden und Lehrenden.

Alternative Ansätze sind seit langem in der Diskussion, zum Beispiel das Design-Based Research. Es richtet sich an realen, konkreten und persönlichen Bildungsaufgaben aus und erinnert an das iterative Vorgehen in der Softwareentwicklung: Planen, Analysieren, Entwickeln, Evaluieren – und das Ganze von vorne. Allerdings besteht damit die Gefahr, den großen Wurf zu scheuen, zu viel Kontext zu beachten und zu wenig übertragbare Resultate zu produzieren. Dass die Hochschuldidaktik dazu neigt, das Rad an hundert Orten neu zu erfinden, die nicht genügend miteinander reden, sehen wir ja schon jetzt, zum Beispiel an den ins Kraut schießenden elektronisch unterstützten Mathematik-Vorkursen.

In der Forschung über (Hochschul-)Bildung haben wir kein Problem mit Predatory Journals. Wir haben allerdings ein Problem mindestens damit, dass wir simple Zahlen generieren wollen bzw. sollen, wo das schwer oder sogar kontraproduktiv ist.