Ist dies schon Tollheit, hat es doch Methode – Eine TFU-Kolumne

Bibliometrische Analysen gehören bereits seit mehreren Jahren zum Methoden-Repertoire des Fraunhofer INT und haben manchmal sogar einen Bezug zu religiösen Texten wie der Bibel. Bei solchen Analysen handelt es sich, in aller Kürze, um quantitative Analysen wissenschaftlicher Literatur. Meistens wird hierfür die Anzahl wissenschaftlicher Publikationen aus Journalen wie zum Beispiel „Nature“ oder „Science“ gemessen. Es gibt verschiedene Datenbanken, die für die Analyse genutzt werden können, so zum Beispiel das Web of Science, Scopus oder Dimensions, aber auch Google Scholar. Im Prinzip unterscheiden sich diese durch die Breite ihrer Datenbasis. Wichtig für bibliometrische Analysen ist, dass in den Datenbanken neben der Publikation an sich auch die sogenannten Zitationen erfasst werden. Dies sind Literaturnachweise, die sich so gut wie in jeder wissenschaftlichen Publikation wiederfinden. Schreibt eine Wissenschaftlerin oder ein Wissenschaftler eine Publikation und nutzt dafür die Arbeit eines oder einer anderen so setzt er oder sie entsprechend eine Zitation in seine eigene Publikation. Doch was hat das alles mit der Bibel und mit den Forschungsprojekten am Fraunhofer INT zu tun?

Neben vielen anderen Anwendungen (zum Beispiel thematische Gruppierungen mit Hilfe von Zitationen) werden Zitationen auch dafür genutzt, um die Güte eines Artikels zu beurteilen. Frei nach dem Motto: Wer öfter zitiert wurde, dessen Forschung hat eine höhere Qualität. Eine solche pauschale Aussage ist wissenschaftlich zwar nicht haltbar, sie illustriert aber sehr gut ein Phänomen welches ursprünglich aus der Soziologie stammt und „Matthäus Effekt“ genannt wird. Dieser begegnet einem in bibliometrischen Analysen immer wieder und beschreibt eine Art sich selbst verstärkende Feedbackschleife: Ein erster Erfolg führt zu weiteren Erfolgen, auch wenn die eigene Leistung diese weiteren Erfolge allein nicht mehr erklären kann. Im Kontext von Publikationen und Zitationen bedeutet dies: Wer häufig zitiert wird, wird immer häufiger zitiert. Und wer nicht zitiert wird, wird dies auch zukünftig nicht mehr. Damit erklärt sich auch der Name des Effekts, denn im Matthäus Evangelium sagt Jesus „Denn wer da hat, dem wird gegeben […]; wer aber nicht hat, dem wird auch das genommen, was er hat.“

Ein Beispiel soll diesen Effekt illustrieren. Zu den berühmtesten wissenschaftlichen Zeitschriften zählen die bereits oben genannten „Nature“ und „Science“. Wer dort veröffentlichen möchte muss damit rechnen, dass sein Beitrag abgelehnt und nicht veröffentlicht wird, da die Hürden für eine Veröffentlichung sehr hoch sind. Wenn man aber Erfolg hat und seine Publikation in „Nature“ platzieren kann, so möchte man zumindest meinen, ist die Wahrscheinlichkeit vermutlich hoch auch entsprechend häufig wahrgenommen und zitiert zu werden. Es gibt eine bibliometrische Kennzahl, die angibt wie häufig (durchschnittlich) Publikationen in wissenschaftlichen Zeitschriften in den vergangenen Jahren zitiert wurden. Diese Kennzahl nennt sich Impact Factor und liegt für „Nature“ bzw. „Science“ bei um die 40. Im Schnitt wurden also Publikationen in diesen Zeitschriften ca. 40-mal zitiert. Misst man nun die Zahl aller je erschienen Publikationen aus „Nature“ (ca. 150.000) bzw. „Science“ (ca. 120.000), und trägt diese in ein sogenanntes Histogramm ein, so bekommt man folgendes Bild (gezeigt wird das Bild für die Publikationen aus „Science“, das Bild für die entsprechenden Publikationen in „Nature“ zeigt aber im Prinzip das gleiche):

Zu sehen ist, dass die Gruppe ganz links (Publikationen mit bis zu 10 Zitationen, wobei ca. 33% kein einziges Mal zitiert wurden) ca. 56% aller Publikationen umfasst, während die Gruppe ganz rechts (mit 1001 bis 50.000 Zitationen) nur ca. 2% ausmacht. Auf der anderen Seite vereinen die Top-10% der am häufigsten zitierten Publikationen bereits zwischen 66% („Nature“) und 75% („Science“) aller Zitationen auf sich. Wer da hat, dem wird gegeben, in Reinkultur.

Diese Verteilung ist insofern bemerkenswert, als dass man sie mit Normalverteilungen kontrastieren kann, wie sie beispielsweise bei der Körpergröße vorhanden sind. Das folgende Diagramm zeigt die Verteilung der Körpergröße in Deutschland im Jahr 2014:

Hier sieht man, dass es nur wenige Menschen gibt, die sehr klein sind, ebenso wie solche die sehr groß sind. Der Großteil der Bevölkerung bewegt sich im Bereich des Durchschnitts. Gäbe es eine solche Verteilung bei Publikationen und Zitationen, würde es nur wenige Publikationen mit gar keinen bis wenigen Zitationen geben, ebenso wie solche mit sehr hohen Zitationszahlen. Aber dann wäre kein Matthäus Effekt vorhanden.

Es gibt zahlreiche Studien zu der Frage, wie der Matthäus Effekt zustande kommt, ob er für Artikel, Autoren, Institutionen oder gar ganze Länder wirkt (zum Beispiel wird gefragt, ob die USA auch deshalb häufiger als die Slowakei zitiert werden, weil das Land eine prominentere Rolle in der Wissenschaftswelt spielt). In Projekten des Fraunhofer INT, in denen bibliometrische Analysen eine Rolle spielen wird dieser Effekt häufig beobachtet und muss bei der Interpretation der Daten berücksichtigt werden. Wählt man beispielsweise Schlüsselpublikationen unter anderem nach der Anzahl von Zitation aus, so spielt der Effekt eine Rolle. Auch bei der Nutzung bibliometrischer Indikatoren, welche eine Durchschnittsberechnung von Zitationen nutzen (wie der oben genannte Impact Factor), ist der Matthäus Effekt in die Interpretation einzubeziehen.

So erinnert dieser Effekt am Ende auch immer wieder daran, dass der Prozess des Publizierens und Zitierens eingebettet ist in menschliche Interaktionen und somit menschliches Verhalten auch bei quantitativen Analysen dieser Art eine große Rolle spielen kann.

Trotzdem gilt für die Bibliometrie weiterhin der Ausspruch des niederländischen Physikers und Nobelpreisträgers Heike Kamerlingh Onnes: „Door meten tot weten. (Durch Messen zum Wissen)“.