Die andere Vermessung der Wissenschaft

Wer hat am meisten publiziert, welcher Artikel wird wo und wie häufig zitiert? – In der Wissenschaft dreht sich seit vielen Jahren alles um die sogenannten Impact-Faktoren, die bestimmen, wer erfolgreich ist und wer nicht. Im Bereich der Messung des Impacts verstehen sich Altmetrics als „alternative Metriken“ zu den klassischen wissenschaftlichen Zitierungen, indem sie die Aufmerksamkeit abbilden, die eine Veröffentlichung in online zugänglichen Medien erhält – unter anderem auf Plattformen wie Facebook und Twitter, aber auch in anderen Quellen, wie zum Beispiel politischen Dokumenten. Altmetrics lassen sich als die Auswertung vielfältiger Erwähnungs- und Nutzungsdaten von wissenschaftlichen Beiträgen verstehen, mit dem Ziel, ein facettenreiches Bild der öffentlichen Wahrnehmung und Relevanz von Forschungsleistungen zu zeichnen. Altmetrics wollen aber andere Impact-Messungen nicht ersetzen, sondern diese ergänzen.

Woher kommen Altmetrics-Daten?

Der Wissenschaftsfonds FWF bezieht Datenmaterial von dem britischen Unternehmen Altmetric.com, einem der zurzeit wichtigsten Anbieter. Altmetric.com durchsucht 19 Online-Datenquellen auf Erwähnungen oder Nutzungen von vorab festgelegten Publikationen. Diese können je nach Typus nur eine Quelle umfassen (zum Beispiel Twitter oder Wikipedia) oder aber aus vielen Einzelquellen bestehen –, so werden etwa rund 9.000 Blogs analysiert. Das Gesamtergebnis dieser Suche bezogen auf eine konkrete Publikation wird in Form eines so genannten „Donuts“ präsentiert (siehe Bild oben), dessen Farbenvielfalt die Heterogenität der Quellen darstellt, in denen die Publikation vorkommt. Die Datengrundlage bei Altmetric.com ist also umfangreich und vielfältig, aber nicht unumstritten: Es ist keine empirische oder konzeptuelle Begründung der Quellenauswahl erkennbar, und trotz des Datenreichtums sind viele politisch national/regional relevante Quellen nicht erfasst. Im Vordergrund stehen englischsprachige Quellen, wenn auch einige deutschsprachige und österreichische Tages- oder Wochenzeitungen inkludiert sind, wie etwa die Online-Ausgaben von „Der Spiegel“, „Der Standard“ oder „Die Presse“.

Was sagen Altmetrics aus? Und was nicht?

Die Aussagekraft von Altmetrics ist derzeit noch in Diskussion. Aber offenbar lässt sich ein breiterer, über das Wissenschaftssystem hinausgehender Impact von Forschung ermitteln, der nicht parallel zum rein wissenschaftlichen Erfolg verläuft. Dies wird als gesellschaftliche Auswirkung („Societal Impact“) gewertet, wobei aber noch nicht ganz klar ist, was genau gemessen wird. Nachvollziehbar ist, dass Erwähnungen von Publikationen in Patenten, in Lehrbüchern und medizinisch-klinischen Richtlinien sowie „Policy Documents“ als gute Möglichkeit gelten, gesellschaftlichen Impact von Forschung zu erfassen. Erwähnungen und Besprechungen auf Twitter oder Facebook hingegen weisen nicht notwendigerweise auf die Relevanz von Forschungsbeiträgen hin, sondern belegen zuvorderst das Interesse und die Neugier einer bestimmten Lesergruppe. Vor diesem Hintergrund ist die äußerst differenzierte Ergebnisdarstellung bei Altmetric.com durchaus zielführend, die Aggregation zu einem Gesamtwert aber fraglich. Die Größenordnung dieses Wertes ist inhaltlich kaum zu interpretieren, denn: Was bedeutet etwa der Wert 1.348 wie im Bild oben? Abgesehen von der Decodierung der komplizierten Berechnungsgrundlage wäre eine Angabe erforderlich, ob 1.348 ein durchschnittlicher oder vielleicht herausragender Wert ist. Dies setzt die Normierung solcher Daten voraus. Die Schwierigkeit der inhaltlichen Interpretation wird durch Unzulänglichkeiten im empirischen Material verstärkt. Der Gesamt-Score scheint von Twitter-Daten dominiert, deren Brauchbarkeit in Zweifel steht. Auch die Manipulierbarkeit bestimmter Indikatoren (etwa Download- oder Read-Häufigkeiten) stellt ein Problem dar. Altmetric.com ist sich solcher Schwächen bewusst und diskutiert sie. Ein abschließendes Urteil sollte noch nicht gefällt werden, denn Altmetrics stehen noch am Anfang ihrer Entwicklung. Was sagen uns Altmetrics nun? Grundlegend zeigen sie die Resonanz auf Forschungsbeiträge in Teilen der Gesellschaft auf. Darüber hinaus haben bestimmte Indikatoren das Potenzial, „Societal Impact“ zu belegen, während andere, durchaus prominente Altmetrics-Quellen wie Twitter oder Facebook sich dazu wohl nicht eignen. Und was leisten Altmetrics offensichtlich nicht? – Die Messung der Qualität von Forschung.

Warum testet der FWF Altmetrics?

Die Legitimierung einer Forschungsförderorganisation gründet sich unter anderem auf die wissenschaftliche Qualität und den Scientific Impact der geförderten Forschungen, was sich über die Analyse von erhaltenen Zitierungen in wissenschaftlichen Fachzeitschriften ermitteln lässt. – Der FWF hat solche Analysen bereits durchgeführt. Eine gesellschaftliche Relevanz ist schwierig zu erfassen, es ist aber zunehmend von Bedeutung, eine solche demonstrieren zu können, anstelle lediglich zu postulieren. Aus diesem Grund testet der FWF Altmetrics mit der Fragestellung, ob ein direkter Impact von Grundlagenforschung abseits des Wissenschaftssektors belegbar ist. Von Interesse ist dabei auch, ob und wie die Einschätzung der Bedeutung von Grundlagenforschung durch alternative Kennwerte sinnvoll ergänzt werden kann. Altmetrics sind nicht frei von Schwächen, aber sie bieten Potenziale. Aufgrund ihrer Reichhaltigkeit und Möglichkeiten sind sie es wert, erprobt zu werden.

Wofür der FWF Altmetrics nicht verwenden wird!

Die Erprobung des Instruments Altmetric.com bezieht sich auf die geförderte Forschung in ihrer Gesamtheit. Das verfügbare Datenmaterial wird nicht herangezogen, um Bewertungen einzelner Wissenschafterinnen und Wissenschafter vorzunehmen und in zukünftige Förderentscheidungen einfließen zu lassen.

Ralph Reimann ist wissenschaftlicher Mitarbeiter des FWF in der Abteilung „Strategie – Policy, Evaluation, Analyse“ mit Fokus auf Datenanalysen. Weitere Informationen unter: http://orcid.org/0000-0002-5151-4154

Mehr Informationen Altmetrics FWF-Ergebnisse

Dieser Beitrag stützt sich auf folgende Veröffentlichungen:

Bornmann, L. (2014). Validity of altmetrics data for measuring societal impact: A study using data from Altmetric and F1000Prime. Journal of Informetrics, 8: 935. [doi: 10.1016/j.joi.2014.09.007]

Bornmann, L. & Haunschild, R. (2017). Does evaluative scientometrics lose its main focus on scientific quality by the new orientation towards societal impact? Scientometrics, 110: 937. [doi: 10.1007/s11192-016-2200-2]

Bornmann, L., Haunschild, R. & Marx, W. (2016). Policy documents as sources for measuring societal impact: how often is climate change research mentioned in policy-related documents? Scientometrics, 109: 1477. [doi: 10.1007/s11192-016-2115-y]

Erdt, M., Nagarajan, A., et al. (2016). Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media. Scientometrics, 109: 1117. [doi: 10.1007/s11192-016-2077-0]

Patthi, B., Prasad, M., et al. (2017). Altmetrics – A Collated Adjunct Beyond Citations for Scholarly Impact: A Systematic Review. Journal of Clinical and Diagnostic Research, [serial online]2017 Jun 6 ZE16 - ZE20. [doi: 10.7860/JCDR/2017/26153.10078]

Piwowar, H.A. (2013). Altmetrics: Value all research products. Nature, v. 493, n. 159, January 10. [doi: 10.1038/493159a]

Priem, J., Piwowar, H.A. & Hemminger, B.M. (2012). Altmetrics in the Wild: Using social media to explore scholarly impact. [arXiv: 1203.4745v1]

Robinson-Garcia N., Costas, R., et al. (2017). The unbearable emptiness of tweeting—About journal articles. PLoS ONE 12(8): e0183551. [doi: 10.1371/journal.pone.0183551]

Robinson-Garcia N., Torres-Salinas, D., et al. (2014). New data, new possibilities: exploring the insides of Altmetric.com. El Prof Inf, 23: 359. [doi: 10.3145/epi.2014.jul.03]

Wardle, D. (2016). Why Altmetric scores should never be used to measure the merit of scientific publications (or 'how to tweet your way to honour and glory'). Ideas in Ecology and Evolution, 9: 1. [doi: 10.4033/iee.2016.9.1.e]

Wilsdon, J., Allen, L., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. [doi: 10.13140/RG.2.1.4929.1363]