Die EU-Expertengruppe Altmetrics hat ihre Empfehlungen zum Thema Leistungsmessung von offener Wissenschaft (Open Science) veröffentlicht. Isabella Peters, Mitglied der Expertengruppe, stellte den Report »Next-generation metrics« erstmalig auf der Open Science Conference 2017 in Berlin vor. Die Kernforderungen lauten: Metriken müssen kompromisslos messen, was wirklich zählt in Open Science. Zudem müssen Metriken verantwortungsvoll eingesetzt werden.
Die Kritik am aktuellen Wissenschaftssystem und seiner Leistungsindikatoren wächst. Zudem gibt es Bedarf seitens der Wissenschaftspolitik, Anreize für Open Science, also der freien Zugänglichkeit zu wissenschaftlichen Erkenntnissen, zu schaffen. Vor diesem Hintergrund wurde eine EU-Expertenkommission um Isabella Peters vom ZBW – Leibniz-Informationszentrum Wirtschaft berufen. Diese hat nun das bisherige System zur Bewertung von Forschungsleistungen und insbesondere die sogenannten Altmetrics kritisch in den Blick genommen.
Die Expertengruppe hat Vorschläge erarbeitet, wie Messindikatoren die Entwicklung zu Open Science unterstützen und den Grad an Offenheit in der Wissenschaft quantifizieren können.
Eine besondere Rolle kommt dabei nach Angaben der ZBW der sogenannten Altmetrics zu. Diese alternativen Metriken ergänzen die auf Zitaten basierenden Indikatoren wie »H-Index« und »Journal Impact Factor« um Informationen zum Vorkommen wissenschaftlicher Ergebnisse außerhalb von Fachzeitschriften. Sie seien gleichzeitig Treiber als auch Effekt von Open Science, zum Beispiel wenn durch das Twittern wissenschaftlicher Inhalte eine größere Öffentlichkeit auf die Forschung aufmerksam wird, sie per Retweet weiterverbreitet und dadurch die Reputation des Forschenden steigt.
Schwierigkeiten bei der Bewertung von Open Science
Dennoch könnten weder Altmetrics, noch traditionelle Indikatoren uneingeschränkt zur Vermessung von Open Science empfohlen werden. Neben anderen Problemen, spiegeln beide nach Einschätzung der ZBW Werturteile wider, die dem, was gezählt werden kann (zum Beispiel Zitate und Retweets), einen Vorzug gegenüber dem geben, was nicht gezählt werden kann (zum Beispiel Qualität der Forschung). Damit erfahre letzterer Aspekt stets einen Nachteil in quantitativen Betrachtungen der Wissenschaft.
Zur Verwendung von Metriken hat die Expertengruppe im Report »Next-generation metrics« folgende Empfehlungen veröffentlicht:
- Metriken zur Leistungsbewertung von Open Science müssen den Kontext der Evaluation berücksichtigen und qualitative und quantitative Beurteilungen enthalten. Es gibt keine one-size-fits-all-Lösung.
- In Open Science sind Transparenz und Genauigkeit wesentliche Kriterien für die altmetrische und traditionelle Leistungsmessung. Nur ein offener, verantwortungsvoller Einsatz von Indikatoren kann Systeme offener Wissenschaft befördern.
- Bereits vorhandene Metriken für Open Science sollten besser genutzt werden. Dazu zählen beispielsweise Downloads, Co-Autorenschaften, Interaktion mit wissenschaftlichen Inhalten über Tweets, Likes oder ähnliches, auch durch Laien.
- Die Metriken der nächsten Generation sollten durch eine offene, transparente und verknüpfte Dateninfrastruktur untermauert werden. Es müssen einzigartige, eindeutige, anhaltende, verifizierte, offene und globale Identifikatoren für wissenschaftliche Produkte entwickelt und gefördert werden, um eine vollständige Vermessung wissenschaftlicher Leistung vornehmen zu können.
- Gemessen werden muss, was zählt: Die nächste Generation von Metriken sollte auf Basis jener Qualitäten und Auswirkungen geschaffen werden, die die europäischen Gesellschaften am meisten schätzen und brauchen, und nicht diejenigen, die am leichtesten gesammelt und gemessen werden können.
Zur EU Expertengruppe Altmetrics:
Die Expertengruppe Altmetrics wurde durch die Generaldirektion Forschung und Innovation der Europäischen Kommission berufen. Ihr Auftrag war es, Vorschläge für ein alternatives Bewertungssystem wissenschaftlicher Arbeit jenseits des auf Zitaten bassierenden »Impact Factors« zu erarbeiten. Die Expertengruppe »Expert Group on Altmetrics« besteht aus sechs Experten und Expertinnen auf den Gebieten Informationswissenschaft, Social Computing, Politikwissenschaft, Informatik, Szientometrie und Web Science. Zur Exepertengruppe gehören Isabella Peters/ZBW, James Wilsdon/University of Sussex (UK), Paul Wouters/ Leiden University (Niederlande), Robert Frodeman/ University of North Texas (USA), Judit Bar-Ilan/Bar-Ilan University (Israel) und Elisabet Lex/Graz University of Technology.
Isabella Peters, die sich primär mit Science 2.0 und Altmetrics befasst, ist Wissenschaftlerin an der ZBW – Leibniz-Informationszentrum Wirtschaft und Professorin für Web Science an der Christian-Albrechts-Universität zu Kiel.
Der vollständige Report ist zu finden unter: https://ec.europa.eu/research/openscience/pdf/report.pdf
red / 23.5.2017
