English version Zur Startseite Kontakt
 
 
 

Gütemaße für bibliometrische Indikatoren

Die Qualität bibliometrischer Daten hängt von einer Vielzahl technischer und inhaltlicher Entscheidungen ab. Autoren entscheiden über die Struktur ihrer Texte und Referenzen, Verlage definieren formale Regeln für die Publikation in ihren Publikationsorganen, Datenbankhersteller wählen Publikationsorgane auf der Basis weitgehend unbekannter Relevanzkriterien für die Erfassung aus. Die in diesem Transformationsprozess zum Einsatz kommenden Verfahren der Datenhaltung, -übermittlung und –manipulation sind nur bedingt einsehbar, bilden jedoch gleichzeitig die zentrale Determinante für die Qualität bibliometrischer Daten. Sie bedingen das Ausmaß, in dem bibliometrische Daten verarbeitet und aufeinander bezogen werden können.
Überraschend ist, dass die daraus resultierenden Unsicherheiten im Datenmaterial in der Reflektion über bibliometrische Daten, Methoden und Indikatoren nur selten berücksichtigt werden. Die Auseinandersetzung mit systematischen Verzerrungen und Fehlern in bibliometrischen Daten beschränkt sich in der Regel auf die fallweise Beschreibung einzelner Problemfelder, vielfach werden kaum Hinweise auf deren Ausmaß gegeben und in den seltensten Fällen werden daraus Schlussfolgerungen für die Verwendung der betroffenen Indikatoren gezogen. Als Folge ist es mitunter schwierig, fundierte Aussagen über die Qualität und Zuverlässigkeit bibliometrischer Analysen zu treffen. Angesichts der zunehmenden und vielfach auch unmittelbaren Nutzung bibliometrischer Indikatoren z.B. in der Leistungsorientierten Mittelvergabe oder auch in Berufungsprozessen erscheint diese Herangehensweise nicht nur aus methodologischer Perspektive problematisch.
Diese Diagnose ist Ausgangspunkt des Projekts „Gütemaße für bibliometrische Indikatoren“. Ziel ist die Entwicklung von Gütemaßen für bibliometrische Indikatoren, die es erlauben, bereichsspezifische Aussagen über die Zuverlässigkeit bibliometrischer Daten zu begründen. Hierzu wird in mehreren Teilprojekten jeweils ein anderer Einflussfaktor der Qualität bibliometrischer Daten und Indikatoren beleuchtet. Im ersten Schritt werden folgende Themen behandelt:

Zitatmatching
Die Häufigkeit, mit der eine Publikation in den Referenzlisten anderer Publikationen genannt wird, dient als Näherung für die Aufmerksamkeit, die eine Publikation in der Scientific Community erzielt. Neben den Charakteristika der Publikation und dem Kontext, in dem eine Publikation erschienen ist, beeinflusst auch die für die Ermittlung von Zitierungen zum Einsatz kommende Methode die Angabe zur Zitierhäufigkeit (vgl. Moed 2005). Das Ausmaß, in dem sich diese Abweichung bewegt, variiert jedoch in Abhängigkeit von den Charakteristika der Publikation. Im Teilprojekt Zitatmatching werden verschiedene Methoden zum Matching von Einträgen in Referenzlisten und zitierter Publikation erprobt. Es wird untersucht, inwiefern sich deren Ergebnisse auf der Ebene einzelner Publikationen unterscheiden. Basierend darauf kann ein Qualitätsmaß für Angaben zu Zitierhäufigkeiten ermittelt werden. Darauf aufbauend wird ein Verfahren zur Verknüpfung von zitierendem und zitiertem Dokument für das Kompetenzzentrum Bibliometrie entwickelt.

Zitatfenster
Die Geschwindigkeiten, mit der Publikationen in wissenschaftlichen Communities rezipiert werden, unterscheiden sich von Disziplin zu Disziplin. Verlässliche Vergleiche von Zitatraten über Felder hinweg sind entsprechend nur sinnvoll, wenn diese Unterschiede in der Verarbeitung von Wissen in die Analyse einbezogen werden. Im Rahmen dieses Teilprojekts soll überprüft werden, wie feldspezifische Rezeptionsgeschwindigkeiten am besten abgebildet und in bibliometrische Analysen integriert werden können.

Selbstzitate
Ein weiterer Faktor mit Einfluss auf die Aussagekraft von Zitationsanalysen ist die Berücksichtigung von Selbstzitierungen. Ganz unabhängig davon, ob und in welcher Form Selbstzitierungen in bibliometrischen Analysen gewürdigt werden sollten, ist die Frage, was eigentlich eine ‚Selbstzitierung’ ist, alles andere als trivial. Liegt eine Selbstzitierung vor, wenn einer der Autoren eines seiner Werke zitiert, wenn Werke aller Koautoren zitiert werden oder wenn inhaltsgleiche Arbeiten des gleichen Autors zitiert werden? Diesen Fragen widmet sich das Teilprojekt „Selbstzitate“. Verschiedene Methoden zur Identifizierung von Selbstzitierungen werden systematisch erprobt und darauf aufbauend ein Verfahren für das Kompetenzzentrum Bibliometrie entwickelt. Ziel ist die Bereitstellung eines Indikators, der die Rolle von Selbstzitierungen für Angaben zu Zitierhäufigkeiten unterschiedlicher Objekte abbildet.

Zählmethoden
Eine umstrittene Frage in der bibliometrischen Forschung ist die Frage, wie mit Mehrfachzuordnungen von Publikationen und Zitierungen zu Untersuchungseinheiten umgegangen wird (vgl. Gauffriau et al. 2008). Beispielsweise stellt sich bei Publikationen, die in Koautorenschaft entstanden sind, die Frage, ob eine solche Publikation jedem der Beteiligten Autoren voll zugerechnet wird oder nur anteilig. Gleiches gilt für die Zählung der auf eine solche Publikation entfallenden Zitierungen. Ganz ähnliche Fragen stellen sich auch für andere Einheiten bibliometrischer Analysen, wie Institutionen, Länder oder auch wissenschaftliche Felder. Trotz der engagiert geführten Diskussion wurde die Frage, inwieweit und in welchen Fällen sich die Ergebnisse von Analysen durch eine Variation der Zählmethoden tatsächlich verändern, bisher nur episodisch behandelt. Im Rahmen dieses Teilprojekts sollen die Ergebnisse unterschiedlicher Zählmethoden systematisch verglichen und anschließend beleuchtet werden, inwieweit sich Abweichungen objektspezifisch als Gütemaß abbilden lassen.

Autorendisambiguierung
Eine der Aufgaben, mit der sich jede bibliometrische Analyse konfrontiert sieht, die Aussagen über Autoren oder Gruppen von Autoren machen will, ist die Identifizierung der Publikationen eines Autors in bibliometrischen Datenbanken. Insbesondere in Fällen, in denen Autoren sehr häufig auftretende Namen haben, bei Namensänderungen oder Doppelnamen ist die alleinige Nutzung des Autorennamens ein sehr schwaches Identifikationsmerkmal. In Abhängigkeit der Methode, die bei der Gruppierung von Publikationen zum Einsatz kommt, unterscheidet sich das Publikationsset, das Grundlage z.B. für die Bewertung von Forschungsgruppen ist. Ziel des Teilprojekts „Autorendisambiguierung“ ist die Bereitstellung eines Indikators, der die Verlässlichkeit verschiedener Verfahren abbildet und es dadurch ermöglicht, zu entscheiden, in welchen Fällen bibliometrische Indikatoren verlässlich das Publikationsoutput eines Autors, aber auch von Autorengruppen abbilden. Zu diesem Zweck werden Methoden zur Autorendisambiguierung vergleichend getestet und darauf aufbauend ein Verfahren für die Nutzung im Kompetenzzentrum Bibliometrie entwickelt.

Abdeckung bibliometrischer Datenbanken
Produkte wie Elseviers Scopus oder Google Scholar haben zu mehr Wettbewerb auf dem lange Zeit von Thomson Reuters Produkten dominierten Markt für bibliometrische Daten geführt. Es ist bekannt, dass die feldspezifische Abdeckung der derzeit verfügbaren Zitationsindizes stark variiert. Dennoch wurde bisher kaum untersucht, welche Konsequenzen diese Diagnose für die potentiellen Einsatzmöglichkeiten der Datenbanken hat. Welche Dokumenttypen werden wie gut abgedeckt? Wie werden Publikationen in den Index integriert? Wie unterscheidet sich die Abdeckung nach Feld? Dies sind nur einige der Fragen, die die Gegenüberstellung der Datenbanken aufwirft. Im Rahmen des Teilprojekts sollen basierend auf Fallstudien weitere Hinweise auf die Spezifika der einzelnen Datenbanken generiert und deren Eignung für verschiedene Typen von Analysen bewertet werden.

Das Projekt „Gütemaße für bibliometrische Indikatoren“ ist eng mit den am iFQ durchgeführten Forschungsprojekten zu bibliometrischen Fragestellungen verbunden. Das Projekt ist am Kompetenzzentrum Bibliometrie angesiedelt und wird in Zusammenarbeit mit der Universität Bielefeld, dem ISI Fraunhofer und dem FIZ Karlsruhe durchgeführt. Neben seiner wissenschaftlichen Zielsetzung hat das Projekt den Anspruch, die Qualität der im Kompetenzzentrum Bibliometrie entwickelten bibliometrischen Datenbanken zu verbessern.

Ausgewählte Referenzen

Gauffriau, Marianne / Larsen, Peder Olesen / Maye, Isabelle / Roulin-Perriard, Anne / von Ins, Markus, 2008: Comparisons of results of publication counting using different methods. Scientometrics 77 (1), 47–176.
Glänzel, Wolfgang / Debackere, Koenraad, 2003: On the opportunities and limitations using bibliometric indicators in a policy relevant context, in:  Forschungszentrum Jülich: Bibliometric analysis in science and research. Applications, benefits and limitations; 2nd conference of the central library. Jülich: Schriften des Forschungszentrums Jülich, 225–236.
Glänzel, Wolfgang / Schöpflin, Urs, 1994: Little Scientometrics, Big Scientometrics … and beyond? Scientometrics, 30 (2-3), 375–384.
Hornbostel, Stefan / Klingsporn, Bernd / von Ins, Markus, 2008: Messung von Forschungsleistungen – eine Vermessenheit? in: Alexander von Humboldt-Stiftung (Hg.): Publikationsverhalten in unterschiedlichen Disziplinen. Beiträge zur Beurteilung von Forschungsleistungen, Discussion Paper 12, 2008. Bonn: Alexander von Humboldt-Stiftung, 11–32.
Moed, Henk F./ Glänzel, Wolfgang / Schmoch, Ulrich, 2004: Handbook of quantitative science and technology research. The use of publication and patent statistics in studies of S&T systems. Dordrecht: Kluwer Acad. Publ.
Moed, Henk F., 2005: Citation Analysis in Research Evaluation. Dordrecht: Springer.
Weingart, Peter, 2005: Impact of bibliometrics upon the science system: inadvertent consequences? Scientometrics Volume 62, Number 1, 117–131.