Die Qualität bibliometrischer Indikatoren ist von den ihnen zugrunde liegenden Daten, aber auch den Methoden und Techniken ihrer Produktion abhängig. Diese eigentlich triviale Einsicht wird bei der Reflektion über bibliometrische Daten, Methoden und Indikatoren nur selten berücksichtigt. Eine über Fallstudien hinausgehende Auseinandersetzung mit systematischen Verzerrungen und Fehlern findet kaum statt. Studien, die sich mit systematischen Verzerrungen und Fehlern befassen, beschränken sich in der Regel auf die Beschreibung von Einzelfällen. Häufig werden kaum Hinweise auf Ursachen von Verzerrungen oder Fehlern gegeben und in den seltensten Fällen werden daraus Schlussfolgerungen für die Verwendung der betroffenen Indikatoren gezogen. Für Nutzer bibliometrischer Daten und Indikatoren entsteht dadurch das Problem, dass Aussagen über die Qualität und Zuverlässigkeit bibliometrischer Daten und Indikatoren kaum begründet werden können. Angesichts der zunehmenden Nutzung bibliometrischer Indikatoren in Entscheidungsprozessen - z. B. bei der Vergabe von Drittmitteln oder in Berufungsprozessen – ist dies längst kein methodisches Defizit mehr, sondern eine Unzulänglichkeit, die die Legitimität bibliometrischer Expertise in Frage stellt.

Diese Diagnose ist Ausgangspunkt für das Projekt „Gütemaße für bibliometrische Indikatoren“. Ziel ist die Entwicklung von Gütemaßen und Qualitätskriterien für bibliometrische Indikatoren. Das Projekt beleuchtet zunächst verschiedene Aspekte der Generierung bibliometrischer Daten und der Berechnung bibliometrischer Indikatoren, um Fehlerquellen, Fehler und systematische Verzerrungen bibliometrischer Daten und Indikatoren zu ermitteln. Zu diesem Zweck werden in mehreren Teilprojekten u.a. die Methoden zum Matching von Einträgen in Referenzlisten und zitierter Publikation, Methoden für die Identifikation von Autoren, Methoden für die Bestimmung von Selbstzitaten, Zählmethoden und die Abdeckung bibliometrischer Datenbanken verglichen. Basierend darauf sollen Rückschlüsse auf die Robustheit von Indikatoren gezogen werden.

Das Projekt ist am Kompetenzzentrum Bibliometrie angesiedelt und eng mit weiteren am iFQ durchgeführten Forschungsprojekten, die bibliometrische Fragestellungen beinhalten, verzahnt. Neben der Beantwortung grundsätzlicher Fragestellungen bibliometrischer Methoden zielt das Projekt auch darauf ab, die Qualität der im Kompetenzzentrum Bibliometrie entwickelten bibliometrischen Datenbanken zu verbessern. Die Erkenntnisse über die Robustheit von Indikatoren sollen als Gütemaße in die bibliometrische Datenbank des Kompetenzzentrums Bibliometrie implementiert werden. Alle entwickelten Methoden und Algorithmen werden in den Datenbestand integriert und potentiellen Nutzern zur Verfügung gestellt.