Ziele und Fragestellungen
Das iFQ hat es sich zum Ziel gesetzt, die Qualität des Begutachtungswesens in Wissenschaft und Forschung aus unterschiedlichen Perspektiven zu untersuchen. Der Schwerpunkt liegt zunächst auf dem Begutachtungssystem der DFG. Unter dem übergreifenden Projektthema “Peer Review in der Forschungsförderung” sollen verschiedene Aspekte des Begutachtungssystems untersucht werden. Den Auftakt bildete das Teilprojekt „Peer Review in der Forschungsförderung: Die Fachkollegiaten“ – eine Onlinebefragung der DFG Fachkollegiaten. Ziel der Befragung war es, erste Erfahrungen mit dem im Herbst 2004 reformierten Begutachtungssystem der DFG zu resümieren und potentielle Problemfelder zu identifizieren. Dabei stand zum einen die Frage im Mittelpunkt, wie das neue System der Fachkollegiaten durch diese selbst bewertet wird, zum anderen, wie die Befragten das Peer Review-System insgesamt einschätzen.

Vorgehensweise und Methoden
Im Teilprojekt „Peer Review in der DFG: Die Fachkollegiaten“ wurde eine Online-Befragung der 577 Fachkollegiaten und –kollegiatinnen der ersten Amtszeit (2004-2007) durchgeführt. Die Fragen zum DFG-Begutachtungssystem bezogen sich auf die Begutachtung im Einzelverfahren. Die Begutachtung in den koordinierten Programmen wird in dem Projekt „Peer Review in der DFG: Panelbegutachtung am Beispiel der Sonderforschungsbereiche“ untersucht. Begleitend zur Analyse der geschlossenen Fragen wurden die zahlreichen offenen Fragen und Kommentare intensiv ausgewertet. Diese bildeten eine wichtige Grundlage bei der Interpretation der quantitativen Daten. Zusätzlich wurden Experteninterviews mit DFG- Mitarbeiterinnen und Mitarbeitern geführt. Hierbei ging es vor allem um deren Vorgehen bei der Suche nach geeigneten Gutachtenden (z.B. Recherchestrategien, Dokumentation der Namen, Vorhandensein eines Gutachterpools) und um die Auswahlkriterien.

Projektverlauf
Der Thematik „Peer Review in der Forschungsförderung“ widmete sich die erste iFQ-Tagung unter dem Titel „Wie viel (In-)Transparenz ist notwendig? Peer Review Revisited“, die im Mai 2006 in Berlin stattfand. Im Dezember 2006 erschien die Tagungsdokumentation in Form des iFQ Working-Papers No.1.
Diese Tagung bildete den Auftakt des Projekts. In enger Abstimmung mit der DFG wurde der Fragebogen für die Onlineerhebung entwickelt und diskutiert. Die Erhebungsphase fand im Herbst 2006 statt. Im November 2007 wurden die Ergebnisse der Onlinebefragung im iFQ-Working Paper No.2 „Peer Review in der DFG: Die Fachkollegiaten“ veröffentlicht und das Teilprojekt damit abgeschlossen.
Die DFG hat im Anschluss an die Veröffentlichung des Berichts eine Stellungnahme verfasst, die auf der Internetseite der DFG veröffentlicht ist.

Das Projekt in der wissenschaftlichen Debatte und Projektergebnisse
Seit der „klassischen Studie“ von Zuckermann und Merton (1971) und einer Reihe von darauf folgenden Untersuchungen (z.B. Cole/Rubin/Cole 1978, Cole/Cole 1981, Chubin/Hackett 1990) ist Peer Review immer wieder Gegenstand internationaler Diskussionen gewesen.
Die Ergebnisse der Studien zum Peer Review und die damit verbundene Kritik am System sind vielfältig. Sie reichen von dem Vorwurf, es sei weder reliabel noch valide bis dahin, dass das System nicht fair, zu teuer und zu langsam sei und außerdem den Konservatismus und die Vetternwirtschaft fördere sowie Minderheiten benachteilige (siehe Übersicht bei Bornmann/Daniel 2003; Weller 2001). Die Forschungsergebnisse sind teilweise widersprüchlich, manche bestätigen, andere widerlegen die Vorwürfe.
Auch wenn diese Ergebnisse keinesfalls einen Generalverdacht gegen das Peer Review stützen, sind sie doch irritierend genug, um das System einer systematischen Beobachtung zu unterziehen. Ein Themenblock der Fachkollegiatenbefragung beschäftigte sich mit der Evaluation des DFG-Gutachtersystems und der Frage, inwieweit das System regelmäßig untersucht werden sollte. Jeder zweite Fachkollegiat stimmte der Aussage „Die Arbeit der Gutachter sollte regelmäßig mit geeigneten Techniken evaluiert werden“ zu. Wobei das Urteil je nach Fach stark variiert: die größte Zustimmung erfährt es in Medizin (71,1%), die größte Ablehnung im Fachgebiet Bauwesen und Architektur (85,7%).
Das Peer Review-Verfahren der DFG ist bis auf eine Studie von Friedhelm Neidhardt und Ilse Hartmann aus dem Jahr 1988/89 nicht Gegenstand von wissenschaftlichen Analysen gewesen (Neidhardt 1988, Hartmann 1989). Neidhardt führte eine Inhaltsanalyse von Anträgen und den auf sie bezogenen Gutachten und Entscheidungen für ausgewählte Fächer im Normalverfahren durch. Zusätzlich wurden Interviews mit DFG-Fachreferenten und Fachgutachtern geführt sowie Gespräche mit Mitgliedern des Hauptausschusses. Neidhardt stellt unter anderem fest, dass sich die DFG „in einem außerordentlichen Maße der Eigendynamik der Fächer, ihren Standards und Interessen“ (Neidhardt 1988: 135) überlässt. Offen bleibt für ihn die Frage, ob dies dem Fortschritt der Wissenschaft dient.
Zu dem Ergebnis, dass die DFG stark auf Fachkulturen Rücksicht nimmt und keine einheitlichen Regelungen über alle Fächer hinweg durchsetzt, kommt auch die Befragung der Fachkollegiaten. Die Arbeitsweisen in den einzelnen Fachkollegien unterscheiden sich teilweise stark von einander, was zum Beispiel dazu führt, dass die Fachkollegiaten auf unterschiedlichen Informationsgrundlagen zu einem Urteil finden. Interessant ist in diesem Zusammenhang vor allem, dass auf der einen Seite eindeutig festgestellt werden konnte, dass disziplinäre Gepflogenheiten sich auch in den Anforderungen an den Begutachtungsprozess niederschlagen, was dazu führt, dass die Urteilsdifferenzen zwischen den Fachkollegien ausgeprägter sind, als jene innerhalb der Kollegien. Auf der anderen Seite zeigte sich aber auch, dass es individuelle Einstellungsunterschiede bestehen, bei denen sich die Positionen einzelner Gruppen von Kollegiaten über die Grenzen der Fachkollegien hinweg ähneln. Die Ursache dieser Divergenzen konnten wir im Rahmen dieser Studie leider nicht vollständig aufklären. Alter und Erfahrung als Gutachter im alten System scheinen einen leichten Einfluss zu haben.
Kritisch beurteilen einige Kollegiaten die Gutachterauswahl im reformierten System, da über das Verfahren wenig bekannt sei. Insgesamt wurde das reformierte Begutachtungssystem allerdings von den Befragten positiv beurteilt: 70 Prozent der Fachkollegiaten gaben an, dass sie das jetzige Verfahren zur Würdigung der wissenschaftlichen Qualität eines Antrags für geeignet hielten. Die Ergebnisse sind im Detail nachzulesen im iFQ-Working Paper No. 2.
Die Ergebnisse der Studie wurden auf einer Sitzung des Senatsausschusses der DFG zum Thema „Perspektiven der Forschung“ präsentiert sowie im Senat verhandelt. Darüber hinaus hat die DFG  eine schriftliche Stellungnahme zu den Ergebnissen verfasst und auf ihrer Internetseite veröffentlicht.

Olbrecht, Meike, 2009:

Qualitätssicherung im Peer Review. Ergebnisse einer Befragung der DFG-Fachkollegiaten, in: QIW-Qualität in der Wissenschaft. (eingereicht)

Hornbostel, Stefan / Olbrecht, Meike, 2007:

Peer Review in der DFG: die Fachkollegiaten. iFQ-Working Paper No.2. Bonn. Download

Siekermann, Meike, 2007:

Peer Review. Transparenz und Anonymität im Begutachtungsprozess, in: BIOspektrum. Das Magazin für Biowissenschaften. Mai 2007, 322-323.  Online

Hornbostel, Stefan / Olbrecht, Meike, 2007:

Peer Review: Healthy to the Core or Chronically Ill? in: Conference Proceedings: "Peer Review: Its Present and Future State", Prague.

Siekermann, Meike, 2006:

Wie viel (In-)Transparenz ist notwendig? Peer Review Revisited - Begutachtungspraktiken in international vergleichender Perspektive, in: Tagungsbericht auf HSozuKult. Online

Siekermann, Meike, 2006:

Reform des DFG Begutachtungssystem – Die Einführung der Fachkollegiaten. iQ-Beitrag. Online

Hornbostel, Stefan / Simon, Dagmar (Hg.), 2006:

Wie viel (in-)Transparenz ist notwendig? - Peer Review Revisited. iFQ-Working Paper No.1. Bonn. Download

Weitere Veröffentlichungen des iFQ zum Thema

Konferenzbeiträge

Olbrecht, Meike:

„Peer Review – Ready for the Future?“– Science Futures – Swiss STS Meeting 2008, ETH Zürich. 06.-09.02.2008

Olbrecht, Meike:

“Peer Review: healthy to the core or chronically ill?“ Prague Peer Review 2006 – Its Present and Future State. EUROHORCs, Prag, 12./13.10.2006.

Referenzen

Bornmann, L. / Daniel, H.D., 2003:

Begutachtung durch Fachkollegen in der Wissenschaft, in: Stefanie Schwarz und Ulrich Teichler (Hg.), Universität auf dem Prüfstand. Konzepte und Befunde der Hochschulforschung. Frankfurt: Campus, 207-226.

Weller, A. C., 2001:

Editorial Peer Review. It's Strengths and Weaknesses. New Jersey: Information Today Inc.

Chubin, D. / Hackett, E., 1990:

Peerless Science. Albany: Suny Press.

Hartmann, I., 1989:

Begutachtung in der Forschungsförderung. Die Argumente der Gutachter in der Deutschen Forschungsgemeinschaft. Köln 1989.

Neidhardt, F., 1988:

Selbststeuerung in der Forschungsförderung. Das Gutachterwesen der DFG. Opladen: Westdeutscher Verlag.

Cole, J.R. / Cole, S., 1981:

Peer Review in the National Science Foundation. Phase II of a Study. Washington: National Academy of Sciences.

Cole, S. / Rubin, L. / Cole, J. R., 1978:

Peer Review in the National Science Foundation. Phase I of a Study. Washington: National Academy of Sciences.

Zuckermann, H. / Merton, R., 1971:

Patterns of Evaluation in Science. Minerva 9, 66-100.