Ziele, Fragestellungen
Im Rahmen des übergreifenden Projektkontextes “Peer Review in der Forschungsförderung” beschäftigt sich das Projekt „Peer Review in der DFG: Panelbegutachtung am Beispiel der Sonderforschungsbereiche“ mit Begutachtungsverfahren von Gutachtergruppen. Es fragt danach, welche Effekte bei Panelbegutachtungen auftreten können. Im Unterschied zur Einzelbegutachtung entstehen bei der Gruppenbegutachtung andere Urteilsdynamiken. Wissenschaftlich weitgehend ungeklärt ist, was für Auswirkungen die gruppendynamischen Prozesse und Verfahren auf die Urteilsfindung haben. Ziel des Projekts ist es, diese Prozesse zu untersuchen. Zu diesem Zweck sollen unter anderem folgende Fragestellungen bearbeitet werden: Welche Kriterien stehen bei der Bewertung des Antrags im Mittelpunkt? Nach welchen Kriterien werden die Gutachter für Panelsitzungen ausgewählt? Welche Gruppendynamiken wirken/entwickeln sich? Wie transformieren Gutachtersitzungen individuelle Einschätzungen in kollektive Beschlüsse? Inwiefern weicht das individuelle Urteil vom kollektiven ab? Wie wird der Prozess von den beteiligten Akteuren eingeschätzt, wo sehen sie Stärken und Schwächen?

Ausgangspunkt der Untersuchungen ist die Feststellung, dass weltweit immer größere Summen der Forschungsförderung über Bewertungen durch Gutachtergruppen verteilt werden. Allein bei der DFG werden nur noch rund 29 Prozent des Gesamtbudgets im Bereich der Einzelförderung vergeben, bei der die Förderentscheidung – in der Regel durch zwei unabhängig von einander arbeiteten Gutachter – auf Grundlage von Einzelgutachten getroffen wird. Mehr als die Hälfte (55%) der DFG-Mittel fließt in die koordinierten Programme; hier wird der größte Teil der Förderentscheidungen in Panelsitzungen gefällt. Entgegen dieser international zu beobachtenden Entwicklung konzentriert sich die Peer Review-Forschung bisher hauptsächlich auf die Einzelbegutachtung und fragt nach der Reliabilität, Validität und Fairness dieser Verfahren. Der Begutachtung in Panelsitzungen wurde hingegen bisher wenig Aufmerksamkeit geschenkt. Das Projekt „Panelbegutachtung am Beispiel der Sonderforschungsbereiche“ möchte dazu beitragen, mehr über die Effekte dieser Begutachtungsform zu erfahren.

Vorgehensweise, Methoden
Das Projekt „Panelbegutachtung am Beispiel der Sonderforschungsbereiche“ gliedert sich in einen explorativen Teil und eine Hauptstudie. Ziel des explorativen Teils ist die Erarbeitung und Validierung von Erhebungsinstrumenten auf der Basis erster qualitativer Erhebungen, die im Anschluss, im Hauptteil des Projektes, zur Anwendung kommen sollen. Die Ergebnisse des ersten Teils sollen in der Hauptstudie spezifiziert und auf ihre Generalisierbarkeit geprüft werden.

Wir haben uns dafür entschieden, das Begutachtungsverfahren der DFG-Sonderforschungsbereiche (SFBs) zu untersuchen, da diese durch ihr bereits 40-jähriges Bestehen eine lange Tradition in der deutschen Forschungslandschaft besitzen und mit einer Fördersumme von 500 Millionen Euro pro Jahr für derzeit 265 Projekte ein sehr gewichtiges Forschungsförderungsprogramm im Rahmen der koordinierten Programm der DFG darstellen. Um die Dynamik der Urteilsfindung zu analysieren, sollen Vorher-Nachher-Befragungen der Gutachtenden durchgeführt werden. Außerdem sind Leitfadeninterviews mit allen beteiligten Akteursgruppen (Gutachtern, Antragstellern, Berichterstattern, DFG-Mitarbeitern) vorgesehen. Zusätzlich sollen Strukturdaten- und Dokumentenanalysen von bereits abgeschlossenen Begutachtungen durchgeführt werden.
Die wenigen Studien, die sich mit den Effekten von Panelsitzungen beschäftigten, weisen darauf hin, dass die Ergebnisse aufgrund geringer Fallzahlen und voneinander abweichender Vorgehen in der Begutachtung (z.B. Urteilsfindung durch Konsens versus. Abstimmung oder Beurteilung der Anträge auf Basis von Urteilsmetriken; interdisziplinäre und/oder internationale Zusammensetzung der Gruppe; Gruppengröße; variierende Anzahl an Anträgen; die pro Sitzung beraten werden usw.) teilweise wenig generalisierbar sind. Um diesem Punkt entgegenzuwirken, ist im Rahmen der Haupterhebung eine strukturierte Onlinebefragung unter den Gutachtern von Sonderforschungsbereichen geplant. Ziel ist es, die durch Leitfadeninterviews und die Beobachtung der Sitzungen gewonnenen Ergebnisse auf einer breiteren Basis zu vertiefen, aber auch zu generalisieren.

Stellung des Projektes im iFQ-Portfolio
Das Projekt ist Bestandteil des übergreifenden iFQ-Projektbereiches „Peer Review in der Forschungsförderung“, mit dem das Ziel verfolgt wird, die Qualität des Begutachtungswesens als Kernstück wissenschaftlicher Kommunikation aus unterschiedlichen Perspektiven zu untersuchen. Das vorliegende Projekt konzentriert sich auf die Begutachtung von Sonderforschungsbereichen der DFG. Es handelt sich dabei um ein Evaluationsprojekt, welches erstens einen Beitrag zum Forschungsstand im Bereich Peer Review liefern und zum anderen die DFG auf mögliche Desiderata bezüglich des SFB-Programms hinweisen möchte. Methodisch kombiniert das Projekt qualitative und quantitative Methoden und trägt zur Weiterentwicklung des Instrumentariums zur Analyse von Gruppenentscheidungsprozessen bei.
Verortung des Projektes in der wissenschaftlichen Debatte

Der Schwerpunkt der Peer Review-Forschung liegt auf der Manuskriptbegutachtung von Zeitschriften (vgl. z.B. Überblick Weller 2001), aber auch die Entscheidungsverfahren von Forschungsförderungsorganisationen in der Antragsbegutachtung und der Nachwuchsförderung sind – wenn auch seltener – Gegenstand von empirischen Untersuchungen (vgl. z.B. Hornbostel/Olbrecht 2007; Böhmer/Hornbostel/Meuser 2008, Bornmann 2004, Daniel 1993, Wenneras/Wold 1997, Neidhardt 1988). Wenig ist bisher zu den Effekten von Panelbegutachtungen bekannt (vgl. Langfeldt 2001: 23). Nur einige wenige internationale Studien beschäftigen sich bisher im Bereich der Peer Review-Forschung  mit dieser Form der Entscheidungsfindung (vgl. z.B. Langfeldt 2001, Obrecht/Tibelius/D’Aloisio 2007, Johnson 2008) – und dies, obwohl inzwischen große Mengen an Forschungsgeldern über Panel vergeben werden. Untersucht wurden derartige Prozesse bisher in der (sozial)psychologischen Forschung über Entscheidungsprozesse in Gruppen (vgl. z.B. Übersicht: Kerr/Tindale 2004, Linneweber 2004), in der spieltheoretisch inspirierten – meist experimentellen – ökonomischen Forschung (vgl. z.B. Grimm/Mengel 2008, Luhan/Kocher/Sutter 2007, Kocher/Sutter 2005) oder im Rahmen empirischer Politikwissenschaft im Hinblick auf Gremienentscheidungen als Feldforschung (vgl. Nullmeier et. al. 2008).
Zwar ist die geringe Zahl empirischer Studien im Bereich der Peer Review-Forschung angesichts methodischer Schwierigkeiten und der problematischen Feldzugänge erklärlich, gleichwohl ist es hinsichtlich der Bedeutung und immer wieder aufkommenden Kritik am Peer Review erstaunlich, dass über Mechanismen der Konsensfindung und Leistungsfähigkeit sowie potentielle Bias-Faktoren dieser Form kollektiver Beurteilung so wenig bekannt ist. Gerade angesichts einer immer stärker werdenden öffentlichen Auseinandersetzung über die Leistungsfähigkeit dieses Begutachtungstyps (z.B. im Rahmen der Exzellenzinitiative) und teils recht undifferenzierten Zweifeln an der Wirksamkeit koordinierter Programme (vgl. Münch 2007) möchte das Projekt neben Hinweisen für die DFG zu Stärken und Schwächen des SFB-Programms, einen Beitrag zur Peer Review-Forschung insgesamt liefern.

Im Projektzusammenhang entstandene Publikationen:

Olbrecht, Meike, 2009:

Bewertung wissenschaftlicher Qualität durch Gutachtergruppen. Ein Problemaufriss. iQ-Beitrag.

Böhmer, Susan / Hornbostel, Stefan / Meuser, Michael, 2008:

Postdocs in Deutschland: Evaluation des Emmy Noether-Programms. Bonn: iFQ-Working Paper No.3.

Bornmann, Lutz, 2004:

Stiftungspropheten der Wissenschaft. Zuverlässigkeit, Fairness und Erfolg des Peer-Review. Münster: Waxmann Verlag.

Daniel, Hans-Dieter, 1993:

Guardians of Science. Fairness and Reliability of Peer Review. Weinheim: Wiley-VCH.

Grimm, Veronika / Mengel, Friederike, 2008:

Cooperation in Viscous Populations - Experimental Evidence. Games and Economic Behavior. Working Paper.

Hornbostel, S. / Olbrecht, M., 2007:

Peer Review in der DFG: Die Fachkollegiaten. Bonn: iFQ-Working Paper No.2.

Johnson, Valen S., 2008:

Statistical analysis of the National Institutes of Health peer review system, in: PNAS - Proceedings of the National Academy of Sciences of the United States of America, Vol. 105, No. 32, 11076-11080.

Kerr, Norbert L. / Scott Tindale, R. , 2004:

Group Performance and Desicion Making. Annual Review of Psychology 55, 623-655.

Kocher, Martin G. / Sutter, Matthias, 2005:

Individuals versus group behavior and the role of the decision making procedure in gift-exchange experiments. Empirica 34, 63-88.

Langfeldt, Liv, 2002:

Decision-making in expert panels evaluating research. Constraints, processes and bias. Dissertation. Oslo.

Linneweber, Volker, 2004:

Was weiß die Sozialpsychologie über Gruppen und Teams? in: Velmerig, C. O. / Schattenhofer, C. / Schrapper, C.(Hg.): Teamarbeit: Konzepte und Erfahrungen - eine gruppendynamische Zwischenbilanz. Weinheim, München: Juventa, 19-34.

Luhan, Wolfgang / Kocher, Martin / Matthias Sutter, 2007:

Group polarization in the team dictator game reconsidered. Working Papers in Economics and Statistics. University of Innsbruck.

Neidhardt, Friedhelm, 1988:

Selbststeuerung in der Forschungsförderung. Das Gutachterwesen der DFG. Opladen: VS Verlag für Sozialwissenschaften.

Münch, Richard, 2007:

Die akademische Elite: Zur Konstruktion wissenschaftlicher Exzellenz. Frankfurt am Main: Suhrkamp.

Obrecht, Michael / Tibelius, Karl / D’Aloisio, Guy, 2007:

Examining the value added by committee discussion in the review of applications for research awards. Research Evaluation, 16(2), 79-91.

Weller, Anne C., 2001:

Editorial Peer Review. Its Strength and Weaknesses. Medford, NJ: Information Toady.

Wenneras, Christine / Wold, Agnes 1999:

Bias in Peer Review of Research Proposals, in: Godlee, F. / Jefferson, T. (eds.), Peer Review in Health Science. London, 79-89.