Wie geschlechtersensibel sind die Abstrakts für die DGSMP-Jahrestagung 2011? Eine Auswertung der Einschätzungen im Peer Review der Abstrakts

Hintergrund: Geschlechtersensibilität ist eine Anforderung an wissenschaftliche Forschung [1] und Berichterstattung in wissenschaftlichen Zeitschriften [2,3], die bislang im Forschungsalltag unzureichend umgesetzt wird. Peer-Reviewer spielen eine wichtige Rolle bei der Veröffentlichung von Forschungsergebnissen in Publikationen und Kongressbeiträgen. Die Evidenz des Peer-Reviews für die Verbesserung der Qualität der Forschungsberichte ist unklar [4] für Kongressabstrakts wurde dies bislang nicht untersucht. In der DGSMP erfordert die Annahme eines Abstrakts und dessen Veröffentlichung ein positives Votum von idR zwei Gutachterinnen/Gutachtern. In diesem Beitrag wird berichtet, wie Peer-Reviewer die Geschlechtersensibilität der für die gemeinsame Jahrestagung der DGSMP und der DGMS 2011 in Bremen bewerteten Abstrakts eingeschätzt haben.

Daten/Methodik: Die Begutachtung der Abstrakts erfolgte standardisiert und automatisiert im Rahmen des Kongressmanagementsystems online-registry, nicht anonym und nicht verblindet für die Bewertung der Gutachter/innen. Bei der Begutachtung der Abstrakts wurde eine zusätzliche Frage gestellt: „Wie schätzen Sie die Geschlechtersensibilität des Beitrags ein?“ mit den Antwortmöglichkeiten: „(eher) ja“, „(eher) nein“, „trifft nicht zu“ und „weiß nicht“. Diese Einschätzung sollte außerhalb der Entscheidung über Annahme oder Ablehnung erfolgen. Mittels der Pivot-Funktion in Excel wurde die (Nicht-) Übereinstimmung zwischen beiden Gutachterinnen/Gutachtern untersucht. Zur Einschätzung der Interrater-Reliabilität wurde Cohen's Kappa berechnet, einschließlich des 95%-Konfidenzintervalls.

Ergebnisse: Insgesamt wurden 357 Abstrakts von jeweils zwei Gutachterinnen/Gutachtern bewertet. Die 714 Einzelbewertungen verteilen sich auf die Antwortmöglichkeiten: „(eher) ja“: N=185/25,9% „(eher) nein“: N=259/36,3% „trifft nicht zu“: N=129/18,1% „weiß nicht“: N=49/6,9% Einschätzung fehlt: N=92 (12,9%). Für die 357 Bewertungspaare ist die Bewertung beider Gutachter/innen für 126 Abstrakts (35,3%) konkordant und für 231 (64,7%) diskordant. Die konkordanten Bewertungen verteilen sich wie folgt: „(eher) ja“: N=44/34,9% „(eher) nein“: N=61/48,4% „trifft nicht zu“, „weiß nicht“ bzw. fehlende Einschätzung: N=21/16,7%. Cohen's Kappa beträgt 0,14 (95% KI: 0,07/0,20). Die häufigsten Kombinationen der diskordanten Bewertungen betreffen: „(eher) ja“ vs. „(eher) nein“: N=42/18,2% „(eher) ja“ vs. „trifft nicht zu“, „weiß nicht“ oder fehlende Einschätzung: N=55/23,8% sowie „(eher) nein“ vs. “trifft nicht zu “, „weiß nicht“ oder fehlende Einschätzung: N=95/41,1%, die restlichen N=39 verteilen sich auf alle übrigen Kombinationen.

Diskussion/Schlussfolgerungen: Bei vier von fünf Begutachtungen trafen die Gutachter/innen eine Einschätzung zur Geschlechtersensibilität, diese war häufiger „(eher) nein“ als „(eher) ja“ und „trifft nicht zu“. Jede fünfte Einschätzung war „weiß nicht“ bzw. fehlte. Bei zwei von drei Abstrakts fällt die Einschätzung der Gutachter/innen unterschiedlich aus. Der Wert des Cohen's Kappa ist insgesamt gering. Dies ist ein Hinweis auf den Einfluss von Zufall bei den Bewertungen und somit auch auf diskordante Bewertungen [5]. Die Ergebnisse können so gelesen werden, dass die Gutachter/innen unterschiedliche Vorstellungen davon haben, was ein geschlechtersensibles Abstrakt ist und was nicht. Dies soll in vertiefenden Analysen weiter untersucht werden. Des Weiteren sollten Autorinnen/Autoren und Gutachter/innen Hinweise/Kriterien für Geschlechtersensibilität an die Hand gegeben werden. Ein aktuelles Beispiel gibt das Journal of the International AIDS Society [6].

Literatur:

1. Ingeborg Jahn, Gabriele Bolte, Jakob Spallek. Epidemiologische Fachgesellschaften für „Geschlechtersensible Planung und Durchführung der geplanten Nationalen Kohortenstudie“. Ein wichtiger Schritt für geschlechtersensible Gesundheitsforschung in Deutschland. Gesundheitswesen 2010 72:383–386. https://www.thieme-connect.com/ejournals/pdf/gesu/doi/10.1055/s-0030–1261917.pdf, Zugang 23.3.2012

2. Shirin Heidari, Quarraisha Abdool Karim, Judith D Auerbach et. Al. Gender-sensitive reporting in medical research. Journal of the International AIDS Society 2012, 15:11 doi 10.1186/1758–2652–15–11. http://www.jiasociety.org/content/15/1/11, Zugang 23.3.2012

3. Shirin Heidari, Mirjam J Eckert, Susan Kippax et al. Time for gender mainstreaming in editorial policies. Journal of the International AIDS Society 2011. 14:11., http://www.jiasociety.org/content/14/1/11, Zugang 23.3.2012

4. Tom Jefferson, Melanie Rudin, Suzanne Brodney Folse, Frank Davidoff. Editorial peer review for improving the quality of reports of biomedical studies (Review) The Cochrane Library 2008, Issue 2. http://onlinelibrary.wiley.com/doi/10.1002/14651858.MR000016.pub3/pdf/standard, Zugang 23.3.2012

5. Robert Kwiecien, Annette Kopp-Schneider, Maria Blettner: Concordance analysis-part 16 of a series on evaluation of scientific publications. Dtsch Arztebl Int 2011 108(30): 515–21. http://www.aerzteblatt.de/archiv/98961, Zugang 23.03.2012

6. Journal of the International AIDS Society. About Journal of the International AIDS Society. Publication and peer-review process. http://www.jiasociety.org/about#reporting, Zugang: 23.3.2012