Qualitätssicherungssystem zur Bewertung eines HNO-Facharztrepetitoriums

Evaluiert wurde ein 3‑tägiges Facharztrepetitorium, welches mit 40 Teilnehmern in Präsenz stattfand. Die Lehrinhalte wurden in Seminarform von insgesamt 20 Dozenten vermittelt. Direkt nach jeder Lehreinheit wurde diese durch die Teilnehmer mittels Fragebogen evaluiert. Der Fragebogen (s. elektronisches Zusatzmaterial online) umfasst spezifische Items zum Dozenten, zur Lehreinheit und zur Selbstwahrnehmung der Teilnehmer. Zusätzlich wurde der subjektive Lernzuwachs durch Einschätzung des eigenen Wissens vor und nach der Unterrichtseinheit ermittelt. Die Fragebogenitems wurden mithilfe einer Likert-Skala nach dem Schulnotensystem (1 = sehr gut bzw. trifft voll zu, 6 = ungenügend bzw. trifft überhaupt nicht zu) bewertet. Abschließend erfolgte eine globale Bewertung der Unterrichtseinheit nach dem gymnasialen Oberstufensystem von 0 bis 15 Punkte (15 Punkte = sehr gut; 0 Punkte = ungenügend). Die Werte der Fragebogenitems wurden in ordinalen Werten erfasst. Eine deskriptive Beschreibung erfolgte sowohl über Mittelwert und Standardabweichung als auch über Median mit Interquartilsabstand. Binäre Daten wurden über Gesamtzahl und Prozentwert am jeweiligen Kollektiv abgebildet. Unter der Annahme, dass fehlende Werte aus Sicht der Teilnehmenden eine nicht vorhandene Eigenschaft darstellten, die somit auch nicht bewertet werden konnte, wurden bei fehlenden Werten für Variablen die jeweils schlechteste Bewertung angenommen und der Zahlenwert 6 eingesetzt [10]. Ausgenommen von der Imputation waren die Variablen „Wissen vorher“, „Wissen nachher“ und „Wissensdifferenz“.

Für die vergleichenden Statistiken wurden die ordinalen Variablen zunächst mittels Kolmogorov-Smirnov- und Shapiro-Wilk-Test auf Normalverteilung geprüft. Bei Signifikanz einer der beiden Tests wurde eine nichtparametrische Verteilung angenommen. Die statistischen Gruppenvergleiche erfolgten für nichtparametrische Daten mit Wilcoxon-Rang-Summentest. Die dichotome Variable „Negativwahrnehmung“ wurde durch die schlechtesten 15 % der Bewertungen nach Gesamtnote definiert.

Die Ermittlung der Einflussgrößen auf den dichotomen Endpunkt „Negativwahrnehmung“ erfolgte zunächst mittels einer univariablen sowie nachfolgend mit einer multivariablen binären logistischen Regression. Die Ergebnisse sind entsprechend als Odds-Ratio-Schätzer und 95%-Konfidenzgrenzen dargestellt. Für das Rückwärtsverfahren („backward likelihood“), das als Teil der multivariablen Regressionsanalyse durchgeführt wurde, sind ergänzend die „receiver operating characteristics curves“ (ROC-Kurven) berechnet. Die Auswertung erfolgte mit SAS 9.4 Enterprise Guide (SAS Institute, Cary, NC, USA).

Von den insgesamt 800 ausgegebenen Fragebögen wurden 517 Fragebögen ausgefüllt zurückgegeben, was einer Rücklaufquote von 64,6 % entspricht. Wegen einer fehlenden Endnote mussten 23 Fragebögen ausgeschlossen werden, sodass 494 Fragebögen in die Auswertung eingeschlossen werden konnten. Die deskriptive Statistik mit Mittelwert und Standardabweichung bzw. Median mit Interquartilsabstand für das Gesamtkollektiv aller Lehrveranstaltungen und aller Fragebogenitems ist in Tab. 1 dargestellt. Inhaltlich wurden die Items einer der 3 Kategorien Dozent, Teilnehmer und Struktur zugeordnet.

Die globale Bewertung der Unterrichtseinheit analog zum deutschen Oberstufensystem zeigte eine deutliche Rechtsverschiebung mit einem Mittelwert von 12,8 ± 2,4 Punkten (Abb. 1). Von der Gesamtnote ausgehend wurden die 15 % schlechtesten Bewertungen ermittelt. Diese wurden als eine negative Wahrnehmung der einzelnen Unterrichtseinheit definiert und lagen bei einer Gesamtnote von 10 oder weniger Punkten. Die anderen 85 % der Fragebögen wurden als eine positive Wahrnehmung der Unterrichtseinheit definiert.

Der deskriptive Vergleich zwischen der Gruppe mit einer positiven Wahrnehmung und einer negativen Wahrnehmung der jeweiligen Unterrichtseinheit ergab in allen Fragebogenitems bis auf die Pünktlichkeit (p = 0,6602) signifikante Unterschiede. Abgesehen von der Frage nach einem zu hohen Tempo (p = 0,0028) waren diese sogar hochsignifikant (p < 0,0001; Tab. 2).

Die weitergehende Analyse wurde mittels multivariabler binär-logistischer Regression durchgeführt. Durch eine schrittweise Regression mit Anwendung des Rückwärtsverfahren (Backward-Eliminations-Methode) konnten die Variablen bestimmt werden, die maßgeblich zu einer negativen Wahrnehmung der Lehreinheit führen. Dies waren die Fragebogenitems „Freundlichkeit“, „Systematischer Aufbau“, „Eigene Mitarbeit“, „Vorwissen“ und „Unterrichtseinheit effizient“ (Tab. 3). Die AUROC-Analyse („area under the receiver operating characteristic“) als Maß für die diagnostische Güte ergab 0,929.

Für das individuelle Dozentenfeedback wurden die Werte des einzelnen Dozenten einem Vergleichskollektiv, bestehend aus allen anderen Dozenten mit einer guten Bewertung, gegenübergestellt und auf signifikante Unterschiede überprüft. Exemplarisch zeigt Tab. 4 die Mittelwerte und den Median der 23 Fragebögen eines Dozenten im Vergleich zu der Gruppe der gut bewerteten Dozenten.

Die Analyse ergab in der Kategorie „Dozent“ bei den Fragebogenitems „Aufmerksamkeit erhalten“, „Mitarbeit gefördert“, „Anschauliche Beispiele“ und „Verständliche Erklärungen“ hochsignifikante (p < 0,0001) Unterschiede. In der Kategorie „Teilnehmer“ waren die Items „Eigene Mitarbeit“, „Vorwissen“, „Inhalt interessant“, „Inhalt relevant“ und „Unterrichtseinheit effizient“ hochsignifikant (p < 0,0001). In der Kategorie „Struktur“ konnten hochsignifikante (p < 0,0001) Unterschiede für die Fragebogenitems „Systematischer Aufbau“ und „Lernziele genannt“ gezeigt werden.

Signifikant mit niedrigerem Signifikanzniveau waren „Freundlichkeit“ (p = 0,014) und „Niveau zu hoch“ (p = 0,002).

In der HNO-Heilkunde endet die Weiterbildungszeit regelhaft mit dem Absolvieren einer Facharztprüfung. Hierfür müssen während der Weiterbildungszeit die im Logbuch aufgeführten diagnostischen und operativen Tätigkeiten erfüllt werden [1].

Lernziele bzw. Kompetenzen, die ein einheitliches Ziel der Facharztweiterbildung ermöglichen, werden im Logbuch nicht definiert [1].

Durch eine fehlende Standardisierung der Weiterbildung kann es, da die Facharztweiterbildung maßgeblich durch den Weiterbilder und die Weiterbildungseinrichtung geprägt wird, in unterschiedlichen Einrichtungen zu unterschiedlichen Ausbildungsständen der Kandidat(inn)en vor der Facharztprüfung kommen. Eine fehlende Standardisierung der Facharztprüfung in Deutschland hinsichtlich der Anforderungen und Wissensinhalte, wie sie z. B. in der europäischen Facharztprüfung existiert, verhindert zudem eine assessmentgetriggerte Ausbildung [11]. Ein unabhängiges Facharztrepetitorium kann dazu beitragen, die Prüflinge vor der Facharztprüfung auf ein einheitliches theoretisches Wissensniveau zu bringen. Um diese Aufgabe erfolgreich zu meistern, bedarf es einer zielgruppenorientierten Wissensvermittlung. Hierfür ist die Kenntnis der Bedürfnisse der Zielgruppe eine Schlüsselkomponente [8]. Eine Möglichkeit zur Erfassung der Bedürfnisse ist das Einholen eines Feedbacks nach einer Lehrveranstaltung [9, 12]. Dieses Feedback kann auf verschieden Arten erfolgen. Die Anforderungen an die Art des Feedbacks sollten eine einfache Anwendbarkeit und die Lieferung zuverlässiger Daten mit eindeutigen Informationen im Hinblick auf eine Verbesserung sein [12].

Fragebögen sind eine häufig verwendete Methode, um effizient und routinemäßig Feedback von einer größeren Gruppe zu erhalten [13‐15]. Ein Problem von Feedback ist jedoch häufig die Subjektivität [16, 17]. Wenn die Stichprobengröße bei einer Erhebung mittels Fragebogen jedoch groß genug ist, können aus einem subjektiven Feedback die objektiven Informationen extrahiert werden. Eine systematische statistische und objektive Analyse und Interpretationen der Evaluationsdaten unterstützen eine gezielte Verbesserung der evaluierten Veranstaltung [7, 10]. Eine Verbesserung basierend auf Evaluationsdaten kann allerdings auch schwierig sein. Zunächst muss ein Fragebogen entwickelt werden, der die relevanten Fragen beinhaltet, deren Beantwortung zu einer Verbesserung führen [10, 18]. Darüber hinaus erfordern die Daten eine sorgfältige und umfassende Analyse, um Schlussfolgerungen für eine Verbesserung der Veranstaltung zu ermöglichen [10, 19‐21]. Mithilfe der durchgeführten Datenanalysen war es möglich, die relevanten Faktoren zu ermitteln, die bei den Teilnehmern eine positive oder negative Wahrnehmung der Veranstaltung hervorrufen. Hierbei waren die Faktoren „Freundlichkeit“, „Systematischer Aufbau“, „Vorwissen“, „Eigene Mitarbeit“ und „Unterrichtseinheit effizient“ maßgeblich. Freundlichkeit ist eine Grundvoraussetzung für die Kommunikation mit einer Zielgruppe und daher ein wichtiges Element.

Durch eine gut strukturierte Lehrveranstaltung fällt es den Teilnehmern leichter, gedanklich zu folgen. Dies bildet die Grundlage, um neue Informationen aufzunehmen („Systematischer Aufbau“) [4, 6, 22]. Die Zielgruppenorientierung zeigt sich an dem Element „Vorwissen“. Um neue Inhalte einzuordnen und abzuspeichern, benötigt der Lernende ein gewisses Maß an Vorwissen [5, 6]. Um das neu zu vermittelnde Wissen an ihr Vorwissen anknüpfen zu können, ist eine Orientierung am meist unterschiedlichen Vorwissen der Teilnehmer wichtig für den Lernerfolg. Hierdurch kann einer Überforderung der Teilnehmer bei komplexen und umfangreichen Inhalten vorgebeugt werden. Dies kann sich natürlich bei einer großen heterogenen Gruppe schwierig gestalten. Die Variable „Eigene Mitarbeit“ ist ein Surrogat für die aktive Mitarbeit der Teilnehmer. Da Lernen ein aktiver Prozess ist, ist die aktive Mitarbeit eine Voraussetzung für den Lernprozess. Je aktiver der Lernende in den Lehrprozess involviert ist, desto größer ist sein Lernzuwachs [23, 24]. Damit die Teilnehmer aktiv mitarbeiten können, muss sich die jeweilige Unterrichtseinheit nicht nur am Vorwissen der Teilnehmer orientieren und den Inhalt gut strukturiert präsentieren, sondern auch aktiv zur Mitarbeit anregen und die Interaktion fördern. Der letzte Punkt „Unterrichtseinheit effizient“ spiegelt die Erwartung der Zielgruppe an das Format eines kompakten Repetitoriums als eine effiziente Wissensvermittlung wider.

Zusätzlich zu einer globalen Auswertung der Veranstaltung wurde eine Subgruppenanalyse nach Dozenten durchgeführt. Für einen dieser Dozenten wurde exemplarisch ein individuelles Profil von Stärken und Schwächen gezeigt. In der exemplarischen Dozentenauswertung zeigte sich in allen 3 Kategorien des Fragebogens „Dozent“, „Teilnehmer“ und „Struktur“ Verbesserungspotenzial.

In der Kategorie Dozent schnitten die Items „Aufmerksamkeit erhalten“, „Mitarbeit gefördert“, „Anschauliche Beispiele“ und „Verständliche Erklärungen“ im Vergleich zu den anderen Dozenten signifikant schlechter ab. Bei den strukturellen Aspekten der Lehrveranstaltung konnten die Variablen „systematischer Aufbau“ und „Lernziele genannt“ im Vergleich zu den anderen Dozenten ebenso als signifikant schlechter identifiziert werden. Darüber hinaus sahen die Teilnehmer die fehlende Möglichkeit zur Mitarbeit als Kritikpunkt.

Die Variablen „Vorwissen“ „Niveau zu hoch“, „Inhalt interessant“ und „Inhalt relevant“ unterschieden sich ebenfalls hochsignifikant vom Vergleichskollektiv. Das Thema schien für die Teilnehmer nicht interessant und wurde als nicht relevant bewertet. Das Niveau wurde im Verhältnis zum Vorwissen von den Teilnehmern als zu hoch eingestuft. Dies ist ein gutes Beispiel für ein schwieriges Thema einer Lehreinheit. Die Konstellation des geringen Vorwissens und der schwer nachvollziehbaren Relevanz des Themas stellt eine Herausforderung für den Dozenten dar. Die Relevanz des Themas zu vermitteln und das Interesse zu wecken, ist für den Lernerfolg der Teilnehmer eine wichtige Voraussetzung [25, 26]. In diesem Fall kam erschwerend hinzu, dass das Niveau der Lehreinheit nicht dem Vorwissen der Teilnehmer angepasst war.

Die Auswertung bildet eine objektive Grundlage für ein Verbesserungsgespräch mit dem Dozierenden, sodass in zukünftigen Lehreinheiten wichtige Aspekte wie z. B. die Struktur der Lehrveranstaltung angepasst und die Lernzielkommunikation erfolgen kann. Anhand der Variablen „Vorwissen“ und „Niveau zu hoch“ lässt sich der Inhalt der Lehreinheit zukünftig besser auf die Teilnehmer abstimmen.

Um eine kompakte Veranstaltung wie ein Facharztrepetitorium so effizient wie möglich zu gestalten, ist eine stetige Qualitätskontrolle unerlässlich. Der eingesetzte Fragebogen ermöglicht ein Feedback sowohl für den Veranstalter über die Gesamtveranstaltung als auch über die eingesetzten Dozenten. Durch das Feedback lassen sich nicht nur die Inhalte der Veranstaltung besser auf die Bedürfnisse der Teilnehmer abstimmen, sondern auch die präsentierten Inhalte in Art und Aufbereitung möglichst lernfördernd darstellen.

Methodenkritisch bleibt anzumerken, dass sich die vorliegende Arbeit auf die Wahrnehmung der Qualität der Unterrichtseinheit durch die Teilnehmer fokussiert. Es verbliebe noch die Möglichkeit der Messung des Lernerfolgs über eine Evaluation des Abschneidens der Teilnehmer in der Facharztprüfung. Hierbei sei aber auf die eingeschränkte Aussagekraft des Prüfungsergebnisses aufgrund einer fehlenden Standardisierung der Facharztprüfungen in Deutschland hingewiesen. Somit verbleibt die Messung der Qualität aus Sicht der Teilnehmer nach Ansicht der Autoren die am besten realisierbare Methode.