Skip to main content
Erschienen in: Zeitschrift für Allgemeinmedizin 2/2023

Open Access 25.01.2023 | Allgemeinmedizin | Lehre und Didaktik

Wie evaluieren wir die Förderung von Qualität und Effizienz der allgemeinmedizinischen Weiterbildung durch die Kompetenzzentren?

verfasst von: Prof. Dr. Bert Huenges, Marco Roos, Simon Schwill, Ralf Michael Jendyk, Horst Christian Vollmar, Martina Bischoff

Erschienen in: Zeitschrift für Allgemeinmedizin | Ausgabe 2/2023

Zusammenfassung

Hintergrund

In den vergangenen Jahren wurden in Deutschland 16 Kompetenzzentren für allgemeinmedizinische Weiterbildung (KW) mit dem Ziel gegründet, die Qualität und Effizienz der hausärztlichen Weiterbildung zu fördern. Ziel der Studie war es, geeignete Indikatoren für die externe Evaluation der KW zu identifizieren.

Methoden

Expert*innen aus den KW erarbeiteten ein Set aus möglichen Qualitätsindikatoren in 2 konsekutiven Workshops. Dieses Set wurde in einem 2‑stufigen Delphi-Prozess unter allen KW überarbeitet und priorisiert. Insgesamt nahmen im Zeitraum Februar bis Oktober 2020 70 Expert*innen aus 16 KW teil, davon 38 Expert*innen an beiden Befragungsrunden.

Ergebnisse

Die Expert*innen schlagen 61 mögliche Qualitätsindikatoren in 9 Themenbereichen vor: 1) Inanspruchnahme/Teilnahmequoten, 2) Qualität der praktischen Weiterbildung, 3) Qualität der KW-Angebote, 4) Organisation/Service, 5) objektive Kompetenzmessungen, 6) Erfolgs- und Abschlussquoten, 7) Versorgungsqualität und -quantität, 8) allgemeine Effekte und 9) Effizienz/Weiterbildungsdauer. Davon wurden 26 hoch, 18 mittelgradig und 17 gering priorisiert.

Schlussfolgerungen

Insbesondere quantitativ leicht zu erhebende Qualitätsindikatoren der Bereiche 1, 3, 4, 6 und 9 sind größtenteils etabliert und sollten für die Evaluation der KW fortgeführt werden. Darüber hinaus sollten geeignete Methoden zu inhaltlich-qualitativen Indikatoren, wie der Kompetenzentwicklung von Teilnehmer*innen in der Selbstwahrnehmung (3), der praktischen Weiterbildung (2), objektive Kompetenzmessung nach der Weiterbildung (5), zu allgemeinen Effekten (8) und zu Auswirkungen der KW auf die Versorgungsqualität (7), entwickelt werden. Methodisch wäre der Vergleich von Teilnehmer*innen und Nichtteilnehmer*innen durch eine externe, systematische Befragung erstrebenswert, sowohl während als auch nach der Weiterbildung. Verfahren zur objektiven Kompetenzbeurteilung von Absolvent*innen sollten in der allgemeinmedizinischen Weiterbildung etabliert werden.
Hinweise

Zusatzmaterial online

Die Onlineversion dieses Beitrags (https://​doi.​org/​10.​1007/​s44266-022-00006-y) enthält eine Tabelle zu Qualitätsindikatoren und deren Priorisierung im Delphi-Panel.
Zusatzmaterial online – bitte QR-Code scannen

Hintergrund

Reicht es aus, wenn Ärzt*innen in Weiterbildung (ÄIW) und deren Weiterbildungsbefugte (WBB) mit der Weiterbildung zufrieden sind oder brauchen wir mehr harte Indikatoren zur Evaluation von Qualität und Effizienz der Weiterbildung?
Vor 5 Jahren wurden deutschlandweit Kompetenzzentren Weiterbildung (KW) in Kooperation zwischen allgemeinmedizinischen Lehrstühlen, kassenärztlichen Vereinigungen, Landesärztekammern, der deutschen Krankenhausgesellschaft und weiteren Partnern gegründet. Diese bieten nach § 75a SGB V – als freiwilliges Zusatzangebot – Seminare und Mentoring für ÄIW und Train-the-Trainer(TtT)-Kurse für WBB im Rahmen der allgemeinmedizinischen Weiterbildung an.
Mit der Förderung aus öffentlichen Mitteln – und somit zur weiteren Finanzierung aus Mitteln privater und gesetzlicher Krankenversicherungen – verbunden ist die Verpflichtung zur Evaluation [1]. Eine externe Evaluation soll aufzeigen, inwiefern KW dazu beitragen, die „Qualität und Effizienz“ der allgemeinmedizinischen Weiterbildung zu steigern.
Zu Beginn des beschriebenen Projekts war unklar, welche Indikatoren zur externen Evaluation der Förderung von Qualität und Effizienz durch die KW herangezogen werden sollen. Die beschriebene Arbeit sollte dazu – zunächst aus Sicht der KW – Grundlagen legen. Im Rahmen der Diskussion soll reflektiert werden, welche der benannten Qualitätsindikatoren (QI) in der Evaluation [24] bereits Anwendung finden und in welchen Bereichen ggf. Nachholbedarf besteht.

Methoden

Für die Studie wurde ein 2‑stufiges, modifiziertes Delphi-Verfahren mit quantitativen und qualitativen Ansätzen gewählt [5].
In Vorbereitung wurden mögliche Items für eine Evaluation der KW-Arbeit in Workshops gesichtet, geclustert und präzisiert. Ergebnisse wurden in einem Thesenpapier zusammengestellt. Dies beinhaltete neben einem ersten Indikatorenset wesentliche Grundbegriffe, mögliche Vergleichsgruppen, Störgrößen und Confounder (vgl. Abb. 1).
Hier beschrieben werden die Ergebnisse der externen Evaluation.
Im ersten Befragungsschritt (Februar bis April 2020) erhielten alle KW den Kriterienkatalog mit der Bitte zur Kommentierung durch KW-Mitarbeiter*innen. Kommentare wurden von jeweils mindestens 2 Autor*innen (BH, MB, SS, MR und RJ) qualitativ strukturiert und qualitätsorientiert in Anlehnung an die Inhaltsanalyse nach Mayring in das Indikatorenset eingearbeitet [6].
Qualitätsindikatoren (QI) wurden in 9 Themenbereiche (TB) geclustert; eingeschlossen wurden sowohl direkte als auch indirekte Effekte sowie quantitativ und qualitativ erfassbare Parameter für die Zielgrößen Qualität und Effizienz.
Die Ergebnisse wurden in einem Zwischenbericht zusammengefasst und in der zweiten Runde der Delphi-Befragung erneut von den KW-Mitarbeiter*innen priorisiert und kommentiert.
Die Priorisierung bezieht sich ausdrücklich auf die Frage, ob das Item dazu geeignet ist, zum aktuellen Zeitpunkt die Förderung von Qualität und Effizienz der allgemeinmedizinischen Weiterbildung durch die KW zu beurteilen.
Dazu sollte jeder Indikator von den KW mit hoher (2 Punkte), mittlerer (1 Punkt) oder niedriger (0 Punkte) Priorität belegt werden. Außerdem bestand die Möglichkeit, sich – beispielsweise bei unterschiedlichen Sichtweisen innerhalb eines KW – zu enthalten (keine Punkte). Als Cut-off-Wert wurde im Mittelwert bei 1,5 Punkten oder mehr eine hohe Priorität bzw. 0,5 Punkten oder weniger keine Priorität zugewiesen.
Die priorisierten Qualitätsindikatoren wurden an die geplante externe Evaluation (IGES) weitergeleitet.
In der Diskussion soll reflektiert werden, inwieweit die definierten Qualitätsindikatoren durch den Evaluationsbericht der KBV [2], die interne qualitative und quantitative Evaluation der KW durch das DLR [3] und/oder die externe Evaluation durch das IGES [4] bereits aufgegriffen werden und in welchen Bereichen noch Optimierungspotenzial besteht.

Ergebnisse

Bei der ersten Befragung beteiligten sich 50 Expert*innen aus 16 KW mit über 500 Kommentaren. Bei der zweiten Befragung beteiligten sich 58 Expert*innen aus 16 KW bzw. 28 Standorten, wobei jedes KW zu jedem Item eine Stimme (gesamt max. 16 Voten) hatte. 38 Expert*innen beteiligten sich an beiden Befragungen, 12 nur an der ersten und 20 nur an der zweiten Fragerunde.
Im Folgenden werden zur besseren Lesbarkeit Items im Fließtext aufgeführt und Kernpunkte aus dem umfangreichen Diskussionsverlauf kurz zusammengefasst. Detaillierte Ergebnisse können hier (Tabelle im Zusatzmaterial online) abgerufen werden.

Inanspruchnahme/Teilnahmequoten durch ÄIW und WBB (TB 1)

Höchste Priorität hatte zum Zeitpunkt der Befragung in Augen der KW die Teilnahmequote am Seminarprogramm, die die Bemessungsgrundlage zur leistungsbezogenen Finanzierung der KW darstellt. Die Anzahl eingeschriebener ÄIW sowie die Beteiligung von WBB und ÄIW bei Angeboten des KW wurden ebenfalls hoch priorisiert.
Der Anzahl kooperierender WBB und die Kontinuität in der Wahrnehmung des Angebots wurde eine mittlere, der Anzahl KV-geförderter ÄIW eine geringe Priorität beigemessen.

Qualität der praktischen Weiterbildung in der Wahrnehmung der teilnehmenden ÄIW (TB 2)

Hoch priorisierte QI waren Betreuung/Feedback durch WBB; Zufriedenheit mit WBB (fachlich/didaktisch); Strukturierung der praktischen Weiterbildung sowie Kompetenzerleben/Selbsteinschätzung.
Der Stellenwert der Verbundweiterbildung wurde von den KW unterschiedlich priorisiert.

Qualität der KW-Angebote und Effekte in der Wahrnehmung teilnehmender ÄIW (TB 3)

Höchste Priorität hatte hier der subjektiv empfundene Kompetenzzuwachs in ausgewählten Items. Der Förderung professionellen Verhaltens anhand von CanMED-Rollen wurde ebenfalls hohe Priorität beigemessen. Hierunter fallen z. B. Umgang mit Unsicherheit, Resilienz, Berufszufriedenheit, Ärztegesundheit, Selbstfürsorge, Abbau von Ängsten, Führungskompetenz und Teamkompetenz. Hohe Priorität hatten ferner der kollegiale Austausch und Einflüsse auf die hausärztliche Identität der Teilnehmer*innen.
Der Wahrnehmung von Seminaren und Mentoring, deren Bewertung durch teilnehmende ÄIW und der Selbsteinschätzung einzelner ÄIW zu Verbesserung der Versorgungsqualität wurde ebenfalls eine hohe Priorität beigemessen.

Organisation/Service in den Augen der teilnehmenden ÄIW und WBB (TB 4)

Hier wurde der Beratung von ÄIW, dem Abbau bürokratischer Hürden und der Servicequalität/Erreichbarkeit jeweils eine mittlere Priorität beigemessen.

Objektive Kompetenzmessungen von Absolvent*innen und ÄIW (TB 5)

Items zur „objektiven Kompetenzmessung“ wurden zum Zeitpunkt der Befragung seitens der KW gering priorisiert.
Ergebnisse der Facharztprüfung Allgemeinmedizin – nach gängigem Format sowie einem Progresstest Weiterbildung nach niederländischem Modell wurden lediglich mittlere Priorität, diversen Methoden des Workplace-based-Assessments sowie gesonderten Prüfungen in Form von objektiv strukturierten klinischen Prüfungen (OSCE) und Multiple-Choice-Fragen wurde derzeit eine geringe Priorität zur Evaluation von KW-Effekten beigemessen.

Erfolgs‑/Abschlussquoten und Drop-outs von ÄIW und WBB (TB 6)

KW sind in hohem Maße daran interessiert, wie häufig (in absteigender Priorität) die Teilnahme am KW, die Weiterbildung zum Facharzt für Allgemeinmedizin oder die Förderung der KV abgebrochen wird und aus welchen Motiven heraus dies geschieht.

Versorgungsqualität und -quantität der Absolvent*innen (TB 7)

„Versorgungsqualität und -quantität“ wurde von den KW als Fernziel für spätere Projektevaluationen gesehen. Hier wurden 6 Items identifiziert, die von den KW unterschiedlich priorisiert wurden:
Mittlere Priorität wurde der Anzahl Fachärzt*innen Allgemeinmedizin in einer Region sowie deren Nachhaltigkeit, d. h. Dauer der vertragsärztlichen Tätigkeit als Maß der Berufszufriedenheit, der Tätigkeit in ländlichen Regionen sowie besseren Standards/weniger Heterogenität in der Versorgung neben der Steigerung von deren Motivation zur vertragsärztlichen Tätigkeit/Niederlassung beigemessen.
Eine Eignungsprüfung zur Facharztweiterbildung Allgemeinmedizin nach dänischem Modell [4] hatte in Augen vieler KW derzeit eine geringe Priorität.

Allgemeine Effekte auf die Rolle des Hausarztes in der Versorgung (TB 8)

Mit hoher Priorität wurde Resilienz als Zielgröße benannt. Weitere Qualitätsindikatoren sind die Arbeitszufriedenheit der Teilnehmer*innen und die aktive Mitarbeit von ÄIW bzw. Absolvent*innen an KW-Veranstaltungen, in Körperschaften sowie Forschung und Lehre. Wünschenswert ist in Augen einiger KW die Steigerung der Akzeptanz der Allgemeinmedizin sowie die Ausweitung von KW-Angeboten auf andere Fachgruppen. Da es sich um Langzeiteffekte handelt, wurden diese zum aktuellen Zeitpunkt eher gering priorisiert.

Effizienz und Verkürzung der Weiterbildungsdauer von Absolvent*innen (TB 9)

Hohe Priorität hatten die Anzahl Facharztabschlüsse bzw. der Anteil KW-Teilnehmer*innen an der Facharztprüfung Allgemeinmedizin sowie die Verkürzung der mittleren Weiterbildungszeit (mit und ohne Pausen wie z. B. der Elternzeit). Wichtige zu beachtende Einflussgrößen sind der Umfang der Weiterbildungsstelle, die nahtlose Anknüpfung ans Studium, die Teilnahme an Verbundweiterbildungen, der Anteil Quereinsteiger*innen und das Alter bei Facharztanerkennung.

Diskussion

Die Einführung der Kompetenzzentren in der Weiterbildung ist eine komplexe Intervention, die auch indirekte Ziele verfolgt, die von nicht-KW-abhängigen Parametern beeinflusst werden.
Ziel der Weiterbildung ist es, kompetente Fachärzt*innen für Allgemeinmedizin auszubilden, die in der Lage sind, Patient*innen eigenverantwortlich professionell hausärztlich zu versorgen. Dazu sollen KW ihren Beitrag leisten.
Im Jahr 2020 betrug die Quote der teilnehmenden ÄIW am Seminarprogramm etwa 30 %, während etwa 14 % am Mentoring teilgenommen haben. Die Quote der ambulant tätigen Weiterbilder*innen, die am TtT teilgenommen haben, lag bei etwa 15 % [3]. In der IGES-Befragung gaben 46 % der nichtteilnehmenden ÄIW an, keine Kenntnis über die Angebote der KW gehabt zu haben, 90 % hiervon hätten das Angebot gerne genutzt. Dominierender Grund für Nichtteilnahme bei Kenntnis der KW-Angebote waren Zeitmangel bzw. fehlende Freistellung [4]. Hier besteht Optimierungspotenzial.
Auch die Qualität der praktischen Weiterbildung in Wahrnehmung der teilnehmenden ÄIW sollte verbessert werden: Befragungen der Landesärztekammern ergaben, dass Ärzt*innen in Weiterbildung nur bei einem von 3 Weiterbildungsabschnitten ein strukturiertes Weiterbildungsprogramm ausgehändigt wird [2]. Innerhalb der KW-Teilnehmenden zeigte sich eine Tendenz der positiven Wirkung von TtT-Maßnahmen auf die Qualität der Weiterbildung in der Praxis: In der Gruppe der ÄiW mit TtT-fortgebildeten Weiterbilderinnen und Weiterbildern waren 87 % der ÄiW mit der Betreuung durch ihre Weiterbilder*in zufrieden, während dies bei nicht-TtT-fortgebildeten Weiterbilder*innen nur 64 % waren [4].
Die Zufriedenheit von KW-Teilnehmern mit wahrgenommenen Angeboten im Seminarprogramm, Mentoring und TtT ist generell hoch [4]. Bei 3 von 4 ÄiW hat das KW einen positiven Einfluss auf ihre Identität als zukünftige Hausärzte [4]. Auch zeigt sich ein Effekt auf den subjektiven Kompetenzzuwachs der teilnehmenden ÄIW am Mentoring und Seminarprogramm, der schwach mit der Intensität der Teilnahme korreliert [4]. Einschränkend ist zu sagen, dass es sich um Rückmeldungen einer Positivselektion hochmotivierter Teilnehmer handeln könnte und zuverlässige Referenzdaten von nichtteilnehmenden ÄIW fehlen.
Eine allgemeine Zufriedenheit von ÄIW und WBB mit der Beratung/Betreuung seitens der KW scheint gegeben [4]. Zur Zufriedenheit seitens der Koordinierungsstellen Allgemeinmedizin (KOSTA), Ärztekammer und KV lagen keine Daten vor.
Objektive Kompetenzmessungen spielen derzeit in Augen der KW bei der externen Evaluation ihrer Angebote eine geringe Rolle. Zur Identifikation möglicher (noch) nicht für die Facharzttätigkeit geeigneter Kandidaten sind diese jedoch besonders wichtig [7]. Dem Bestehen der Facharztprüfungen wird von den Expert*innen bei der Kompetenzbewertung lediglich mittlere Priorität beigemessen. Aus Kommentaren wurde deutlich, dass keine graduierte Benotung erfolgt und der Ablauf der Facharztprüfung nicht als ausreichend standardisiert angesehen wird. Eine einheitliche Prüfungsstruktur – z. B. mittels strukturierter Aufgabenstellungen und Checklisten – könnte eine differenziertere Betrachtung ermöglichen. Ein Progresstest in der Weiterbildung nach niederländischem Modell könnte als objektive Kompetenzmessung ein Mehrgewinn sein [8]. Anderen, international etablierten Verfahren des Workplace-based-Assessments [9] wurde von den Expert*innen derzeit noch eine vergleichsweise geringe Priorität beigemessen.
Erste prospektive Studien zur Kompetenzentwicklung von ÄiW im objektiven Vorher-nachher-Vergleich zeigen mögliche positive Effekte der KW [1013]. Diese könnten durch Etablierung international üblicher Verfahren systematisch erfasst werden.
Abbrüche einer KW-Nutzung sind mit 5,3 % der teilnehmenden ÄIW vergleichsweise selten [4]. Gründe dafür waren meist fehlender subjektiv empfundener Bedarf, fehlende zeitliche Ressourcen oder Wohnortwechsel.
Ein retrospektives Feedback von Absolvent*innen könnte Aufschluss darüber geben, welche Bestandteile der Weiterbildung am meisten zur Facharztkompetenz beigetragen haben. Als mögliche Qualitätsindikatoren zur Erfassung von Versorgungsstandards wurden weniger Heterogenität in der Versorgung, Leitlinienadhärenz in der Versorgung und weniger obsolete Behandlungsverfahren diskutiert. Allerdings kann auch hierfür nicht ausschließlich die KW-Arbeit verantwortlich gemacht werden.
Hinweise zur Förderung der Resilienz der Teilnehmer finden sich in vereinzelten Kommentaren im Rahmen der Evaluation [4]. Eine systematische Untersuchung hierzu steht aus. Über die Beteiligung von Absolvent*innen in Körperschaften, an Lehre und Forschung und über Effekte auf den Ruf der Allgemeinmedizin liegen keine Daten vor.
Die Verbesserung der Effizienz der Weiterbildung könnte durch eine Verkürzung der mittleren Weiterbildungsdauer erreicht werden. Unterschieden werden müssen hier eine vorgeschriebene Mindestanzahl vollzeitäquivalenter ärztlicher Tätigkeit bis zum Facharzt und die reale Dauer der Weiterbildung inkl. Pausenzeiten durch Kindererziehung und Stellenwechsel. So betrug die reale mittlere Weiterbildungsdauer in einer historischen Stichprobe in Westfalen-Lippe 128 Monate bzw. 10,7 Jahre, wobei Frauen durch mehr Teilzeittätigkeit im Mittel 19,4 Monate länger für die Facharztweiterbildung brauchten [14].
Derzeit noch offen ist, ob sich die reale Weiterbildungsdauer durch die KW-Nutzung verkürzt: Jede*r 3. teilnehmende ÄIW hält eine Verkürzung der Weiterbildungszeit durch KW-Angebote für möglich [4].
Vergleichsweise viele zukünftige Fachärzt*innen für Allgemeinmedizin entscheiden sich erst nach längerer klinischer Tätigkeit für einen Wechsel in die Allgemeinmedizin – hier könnte allein schon ein früherer Entschluss zur späteren hausärztlichen Tätigkeit eine Verkürzung der Weiterbildungsdauer bewirken [14].
Um nachhaltig die Versorgungsituation zu verbessern, muss jedoch auch die Berufszufriedenheit beachtet werden, damit die vertragsärztliche Tätigkeit nicht nur früher beginnt, sondern auch länger anhält. Ein Parameter, der in diesem Zusammenhang in der Diskussion wiederholt benannt wurde, ist die Resilienz von Absolvent*innen, die bislang noch keine Berücksichtigung in der Evaluation findet.

Einordnung der Evaluationsansätze

Die Anzahl identifizierter möglicher Qualitätsindikatoren ist recht umfangreich. Aus Gründen der Praktikabilität und um den Rücklauf von Befragungen zu erhöhen, sollten diese auf ein notwendiges Minimum fokussiert werden.
Vergleichsweise leicht zu erhebende Items finden auf einer niedrigen Stufe von Kirkpatricks „level of evaluation“ statt [15]. „Input“, „Output“ und „Aktivität“ nach dem logischen Modell [16] können im laufenden Programm durch Monitoring und systematische Teilnehmerbefragungen einfach evaluiert werden.
Inwiefern sich durch KW-Arbeit der „Impact“ – also die Versorgungsqualität [16] – systematisch verbessern lässt, ist derzeit unklar.
Ein Ziel, das einfacher zu evaluieren wäre, ist die Kompetenz von Absolvent*innen (Outcome). Von KW-Expert*innen wurde derzeit der subjektive Kompetenzgewinn deutlich höher priorisiert als die Ergebnisse objektiver Kompetenzmessungen. Hier besteht Nachholbedarf.
Einen guten Zeitpunkt für die Evaluation dieser Outcomes stellt die Anmeldung zur Facharztprüfung dar. Eine verpflichtende bundesweite Absolventenbefragung – zuzüglich des Items, in welchem Ausmaß KW-Angebote von Seiten der ÄIW und deren WBB wahrgenommen wurden – könnte dazu beitragen, mögliche Effekte der KW-Angebote festzustellen. Hierbei müssen biografische Parameter, die die Weiterbildung beeinflussen, berücksichtigt werden.
Zusätzlich könnten Befragungen ehemaliger ÄIW Langzeiteffekte auf die Verbesserung der Versorgung durch die KW-Arbeit evaluieren, da sich die Qualität der Weiterbildung möglicherweise erst nach Berufseinstieg erschließt.
So lange die Teilnahme an KW-Angeboten freiwillig sind, stellt sich jedoch stets die Frage nach dem Selektionsbias: Ist die Stichprobe der Teilnehmenden repräsentativ, nehmen nur besonders bedürftige Kolleg*innen teil oder handelt es sich umgekehrt um eine Positivselektion besonders engagierter Kolleg*innen?
Das Hinzuziehen einer repräsentativen Vergleichsgruppe (nicht am KW teilnehmende ÄIW) ist eine Kernforderung an die externe Evaluation. Methodisch wünschenswert wäre hier der systematische Vergleich sowohl zwischen ÄIW als auch deren WBB mit und ohne Nutzung von KW-Angeboten.

Stärken und Schwächen der Arbeit

Durch den Delphi-Prozess mit Partizipation aller KW auf Augenhöhe wurde ein reger Austausch über den Stellenwert unterschiedlicher Zielparameter hergestellt.
Befragt wurden Mitarbeitende der KW, die überwiegend an allgemeinmedizinisch-universitäre Lehrstühle angebunden sind. Deren Prioritäten könnten sich von den Prioritäten anderer – beispielsweise von Patient*innen, der KV, des Gesetzgebers oder der Ärztekammer – unterscheiden.
Es wurde deutlich, dass generell großer Konsens über die Notwendigkeit von Evaluationen besteht, sich jedoch die Prioritätensetzung zwischen den KW in manchen Aspekten unterscheidet. Vergleichsweise große Heterogenität der KW-Priorisierungen fanden sich in den Items zu TB 4, 5 und 8, vergleichsweise einheitliche Priorisierungen bei den meisten Items aus den TB 1, 2 und 6. Beispielsweise wurde der Stellenwert einer Verbundweiterbildung zwischen den KW unterschiedlich priorisiert.
Noch vergleichsweise geringen Stellenwert in der Diskussion hatte die Kompetenzeinschätzung von ÄIW durch deren WBB (s. Tabelle zu Qualitätsindikatoren und deren Priorisierung im Delphi-Panel, Item 5.3. im Zusatzmaterial online). Diese wird künftig durch die erfolgte Neuerung der Weiterbildungsordnung stärker im Fokus stehen.

Schlussfolgerungen

Erste Ergebnisse der externen Evaluation zeigen positive Effekte der KW auf Effizienz und Qualität der Weiterbildung. Allerdings finden hier derzeit vor allem vergleichsweise einfach zu erhebende QI Berücksichtigung.
Davon werden einige bei bestehenden Erhebungen leider nur indirekt (z. B. ohne Bezug zur KW-Teilnahme) erfasst. Zu 34 der 61 der hier beschriebenen möglichen Indikatoren fehlen momentan geeignete Erhebungsinstrumente, darunter finden sich 5 Indikatoren, denen seitens der KW eine hohe Priorität beigemessen wurde (s. Tabelle im Zusatzmaterial online). Ein Grund hierfür besteht im derzeit noch existierenden Mangel geeigneter Methoden, um ein valides und repräsentatives Bild zu den beiden Zielgrößen Effizienz und Qualität zu erhalten:
Beispielsweise sollte bezüglich der Effizienz der Weiterbildung neben dem Teilnahmeumfang und der Dauer von Weiterbildungszeiten deren Nachhaltigkeit – d. h. Umfang und Dauer späterer vertragsärztlicher Tätigkeit, Betrachtung finden.
Zur Qualität der Weiterbildung sollten neben Teilnehmerbefragungen und subjektiven Selbsteinschätzungen etablierte Verfahren im Rahmen eines Workplace-based-Assessments nach internationalem Vorbild ergänzt werden [7].
Fernziel der Weiterbildung in den KW ist die Verbesserung der hausärztlichen Versorgung (Impact). Ein erster Schritt in diese Richtung könnte die vergleichende Befragung von KW-Teilnehmer*innen und Nichtteilnehmer*innen vor der Facharztprüfung und ggf. im Abstand von z. B. 5 Jahren nach Ende der Weiterbildung sein. Weitere Schritte bestünden in der Reformierung der Kompetenzerfassung von Absolvent*innen.

Fazit für die Praxis

  • Eine erste externe Evaluation gibt Hinweise auf eine Verbesserung von Qualität und Effizienz der Weiterbildung. Allerdings basiert diese im Schwerpunkt auf der Wahrnehmung von Teilnehmer*innen.
  • Zu einigen von den Expert*innen als wichtig postulierten Qualitätsparametern fehlen derzeit geeignete Indikatoren.
  • Mittelfristig sollten Verfahren etabliert werden, die die Kompetenz von Absolvent*innen – im Vergleich zu Nichtteilnehmenden – objektiv erfassen.
  • Langzeiteffekte z. B. auf die Nachhaltigkeit von KW-Angeboten oder auf die Versorgungsqualität können zum aktuellen Zeitpunkt noch nicht abgesehen werden.
  • Selektionseffekte sind bei freiwilliger Teilnahme an KW-Angeboten anzunehmen. Diese methodische Herausforderung ist durch nichtkontrolliertes Design und Fehlen geeigneter Vergleichsgruppen schwer zu quantifizieren.

Einhaltung ethischer Richtlinien

Interessenkonflikt

B. Huenges, M. Roos, S. Schwill, R.M. Jendyk, H.C. Vollmar und M. Bischoff geben an, dass kein Interessenkonflikt besteht.
Für diesen Beitrag wurden von den Autor/-innen keine Studien an Menschen oder Tieren durchgeführt. Für die aufgeführten Studien gelten die jeweils dort angegebenen ethischen Richtlinien.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://​creativecommons.​org/​licenses/​by/​4.​0/​deed.​de.

Unsere Produktempfehlungen

Zeitschrift für Allgemeinmedizin

Print-Titel

  • NEU: ZFA TALKS - der Podcast für praxisrelevantes Wissen
  • Zertifizierte CME-Fortbildungen


e.Med Interdisziplinär

Kombi-Abonnement

Für Ihren Erfolg in Klinik und Praxis - Die beste Hilfe in Ihrem Arbeitsalltag

Mit e.Med Interdisziplinär erhalten Sie Zugang zu allen CME-Fortbildungen und Fachzeitschriften auf SpringerMedizin.de.

e.Med Allgemeinmedizin

Kombi-Abonnement

Mit e.Med Allgemeinmedizin erhalten Sie Zugang zu allen CME-Fortbildungen und Premium-Inhalten der allgemeinmedizinischen Zeitschriften, inklusive einer gedruckten Allgemeinmedizin-Zeitschrift Ihrer Wahl.

Weitere Produktempfehlungen anzeigen
Literatur
1.
Zurück zum Zitat Kassenärztliche Bundesvereinigung (2020) Vereinbarung zur Förderung der Weiterbildung gemäß § 75a SGB V – Anlage IV Förderung von Qualität und Effizienz der Weiterbildung Kassenärztliche Bundesvereinigung (2020) Vereinbarung zur Förderung der Weiterbildung gemäß § 75a SGB V – Anlage IV Förderung von Qualität und Effizienz der Weiterbildung
2.
Zurück zum Zitat Kassenärztliche Bundesvereinigung (2019) Evaluationsberichte Weiterbildungsförderung gemäss § 75A SGB V: Evaluationsbericht Kassenärztliche Bundesvereinigung (2019) Evaluationsberichte Weiterbildungsförderung gemäss § 75A SGB V: Evaluationsbericht
3.
Zurück zum Zitat Poschadel S, Hummel K, Menschel R, Meyer G, Möller-Bock B (2020) Weiterbildungsförderung gemäss § 75A SGB V: Evaluationsbericht (qualitativ) der Gemeinsamen Einrichtung (DLR Projektträger) über die Weiterbildungsförderung gemäß § 75a SGB V bei den Kompetenzzentren Weiterbildung im Jahr 2020 Poschadel S, Hummel K, Menschel R, Meyer G, Möller-Bock B (2020) Weiterbildungsförderung gemäss § 75A SGB V: Evaluationsbericht (qualitativ) der Gemeinsamen Einrichtung (DLR Projektträger) über die Weiterbildungsförderung gemäß § 75a SGB V bei den Kompetenzzentren Weiterbildung im Jahr 2020
4.
Zurück zum Zitat Zich K, Nolting H‑D, Nguyen TH, Tisch T, Rieckhoff S (2022) Standortübergreifende, wissenschaftliche Evaluation der gemäß § 75a SGB V geförderten Kompetenzzentren Weiterbildung: Abschlussbericht für die Lenkungsgruppe nach § 10 der Vereinbarung zur Förderung der Weiterbildung gemäß § 75a SGB V. Berlin Zich K, Nolting H‑D, Nguyen TH, Tisch T, Rieckhoff S (2022) Standortübergreifende, wissenschaftliche Evaluation der gemäß § 75a SGB V geförderten Kompetenzzentren Weiterbildung: Abschlussbericht für die Lenkungsgruppe nach § 10 der Vereinbarung zur Förderung der Weiterbildung gemäß § 75a SGB V. Berlin
5.
Zurück zum Zitat Keeney S, Hasson F, McKenna H (2006) Consulting the oracle: ten lessons from using the Delphi technique in nursing research. J Adv Nurs 53:205–212CrossRefPubMed Keeney S, Hasson F, McKenna H (2006) Consulting the oracle: ten lessons from using the Delphi technique in nursing research. J Adv Nurs 53:205–212CrossRefPubMed
6.
Zurück zum Zitat Mayring P (2010) Qualitative Inhaltsanalyse. In: Mey G, Mruck K (Hrsg) Handbuch Qualitative Forschung in der Psychologie. VS, Wiesbaden, S 601–613CrossRef Mayring P (2010) Qualitative Inhaltsanalyse. In: Mey G, Mruck K (Hrsg) Handbuch Qualitative Forschung in der Psychologie. VS, Wiesbaden, S 601–613CrossRef
7.
Zurück zum Zitat Barrett A, Galvin R, Steinert Y, Scherpbier A, O’Shaughnessy A, Horgan M, Horsley T (2016) A BEME (Best Evidence in Medical Education) review of the use of workplace-based assessment in identifying and remediating underperformance among postgraduate medical trainees: BEME Guide No. 43. Med Teach 38:1188–1198. https://doi.org/10.1080/0142159X.2016.1215413CrossRefPubMed Barrett A, Galvin R, Steinert Y, Scherpbier A, O’Shaughnessy A, Horgan M, Horsley T (2016) A BEME (Best Evidence in Medical Education) review of the use of workplace-based assessment in identifying and remediating underperformance among postgraduate medical trainees: BEME Guide No. 43. Med Teach 38:1188–1198. https://​doi.​org/​10.​1080/​0142159X.​2016.​1215413CrossRefPubMed
9.
Zurück zum Zitat Norcini J, Burch V (2007) Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach 29:855–871CrossRefPubMed Norcini J, Burch V (2007) Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach 29:855–871CrossRefPubMed
10.
Zurück zum Zitat Olm M, Roos M, Hapfelmeier A, Schneider D, Gensichen J, Berberat PO, Schneider A (2021) Increased professionalization and lower burnout scores were associated with structured residency training program: results of a cross sectional survey. Med Educ Online 26:1959284CrossRefPubMedPubMedCentral Olm M, Roos M, Hapfelmeier A, Schneider D, Gensichen J, Berberat PO, Schneider A (2021) Increased professionalization and lower burnout scores were associated with structured residency training program: results of a cross sectional survey. Med Educ Online 26:1959284CrossRefPubMedPubMedCentral
11.
Zurück zum Zitat Schneider A, Bühner M, Herzog T, Laverty S, Ziehfreund S, Hapfelmeier A, Schneider D, Berberat PO, Roos M (2021) Educational intervention reduced family medicine residents’ intention to request diagnostic tests: results of a controlled trial. Med Decis Making 41:329–339CrossRefPubMed Schneider A, Bühner M, Herzog T, Laverty S, Ziehfreund S, Hapfelmeier A, Schneider D, Berberat PO, Roos M (2021) Educational intervention reduced family medicine residents’ intention to request diagnostic tests: results of a controlled trial. Med Decis Making 41:329–339CrossRefPubMed
14.
Zurück zum Zitat Bußhoff S, Becka D, Rusche H, Huenges B (2015) Wo arbeiten die Allgemeinmediziner nach der Facharztanerkennung?: Analyse der Datenbank der Ärztekammer Westfalen-Lippe. Z Allg Med 91:440–445. https://doi.org/10.3238/zfa.2015.0440–0445 Bußhoff S, Becka D, Rusche H, Huenges B (2015) Wo arbeiten die Allgemeinmediziner nach der Facharztanerkennung?: Analyse der Datenbank der Ärztekammer Westfalen-Lippe. Z Allg Med 91:440–445. https://​doi.​org/​10.​3238/​zfa.​2015.​0440–0445
15.
Zurück zum Zitat Kirkpatrick (1959) Techniques for evaluating training programs. J ASTD 11:1 Kirkpatrick (1959) Techniques for evaluating training programs. J ASTD 11:1
16.
Zurück zum Zitat Förster C, Haumann H, Schwill S, Bischoff M, Portenhauser F, Stengel S, Barzel A, Koch R, Joos S (2021) Das Logische Modell als Grundlage für ein strukturiertes Konzept der Evaluation und Qualitätssicherung der Kompetenzzentren Weiterbildung Allgemeinmedizin. Z Evid Fortbild Qual Gesundhwes 165:77–82. https://doi.org/10.1016/j.zefq.2021.08.003CrossRefPubMed Förster C, Haumann H, Schwill S, Bischoff M, Portenhauser F, Stengel S, Barzel A, Koch R, Joos S (2021) Das Logische Modell als Grundlage für ein strukturiertes Konzept der Evaluation und Qualitätssicherung der Kompetenzzentren Weiterbildung Allgemeinmedizin. Z Evid Fortbild Qual Gesundhwes 165:77–82. https://​doi.​org/​10.​1016/​j.​zefq.​2021.​08.​003CrossRefPubMed
Metadaten
Titel
Wie evaluieren wir die Förderung von Qualität und Effizienz der allgemeinmedizinischen Weiterbildung durch die Kompetenzzentren?
verfasst von
Prof. Dr. Bert Huenges
Marco Roos
Simon Schwill
Ralf Michael Jendyk
Horst Christian Vollmar
Martina Bischoff
Publikationsdatum
25.01.2023
Verlag
Springer Medizin
Schlagwort
Allgemeinmedizin
Erschienen in
Zeitschrift für Allgemeinmedizin / Ausgabe 2/2023
Print ISSN: 1433-6251
Elektronische ISSN: 1439-9229
DOI
https://doi.org/10.1007/s44266-022-00006-y

Weitere Artikel der Ausgabe 2/2023

Zeitschrift für Allgemeinmedizin 2/2023 Zur Ausgabe

Leitlinien kompakt für die Allgemeinmedizin

Mit medbee Pocketcards sicher entscheiden.

Seit 2022 gehört die medbee GmbH zum Springer Medizin Verlag

Facharzt-Training Allgemeinmedizin

Die ideale Vorbereitung zur anstehenden Prüfung mit den ersten 24 von 100 klinischen Fallbeispielen verschiedener Themenfelder

Mehr erfahren

Update Allgemeinmedizin

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.