Vergleich von Patientenbewertungen auf Online-Portalen untereinander und mit Qualitätsberichten der Krankenhäuser und der Qualitätssicherung mit Routinedaten

Es erfolgte eine strukturierte Online-Recherche zur Identifikation von Krankenhausbewertungsportalen. Der Einschluss in weitere Analysen richtete sich nach folgenden Kriterien: 1) Online-Portal mit Evaluation urologischer Fachabteilungen in Deutschland, 2) Bewertung urologischer Fachabteilungen anhand von Daten der QB, QSR-Daten und/oder durch Patienten bzw. anderweitigen Daten der Qualitätskontrolle und 3) Bewertung anhand von Skalen (z. B. Noten, Ampel, Punkte/Sterne). Ausgeschlossen wurden Portale, die lediglich Informationen zu Fachabteilungen lieferten, aber keine Bewertungen. Ebenfalls ausgeschlossen wurden veraltete Portale (letzte Aktualisierung > 2 Jahre) und redundante Portale.

Es wurden Suchmaschinen mit dem zum Suchzeitpunkt größten Marktanteil in Europa verwendet: Google, Bing/Yahoo, Yandex, DuckDuckGo und Ecosia. Die Suche erfolgte im Januar 2022 und enthielt und die im Appendix aufgeführten Operatoren. Vor jeder Suche wurden Cashes und Cookies gelöscht sowie jede Form der Personalisierung und eine lokale Suche möglichst unterbunden. Von jeder Suchmaschine wurden die ersten 25 Treffer weiter gescreent. Enthielten die gescreenten Seiten Links zu potenziell den Einschlusskriterien entsprechenden Portalen, wurden diese weiterverfolgt.

Für die eingeschlossenen Portale wurden a priori definierte Daten erhoben: die Angaben zum Portalbetreiber, Betten- und Fallzahlen, Anzahl der urologischen Fachabteilungen, Abbildung von Ergebnissen der QB bzw. QSR- oder ähnlichen Daten und vorhandene Patientenbewertungen. Die Patientenbewertungen wurden nach den in Tabelle B im Appendix genannten Kriterien charakterisiert. Ebenso wurde bei der qualitativen Beurteilung der Online-Portale nach Darstellungs- und Informationsqualität verfahren [16]. Die Datenerhebung erfolgte im Mai 2022.

Ein Vergleich der Patientenbewertungen der Portale erfolgte für die 10 urologischen Fachabteilungen mit den insgesamt meisten stationären Behandlungsfällen im Jahr 2021 laut Weisser Liste [8]. Patientenbewertungen der verschiedenen Portale wurden untereinander verglichen. Bei Portalen, welche einzelne Patientenbewertungen separat aufführten, wurden Mittelwerte und Standardabweichungen sowie Mediane und Perzentilen (25 und 75 %) ermittelt. Hierzu wurde eine Normierung der jeweils verwendeten Bewertungsskala auf Prozentwerte vorgenommen. Zudem wurden die Bewertungen mittels „generalized estimated equations“ (GEE) verglichen. Waren nur Mittelwerte sämtlicher Bewertungen verfügbar, erfolgte keine weitere statistische Analyse.

Des Weiteren erfolgte der Vergleich von Bewertungen zur RPE anhand von Patientenbewertungen (klinikbewertungen.de, AOK-Gesundheitsnavigator) vs. QSR-Daten (AOK-Gesundheitsnavigator) mittels Rangkorrelationen nach Spearman. Lediglich im Portal „klinikbewertungen.de“ war ein Maß an Patientenbewertungen verfügbar, welches statistische Vergleiche zuließ. Die ausgewerteten Daten wurden generiert, indem sämtliche verfügbaren Freitextbewertungen nach Begriffen wie „Prostataoperation, Prostatektomie, Prostatakrebs, Prostataentfernung“ durchsucht wurden. Im positiven Fall wurde die jeweilige vergebene Sternezahl der Gesamtbewertung erfasst. Für den AOK-Gesundheitsnavigator erfolgte zudem ein interner Vergleich der QSR-Daten und der Patientenbewertungen. Bei den QSR-Daten wurden die Qualitätsindikatoren Bluttransfusionen, ungeplante Folgeoperationen und sonstige Komplikationen sowie die Gesamtbewertung analysiert. Zudem erfolgte ein Vergleich mit der eingriffsunabhängigen Fallzahl der jeweiligen Fachabteilung im Jahr 2020 laut Weisser Liste und mit der stationären Fallzahl für die RPE im Jahr 2020 laut AOK-Gesundheitsnavigator. Für die Patientenbewertungen des AOK-Gesundheitsnavigators wurde die dort aufgeführte Weiterempfehlungsrate verwendet.

Hinsichtlich der Qualität der Patientenbewertung (Tabelle B, Appendix) zeigt sich, dass bei 5 von 10 Portalen ein Account zur Bewertungsabgabe erforderlich war und bei 8 von 10 Portalen die Angabe einer E‑Mail-Adresse. Nähere Angaben waren voraussetzend bei 5 Portalen gefordert. Die Bewertung konnte bei 7 von 10 Portalen anonym abgegeben werden. Das Löschen der Bewertung war bei 4 (Patient) bzw. 5 (Klinik) Portalen möglich, die Bewertungen waren bei 9 Portalen datiert. Bei 8 von 10 Portalen war die Anzahl der eingeflossenen Bewertungen ersichtlich. Transparenz und statistische Auswertung konnten jeweils 3 und 10 Portalen zugeordnet werden. Bis auf „krankenhaus.de“ boten alle 10 Portale Freitextbewertungen an. Ebenso verfügten alle bis auf „KKH-Krankenhaussuche“ über ein skalares Bewertungssystem. Hier zeigten sich allerdings die Skalen wie auch das Labeling (z. B. Noten, Sterne, Herzen) heterogen. Auch die Auswahl der Dimensionen war sehr unterschiedlich. Neben einer einfachen Gesamtwertung konnten bei 5 Portalen mehrere Dimensionen wie z. B. Ausstattung und Kommunikation bewertet werden. Nur der AOK-Gesundheitsnavigator und die Weisse Liste nutzten einen validierten Fragebogen (PEQ). 7 Portale erlaubten den Kliniken, die Bewertungen zu kommentieren, vereinzelt waren Kommentare durch Nutzer oder „Likes“ möglich. Bewertungen anderer Portale bildeten nur 2 Websites ab. In beiden Fällen war jedoch kein Vergleich von Durchschnittsergebnissen möglich. Lediglich bei 2 Portalen wurde das behandelte Krankheitsbild bzw. die durchgeführte Operation zwingend erfasst. Freiwillige Angaben waren bei weiteren 2 Portalen möglich. Teilweise wurden weitere Angaben wie Alter, Geschlecht oder Versicherungsstatus der Patienten erfasst.

Die Tab. 2 zeigt die Mittelwerte und Mediane der auf eine Prozentskala normierten Bewertungen einzelner Portale für die 10 Kliniken mit den höchsten stationären Fallzahlen. Insgesamt waren n = 3477 Einzelbewertungen verfügbar. Bereits bei der Anzahl der Bewertungen zeigt sich eine große Spannbreite. Es ist zu beachten, dass nicht für alle Kliniken auf allen Portalen Bewertungen vorlagen. Zudem waren auf der „Weissen Liste“ wie auch bei „Sanego“ keine einzelnen Bewertungen, sondern nur Mittelwerte verfügbar, weshalb keine Streubreiten ermittelt werde konnten. Die 3 Portale mit den meisten Bewertungen waren die „Weisse Liste“, gefolgt von „klinikbewertungen.de“ und „Sanego“.

Die 5 Portale mit n = 1063 verfügbaren Einzelbewertungen („klinikbewertungen.de“, „Google“, „Jameda“, „krankenhaus.de“, „krankenhausbewertung.de“) zeigten bei den Bewertungen eine deutlich rechts verzerrte Verteilung, wobei sich das Bewertungsverhalten der Nutzer tendenziell binär gestaltete: die meisten Fälle (66 %) lagen innerhalb der 10. Perzentile, 9 % der Fälle in der 6. Perzentile (Abb. 2).

Der statistische Vergleich der Patientenbewertungen für die 10 Fachabteilungen mit den meisten stationären Behandlungsfällen und individuellen Patientenbewertungen mittels GEE erfolgte für die 5 Portale, in denen individuelle Bewertungen vorhanden waren. Der Vergleich ergab jeweils signifikant unterschiedliche Bewertungen derselben Fachabteilung je Portal (jeweils p < 0,001). Patientenbewertungen von „Klinikbewertungen.de“ und QSR-Daten des „AOK-Gesundheitsnavigators“ zeigten keine statistisch signifikante Korrelation (p jeweils mindestens ≥ 0,29). Ebenso bestand keine statistisch signifikante Korrelation zwischen Patientenbewertungen von „Klinikbewertungen.de“ und Weiterempfehlungsrate durch die Patienten auf dem AOK-Gesundheitsnavigator (ρ = 0,29, p = 0,16).

Ein interner Vergleich von QSR-Daten und Patientenbewertungen des AOK-Gesundheitsnavigators zeigte eine signifikante negative Korrelation zwischen Gesamtbewertung und ungeplanten Folgeoperationen (ρ = −0,81, p = 0,02) bzw. sonstigen Komplikationen (ρ = −0,91, p < 0,001).

Es besteht eine erhebliche Heterogenität bezüglich der Bewertung derselben Fachabteilung durch verschiedene Online-Portale. Eine Analyse aus dem Jahr 2019 offenbarte bereits eine kaum vergleichbare Datenpräsentation urologischer Inhalte [16]. Bei 70 % der untersuchten Portale war die Darstellung durch die Klinik beeinflussbar. Die objektivste Erfassung der Behandlungsqualität basierend auf Qualitätsindikatoren lieferten erneut der AOK-Gesundheitsnavigator („zuvor AOK-Krankenhausnavigator“) und die „Weisse Liste“.

Auch der Vergleich der Patientenbewertungen ergab signifikant unterschiedliche Bewertungen derselben Fachabteilung auf verschiedenen Portalen (jeweils p < 0,001). Die aktuell analysierten 10 Patientenbewertungen für urologische Fachabteilungen sind trotz ihrer Relevanz leider zudem von fraglicher Objektivität, da in der Regel keine validierten Fragebögen genutzt werden bzw. der beim AOK-Gesundheitsnavigator präsentierte PEQ nur Patienten der Krankenkassen AOK oder BARMER einschließt [6].

In einer Untersuchung amerikanischer Versicherter (Medicare, 2010 und 2011), welche sich einer großen onkologischen Operation unterzogen hatten, zeigten Umfrageergebnisse der American Hospital Association, der Hospital Consumer Assessment of Healthcare Providers and Systems und der Hospital Compare Daten besonders hohe Patientenbewertungen in Verbindung mit höherer Leistung bei Prozessmaßnahmen sowie geringeren Wiederaufnahme- und Mortalitätsraten [15]. Abseits davon spielen für Patienten die Erfahrungen anderer Patienten eine wichtige Rolle. Kuklinski et al. untersuchten Faktoren, die Patienten bei der Wahl des Krankenhauses für eine kolorektale Resektion oder einen Knieersatz beeinflussten. Obwohl auch strukturelle Qualitätsindikatoren eine signifikante Rolle spielten, hatten hohe Patientenbewertungen und Grad der Spezialisierung (z. B. Zertifizierung) den stärksten positiven Einfluss auf die Auswahl [12].

Standardisiert erhobene Patientenergebnisse und -erfahrungen (sog. „patient reported outcome/experience measures“, PROM/PREM) sind bereits fester Bestandteil klinischer Studien. Die Etablierung einer systematischen Erhebung der Patienteneinschätzung zur medizinischen Versorgung ergänzend zu den klinischen Ergebnissen wird zunehmend auch in der Routineversorgung gefordert und sollte vermehrt Platz auf Bewertungsportalen (beispielsweise dem AOK-Gesundheitsnavigator) finden [14]. Gerade am Beispiel der RPE ist neben dem onkologischen Ergebnis die Erfassung funktioneller Ergebnisse wie Harninkontinenz und Impotenz anhand von validierten PROM grundlegend für das operative Ergebnis. Eine Erhebung ist ohnehin im Rahmen von Zertifizierungen gefordert und kann durch eine transparente Darstellung die Beachtung und das Verständnis für solche Ergebnisse verbessern.

In unserer Arbeit korrelierten innerhalb des AOK-Gesundheitsnavigators PEQ-Patientenbewertungen zur RPE allerdings nicht signifikant mit den QSR-Daten. Auch zeigte sich keine Korrelation zwischen AOK-Gesundheitsnavigator Patientenbewertungen und jenen von „klinikbewertungen.de“.

Zukünftige Maßnahmen sollten sich daher auf einen sinnvollen Einsatz von PROM und PREM in Kombination mit etablierten Qualitätsindikatoren fokussieren, um eine standardisierte Auswertung und transparente Darstellung zu ermöglichen.

Die Bewertung von Online-Quellen ist limitiert durch die Komplexität und Schnelllebigkeit des Internets. Beispielsweise bildet der AOK-Gesundheitsnavigator seit dem letzten Vergleich 2019 die Sterblichkeit innerhalb von 30 Tagen nicht mehr ab [16]. Bezüglich der Vergleiche anhand von QSR-Daten ist der Fokus auf eine einzige Operation sicherlich eine weitere Limitation unserer Arbeit. Urologische QSR-Daten werden aktuell jedoch nur für die RPE abgebildet. Um eine portalübergreifende statistische Vergleichbarkeit mit Patientenbewertungen zu ermöglichen, wurden zudem die 10 Kliniken mit den insgesamt meisten stationären Fällen verwendet und nicht jene Kliniken mit den meisten RPE-Eingriffen. Unsere aktuelle Arbeit beinhaltet keine Untersuchung der Bewertung der Behandlung durch niedergelassene Urologen. Dies wäre ein gezielter Ansatz für eine weitere Untersuchung.

Beim Vergleich der Patientenbewertungen waren auf 2 der Portale mit den meisten Bewertungen („Weisse Liste“ und „Sanego“) keine einzelnen Bewertungen, sondern nur Mittelwerte verfügbar, weshalb keine Streubreiten ermittelt werden konnten und kein Vergleich mittels GEE erfolgte.

Abschließend sei bemerkt, dass die Normierung von unterschiedlichen Bewertungsskalen auf eine 100 %-Skala und ein abschließender Vergleich mittels GEE keine mathematisch perfekte Lösung darstellt. Gerade Skalen mit nur wenig Spielraum in der Bewertungsvergabe (z. B. 1–3 Sterne) können zu einer Verzerrung von gemittelten Werten und Streuungsmaßen führen und untergraben die Feingranularität von Bewertungen z. B. auf einer 10-Punkte-Skala. Aus diesem Grund haben wir von einem direkten statistischen Vergleich der Mittelwerte in Tab. 2 abgesehen und den Vergleich über ein GEE gewählt, auch wenn dies ebenfalls starke Annahmen bezüglich eines vergleichbaren Bewertungsverhaltens von Patienten unabhängig von Bewertungsskalen enthält.