Bewertung des Risikos für Bias in kontrollierten Studien

Die Qualität einer kontrollierten Studie wird von verschiedenen Dimensionen bestimmt, die von Design, Durchführung und Analyse bis zur klinischen Relevanz und Berichtsqualität reichen. Eine wesentliche Dimension ist die Validität von Studienergebnissen [7], die aufgrund von systematischen Fehlern (auch Verzerrung oder Bias) eingeschränkt sein kann. Das Risiko für Bias lässt sich jedoch schon bei der Studienplanung und -durchführung verringern (s. unten). Zu unterscheiden sind interne und externe Validität (Übersicht 2): Die interne Validität (Ausmaß des Risikos für Bias) bedingt die externe Validität und beide die Validität weiterführender Analysen (wie z. B. im Rahmen der gesundheitsökonomischen Evaluation).

Zum Nachweis kausaler Zusammenhänge zwischen Intervention und Studienergebnis ist es notwendig, eine möglichst große Ähnlichkeit der Behandlungsgruppen hinsichtlich prognostisch relevanter Faktoren herzustellen, die lediglich durch eine zufällige Variabilität beeinträchtigt wird.

Eine Zusammenfassung von Daten aus sieben metaepidemiologischen Studien (Abb. 1) ergab, dass eine inadäquate oder fehlende Randomisierung zu einer Überschätzung der Behandlungseffekte um durchschnittlich 11 % führt [12]. Durch eine fehlende oder inadäquate verdeckte Gruppenzuteilung werden Behandlungseffekte um 7 %, und im Fall einer fehlenden oder inadäquaten doppelten Verblindung um 13 % überschätzt [12].

In einem gewissen Ausmaß hängt die Bedeutung der Verblindung für das Bias-Risiko allerdings von der Art der Untersuchungsparameter und vom Studiendesign ab. Im Fall des Endpunktes „Mortalität“ beispielsweise ist eine fehlende Verblindung mit einem deutlich geringeren Risiko für einen Bias verbunden als bei einem Endpunkt, der einen Interpretationsspielraum lässt. Ähnlich verhält es sich mit Verblindungen von medikamentösen Interventionen, die von unverwechselbaren Nebenwirkungen begleitet werden. Bei chirurgischen Interventionen ist eine doppelte Verblindung selten realisierbar, allerdings lohnt es sich, hier alle Möglichkeiten gewissenhaft zu überprüfen [7, 13]: Wenn z. B. die intraoperative Blutungsmenge untersucht werden soll, kann auch ein Operateur für diesen Endpunkt verblindet werden [14].

Ob die Endpunkterhebung subjektiven oder objektiven Einflüssen unterliegt, hat ebenfalls Auswirkungen auf das Ausmaß des Bias-Risikos. Ergebnis einer metaepidemiologischen Studie war, dass eine inadäquate oder fehlende Verdeckung der Gruppenzuteilung zu einer Überschätzung subjektiv erhobener Endpunkte (beispielsweise durch Patienten berichtete oder durch Ärzte beurteilte Endpunkte wie vaskuläre Ereignisse, Pyelonephritis oder Atemnotsyndrom) von 30 % führt, im Fall fehlender Verblindung zu einer Überschätzung von 25 % [15].

Untersuchungen zum Einfluss des Attrition-Bias sind bis dato wenig aussagekräftig und generell schwierig. Fehlen nämlich in Publikationen die Informationen darüber, warum Teilnehmer eine Studie abbrechen, oder sind die Angaben nicht nach Behandlungsgruppen differenziert, ist es weder möglich, zwischen Berichtsqualität und methodischer Qualität zu unterscheiden, noch kann die Auswirkung der Studienabbrüche auf den Endpunkt eingeschätzt werden. Darüber hinaus ist zu berücksichtigen, dass der Studienabbruch eines Teilnehmers in manchen Fällen zwingend notwendig ist, er sich in anderen Fällen aber durchaus vermeiden lässt [7].

Ein großes und viel diskutiertes Bias-Risiko birgt auch die industrielle Finanzierung von Studien. Die Autoren eines Cochrane-Review kamen zu dem Schluss, dass eine finanzielle Unterstützung durch Hersteller zu deutlich positiveren Ergebnissen hinsichtlich von Wirksamkeit und Nebenwirkungen einer Intervention führt [16]. Die Diskussion um eine Aufnahme dieses Bias in das RoB-Tool ist noch nicht abgeschlossen [17, 18].

Zur standardisierten Bewertung des Bias-Risikos steht eine Vielzahl von Instrumenten zur Verfügung, die sich im Wesentlichen drei  Kategorien zuordnen lassen: Skalen, Checklisten und Komponentensysteme [19].

Allen Instrumenten ist gemeinsam, dass sie keine exakte Messung, sondern eine Einschätzung und Bewertung des Bias-Risikos darstellen, die eine subjektive Komponente beinhalten.

Das RoB-Tool der Cochrane Collaboration ist ein Komponentensystem, dessen einzelne Bewertungskriterien auf der Grundlage theoretischer und empirischer Forschungsergebnisse sowie von ausführlichen Diskussionen unter Methodikern im Bereich der klinischen Forschung ausgewählt wurden [25]. Es setzt sich aus sieben Domänen zusammen, die zum Teil bereits dargestellt wurden (s. oben): Generierung der Randomisierungssequenz, verdeckte Gruppenzuteilung, Verblindung von Teilnehmern und Studienpersonal, Verblindung der Endpunkterhebung, unvollständige Daten zu Endpunkten, selektives Berichten und andere Ursachen für Bias.

Selektives Berichten zu Endpunkten wird auch als Outcome-Reporting-Bias bezeichnet. Es resultiert daraus, dass vorzugsweise positive und signifikante Ergebnisse berichtet werden. Die Motive hierfür können Interessen von Editoren, Studienautoren oder Herstellern sein. Ein solcher Bias kann zu einer Überschätzung der Wirksamkeit von Interventionen führen.

Andere Ursachen für Bias können beispielsweise Abweichungen vom Studienprotokoll sein, die nicht die klinische Praxis widerspiegeln. Hierzu zählen z. B. eine übertriebene Post-hoc-Dosiserhöhung, eine Intervention vor Randomisierung der Teilnehmer mit Auswirkungen auf die nachfolgende Intervention, der Einsatz eines unempfindlichen Messinstrumentes, das zur Unterschätzung sowohl von Nutzen als auch Schaden der Intervention führt, und letztendlich auch Betrug [6].

Für jede Domäne und Studie ist eine Beurteilung mit „geringes Risiko für Bias“, „hohes Risiko für Bias“ oder „unklares Risiko für Bias“ erforderlich. Darüber hinaus können die Aspekte „Verblindung von Teilnehmern und Studienpersonal“, „Verblindung der Endpunkterhebung“ und „unvollständige Daten zu Endpunkten“ separat für einzelne oder zusammengefasste Endpunkte bewertet werden, wenn dies aufschlussreich ist oder die Ergebnisse für einen Endpunkt zu unterschiedlichen Zeitpunkten ermittelt wurden. Für die Domäne „andere Ursachen für Bias“ wird eine Gesamtbeurteilung empfohlen [6] (zum unterschiedlichen Verzerrungspotenzial subjektiv und objektiv erhobener Endpunkte s. oben). Werden in einer Publikation relevante Einzelheiten zur Einschätzung von Bias nicht ausreichend dargestellt, muss die Beurteilung des Bias-Risikos „unklar“ lauten [8].

Transparent werden die Bewertungen dadurch, dass jede Entscheidung durch ein Zitat aus dem Publikationstext oder durch einen Kommentar zu belegen ist. Es wird empfohlen, die Bewertungen der einzelnen Domänen je Studie in einer „Bias-Risiko-Tabelle“ darzustellen und auf detaillierte Angaben im Text zu verzichten (s. Anhang, Tab. 8.5.c). Zusätzlich verhilft die für das Tool vorgesehene graphische Darstellung zu einem Überblick über das gesamte Verzerrungspotential. Die Assoziation mit einer Verkehrsampel sorgt für weltweite Verständlichkeit (Abb. 2). Weiterführende Angaben sind dem Cochrane Handbook for Systematic Reviews of Interventions in den Abschn. 8.6 bis 8.17 zu entnehmen [6].

Zur klaren Abgrenzung zwischen Mängeln in der Berichtsqualität und tatsächlichen methodischen Schwächen von Studien startete eine Gruppe von Herausgebern wissenschaftlicher Zeitschriften, klinischen Forschern, Epidemiologen und Methodikern zu Beginn der 1990er-Jahre eine Initiative zur Verbesserung der Qualität von Berichten zu randomisierten kontrollierten Studien. Ergebnis war das CONSORT (Consolidated Standards of Reporting Trials)-Statement, eine Leitlinie für die Berichterstattung, die 1996 erstmals veröffentlicht und 2010 überarbeitet wurde [26]. Sie enthält eine Checkliste mit 25 Items zu wesentlichen Informationen, die in Publikationen über randomisierte Studien enthalten sein sollten, sowie das Modell eines Flussdiagramms, in dem Informationen über die Anzahl von Patienten in vier Stadien einer klinischen Studie abgebildet sind. Bereits wenige Jahre nach Veröffentlichung des CONSORT-Statements nahm die Anzahl unklarer Berichte in drei hochrangigen Zeitschriften (British Medical Journal, Journal of the American Medical Association, The Lancet), die die obligatorische Verwendung der Checkliste vorsehen, signifikant ab [27].

Weitere Orientierungshilfen für Autoren, Herausgeber und Gutachter wurden in der Folge für unterschiedlichste Studientypen publiziert. Sie sind auf den Internetseiten des EQUATOR-Netzwerks abrufbar (http://​www.​equator-network.​org/​). Diese Checklisten tragen zu einer transparenteren Berichterstattung bei, die für Entscheidungsträger von großem Nutzen sein kann [28]. Aufgrund ihres unkritischen Gebrauchs muss jedoch entschieden darauf hingewiesen werden, dass Checklisten keinen Ersatz für Bewertungsinstrumente darstellen [29].

Unter den Bewertungsinstrumenten für kontrollierte Studien fällt das RoB-Tool der Cochrane Collaboration durch eine hohe Transparenz, Erfassung der wesentlichen Bias-Arten, gute Handhabung mit lediglich sieben Items und die weltweit verständliche graphische Ergebnisdarstellung auf. Hartling et al. [30] kamen in ihrer Untersuchung der Reliabilität allerdings zu dem Ergebnis, dass Unterschiede in den Bewertungen des Bias-Risikos auf Unterschiede in der Interpretation des Instruments zurückzuführen waren. Ihrer Einschätzung nach besteht Bedarf für eine Überarbeitung der Erläuterungen zur Anwendung des Instruments, die detaillierter formuliert werden sollten. Dem trägt die Cochrane Collaboration durch fortlaufende Diskussionen über die Methodik und regelmäßige Aktualisierung Rechnung.

Die vorliegende deutsche Fassung des RoB-Tools basiert auf einer von den drei deutschsprachigen Cochrane-Zentren konsentierten Übersetzung. Zur Verbesserung der Sprachgenauigkeit und Verständlichkeit für Leser außerhalb von Expertenkreisen wurde diese von einem unabhängigen Anbieter ins Englische zurückübersetzt. Die Zusammenführung der Erstübersetzung, konsentierten Fassung und Rückübersetzung zu einer endgültigen Version ist an die Methoden von Beaton et al. [31] angelehnt. Ziel der Übersetzung ist es, das Bewertungsinstrument der Cochrane Collaboration auf Deutsch verfügbar zu machen. Die mangelnde Berücksichtigung der Qualität von Evidenz hat bei Expertenempfehlungen in der Vergangenheit zu groben Fehlern mit schwerwiegenden Folgen geführt. Zum Beispiel wurde im Fall der Hormonersatztherapie auf der Basis von Beobachtungsstudien mit inkonsistenten Ergebnissen fälschlicherweise davon ausgegangen, dass sie das Risiko für kardiovaskuläre Ereignisse reduzieren würde. Eine Dekade lang wurden viele postmenopausale Frauen falsch behandelt, bis in zwei randomisierten Studien gezeigt wurde, dass die Hormonersatztherapie nicht zu einer entsprechenden Risikoreduktion führt, sondern das Risiko für kardiovaskuläre Ereignisse möglicherweise sogar erhöht [32‐34]. Als Beitrag zu einer rationalen Entscheidungsfindung in der klinischen Praxis und im Gesundheitswesen [35] ist ein weit verbreitetes Verständnis des Konzepts und der Methoden der EbM wünschenswert.