Ist der experimentelle Goldstandard wirklich Gold wert für eine Evidenzbasierung der Praxis Früher Hilfen?

So wollen etwa David Sackett et al. [6] unter der evidenzbasierten Medizin die Verknüpfung der besten verfügbaren externen Evidenz, das heißt der Ergebnisse von Experimentalforschungen mit individueller klinischer Expertise, verstanden wissen. Methodisch ist diese Forderung mit dem Problem verknüpft, dass damit genau jene interne Validität der Wirkungsaussagen infrage gestellt wird (siehe unten), deren Sicherstellung gerade die zentrale Stärke der randomisierten Experimentalforschung ist [7]. In der sozialwissenschaftlichen Debatte findet sich diesbezüglich häufig die eher pessimistische Position, dass das Verhältnis von „fidelity to the evidence base versus innovation“ eine nicht auflösbare „tensions inherent in evidence-based programmes“ darstelle ([8], S. 5).

Ob RCTs deswegen tatsächlich den „Goldstandard“ der Wirkungsforschung darstellen, ist gleichwohl strittig: Zumindest finden sich überzeugende methodische und methodologische Argumente dafür, dass sich neben RCTs eine Reihe weiterer Verfahren findet, die in einer validen Weise Kausalinferenzen beschreiben können [11].

Daher basieren RCTs auf mindestens zwei Messzeitpunkten: eine Messung vor der Maßnahme und eine nach der Maßnahme. Kann man mehr als zwei Messzeitpunkte heranziehen, ist es unter Umständen auch möglich, Wirkungsdynamiken und Verläufe sichtbar zu machen.

Der zentrale Grenzwertsatz lautet kurz gesagt, dass die Summen von stochastisch unabhängigen Zufallsvariablen annähernd normal verteilt sind.

Dies lässt sich gut am Beispiel des prominenten Elterntrainingsprogramms Tripple P (Positive Parental Program) zeigen. Dieses Programm ist sehr erfolgreich vermarktet und verbreitet worden. Eine Reihe von Studien mit mäßiger Qualität hat dabei große Hoffnung über die Leistungsfähigkeit dieses Programms geschürt. Die Kausalbeschreibungen einer hochwertigen randomisiert kontrollierten Experimentalstudie zeichnen ein anderes Bild [13]: Das Tripple-P-Programm, habe „keinerlei positive Wirkungen im Verhalten des Kindes ausgelöst, weder auf externalisierenden noch auf internalisierenden Verhaltensdimensionen“. Im Sozialverhalten der Kinder zeigte sich vielmehr „ein unerwünschter Effekt von Tripple P. Die Lehrpersonen beobachteten bei Kindern von Eltern, die an einem Kurs teilgenommen hatten, tendenziell eine Zunahme von nicht-aggressivem Problemverhalten, während bei den Kindern der Kontrollgruppe ein Rückgang wahrgenommen wurde“ ([13], S. 5). Die Kausalbeschreibung dieser Effekte erscheint allemal ausreichend, um Tripple P mit Skepsis zu begegnen.

Nancy Cartwright verweist auf den „familiar trade-off between internal and external validity. RCTs have high internal validity but the formal methodology puts severe constraints on the assumptions a target population must meet to justify exporting a conclusion from the test population to the target“ ([10], S. 11).

Diese Implikationen hängen nicht zuletzt mit dem sogenannten Black-Box-Problem zusammen [18], mit dem die Ergebnisse von Experimentalstudien konfrontiert sind: Sie geben Auskunft darüber, ob eine bestimmte Maßnahme wirkt, aber nicht darüber, warum diese wirkt.

Unter den artifiziellen Bedingungen von RCTs wird im Sinne der Therapietreue in der Regel auch die „Compliance“, das heißt das kooperative Verhalten des Patienten in Therapie, kontrolliert und sichergestellt. In der Praxis stellt die Sicherstellung von Compliance häufig ein größeres Problem dar, das zu Kompromissen (und das heißt auch zu „Verwässerungen“ des Interventionsprogramms) zwingt.

Selbst energische VertreterInnen einer „evidence-based practice“ konstatieren inzwischen, dass das Verhältnis „fidelity to the evidence base versus innovation“ eine der wesentlichen ungeklärten „tensions inherent in evidence-based programmes“ sei ([8], S. 5).

Dies hängt mit der erkenntnistheoretischen Einsicht zusammen, dass sich die Kinder- und Jugendhilfe auf menschliche Praktiken richtet, das heißt auf Gegenstände, die nicht nur – wie Naturereignisse – „Ursachen“ haben, sondern – als Handlungen – auf „Gründen“ basieren, die nur unter Berücksichtigung von Motiven und Gründen angemessen zu erfassen sind.

Covering-law-Theorien, teilweise auch als Subsumtionsmodelle der Erklärung beschrieben, basieren auf der Annahme gleichermaßen universeller und empirisch gehaltvoller allgemeiner Gesetzmäßigkeiten, wie sie etwa in der Naturwissenschaft formuliert werden. Mit Blick auf die Wirkungsforschung besteht die Covering-law-Annahme darin, dass Ereignis A mit Ereignis B durch ein allgemeines Gesetz verbunden ist, das die entsprechenden Ereignisse „deckt“ („to cover“). Das deduktiv-nomologische Programm der Sozialwissenschaften in der Tradition von Hempel-Oppenheim geht explizit oder implizit von der Existenz solcher Covering laws aus.

Mechanismen sind „complexes of interacting individuals, usually classified into specific social categories, which generate causal relationships between aggregate-level variables“ ([33], S. 59).