„KI“ in der Rechtsmedizin – von der Forschung in die Praxis: Welche Herausforderungen ergeben sich?

In oben genannten Beispielen des Einsatzes von KI würde (jedenfalls aus Sicht der Verteidigung) die Frage naheliegen, wie genau die KI zu diesem Ergebnis gekommen ist. Die Beantwortung dieser Frage aber ist eine Herausforderung, weil der „Lernprozess“ der KI bei manchen Modellen zwar beschrieben, aber nicht im Detail nachvollzogen werden kann.

Der Vorwurf, dass KI-Systeme mit Blick auf die in ihnen ablaufenden Prozesse als „Blackbox“ agieren, gehört zu den meistdiskutierten Kritikpunkten überhaupt (für einen Überblick: Vilone und Longo [8]). Dieser Umstand wird zusätzlich dadurch verschärft, dass mittlerweile eine europarechtliche Verordnung über künstliche Intelligenz (KI-Verordnung bzw. „AI Act“) existiert [25]. So werden in der KI-Verordnung explizit die „Transparenz“ und damit Erklärbarkeit von KI-Systemen gefordert (Erwägungsgründe 27 und 59)¹.

Um diese Problematik zu entschärfen, fließen in der gegenwärtigen Forschung erhebliche Ressourcen in Projekte zur sog. „explainable AI“ (XAI) (für einen Überblick: Arrieta et al. [9]). Ziel von XAI ist es, vom Menschen interpretierbare Modelle zu erhalten, insbesondere für Anwendungen in sensiblen Bereichen wie Militär, Banking und im Gesundheitswesen. Denn KI soll nicht nur Probleme lösen, sondern die erzeugten Ergebnisse sollen für Anwender auch verständlich und vertrauenswürdig sein (Sajid et al. [10]). In diesem Zusammenhang werden verschiedene Methoden vorgeschlagen (z. B. die Nutzung von „saliency maps“, Grad-CAM oder die Darstellung von Shapley-Werten), die es ermöglichen sollen, die Prozesse von KI-Systemen transparent und nachvollziehbar zu machen. Der Einsatz von XAI ist in foro jedoch noch nicht erprobt. Mögliche Ansätze für den Einsatz könnten jedoch aus anderen Bereichen abgeleitet werden, in denen XAI bereits eine weitergehende Anwendung gefunden hat, etwa in der medizinischen Bildanalyse (z. B. bei der Tumorerkennung) oder der digitalen Forensik (z. B. der Erklärung von Cyberkriminalität). Das grundsätzliche Bestreben besteht auch in diesen Bereichen darin, die Transparenz der Ergebnisfindung durch XAI zu steigern.

Es sollte jedoch beachtet werden, dass XAI selbst mit Herausforderungen konfrontiert ist. Besonders im Hinblick auf die Einführung in forensischen Kontexten ist zu berücksichtigen, dass XAI notwendigerweise eine Abwägung zwischen Erklärbarkeit und Genauigkeit erfordert (Holzinger et al. [11], weiterführend: Raz et al. [12]). Eine erhöhte Erklärbarkeit kann zu einer geringeren Präzision der Ergebnisse führen, was bei Einsatz in der Rechtsmedizin zu erheblichen Unsicherheiten und potenziellen Fehleinschätzungen führen kann.

Des Weiteren könnte der Sachverständige wohl mit der Aufforderung überfordert sein, im Detail zu erklären, wie die eingesetzte KI-Applikation zu ihrer Diagnose kam. Die KI-Verordnung sieht für hochriskante KI-Systeme, wie sie z. B. in der Rechtsmedizin verwendet werden könnten, aber eine Verpflichtung zur Erklärbarkeit vor. Das bedeutet, dass die Entscheidungen der KI-Systeme verständlich und nachvollziehbar sein müssen.

In der Praxis könnte dies dazu führen, dass KI-Experten vor Gericht erforderlich sind, um die Funktionsweise und die Entscheidungsprozesse der KI zu erläutern. Es gibt in den USA bereits Fälle, in denen KI-Experten hinzugezogen wurden, um technologische Beweismittel zu bewerten oder technische Verfahren zu erläutern, beispielsweise im Bereich der forensischen Datenanalyse. Als stilbildend kann dafür das Gerichtsverfahren „Daubert vs. Merrell Dow 1993“ [13] angesehen werden, in dem der sog. Daubert-Standard etabliert wurde. Dieser legt fest, dass Beweismittel nicht allein deshalb zugelassen werden, weil sie in der wissenschaftlichen Gemeinschaft anerkannt sind. Stattdessen muss zusätzlich ein Experte deren Funktionsweise und Zuverlässigkeit nachweisen und dem Gericht nachvollziehbar erklären.

Eine weitere naheliegende Frage in oben genannten Anwendungsbeispielen wäre diejenige nach der Zuverlässigkeit der KI-basierten Prognosen. Ein Faktor, der in diesem Zusammenhang eine besondere Rolle spielt, wird häufig unter dem Stichwort „Datenbias“ diskutiert (für einen Überblick Mehrabi et al. [14]). Damit sind Verzerrungen bei der Erhebung und Analyse von Daten gemeint, die in foro zu fehlerhaften Entscheidungen führen können. Besonders kritisch wurden etwa KI-Anwendungen im Justizbereich (z. B. das bekannte und viel rezipierte COMPAS-System) analysiert, die sich nach eingehender Prüfung als auf unausgewogenen Datensätzen basierend herausstellten und diskriminierende Tendenzen bei der Risikobewertung von Straftätern aufwiesen (Dressel und Farid [15]). In der rechtsmedizinischen Praxis dürfte ein Datenbias ebenfalls eine Rolle spielen, insbesondere da die Datengrundlage oft relativ klein und somit möglicherweise nicht repräsentativ ist. Für die oben genannten Anwendungsbeispiele könnten diesbezüglich eine ungleichmäßige Repräsentation unterschiedlicher Altersgruppen und/oder Populationen problematisch sein.

Dass es notwendig ist, diskriminierende Tendenzen vor Gericht zu vermeiden, ergibt sich aus dem Grundgesetz (Art. 3 Abs. 1 GG). Auch die KI-Verordnung greift dieses allgemeine Anliegen auf (s. Erwägungsgrund 59 in [25])² Zwar wird dort die Prüfung grundsätzlich von der Risikoklasse abhängig gemacht, sodass nicht alle Anwendungen in der gleichen Weise geprüft werden müssen. Da jedoch gerade Applikationen in der Rechtsmedizin aller Wahrscheinlichkeit nach als Hochrisiko-KI-Systeme eingestuft werden dürften, ergeben sich ein erhöhter Prüfungsbedarf und -aufwand (s. bes. Kap. 3 zur Einstufung als Hochrisiko-KI in [25]). Um hierauf vonseiten der forensischen Praxis zu reagieren, bieten sich mehrere Ansätze an. Grundsätzlich sollte verstärkte Sorgfalt auf die Datenprüfung, -erhebung, -aufbereitung und -präsentation gelegt werden. Bei seltenen Fällen und geringen Mengen an Trainingsdaten könnte zudem geprüft werden, ob Verfahren wie Datenaugmentierung (d. h. die künstliche Erzeugung neuer Daten aus vorhanden Daten) eingesetzt werden können, um eine ausgewogenere Datengrundlage zu schaffen (Shorten und Khoshgoftaar [16]). Darüber hinaus könnten spezielle Software-Tools zur Erkennung eines Datenbias verwendet werden (für eine Auflistung und Erläuterung Bellamy et al. [17]).

Die Frage nach der Zuschreibung von Verantwortung und, davon ausgehend, auch der rechtlichen Haftung ist sicherlich eine der zentralen Fragen, die sich beim Einsatz von KI stellen. An dieser Stelle ist zunächst darauf hinzuweisen, dass im Rahmen einer guten wissenschaftlichen Praxis der Sachverständige den Einsatz einer KI-Applikation zu dokumentieren hat. Darüber hinaus ist zudem § 839a BGB maßgeblich, der festlegt, dass ein von deutschen Gerichten oder (analog) von der Staatsanwaltschaft im Ermittlungsverfahren beauftragter Sachverständiger grundsätzlich zum Ersatz eines Schadens, der einem Verfahrensbeteiligten durch eine gerichtliche Entscheidung entsteht, die auf einem unrichtigen Gutachten beruht, verpflichtet werden kann (Dettmeyer [18]). Hierbei kann sich das fehlerhafte Gutachten zum einen daraus ergeben, dass von einem unzutreffenden Sachverhalt ausgegangen wird, und zum anderen, wenn aus dem festgestellten Sachverhalt unhaltbare Schlüsse gezogen werden. Maßgeblich ist zudem ein „qualifiziertes“ Verschulden, wobei § 839a BGB mindestens grobe Fahrlässigkeit voraussetzt, d. h., der Sachverständige muss seine erforderliche Sorgfalt in ungewöhnlich hohem Maße verletzt haben [19]. Im Zusammenhang mit dem Einsatz von KI ist sowohl denkbar, dass die KI den Sachverhalt unzutreffend erfasst (z. B. bei KI-gestützter Auswertung der staatsanwaltschaftlichen Akten) als auch unzutreffende Schlussfolgerungen zieht (z. B. bei KI-gestützter Lebensaltersschätzung anhand radiologischer oder molekularer Befunde). Sobald sich der Fehler der KI im Gutachten realisiert (z. B. durch ungeprüfte Übernahme des von der KI falsch bestimmten bzw. geschätzten Alters eines Beschuldigten), ist dann grundsätzlich eine Haftung des Sachverständigen gemäß § 839a BGB denkbar (Institut für Sachverständigenwesen e. V. [20]).

Darüber hinaus bleibt jedoch rechtlich noch offen, wie weitgehend die Prüfung des Sachverständigen ausfallen muss, um seiner Sorgfaltspflicht nachzukommen. Die KI-Verordnung stuft KI-Anwendungen im Bereich der Medizin jedenfalls als hochriskant ein, woraus sich eine erhöhte Verantwortung für den Einsatz ergibt. Denkbar wäre etwa, zukünftig den Einsatz von XAI als Grundlage der eigenen Prüfung und Dokumentation zu etablieren.

Neben der Frage nach der spezifischen Verantwortung des Sachverständigen stellt sich auch die Frage nach der allgemeinen Verantwortungsverteilung. Es besteht die Gefahr einer diffusen Verantwortungszuschreibung, da strittig sein könnte, ob die Haftung primär bei den Entwicklern der KI-Systeme oder bei den Anwendern (d. h. dem rechtsmedizinischen Sachverständigen) liegt (für die grundsätzliche Problematik de Sio und van den Hoven [21]). Man denke etwa an Fälle, in denen eine Fehleinschätzung, die durch einen Mangel an repräsentativen Daten oder durch algorithmische Verzerrungen verursacht wurde, vorliegt. Wie soll in diesen Fällen die Verantwortung aufgeteilt werden?

Die KI-Verordnung sanktioniert Verstöße grundsätzlich durch Geldbußen. Eine ergänzende KI-Haftungsrichtlinie (AI Liability Directive) befindet sich noch im Gesetzgebungsverfahren. Flankierend wurde die Produkthaftungsrichtline (Product Liability Directive) novelliert, die v. a. die Hersteller von KI-Anwendungen adressiert, in Deutschland aber erst noch in nationales Recht überführt werden muss (zum Stand der Dinge: Noerr [22, 23]). Bei Anwendungen an Lebenden könnte es erforderlich sein, auch die EU-Medizinprodukte-Verordnung (Medical Device Regulation) zu berücksichtigen.

Sachverständige sollten bei Unsicherheiten über den Umfang des Versicherungsschutzes in ihrer (insbesondere privat-)gutachterlichen Tätigkeit vor dem Einsatz von KI-Systemen Rücksprache mit ihrer Berufshaftpflichtversicherung halten. Zudem empfiehlt es sich, bei Haftungsfragen ggf. einen spezialisierten Anwalt zu konsultieren.

Für die verschiedenen Anwendungsfälle in der Rechtsmedizin werden derzeit mit unterschiedlichen Ansätzen zahlreiche KI-gestützte Modelle entwickelt. So ist es leicht vorstellbar, dass die Situation „KI gegen KI“ entsteht. Abweichende Ergebnisse unterschiedlicher KI-Modelle stellen jedoch die Glaubwürdigkeit und Verlässlichkeit von KI infrage und erschüttern das Vertrauen in die Objektivität dieser Modelle, insbesondere, wenn sie in sensiblen Bereichen wie in der Forensik genutzt werden.

Dass KI in der rechtsmedizinischen Praxis zu inkonsistenten Ergebnissen führen können, ist aufgrund der mangelnden Erprobung dieser Applikationen zwar nicht nachgewiesen. Zieht man jedoch die Anwendung solcher Systeme in anderen Bereichen heran, etwa bei Texten oder Bildern, so erscheinen konträre Ergebnisse durchaus wahrscheinlich. Beispiele aus der Praxis zeigen, dass sogar hinreichend vergleichbare generative Modelle, die auf denselben oder ähnlichen Datensätzen trainiert wurden, unterschiedliche und teils widersprüchliche Resultate liefern können. Diese Problematik könnte ebenso im rechtsmedizinischen Kontext auftreten, wenn KI-Modelle zur Analyse von ähnlichen Beweismitteln herangezogen werden.

Um die Unsicherheiten, die durch solche abweichenden KI-Ergebnisse entstehen, in einem Gerichtsverfahren zu bewältigen, gibt es verschiedene Herangehensweisen. Eine zentrale Methode ist wiederum der Einsatz von XAI, um Transparenz in den Entscheidungsprozess der KI zu bringen. Die Hoffnung besteht darin, mithilfe von XAI die Faktoren nachzuvollziehen, die zu unterschiedlichen Ergebnissen geführt haben. Dabei kann auch geprüft werden, ob die abweichenden Ergebnisse auf methodische Fehler oder auf unterschiedliche Trainingsdatensätze zurückzuführen sind. Darüber hinaus erscheint es auch hilfreich, auf die bestehende Praxis in der Rechtsmedizin zu rekurrieren, da sich dort bereits ein Umgang mit sich widersprechenden Gutachten etabliert hat, der auf die neue Situation „KI gegen KI“ angewandt werden könnte.

Die Frage der Leistungsfähigkeit und der Genauigkeit stellt sich im forensischen Kontext mit besonderer Dringlichkeit, insbesondere im strafrechtlichen Setting. Eine strafrechtliche Verurteilung setzt die „Überzeugung“ des Gerichts voraus (§ 261 StPO), dass die erhobenen Beweise ausreichen, um den Angeklagten im Sinne der Anklage schuldig zu sprechen. Im Rahmen der Beweiswürdigung durch das Gericht wird regelhaft das Maß einer „mit an Sicherheit grenzender Wahrscheinlichkeit“ gefordert [24].

Tournois et al. [4] schätzen den derzeitigen Stand der Entwicklung von KI-Systemen sehr kritisch ein. Sie betonen, dass KI-Systeme kaum evaluiert werden. Tatsächlich wird sogar noch weitergehend kritisiert, dass auch bei denjenigen Fällen, in denen ein Test durchgeführt wurde, diese größtenteils auf zweifelhaften Verfahren beruht haben, sodass einige grundsätzliche Schwierigkeiten von KI-Systemen nicht erkannt werden. Ein häufig unerkanntes Problem ist das sog. Overfitting. Dabei handelt es sich um ein Phänomen in der Modellentwicklung, bei dem ein KI-System die Trainingsdaten so präzise „lernt“, dass es nicht nur relevante Muster, sondern auch zufällige Details oder Störfaktoren in diesen spezifischen Daten erfasst. Dies führt dazu, dass das Modell auf neue, unbekannte Daten schlecht generalisiert und unzuverlässige Ergebnisse liefert.

Insgesamt lässt sich daher festhalten, dass eine Diskrepanz zwischen dem entsteht, was man sich von solchen Modellen erhofft, und dem, was sie derzeit zu leisten imstande sind. Es dürfte noch ein weiter Weg vor uns liegen, bis KI-Applikationen die Beantwortung rechtsmedizinischer Fragen mit der im Strafverfahren erforderlichen Sicherheit unterstützen können.

Applikationen, die auf KI basieren, müssen vor ihrem praktischen Einsatz ausführlich getestet und validiert werden. Dafür und für die Implementierung von KI-Applikationen in das forensische Setting sollten Standardprotokolle und Richtlinien entwickelt werden. Deren Inhalt wird natürlich von der Art der jeweiligen Applikation abhängen. Grundsätzlich ist ein solches Vorgehen in der Rechtsmedizin aber geübte Praxis (z. B. Richtlinien der GTFCh für toxikologische Analysen [26]).

Der „Blackbox“-Charakter von KI-Anwendungen kann die Beweiswürdigung des Gerichts zu einer Herausforderung machen. Der Einsatz von XAI und die Zusammenarbeit mit KI-Sachverständigen könnten daher auch in der Begutachtungspraxis angeraten sein.

KI-Anwendungen treffen ihre Aussagen aufgrund von Wahrscheinlichkeitsberechnungen. Sie sind daher prinzipiell fehleranfällig, was durch Datenbias (s. Herausforderung „Datenbias und Fairness“ unten) und mangelnde Datenqualität (s. Herausforderung „Datenquantität und -qualität“ unten) noch zu einem dringlicheren Problem werden kann. Daraus ergibt sich die rechtliche Frage, wer im Fall einer fehlerhaften Einschätzung verantwortlich ist – der Entwickler der KI-Anwendung oder der rechtsmedizinische Sachverständige, der sich in seinem Gutachten auf die KI-basierte Aussage stützt?

KI-Modelle setzen eine gute Datengrundlage in Qualität und Quantität voraus. Dass diese derzeit nur sehr schwer zu erreichen ist, ergibt sich, wie bereits erläutert, aus der geringen Datenmenge und Vielfalt in der Rechtsmedizin. Diesem Umstand entgegenzuwirken, bedürfte es wohl multizentrischer Zusammenarbeit, um in Zukunft die Datengrundlage zu verbessern.

Die Datenqualität ist nicht nur für die Verlässlichkeit der Einschätzungen und Prognosen einer KI-Anwendung (s. Herausforderung „Zuverlässigkeit von KI-Applikationen“ oben) relevant, sondern auch für die Frage, ob ggf. diskriminierende Aussagen entstehen, weil bestimmte Personengruppen in den Ausgangsdaten über- oder unterrepräsentiert werden (ausführlicher: Heinrichs [27]). Das spricht wiederum dafür, die relevanten Prozesse und Ausgangsdaten einer KI-Applikation transparent zu machen, z. B. durch die Involvierung von XAI.

Nicht zuletzt müssen KI-generierte Diagnosen von Gerichten akzeptiert werden. Dieser Herausforderung kann nur durch einen interdisziplinären Dialog und/oder interdisziplinäre Forschung begegnet werden. Völlig zu Recht hat Tynan [25] eine transdisziplinäre Kollaboration zwischen Computer Scientists, Rechtsmedizinern, Juristen und Ethikern eingefordert, um KI-Applikationen in einer Weise zu implementieren, die dem Rechtssystem dient; dazu seien wissenschaftlich fundierte Standards und Richtlinien gemeinsam zu erarbeiten. Auch die gefühlte Rechtssicherheit sollte adressiert werden, indem der Einsatz von KI-Applikationen transparent gemacht wird.