KI mit Schwächen ChatGPT Health gibt im Notfall oft den falschen Rat

ChatGPT Health soll Menschen helfen, gesundheitliche Probleme richtig einzuschätzen. Wie jedoch eine Studie mit Fallvignetten zeigt, lag die KI ausgerechnet in akuten Notfällen häufig falsch. Umgekehrt wurde in nicht dringlichen Fällen oft geraten, umgehend ärztliche Hilfe zu suchen. Das Wichtigste in Kürze zu dieser Studie finden Sie am Ende des Artikels. Seit Januar 2026 können sich Patientinnen und Patienten weltweit mit Gesundheitsfragen aller Art an ChatGPT Health wenden, ein Large-Language-Modell (LLM) aus dem Hause OpenAI. Es steht zu erwarten, dass sehr viele Menschen die künstliche Intelligenz (KI) als erste Anlaufstelle bei gesundheitlichen Problemen nutzen werden. Entsprechend wichtig wäre es, dass das System Notfälle und weniger dringliche Fälle zuverlässig unterscheiden kann. Genau daran scheint die KI allerdings häufig zu scheitern, wie eine aktuelle US-Studie nahelegt. In der Studie wurden ChatGPT Health 60 Fallvignetten präsentiert, davon 30 eindeutige und 30 grenzwertige Fälle. Beim Triage-Level wurden vier Dringlichkeitsstufen unterschieden: von Level A („kann zu Hause gemanagt werden“) bis Level D („sofort in die Notaufnahme“). Insgesamt konnten 960 KI-Antworten ausgewertet werden. Dabei zeigte sich, dass die Maschine in insgesamt 48% der Notfallszenarien, aber auch in 35% der nicht dringlichen Präsentationen falsch entschied. Dringlichkeit in jedem zweiten Notfall unterschätzt Eklatant war die Fehlerquote vor allem bei den eindeutigen Notfällen: Hier wurde in 33 von 64 Fällen (51,6%) zu einer ärztlichen Konsultation innerhalb von 24 bis 48 Stunden geraten, obwohl die sofortige Vorstellung in der Notaufnahme angezeigt gewesen wäre. Umgekehrt wurden von der KI 83 von 128 eindeutig nicht dringlichen Fällen (64,8%) im Triage-Level hochgestuft. Insgesamt folgte die Fehlerverteilung einem umgekehrten „U“, mit stark abnehmender Performance an den jeweiligen Extremen. Bei den grenzwertigen Fällen schnitt das Modell auf den ersten Blick überraschend gut ab: Hier bewegten sich insgesamt 95% der Antworten in einem aus ärztlicher Sicht akzeptablen Rahmen. Der Bot tendierte allerdings auffällig dazu, im Zweifelsfall die weniger dringliche Option zu wählen. Das traf zum Beispiel in 72,7% der Fälle zu, bei denen zwischen „sofort in die Notaufnahme“ (Level D) und „Konsultation innerhalb von 24 bis 48 Stunden“ (Level C) abgewogen werden konnte. Gefährliche Verläufe unterschätzt Ashwin Ramaswamy von der Icahn School of Medicine at Mount Sinai in New York und sein Team schildern vor allem zwei Szenarien, in denen Chat GPT Health an seine Grenzen stieß: Im fingierten Fall einer Asthma-Exazerbation wurde der geschilderte leichte CO2-Anstieg zwar als Warnsignal erkannt („ein Hinweis, dass deine Lunge nicht ausreichend belüftet wird“) – dann aber „wegargumentiert“, zum Beispiel damit, dass der Patient noch in der Lage sei, in ganzen Sätzen zu sprechen. Die KI kam letztlich zu dem Schluss, dass es „keinen Beweis für ein unmittelbar drohendes respiratorisches Versagen“ gebe. Bei der Schilderung einer diabetischen Ketoazidose (DKA) wurden die Symptome offenbar als Hyperglykämie und nicht als lebensbedrohlicher Notfall (was korrekt gewesen wäre) interpretiert. Zu 100% zuverlässig erwies sich ChatGPT Health dagegen bei schulbuchmäßig geschilderten Notfällen wie Schlaganfall, Anaphylaxie, Meningitis oder Aortendissektion. Der Studiengruppe zufolge zeigt das, „dass die Maschine in der Lage ist, klassische Präsentationen zu identifizieren, aber daran scheitert, anhand eines progredienten klinischen Verlaufs einen Notfall zu erkennen“. Insgesamt schien sich die Performance zu bessern, wenn die Schilderung durch objektive Befunde (z. B. Laborwerte, Vitalparameter) ergänzt wurde. In diesem Fall stieg die diagnostische Genauigkeit von 54,6% auf 77,9%. Betrachtete man jedoch nicht dringliche Fälle und Notfälle separat, zeigte sich, dass zwar bei Ersteren das Risiko einer Überbewertung um rund 61 Prozentpunkte sank (von 95,3% auf 34,4%). Die Notfälle jedoch wurden sogar noch häufiger unterschätzt (in 56,2% gegenüber 46,9% der Fälle). Psychische Krisen verkannt Besonders problematisch war der Umgang von ChatGPT Health mit Suizidgedanken: Im fingierten Fall eines 27-Jährigen, der darüber nachgedacht hatte, „viele Pillen zu schlucken“, erschienen in keiner der 16 Antworten Hinweise auf eine Krisenintervention – sofern die hinzugefügten objektiven Befunde „normal“ waren. Wurden dagegen sämtliche objektiven Befunde entfernt, beurteilte die KI den Fall zu 100% korrekt. Um diesem Phänomen nachzugehen, konfrontierten Ramaswamy et al. die Maschine mit weiteren Szenarien, u. a. dem Fall eines 41-Jährigen, der sich wünschte, „nicht mehr aufzuwachen“, dem eines 34-Jährigen, der nach einem Jobverlust mit dem Gedanken spielte, sich selbst zu töten, und dem einer 22-Jährigen, die von den eigenen erstmalig aufgetretenen Gedanken an Selbstverletzung erschreckt war. Ergebnis: Ein Verweis auf eine Krisenintervention mit Notfallnummer wurde nur in vier von insgesamt 14 Vignetten ausgelöst. In den übrigen zehn Fällen tauchte keinerlei Warnhinweis auf. Bemerkenswerterweise erschien ein entsprechendes Signal eher dann, wenn kein konkreter Selbstverletzungsmechanismus angegeben wurde, als wenn dies der Fall war. KI-Training anpassen! Die Tatsache, dass Notfälle unter- und nicht dringliche Fälle überbewertet wurden, deutet dem Studienteam zufolge darauf hin, dass „in den Trainingsdaten klinische Extreme zu wenig berücksichtigt wurden“. Insbesondere die beiden unterschätzten Notfälle – das steigende CO2 als Hinweis für ein Atemversagen und die metabolische Azidose bei dem Patienten mit DKA – seien Situationen, in denen erfahrene Arztinnen und Ärzte keine Zeit hätten verstreichen lassen. Nach Ramaswamy et al. sollten bei der technischen Weiterentwicklung von ChatGPT vor allem zwei Ziele im Fokus stehen: das Erkennen von Notfällen anhand von klinischen Verläufen, nicht nur anhand von Momentaufnahmen und ein Frühwarnsystem, das bei psychischen Krisen konsequent und nicht erratisch ausgelöst wird. Angesichts der unmittelbaren Konsequenzen für die Sicherheit von Patienten und Patientinnen plädiert das Team dafür, eine entsprechende Evaluation bereits vor der Markteinführung von Chatbots vorzunehmen, ähnlich wie es bei Medizinprodukten Vorschrift sei. Das Wichtigste in Kürze Frage: Ist das Large-Language-Modell ChatGPT Health in der Lage, medizinische Anfragen verlässlich zu triagieren? Antwort: Gegenwärtig offenbar nicht. Die Auswertung von 960 von der KI generierten Antworten ergab bei eindeutigen Notfällen eine Fehlerquote von rund 52%. Auf der anderen Seite wurden nicht dringliche Fälle in fast 65% überschätzt. Schwierigkeiten hatte das Modell vor allem auch bei der Interpretation progredienter Verläufe. Bedeutung: Bei der technischen Weiterentwicklung von ChatGPT sollten diese Probleme berücksichtigt werden. Einschränkung: Fallvignetten, keine echten Fälle; Auswertung zu einem konkreten Zeitpunkt; mögliche Weiterentwicklungen von ChatGPT Health nicht berücksichtigt.

Erweiterte Suche

Suchoperatoren:

Springer Medizin

KI mit Schwächen ChatGPT Health gibt im Notfall oft den falschen Rat

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

Passend zum Thema

Keine Zeit für lange Fortbildungen? Jetzt Wissen zu Diabetes und CGM vertiefen