ChatGPT scheitert an notfallmedizinischem Examen

Die künstliche Intelligenz ChatGPT muss wohl noch etwas nachsitzen, um wichtige notfallmedizinische Examen zu bestehen. In einem Test konnte der Chatbot nur zwei Drittel der Fragen zur Wiederbelebung richtig beantworten, nötig war jedoch eine Trefferquote von über 80%. Das Wichtigste in Kürze zu dieser Studie finden Sie am Ende des Artikels. Seit der Veröffentlichung Ende November 2022 sorgt das Programm ChatGPT für viel Furore – inzwischen sollen schon 100 Millionen Menschen die sprachbasierte künstliche Intelligenz (KI) ausprobiert haben, die zu längeren Dialogen fähig ist und sich das Wissen aus dem Internet saugt. Noch gilt das Programm als Prototyp, doch es kann schon recht gut Texte zu bestimmten Themen erstellen, Programmcodes auf Fehler überprüfen, Businesspläne und Essays schreiben sowie die Hausaufgaben erledigen. Letzteres hat bereits dazu geführt, dass der Schulbezirk New York den Einsatz der KI in allen Schulnetzwerken verboten hat. Ob das Werkzeug auch in der Lage ist, Examen zu bestehen, wird derzeit rund um den Globus untersucht. Auf der Erfolgsliste stehen bereits einige Jura- und Medizinprüfungen, darunter auch das staatliche US-Medizinexamen (United States Medical Licensing Exam). Allerdings braucht es dafür nur rund 60% richtige Antworten, die KI schafft derzeit je nach Fachbereich eine Trefferquote von etwa 50–75%. Ein Team um Dr. Nino Fijačko von der Universität in Maribor in Slowenien hat das frei zugängliche Programm auch auf US-Prüfungen in der Notfallmedizin angesetzt. Hier hatte die KI etwa zwei Drittel der Fragen richtig beantwortet, was aber nicht genügte – es wären mindestens 84% nötig gewesen. Leitlinien-orientierte Antworten Fijačko und Mitarbeitende wählten für ihren Test die beiden Prüfungen „American Heart Association Basic Life Support“ (BLS) und „Advanced Cardiovascular Life Support“ (ACLS) aus dem Jahr 2016 aus – da ChatGPT an Daten trainiert worden war, die bis 2021 reichen, konnten sie keine aktuellen Prüfungen verwenden. Die Prüfungen bestanden jeweils aus zwei Teilen (A und B), BLS umfasst pro Teil 25 Fragen, ACLS je 50 Fragen. Aus den beiden ACLS-Teilen wurden je zwölf Fragen zu EKG-Interpretationen weggelassen, das die KI nur textbasiert funktioniert. Insgesamt musste der Chatbot 96 Einzelfragen und 30 Szenario-basierte Fragen beantworten, bei letzteren wurde ein Problem geschildert, für das die richtige Lösung skizziert werden sollte. Als Basis für die richtige Bewertung verwendeten die Forschenden den offiziellen Lösungsschlüssel. Am besten schnitt die KI in den beiden BLS-Tests ab: Hier beantwortete sie 26 von 38 Fragen im Teil A und 29 von 38 Fragen im Teil B richtig – die Trefferquote lag damit bei 68% und 76%. Etwas schlechter war die Leistung im ACLS mit je 17 und 16 richtigen Antworten auf 25 Fragen (68% und 64%). Damit erzielte das Programm eine ähnlich hohe Trefferquote wie in anderen Medizintests, erreichte aber nicht die Schwelle von je 84%, die für ein Bestehen nötig war. Zu 25 der Antworten lieferte das Programm auch Quellenhinweise, fast immer verwies es auf die American Heart Association und das American College of Cardiology. Die Szenario-Antworten wurden oft ausführlich begründet. Meist enthielten solche Antworten relevante und genaue Informationen, die sich eng an den bestehenden Leitlinien orientierten, berichten Fijačko und Mitarbeitende. Sie sehen die Entwicklung von Chatbots wie ChatGPT durchaus positiv. Sie könnten hilfreich sein, um sich auf Prüfungen vorzubereiten und zudem seriöse Quellen für relevante Informationen liefern. Das Wichtigste in Kürze Frage: Besteht die künstliche Intelligenz ChatGPT wichtige US-Notfallmedizinexamen? Antwort: ChatGPT beantwortete in einer Untersuchung rund zwei Drittel der Fragen richtig, was aber nicht genügte, um die Prüfungen zu bestehen. Bedeutung: Bessere Versionen könnten bei der Prüfungsvorbereitung helfen. Einschränkung: Auf die Antworten kann man sich noch nicht verlassen.

Springer Medizin

ChatGPT scheitert an notfallmedizinischem Examen

Weiterführende Themen

Neu im Fachgebiet AINS

Hinter dieser Appendizitis steckte ein Erreger

Ärztliche Empathie hilft gegen Rückenschmerzen

Mehr Schaden als Nutzen durch präoperatives Aussetzen von GLP-1-Agonisten?

S3-Leitlinie zu Pankreaskrebs aktualisiert

Update AINS