Kollektive Dermatologen-Intelligenz schlägt KI

Wer kann Hautläsionen zuverlässiger diagnostizieren: ein digitales neuronales Netzwerk oder das geballte Wissen von 120 Dermatologen? Ein Test auf einer Konferenz in München ergab ein eindeutiges Resultat: Noch sind analoge neuronale Netze den digitalen überlegen. Hinweis: Das Wichtigste in Kürze zu dieser Studie finden Sie am Ende des Artikels. Digitale neuronale Netzwerke sind inzwischen zu erstaunlichen Leistungen fähig und können Ärzte bei spezifischen Fragestellungen unterstützen, etwa bei der Melanomdiagnose. Inwieweit sie an die diagnostischen Fähigkeiten erfahrener Dermatologen heranreichen, hat ein Team um Dr. Julia Winkler von der Universität Heidelberg anhand einer Querschnittstudie untersucht. Das Ergebnis ist eindeutig: Solche Systeme sind nicht präziser als einzelne Dermatologen und schneiden deutlich schlechter ab als die kollektiven Fähigkeiten einer Gruppe von Dermatologen. Für ihr Experiment konnten die Forscher um Winkler 120 Dermatologen gewinnen, die sich im Herbst 2019 in München auf einer Tagung trafen (thirty years of dermoscopy conference). Ihnen präsentierten sie 30 Bilder tumoröser, infektiöser und entzündlicher Läsionen. Die Ärzte sollten in einem Multiple-Choice-Verfahren jeweils eine von sechs Differenzialdiagnosen pro Bild angeben. Die Antworten wurden in zweifacher Hinsicht ausgewertet: Zum einen, ob die Ärzte eine benigne oder maligne Läsion erkannten (binäre Klassifikation), zum anderen, ob die Differenzialdiagnose stimmte. Beurteilte jemand ein Melanom als Basalzellkarzinom, lag er in der binären Auswertung richtig (maligne), bei der Differenzialdiagnose aber falsch. Im Kollektiv zu 80% richtig diagnostiziert Die gleiche Aufgabe stellten die Ärzte einer marktzugelassenen Software, die auf einem sogenannten faltenden neuronalen Netzwerk basiert (Moleanalyzer-Pro®). Auch hier wurde sowohl binär ausgewertet (benigne/maligne) als auch nach Diagnoseklassen. Das System sollte neun verschiedene Läsionen erkennen können: Melanome, Nävi, benigne und aktinische Keratosen, Plattenepithel- und Basalzellkarzinome, vaskuläre Läsionen, Angiome und Dermatofibrome. Der „künstlichen Intelligenz“ (KI) wurden nur Läsionen gezeigt, die in diese Kategorien passten. Als Antwort werteten die Ärzte jeweils die Diagnose mit dem höchsten Wahrscheinlichkeits-Score. Das Team um Winkler schaute nun, wie häufige die einzelnen Dermatologen richtiglagen, wie oft die kollektive Dermatologen-Intelligenz (KDI) – hier galt das Mehrheitsvotum – und wie häufig die KI. Insgesamt waren 17 der präsentierten Läsionen maligne und 13 benigne. Bei den malignen dominierten Melanome (12), bei den benignen Nävi (3), seborrhoische Keratosen (4) sowie infektiöse und entzündliche Läsionen (je 2). In der binären Auswertung erreichte die KDI mit 80% die höchste diagnostische Genauigkeit, gefolgt vom individuellen Dermatologenurteil (76%) und der KI (70%). Die KDI war sowohl den Einzelurteilen als auch der KI signifikant überlegen, die Einzelurteile erwiesen sich als signifikant häufiger zutreffend als die der KI. Zudem waren sowohl Sensitivität (82%) und Spezifität (77%) der KDI höher als die der einzelnen Dermatologen (jeweils 78% und 73%) sowie der KI (71% und 69%). Bei der Frage nach der Malignität reichte die KI also noch nicht einmal an das Urteil der einzelnen Dermatologen heran. Noch größer waren die Unterschiede bei der richtigen Differenzialdiagnose. Am besten schnitt wiederum das Kollektivurteil ab (zu 79% richtig), gefolgt vom individuellen Urteil (65%) und dem der KI (62%). Immerhin war die KI hier dem Einzelurteil nicht unterlegen – statistisch signifikant waren nur die Unterschiede zwischen KDI und KI sowie KDI und den einzelnen Dermatologen. Insgesamt zog die KI bei diesem Vergleich klar den Kürzeren und erzielte eine deutlich schlechtere diagnostische Genauigkeit als in vielen anderen Untersuchungen, was auch daran gelegen haben dürfte, dass die Ärzte für den Vergleich diagnostisch besonders schwierige Fälle ausgewählt hatten, vermuten die Spezialisten um Winkler. In solchen Fällen zahlt sich dann doch die Erfahrung der Dermatologen aus. Die Studie zeigt aber auch, dass es sich bei schwierigen Fällen lohnt, andere Kollegen um eine Meinung zu bitten – gemeinsam wird am häufigsten richtig diagnostiziert. Das Wichtigste in Kürze Frage: Wie gut schneiden Dermatologen einzeln und im Kollektiv im Vergleich zu einem digitalen neuronalen Netzwerk bei schwierig zu beurteilenden Hautläsionen ab? Antwort: Das Kollektiv liefert die präzisesten Diagnosen, auch einzelne Dermatologen diagnostizieren im Schnitt noch besser als eine etablierte Bilderkennungs- und Diagnosesoftware. Bedeutung: Die „künstliche Intelligenz“ kann der Dermatologen-Intelligenz noch nicht das Wasser reichen. Einschränkung: Kleine Querschnittstudie.

Live-Webinar: Aktuelle Leitlinien bei Herz-Kreislauf-Erkrankungen

Springer Medizin

Kollektive Dermatologen-Intelligenz schlägt KI

Weiterführende Themen

Leitlinien kompakt für die Dermatologie

Neu im Fachgebiet Dermatologie

Auf diese Krankheiten bei Geflüchteten sollten Sie vorbereitet sein

Kein Abstrich bei chronischen Wunden ohne Entzündungszeichen!

„Nur wer sich gut aufgehoben fühlt, kann auch für Patientensicherheit sorgen“

Vitiligo: Prävalenz steigt und viele Erkrankte werden spät behandelt

Update Dermatologie