Open Access
26.01.2022 | Telemedizin | Originalien
Einsatz von künstlicher Intelligenz im Screening auf diabetische Retinopathie an einer diabetologischen Schwerpunktklinik
verfasst von:
Sebastian Paul, Allam Tayar, Ewa Morawiec-Kisiel, Beathe Bohl, Rico Großjohann, Elisabeth Hunfeld, Martin Busch, Johanna M. Pfeil, Merlin Dähmcke, Tara Brauckmann, Sonja Eilts, Marie-Christine Bründer, Milena Grundel, Bastian Grundel, Frank Tost, Jana Kuhn, Jörg Reindel, Wolfgang Kerner, Andreas Stahl
Seit 2018 ist mit IDx-DR ein Verfahren auf dem Markt, welches den Grad der diabetischen Retinopathie (DR) mittels künstlicher Intelligenz (KI) bestimmt.
Methoden
Wir haben IDx-DR in die Sprechstunde an einer diabetologischen Schwerpunktklinik integriert und berichten über die Übereinstimmung zwischen IDx-DR (IDx Technologies Inc., Coralville, IA, USA) und Funduskopie sowie IDx-DR und ophthalmologischer Bildbeurteilung sowie über den Einfluss unterschiedlicher Kamerasysteme.
Ergebnisse
Mit der Topcon-Kamera (n = 456; NW400, Topcon Medical Systems, Oakland, NJ, USA) konnte im Vergleich zur Zeiss-Kamera (n = 47; Zeiss VISUCAM 500, Carl Zeiss Meditec AG, Jena, Deutschland) häufiger eine ausreichende Bildqualität in Miosis erreicht werden. Insgesamt war bei etwa 60 % der Patienten eine IDx-DR-Analyse in Miosis möglich. Alle Patienten, bei denen keine IDx-DR-Analyse in Miosis möglich war, konnten in Mydriasis funduskopiert werden. Innerhalb der Gruppe der auswertbaren Befunde zeigte sich eine Übereinstimmung zwischen IDx-DR und augenärztlicher Funduoskopie in ca. 55 %, ein Überschätzen des Schweregrads durch IDx-DR in ca. 40 % und ein Unterschätzen in ca. 4 %. Die Sensitivität (Spezifität) für das Erkennen einer schweren, behandlungsbedürftigen Retinopathie lag bei 95,7 % (89,1 %) für Fälle mit auswertbaren Fundusaufnahmen und bei 65,2 % (66,7 %), wenn alle Fälle betrachtet werden (inklusive derjeniger ohne verwertbare Aufnahme in Miosis). Der Kappa-Koeffizient zeigt mit 0,334 (p < 0,001) eine ausreichende Übereinstimmung zwischen IDx-DR und ärztlicher Bildauswertung anhand des Fundusfotos unter Berücksichtigung aller Patienten mit auswertbarer IDx-DR-Analyse. Der Vergleich zwischen IDx-DR mit der ärztlichen Funduskopie ergibt unter denselben Voraussetzungen eine geringe Übereinstimmung mit einem Kappa-Wert von 0,168 (p < 0,001).
Schlussfolgerung
Die vorliegende Studie zeigt Möglichkeiten und Grenzen des KI-gestützten DR-Screenings auf. Eine wesentliche Einschränkung liegt in der Tatsache, dass bei ca. 40 % der Patienten keine ausreichenden Aufnahmen in Miosis gewonnen werden konnten. Wenn ausreichende Aufnahmen vorlagen, stimmten IDx-DR und augenärztliche Diagnose in über 50 % der Fälle überein. Ein Unterschätzen des Schweregrades durch IDx-DR kam selten vor. Für die Integration in augenärztlich unterstützten Sprechstunden erscheint uns das System grundsätzlich geeignet. Die hohe Rate an fehlenden Aufnahmen in Miosis stellt allerdings eine Limitation dar, die einen Einsatz ohne augenärztliche Kontrollmöglichkeit schwierig erscheinen lässt.
Weltweit wird mit einer weiteren Zunahme der Erkrankungszahlen für Diabetes mellitus gerechnet. Die Gründe hierfür sind multifaktoriell und basieren unter anderem auf unseren modernen Lebens- und Ernährungsgewohnheiten sowie der demografischen Entwicklung mit zunehmender Alterung der Bevölkerung. Eine frühzeitige Diagnose des Diabetes mellitus ist grundlegend für eine suffiziente Therapie und somit für die Vermeidung schwerwiegender Komplikationen. Es wird geschätzt, dass etwa ein Drittel der Diabetiker Stadien einer diabetischen Retinopathie aufzeigen [12]. In Deutschland liegt die Prävalenz der diabetischen Retinopathie bei Patienten mit Typ-2-Diabetes bei 9–16 % und beim Typ-1-Diabetes bei 24–27 % [3].
Leider sind nicht alle Patienten mit Diabetes mellitus in ausreichender ophthalmologischer Kontrolle, sodass davon auszugehen ist, dass es eine signifikante Dunkelziffer von nicht erkannter oder nicht suffizient nachkontrollierter diabetischer Retinopathie gibt. Es besteht die Hoffnung, dass durch die Einführung von Diagnoseprozessen mittels künstlicher Intelligenz (KI) die Screeningrate auf diabetische Retinopathie erhöht werden kann und Patienten mit dringendem Behandlungsbedarf schneller identifiziert werden können.
Anzeige
Basierend auf einer populationsgestützten Zulassungsstudie, wurde durch die amerikanische Food and Drug Administration (FDA) 2018 das KI-basierte Screeningmodul IDx-DR (IDx Technologies Inc., Coralville, Iowa, USA) zur Beurteilung der diabetischen Retinopathie zugelassen. Die KI erreichte in den Zulassungsstudien für die Diagnose einer schweren DR eine Sensitivität von 87,2 % (95 % CI, 81,8–91,2 %) und eine Spezifität von 90,7 % (95 % CI, 88,3–92,7 %) sowie eine Abbildungsrate (Quote an auswertbaren Aufnahmen) von 96,1 % (95 % CI, 94,6–97,3 %), womit die Fähigkeit der KI zur Diagnostik der diabetischen Retinopathie in der Grundversorgung demonstriert wurde. Es benötigten 76,4 % der Teilnehmer keine pharmakologische Pupillendilatation, während 23,6 % eine Pupillendilatation benötigten. Basierend auf diesen Ergebnissen, hat die FDA das System zur medizindiagnostischen Verwendung zugelassen.
Das IDx-DR-System basiert größtenteils auf dem Konzept des Deep-Learning (DL), wobei die angewandten Algorithmen darauf trainiert wurden, bestimmte Muster der diabetischen Retinopathie auf Fundusfotos zu erkennen. Die Detektion der Mikroaneurysmen fußt auf einer Multiscale-featurebank-Detektion [1]. Darüber hinaus sind DL-basierte Verfahren grundsätzlich in der Lage, sich ständig selbst weiter zu verbessern. Das KI-System von IDx-DR verfügt über 2 Kernalgorithmen, einen auf die Bildqualität ausgerichteten KI-Algorithmus und den eigentlichen Diagnosealgorithmus. Beurteilt werden die definitionsgemäßen Veränderungen, die bei einer diabetischen Retinopathie auftreten können, wie Mikroaneurysmen, Cotton-wool-Herde, intraretinale Blutungen, perlschnurartige Konfiguration der retinalen Venen, intraretinale mikrovaskuläre Anomalien (IRMA), Neovaskularisationen, lipoproteinhaltige Exsudate und Glaskörpersanguinationen, allerdings ohne dass diese Veränderungen spezifisch als die jeweilige Entität erkannt und benannt werden. Der KI-Algorithmus gibt nur bei Vorliegen verwertbarer Fundusaufnahmen beider Augen eine summarische Einschätzung des Schweregrads, eingeteilt in keine, milde, moderate oder schwere (visusbedrohende) diabetische Retinopathie ohne eine Seitendifferenzierung, aus [1].
Im Februar 2020 begannen wir an der diabetologischen Schwerpunktklinik in Karlsburg das IDx-DR-System begleitend zum dortigen ophthalmologischen Screening einzusetzen. Mit der Erprobung des IDx-DR-Systems sollte untersucht werden, ob KI zum Screening auf eine diabetische Retinopathie und zur Priorisierung der augenärztlichen Vorstellung an einer diabetologischen Schwerpunktklinik geeignet ist und wo mögliche Stärken und Schwächen des Systems in der täglichen Praxis liegen.
Methoden
Die Patientenklientel an der diabetologischen Schwerpunktklinik Karlsburg setzt sich aus Patienten sämtlicher Altersgruppen und mit allen Formen des Diabetes mellitus zusammen. Die Ablehnung der IDx-DR-Aufnahme oder der Datenauswertung durch den Patienten war das einzige Ausschlusskriterium für die hier vorgestellten Ergebnisse. Die Studie wurde in Übereinstimmung mit der Deklaration von Helsinki und nach positivem Votum der Ethikkommission der Universitätsmedizin Greifswald durchgeführt (BB 025/20).
Anzeige
Das ophthalmologische Screening am Klinikum Karlsburg erfolgt im Rahmen der dort stationär durchgeführten internistischen Diagnostik und Therapie wöchentlich durch einen ophthalmologischen Konsiliardienst der Universitätsaugenklinik Greifswald. Mit Einführung des IDx-DR-Systems wurde ein neuer Ablaufplan für das Screeningprogramm erstellt. Ein bis 2 Tage vor dem Sprechstundentermin werden durch den nichtärztlichen Funktionsdienst des Klinikums Karlsburg nichtmydriatische Fundusaufnahmen mit der herstellerseitig empfohlenen Topcon-Kamera (NW400, Topcon Medical Systems, Oakland, USA) erstellt. Da in Europa das IDx-DR-System unabhängig vom Kameratyp zugelassen ist, untersuchten wir im Projekt zusätzlich den Einfluss des verwendeten Kamerasystems auf die Ergebnisqualität und führten auch Aufnahmen mit einem alternativen Kamerasystem durch (Zeiss VISUCAM 500, Carl Zeiss Meditec AG, Jena, Deutschland). Allerdings ist der Vergleich eingeschränkt zu bewerten, da mittels Zeiss-Kamera (Zeiss VISUCAM 500, Carl Zeiss Meditec AG, Jena, Deutschland) 47 Patienten und mit der Topcon-Kamera (NW400, Topcon Medical Systems, Oakland, NJ, USA) 456 Patienten untersucht wurden (s. Ergebnisteil).
Das IDx-DR-Systems arbeitet mit 4 Fundusaufnahmen (pro Auge je 1 Foto mit Fokus auf den N. opticus und auf die Makula). Die Aufnahmen werden Cloud-basiert analysiert und (ausreichende Bildqualität vorausgesetzt) in kurzer Zeit beurteilt [1, 5]. Es handelt sich um keinen telemedizinischen Dienst, eine ärztliche Überprüfung des Ergebnisses findet seitens IDx-DR nicht statt. Im Gegensatz zur augenärztlichen Untersuchung gibt IDx-DR nur Ergebnisse auf Patientenebene aus, ohne Differenzierung zwischen beiden Augen. Die augenärztliche Untersuchung dagegen gibt Resultate auf Augenebene aus. Zum Vergleich mit den IDx-DR-Ergebnissen wurde jeweils das augenärztlich als schlechter eingestufte Auge (also dasjenige mit dem höheren Grad an diabetischer Retinopathie) verwendet. Eine funduskopisch sichtbare diabetische Makulopathie wurde dabei beispielsweise mit berücksichtigt.
Im Rahmen der vorliegenden Evaluierung erfolgte für jeden Patienten, der mittels IDx-DR untersucht wurde, in derselben Woche eine reguläre fachärztliche Fundusuntersuchung (ohne Kenntnis des Ergebnisses der bereits vorhandenen IDx-DR-Analyse). Zusätzlich erfolgte zu einem späteren Zeitpunkt die fachärztliche Einschätzung des Schweregrads der diabetischen Retinopathie ausschließlich anhand der Bilder, die in die IDx-DR-Analyse eingingen. Hierbei wurde der gesamte Bildausschnitt (45°) beurteilt. Unschärfen oder Verschattungen führten teilweise dazu, dass einige Aufnahmen seitens des Untersuchers als nicht graduierbar eingestuft wurden. Somit lagen zu jedem Datensatz 3 Ergebnisse vor: IDx-DR-Diagnose, fachärztliche Diagnose anhand der Bilder und fachärztliche Diagnose anhand der vollständigen binokularen Fundusuntersuchung in Mydriasis.
Die Fundusaufnahmen wurden durch eine von 3 verschiedenen medizinischen Fachangestellten angefertigt, die augenärztlichen Untersuchungen sowie die Bewertung der Bilder erfolgten durch eine(n) von 4 Fachärzten/Fachärztinnen. Die fachärztliche Beurteilung der Aufnahmen und die Funduskopie erfolgten dabei immer von derselben Person, allerdings zeitlich versetzt. Die diagnostische Einstufung der Fundusbilder erfolgt durch IDx-DR 4‑stufig in eine negative, milde, moderate oder visusbedrohende diabetische Retinopathie. Ein beispielhafter Ausdruck des IDx-DR-Analyseberichtes ist Suppl. Abb. 1 zu entnehmen. Die Bewertung „negativ“ entspricht dabei dem Level 10 des ETDRS-Gradings und zeigt keine Anomalitäten [4].
Die „milde“ diabetische Retinopathie wird dem Level 20 der ETDRS zugeordnet und ist gekennzeichnet durch Mikroaneurysmen, isolierte Blutungen oder Cotton-wool-Herde. Eine „moderate“ diabetische Retinopathie entspricht den ETDRS-Levels 35, 43 und 47. Die Einstufung der „visusbedrohenden“ diabetischen Retinopathie kommt den ETDRS-Levels 53 A–E, sowie 61, 65, 71, 75, 81 und 85 gleich und entspricht somit der schweren nichtproliferativen diabetischen Retinopathie (gemäß der 4:2:1-Regel) bzw. der proliferativen diabetischen Retinopathie [2].
Im IDx-DR-Modul werden die schwere nichtproliferative diabetische Retinopathie und die proliferative diabetische Retinopathie als visusbedrohend definiert und im Ergebnis nicht unterschieden. Exsudate im Bereich der Makula sowie ein diabetisches Makulaödem werden ebenfalls als visusbedrohend eingestuft [1]. Die statistische Auswertung dieser Studie erfolgte mittels SPSS (IBM SPSS Statistics V.27, IBM Corporation, Armonk, NY, USA).
Ergebnisse
Für diese Studie wurden insgesamt 503 Patienten, die aus einem bundesweiten Einzugsgebiet zur intensivierten Diagnostik und Therapieeinstellung eingewiesen wurden, ausgewertet. Das Durchschnittsalter der Patienten in unserer Studie lag mit 54,2 Jahren relativ niedrig. Der jüngste Patient war 9 Jahre und der älteste Patient 92 Jahre alt. Die Altersverteilung ist in Suppl. Abb. 2a aufgeführt. Das Patientenkollektiv war zu 42 % weiblich und zu 58 % männlich (Suppl. Abb. 2b). Wir untersuchten 273 Typ-II-Diabetiker (54,3 %) und 230 Typ-I-Diabetiker (45,7 %; Suppl. Abb. 2c).
Um den Einfluss verschiedener Kameratypen auf die Ergebnisqualität zu analysieren, untersuchten wir 456 Patienten mit dem von IDx-DR empfohlenen Topcon-Kamerasystem und 47 Patienten mit einem alternativen Zeiss-Kamerasystem. Die Handhabung mit dem Zeiss-Kamerasystem wurde von den durchführenden Fachkräften dabei als deutlich zeitaufwendiger und komplexer empfunden. Insbesondere die Auslöseautomatik und die erfolgreichere Aufnahme nichtmydriatischer Fundusbilder wurden bei der Topcon-Kamera als vorteilhaft beschrieben. Im Ergebnis konnten bei 40,4 % der mit der Zeiss-Kamera untersuchten Patienten keine verwertbaren Aufnahmen in Miosis gewonnen werden (19 von 47 Patienten). Mit der Topcon-Kamera war bei 9,9 % der Patienten (45 von 456 Patienten) keine verwertbare Fundusfotoaufnahme in Miosis möglich. Hinzu kommt, dass trotz erfolgter Aufnahme die Bildqualität für eine erfolgreiche IDx-DR-Analyse nicht immer ausreichend war. Dies war für Zeiss in weiteren 31,9 % der Fälle gegeben, für Topcon in 27,8 %. In Abb. 1a, b sind die Ergebnisse der Analyse zu den einzelnen Kamerasystemen dargestellt. Als Hauptursachen für das Fehlen der Aufnahme oder die für eine IDx-DR-Analyse unzureichende Aufnahmequalität identifizierten wir eine ausgeprägte Miosis, Trübungen der optischen Medien (Hornhaut, Linse, Glaskörper) oder eine unzureichende Kooperation des Patienten (beispielsweise reduzierter Allgemeinzustand zum Zeitpunkt der Untersuchung). Eine Katarakt, die so ausgeprägt war, dass gar keine Fundusaufnahme erfolgen konnte, lag allerdings nur bei einem Patienten vor.
×
Anzeige
In Abb. 2 werden die Resultate des IDx-DR-Systems mit den Untersuchungsergebnissen der etablierten binokularen Funduskopie in Mydriasis verglichen. Von den insgesamt 503 Patienten wiesen (basierend auf der augenärztlichen Untersuchung in Mydriase) 211 Patienten (42 %) Zeichen einer diabetischen Retinopathie in unterschiedlichen Schweregraden auf. Der Anteil an Patienten mit einem Diabetes mellitus ohne Fundusveränderungen ist bei der ärztlichen Untersuchung deutlich höher als bei der IDx-DR-Analyse. Gleichzeitig wird der nicht unerhebliche Anteil an Patienten mit unzureichender Bildqualität oder fehlendem Bild aufseiten der IDx-DR-Auswertung deutlich (40,9 %). Funduskopisch war bei allen untersuchten Patienten eine Stadieneinteilung der diabetischen Retinopathie möglich.
×
Wesentlich informativer als eine summarische Gegenüberstellung aller Patienten ist es, die Übereinstimmung der Ergebnisse beider Verfahren zu individuellen Patienten im Scatter-Plot darzustellen, da hier für jeden einzelnen Patienten individuell nachvollzogen werden kann, ob die beiden Methoden im Ergebnis übereinstimmen oder voneinander abweichen (Abb. 3). Eine Übereinstimmung beider Untersuchungen lag in 55,9 % der Fälle vor (grün schraffierte Kästen). Das IDx-DR-System überschätzte den Schweregrad der diabetischen Retinopathie in 40,1 % der durch das IDx-DR-System auswertbaren Fundusbilder (blau hinterlegte Kästen unterhalb). Eine kritischer einzustufende Unterschätzung des Schweregrads der diabetischen Retinopathie durch das IDx-DR-System wurde nur in 4 % festgestellt (rot unterlegte Kästen oberhalb).
×
In Abb. 4 ist der Vergleich der Untersuchungen durch IDx-DR mit der herkömmlichen Funduskopie nach Altersgruppen aufgeteilt. Auffällig ist hier, dass sich in den Altersgruppen unter 40 Jahren die Diagnosen weniger gut decken. In den Altersgruppen <20 Jahre und 20 bis 39 Jahre liegt nur bei 25,0 % bzw. 35,2 % eine exakte Übereinstimmung zwischen der auswertbaren IDx-DR-Diagnose und dem Funduskopieergebnis vor, während dies in den Altersgruppen 40 bis 59 und >59 Jahre in 69,3 % bzw. 59,6 % der Patienten der Fall war (jeweils grün hinterlegte Kästen in Abb. 4).
×
Im Vergleich der Diagnose durch IDx-DR mit der ärztlichen Diagnose anhand des Fundusbildes zeigt sich, dass auch hier die IDx-DR-Analyse den Befund als tendenziell höhergradig einschätzt (Abb. 5). Dem Arzt liegen bei diesem Vergleich jeweils nur die insgesamt 4 Fundusfotos eines Patienten zur Bewertung vor, die auch von IDx-DR bewertet wurden. Eine Übereinstimmung war bei 49,8 % der Patienten der Fall, für die eine auswertbare IDx-DR-Analyse vorlag (grün hinterlegt in Abb. 5). Bei 43,7 % der Patienten mit auswertbarer IDx-DR-Analyse überschätzt das System den Schweregrad der diabetischen Retinopathie (blau hinterlegt in Abb. 5). Das IDx-DR-System unterschätzt den Grad der diabetischen Retinopathie bei 1,35 % der Patienten, für die eine auswertbare IDx-DR-Analyse vorlag (rot hinterlegt in Abb. 5). Insgesamt 25 Patienten (4,97 % vom Gesamtkollektiv bzw. 8,25 % des Kollektivs mit vorliegendem Fundusfoto), deren Fundusfotografien durch IDx-DR nicht auswertbar waren, konnten durch den Arzt beurteilt werden und zeigten meist keine, in 4 Fällen aber auch eine schwere diabetische Retinopathie. Es gab in dem Datensatz auch insgesamt 15 Patienten (2,98 % vom Gesamtkollektiv bzw. 5 % des Kollektivs mit vorliegendem Fundusfoto), bei denen der Arzt anhand der Fundusbilder keine Stadieneinteilung der diabetischen Retinopathie vornehmen konnte, der IDx-DR-Algorithmus aber einen Schweregrad angab. Die Ergebnisse der Funduskopie deckten sich bei 8 dieser Patienten mit der IDx-DR-Analyse. In 7 Untersuchungen zeigte sich eine Abweichung in der Beurteilung durch den Algorithmus. Dabei stellten wir mittels Funduskopie immer einen milderen besseren Befund fest. Je einmal lag die Differenz der Diagnose bei 2 (mild zu schwer) und bei 3 Stufen (keine zu schwer).
×
Anzeige
Wichtig ist es auch zu untersuchen, wie sich der Schweregrad der diabetischen Retinopathie bei denjenigen Patienten darstellt, für die entweder kein Bild für die automatisierte Auswertung gewonnen werden konnte oder bei denen das Bild von unzureichender Qualität für eine IDx-DR-Analyse war, da bei einem rein automatisierten Screening diese Patienten keinerlei Diagnose bekommen könnten. In diesem Zusammenhang stellten wir fest, dass bei allen Patienten, bei denen kein Foto möglich war oder die Aufnahme von unzureichender Qualität war, eine binokulare Funduskopie durchführbar und eine Schweregradeinteilung der DR durch den Arzt möglich war. Die Abb. 6 zeigt, dass der größte Anteil der Patienten (20,7 % vom Gesamtkollektiv, grün hinterlegt in Abb. 6), für die kein (ausreichendes) Fundusfoto für die IDx-DR-Analyse möglich war, keine diabetischen Netzhautveränderungen aufweist, also die mangelnde Aufnahmequalität nicht durch diabetogene Augenveränderungen zu erklären ist. Allerdings zeigten sich bei immerhin 4,6 % der Patienten in dieser Gruppe auch schwere, visusbedrohende Stadien der diabetischen Retinopathie, die bei einer alleinigen Diagnostik mittels automatisierter Fundusuntersuchung mangels adäquaten Bildmaterials nicht diagnostiziert worden wären (rot hinterlegt in Abb. 6). Der Anteil an funduskopisch festgestellten milden Veränderungen ist in Abb. 6 gelb hinterlegt und beträgt 11,3 %. Moderate Fundusveränderungen sind bei 4,4 % der Patienten dokumentiert (orange hinterlegt in Abb. 6).
×
Die Ergebnisse der Berechnung der Sensitivität und Spezifität sind in Tab. 1 dargestellt. Dabei unterteilten wir die Werte für die jeweiligen Diagnosegruppen (keine DR, mild, moderat, schwer). Die Ergebnisse sind dreistufig dargestellt: (1) das Kollektiv mit auswertbarer IDx-DR-Analyse, (2) das Kollektiv einschließlich nichtauswertbarer IDx-DR-Analyse und (3) das gesamte Kollektiv inklusive der Patienten, bei denen keine Aufnahme erfolgen konnte. Die höchste Sensitivität (0,957) und Spezifität (0,891) erreicht IDx-DR bei Patienten mit einer schweren DR.
Tab. 1
Statistische Auswertung von Sensitivität, Spezifität und positivem/negativem prädiktivem Wert (PPW/NPW)
Diagnose + Gruppierung
Sensitivität
Spezifität
PPW
NPW
Schwere DR und IDx-DR auswertbar
0,957
0,891
0,423
0,996
Schwere DR und IDx-DR auswertbar/nicht auswertbar
0,756
0,697
0,158
0,974
Schwere DR und IDx-DR auswertbar/nicht auswertbar + kein Bild
0,652
0,667
0,174
0,947
Moderate DR und IDx-DR auswertbar
0,536
0,907
0,375
0,949
Moderate DR und IDx-DR auswertbar/nicht auswertbar
0,520
0,705
0,141
0,940
Moderate DR und IDx-DR auswertbar/nicht auswertbar + kein Bild
0,514
0,672
0,150
0,924
Milde DR und IDx-DR auswertbar
0,328
0,724
0,224
0,816
Milde DR und IDx-DR auswertbar/nicht auswertbar
0,426
0,619
0,253
0,781
Milde DR und IDx-DR auswertbar/nicht auswertbar + kein Bild
0,442
0,600
0,261
0,770
Keine DR und IDx-DR auswertbar
0,585
0,908
0,917
0,559
Keine DR und IDx-DR auswertbar/nicht auswertbar
0,545
0,696
0,739
0,492
Keine DR und IDx-DR auswertbar/nicht auswertbar + kein Bild
0,540
0,642
0,656
0,525
Die Bewertung der Übereinstimmung zwischen der IDx-DR-Diagnose und der Bildauswertung anhand des Fundusfotos sowie zwischen der IDx-DR-Diagnose und der Funduskopie erfolgte statistisch durch Ermittlung des Kappa-Koeffizienten nach Cohen. Die Interpretation nach Landis und Koch beschreibt bei Kappa ≤ 0 eine schlechte, Kappa = 0–0,2 eine geringe, bei Kappa = 0,21–0,40 eine ausreichende, bei Kappa = 0,41–0,60 eine moderate, bei Kappa = 0,61–0,80 eine beachtliche und bei Kappa = 0,81–1,00 eine (fast) vollkommene Übereinstimmung. Der Kappa-Koeffizient zeigt mit 0,334 (p < 0,001) eine ausreichende Übereinstimmung zwischen IDx-DR und ärztlicher Bildauswertung anhand des Fundusfotos unter Berücksichtigung aller Patienten mit auswertbarer IDx-DR-Analyse. Der Vergleich zwischen IDx-DR mit der ärztlichen Funduskopie ergibt unter denselben Voraussetzungen eine geringe Übereinstimmung mit einem Kappa-Wert von 0,168 (p < 0,001).
Diskussion
Das Beispiel der diabetologischen Schwerpunktklinik in Karlsburg zeigt, wie ein sinnvoller Einsatz für die Anwendung von künstlicher Intelligenz mittels IDx-DR in Ergänzung zur augenärztlichen Sprechstunde vor Ort aussehen könnte. In einem ersten Schritt könnten Patienten mithilfe der KI-unterstützten Bildanalyse durch das IDx-DR-System vorab ein Screening auf diabetische Retinopathie erhalten. Screeningbefunde, die Netzhautpathologien aufzeigen, müssen dann augenärztlich abgeklärt werden. Ebenso müssen alle Patienten, für die keine KI-gestützte Auswertung vorliegt, weil kein ausreichendes Bildmaterial in Miosis gewonnen werden kann, zusätzlich augenärztlich untersucht werden. Bei Patienten, für die das IDx-DR-System ein auswertbares Bild erhielt und „keine diabetische Retinopathie“ angab, lag dagegen in keinem Fall laut funduskopischer augenärztlicher Diagnose eine schwere (behandlungsbedürftige) und nur in 1 Fall eine moderate diabetische Retinopathie vor.
Anzeige
Es ist bekannt, dass eine nicht zu unterschätzende Anzahl an Diabetikern, die empfohlenen Screeninguntersuchungen nicht wahrnimmt. In einer amerikanischen Untersuchung wird angegeben, dass etwa 40 % der Diabetiker die von der American Academy of Ophthalmology empfohlenen Untersuchungsintervalle nicht einhalten [1, 6]. Durch die schnelle und einfache Durchführung der IDx-DR-Untersuchung kann möglicherweise die Bereitschaft dieser Patienten erhöht werden, sich zu einem Screening vorzustellen. Die nichtmydriatische Untersuchung gestaltet sich für den Patienten zeiteffizient und weniger unangenehm. Es ist gut vorstellbar, dass dadurch die Motivation für eine Screeninguntersuchung ansteigt. Sollte durch die IDx-DR-Analyse eine milde, moderate oder visusbedrohende diabetische Retinopathie erkannt werden, wäre auch bei symptomlosen Patienten möglicherweise die Bereitschaft zur fachärztlichen Untersuchung in Mydriasis erhöht. Auch ausbleibende Untersuchungsergebnisse nach erfolgter IDx-DR-Analyse könnten den Patienten zum Nachdenken bewegen und die Motivation für nachfolgende augenärztliche Kontrollen erhöhen.
Die Arbeit von Verbraak et al. gab auf Basis ihrer Studienergebnisse eine sichere Verwendung des IDx-DR in der Grundversorgung an. Hier wurden die Ergebnisse der IDx-DR mit einem unabhängigen Referenzzentrum verglichen. Die Sensitivität lag bei 100 % und die Spezifität bei 97,8 % für die visusbedrohende DR [7, 11]. Unsere Berechnungen für die Gruppe der schweren, visusbedrohenden DR ergaben eine Sensitivität von 65,2–95,7 % und eine Spezifität von 66,7–89,1 %, je nachdem ob nur das Kollektiv mit verwertbaren Aufnahmen berücksichtigt wird (Sensitivität 95,7 %) oder ob auch Patienten in die Analyse einbezogen werden, für die keine Aufnahme vorlag oder diese nicht auswertbar war (Sensitivität 65,2 %). Aus unserer Sicht muss der Aspekt der in Miosis auswertbaren Fundusaufnahmen in die gesamte Beurteilung mit aufgenommen werden (s. Tab. 1), um eine umfängliche Aussage zu ermöglichen. Hier decken sich unsere Ergebnisse im Übrigen auch mit den Zulassungsstudien, die für verwertbare Fundusaufnahmen in 23,6 % eine Pupillendilatation benötigten [1].
Grundsätzlich bestätigen unsere Daten sowie die Daten anderer Arbeitsgruppen, dass das IDx-DR-System in vielen Fällen eine valide Einschätzung über das Vorliegen einer diabetischen Retinopathie geben kann [7, 8]. In Fällen, in denen IDx-DR den Schweregrad der diabetischen Retinopathie im Vergleich zum Augenarzt überschätzt, lag dieser Unterschied meist im Rahmen von nur einer Diagnosestufe. In unserer Studie wurde im Cohens Kappa-Test eine geringe Übereinstimmung zwischen IDx-DR-Analyse und ärztlicher Funduskopie gefunden. Wir begründen diese Beobachtung dadurch, dass die IDx-DR-Analyse in etwa 40 % der Fälle ein schwereres Stadium angibt als der Augenarzt und eine volle Übereinstimmung mit dem Augenarzt nur in etwa 50 % der Fälle vorlag. Eine als medizinisch kritisch zu wertende Unterschätzung des Schweregrads der diabetischen Retinopathie kam allerdings nur in ca. 4 % der Fälle vor.
Nicht vergessen werden darf, dass IDx-DR nur zur Erkennung von diabetogenen Veränderungen entwickelt wurde und andere Augenerkrankungen nicht erkennen kann. Das System kann daher sicherlich nicht die allgemeine augenärztliche Untersuchung ersetzen, jedoch, wie oben skizziert, ergänzen. Zu beachten ist außerdem, dass IDx-DR 4 Fundusfotografien aus 2 Augen benötigt, um einen Analysebericht zu erstellen. Eine Auswertung von nur 1 Auge ist nicht möglich. Somit können einäugige Patienten oder Patienten mit einseitigen optischen Trübungen, bei denen nur auf 1 Auge suffiziente Abbildungsqualitäten erreicht werden, nicht mittels IDx-DR untersucht werden. Zudem werden werkseitig von IDx Technologies eine Anzahl an weiteren Ausschlusskriterien und Kontraindikationen für eine IDx-DR-Analyse angegeben (s. Tab. 2; [9]). Diese Kriterien des Herstellers sollten sicherlich vor jedem IDx-DR-Screening zumindest berücksichtigt werden. Insgesamt betrachtet handelt es sich beim Diabetes mellitus um eine Erkrankung, die oft ältere Menschen betrifft. Mit zunehmendem Alter nimmt die Pupillenweite ab, und die Linsentrübungen nehmen zu. Es kann davon ausgegangen werden, dass bei einem älteren Patientenkollektiv daher eine ausreichende Aufnahmequalität evtl. schlechter zu erreichen ist als bei einem jüngeren. Allerdings zeigten unsere Untersuchungen auch, dass jugendliche Fundusreflexe häufig zu falschen Interpretationen führen und zu einer geringeren Spezifität in jüngeren Altersgruppen beitragen können (Suppl. Abb. 3).
Tab. 2
Ausschlusskriterien und Kontraindikationen für eine IDx-DR-Analyse [9]
Medikamenteneinnahme, die zu Photosensitivität führt
Diskutiert wurde bereits häufiger der mögliche Einsatzort für automatisierte KI-unterstützte Screeninguntersuchungen ohne ärztliche Kontrolle. Dabei sollte sicherlich auch, aufbauend auf den hier gezeigten Ergebnissen, auf ein sinnvolles Anwenderspektrum geachtet werden, um Patienten mit „falsch positiven“ Befunden nicht zu verunsichern [10]. Ein unkontrollierter Einsatz in einem nicht medizinisch betreuten und kontrollierten Umfeld könnte zu falsch positiven Befunden oder einer falschen Interpretation des Untersuchungsergebnisses mit Verunsicherung oder auch einem falschen Sicherheitsgefühl der oder des Untersuchten führen. Ein solcher Einsatz von KI-unterstützten Screeninguntersuchungen ohne ärztliche Indikationsstellung und Begleitung könnte auch das Vertrauen in solche Systeme langfristig schädigen. Sinnvoller erscheint dagegen ein Einsatz in Bereichen, in denen Risikopopulationen in enger Kooperation mit Augenärzten auf diabetische Retinopathie gescreent werden sollen. Dann könnten auch Faktoren wie der Visus, wahrgenommene Metamorphopsie und subjektive Beschwerden im Gesamtbild mitbeurteilt und der Patient ggf. vollständig augenärztlich abgeklärt werden. Denkbar wäre auch eine Kombination der künstlichen Intelligenz mit einer telemedizinischen Beurteilung der hochauflösenden Fundusfotografien. Vor einem Screening-basierten Einsatz der Analysesoftware sollte geklärt sein, ob im Bedarfsfall die Ressourcen für eine zeitnahe augenärztliche Nachuntersuchung bestehen. Patienten mit auffälligen Befunden sollten im Rahmen der Terminvergabe priorisiert werden. Da auch Befunde ohne auswertbare Ergebnisse einer weiteren Abklärung bedürfen, muss eine suffiziente und ggf. interdisziplinäre Kooperation mit den mitbehandelnden Praxen/Kliniken erfolgen. Im konkreten Beispiel unserer Kooperation mit der diabetologischen Schwerpunktklinik Karlsburg war eine solche enge Zusammenarbeit sehr gut realisierbar.
In einem weiteren Schritt könnte bei Patienten, die nach dem Screening noch eine augenärztliche Untersuchung benötigen, der Anstieg der Zuweisungsrate untersucht werden. Neben falsch positiven Befunden zählen hier auch Patienten dazu, bei denen der Algorithmus, bedingt durch die Bildqualität, keine Diagnose stellen konnte. Andere Untersuchungen zeigten hier teilweise einen Anstieg der Zuweisungsrate durch KI von über 70 % [13].
Letztendlich muss die Frage gestellt werden, inwieweit der Deep-learning-Algorithmus dem Patienten und Untersucher weiterhilft. Hierzu sind insbesondere Studien nötig, die neben den ökonomischen Parametern valide Daten dazu liefern, ob auf längere Sicht bessere Visusverläufe in Patientengruppen erzielt werden können, die Zugang zu KI-gestützten Diagnosesystemen haben, im Vergleich zu Patientengruppen, die einen solchen Zugang nicht haben.
Fazit für die Praxis
Unsere Ergebnisse zeigen, dass eine Unterdiagnostizierung diabetischer Fundusveränderungen durch IDx-DR eher nicht zu befürchten ist. Wesentlich häufiger sind Fehleinschätzungen, bei denen die KI einen Befund schwerwiegender als der untersuchende Augenarzt einordnet, sowie Fälle, in denen in Miosis kein ausreichendes Bildmaterial für eine KI-gestützte Diagnose erhoben werden konnte.
Für die Einbindung in augenärztliche Screeningprozesse sowie zur Dringlichkeitseinstufung innerhalb einer Risikopopulation erscheint uns IDx-DR aufgrund der hier vorgestellten Daten geeignet. Es ist vorstellbar, dass die Motivation zum Screening bei denjenigen Risikopatienten erhöht wird, die ansonsten zu wenig oder gar nicht gescreent würden. Ein zu breit angelegtes KI-Screening von Patienten ohne relevantes Risiko für eine diabetische Retinopathie oder ein Screening ohne die Möglichkeit, fragliche Screeningbefunde zeitnah augenärztlich verifizieren oder falsifizieren zu können, ist dagegen nicht zu empfehlen.
Danksagung
Ein besonderer Dank gilt dem nichtärztlichen Funktionsteam der Klinik für Diabetes und Stoffwechselerkrankungen Karlsburg für die tatkräftige Unterstützung bei diesem Projekt.
Förderung
Dieses Projekt wurde zum Teil unterstützt durch Mittel aus dem EYEnovative Förderpreis von Novartis (an B.G.).
Einhaltung ethischer Richtlinien
Interessenkonflikt
B. Grundel weist auf folgende Beziehungen hin: Relationship: Novartis, Specifications: EYEnovative Förderpreis. S. Paul, A. Tayar, E. Morawiec-Kisiel, B. Bohl, R. Großjohann, E. Hunfeld, M. Busch, J.M. Pfeil, M. Dähmcke, T. Brauckmann, S. Eilts, M.‑C. Bründer, M. Grundel, F. Tost, J. Kuhn, J. Reindel, W. Kerner und A. Stahl geben an, dass kein Interessenkonflikt besteht.
Die Studie wurde in Übereinstimmung mit der Deklaration von Helsinki und nach positivem Votum der Ethikkommission Greifswald durchgeführt.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Einsatz von künstlicher Intelligenz im Screening auf diabetische Retinopathie an einer diabetologischen Schwerpunktklinik
verfasst von
Sebastian Paul Allam Tayar Ewa Morawiec-Kisiel Beathe Bohl Rico Großjohann Elisabeth Hunfeld Martin Busch Johanna M. Pfeil Merlin Dähmcke Tara Brauckmann Sonja Eilts Marie-Christine Bründer Milena Grundel Bastian Grundel Frank Tost Jana Kuhn Jörg Reindel Wolfgang Kerner Andreas Stahl
Es gibt viele Faktoren, die sich auf die postoperative Zufriedenheit nach Implantation von Intraokularlinsen mit Extended Depth-of-Focus (EDoF) und Multifokallinsen der Patienten auswirken können (z. B. photische Phänomene, postoperative …
IOL-Berechnung kann mittlerweile als gelöstes Problem angesehen werden. Noch nicht gelöst ist aber das Problem der allgemeinen Verbreitung des Verständnisses der physikalischen und mathematischen Grundlagen. Auch sind die benötigten Hard- und …