Skip to main content
Erschienen in:

27.05.2024 | Künstliche Intelligenz | Originalien

ChatGPT und die deutsche Facharztprüfung für Augenheilkunde: eine Evaluierung

verfasst von: Dr. med. Rémi Yaïci, FEBO, M. Cieplucha, R. Bock, F. Moayed, N. E. Bechrakis, P. Berens, N. Feltgen, D. Friedburg, M. Gräf, R. Guthoff, E. M. Hoffmann, H. Hoerauf, C. Hintschich, T. Kohnen, E. M. Messmer, M. M. Nentwich, U. Pleyer, U. Schaudig, B. Seitz, G. Geerling, M. Roth

Erschienen in: Die Ophthalmologie | Ausgabe 7/2024

Einloggen, um Zugang zu erhalten

Zusammenfassung

Fragestellung

In den letzten Jahren nimmt die künstliche Intelligenz (KI) als neues Segment der Informatik auch in der Medizin eine immer größere Bedeutung ein. Ziel dieses Projekts war es zu untersuchen, ob die aktuelle Version von ChatGPT (ChatGPT 4.0) in der Lage ist, offene Fragen zu beantworten, die im Rahmen einer deutschen Facharztprüfung in der Augenheilkunde gestellt werden könnten.

Methoden

Aus dem Lehrbuch „1000 Fragen Augenheilkunde“ (2. Auflage, 2014) wurden nach Ausschluss bildbasierter Fragen jeweils 10 Fragen aus 15 verschiedenen Kapiteln/Themenschwerpunkten ausgewählt. ChatGPT wurde mittels eines sog. Prompt instruiert, die Rolle eines Facharztes für Augenheilkunde einzunehmen und sich im Umfang der Antworten auf das Wesentliche zu konzentrieren. Die Bewertung eines Themengebietes erfolgte durch einen in der Subspezialität langjährig erfahrenen Ophthalmologen, welcher die Antworten hinsichtlich Richtigkeit, Themenrelevanz und innerer Kohärenz beurteilte und die Gesamtleistung mit einer Schulnote bewertete.

Ergebnisse

ChatGPT hätte die Facharztprüfung in 12 von 15 Themengebieten bestanden. Allerdings war die Gesamtleistung auf nur 53,3 % vollständig korrekte Antworten beschränkt. Während die Korrektheit der Ergebnisse in den unterschiedlichen Themengebieten sehr variabel war („Uveitis“ und „Linse/Katarakt“ 100 %; „Optik und Refraktion“ 20 %), hatten die Antworten stets eine hohe thematische Passgenauigkeit (70 %) und innere Kohärenz (71 %).

Schlussfolgerung

Die Tatsache, dass ChatGPT 4.0 in 12 von 15 Themengebieten die Facharztprüfung bestanden hätte, ist vor dem Hintergrund bemerkenswert, dass diese KI nicht spezifisch für medizinische Fragestellungen trainiert wurde. Allerdings offenbart sich eine erhebliche Leistungsvarianz zwischen den Themengebieten mit zum Teil gravierenden Mängeln, die einen sicheren Einsatz in der klinischen Praxis derzeit ausschließt.
Literatur
1.
Zurück zum Zitat Briganti G, Le Moine O (2020) Artificial intelligence in medicine: today and tomorrow. Front Med 7:27CrossRef Briganti G, Le Moine O (2020) Artificial intelligence in medicine: today and tomorrow. Front Med 7:27CrossRef
2.
Zurück zum Zitat Bini SA (2018) Artificial intelligence, machine learning, deep learning, and cognitive computing: what do these terms mean and how will they impact health care? J Arthroplasty 33(8):2358–2361CrossRefPubMed Bini SA (2018) Artificial intelligence, machine learning, deep learning, and cognitive computing: what do these terms mean and how will they impact health care? J Arthroplasty 33(8):2358–2361CrossRefPubMed
3.
Zurück zum Zitat Van Dis EA, Bollen J, Zuidema W, van Rooij R, Bockting CL (2023) ChatGPT: five priorities for research. Nature 614(7947):224–226CrossRefPubMed Van Dis EA, Bollen J, Zuidema W, van Rooij R, Bockting CL (2023) ChatGPT: five priorities for research. Nature 614(7947):224–226CrossRefPubMed
4.
Zurück zum Zitat Tan TF, Thirunavukarasu AJ, Campbell JP, Keane PA, Pasquale LR, Abramoff MD, u. a. Generative Artificial Intelligence through ChatGPT and Other Large Language Models in Ophthalmology: Clinical Applications and Challenges. Ophthalmol Sci. 2023;3(4):100394. Tan TF, Thirunavukarasu AJ, Campbell JP, Keane PA, Pasquale LR, Abramoff MD, u. a. Generative Artificial Intelligence through ChatGPT and Other Large Language Models in Ophthalmology: Clinical Applications and Challenges. Ophthalmol Sci. 2023;3(4):100394.
5.
Zurück zum Zitat Patel SB, Lam K. ChatGPT: the future of discharge summaries? Lancet Digit Health. 2023;5(3):e107–8. Patel SB, Lam K. ChatGPT: the future of discharge summaries? Lancet Digit Health. 2023;5(3):e107–8.
6.
Zurück zum Zitat Ali MJ, Singh S (2023) ChatGPT and scientific abstract writing: pitfalls and caution. Graefes Arch Clin Exp Ophthalmol: 1–2 Ali MJ, Singh S (2023) ChatGPT and scientific abstract writing: pitfalls and caution. Graefes Arch Clin Exp Ophthalmol: 1–2
7.
Zurück zum Zitat Singh S, Djalilian A, Ali MJ. ChatGPT and Ophthalmology: Exploring Its Potential with Discharge Summaries and Operative Notes. Semin Ophthalmol. 4. Juli 2023;38(5):503–7. Singh S, Djalilian A, Ali MJ. ChatGPT and Ophthalmology: Exploring Its Potential with Discharge Summaries and Operative Notes. Semin Ophthalmol. 4. Juli 2023;38(5):503–7.
8.
Zurück zum Zitat Potapenko I, Boberg-Ans LC, Stormly Hansen M, Klefter ON, van Dijk EHC, Subhi Y (2023) Artificial intelligence-based chatbot patient information on common retinal diseases using ChatGPT. Acta Ophthalmol (Copenh). 1. November 101(7):829–831 Potapenko I, Boberg-Ans LC, Stormly Hansen M, Klefter ON, van Dijk EHC, Subhi Y (2023) Artificial intelligence-based chatbot patient information on common retinal diseases using ChatGPT. Acta Ophthalmol (Copenh). 1. November 101(7):829–831
9.
Zurück zum Zitat Kung TH, Cheatham M, Medenilla A, Sillos C, De Leon L, Elepaño C et al (2023) Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. Plos Digit Heal 2(2):e198CrossRef Kung TH, Cheatham M, Medenilla A, Sillos C, De Leon L, Elepaño C et al (2023) Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. Plos Digit Heal 2(2):e198CrossRef
10.
Zurück zum Zitat Antaki F, Touma S, Milad D, El-Khoury J, Duval R (2023) Evaluating the performance of chatgpt in ophthalmology: An analysis of its successes and shortcomings. Ophthalmol. Sci 100324: Antaki F, Touma S, Milad D, El-Khoury J, Duval R (2023) Evaluating the performance of chatgpt in ophthalmology: An analysis of its successes and shortcomings. Ophthalmol. Sci 100324:
11.
Zurück zum Zitat Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA et al (2023) How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment. Jmir Med Educ 9(1):e45312CrossRefPubMedPubMedCentral Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA et al (2023) How does ChatGPT perform on the United States medical licensing examination? The implications of large language models for medical education and knowledge assessment. Jmir Med Educ 9(1):e45312CrossRefPubMedPubMedCentral
12.
Zurück zum Zitat Jung LB, Gudera JA, Wiegand TL, Allmendinger S, Dimitriadis K, Koerte IK (2023) ChatGPT passes German state examination in medicine with picture questions omitted. Dtsch Ärztebl Int 120(373):21–22 Jung LB, Gudera JA, Wiegand TL, Allmendinger S, Dimitriadis K, Koerte IK (2023) ChatGPT passes German state examination in medicine with picture questions omitted. Dtsch Ärztebl Int 120(373):21–22
13.
Zurück zum Zitat Takagi S, Watari T, Erabi A, Sakaguchi K. Performance of GPT‑3.5 and GPT‑4 on the Japanese Medical Licensing Examination: comparison study. JMIR Med Educ. 2023;9(1):e48002. Takagi S, Watari T, Erabi A, Sakaguchi K. Performance of GPT‑3.5 and GPT‑4 on the Japanese Medical Licensing Examination: comparison study. JMIR Med Educ. 2023;9(1):e48002.
14.
Zurück zum Zitat Mihalache A, Popovic MM, Muni RH (2023) Performance of an artificial intelligence chatbot in ophthalmic knowledge assessment. JAMA Ophthalmol Mihalache A, Popovic MM, Muni RH (2023) Performance of an artificial intelligence chatbot in ophthalmic knowledge assessment. JAMA Ophthalmol
15.
Zurück zum Zitat Mihalache A, Huang RS, Popovic MM, Muni RH (2023) Performance of an upgraded artificial intelligence chatbot for ophthalmic knowledge assessment. JAMA Ophthalmol Mihalache A, Huang RS, Popovic MM, Muni RH (2023) Performance of an upgraded artificial intelligence chatbot for ophthalmic knowledge assessment. JAMA Ophthalmol
16.
Zurück zum Zitat Panthier C, Gatinel D (2023) Success of ChatGPT, an AI language model, in taking the French language version of the European Board of Ophthalmology examination: A novel approach to medical knowledge assessment. J Fr Ophtalmol 46(7):706–711CrossRefPubMed Panthier C, Gatinel D (2023) Success of ChatGPT, an AI language model, in taking the French language version of the European Board of Ophthalmology examination: A novel approach to medical knowledge assessment. J Fr Ophtalmol 46(7):706–711CrossRefPubMed
18.
Zurück zum Zitat Raimondi R, Tzoumas N, Salisbury T, Di Simplicio S, Romano MR (2023) Comparative analysis of large language models in the Royal College of Ophthalmologists fellowship exams. Eye: 1–4 Raimondi R, Tzoumas N, Salisbury T, Di Simplicio S, Romano MR (2023) Comparative analysis of large language models in the Royal College of Ophthalmologists fellowship exams. Eye: 1–4
19.
Zurück zum Zitat Kampik A, Grehn F, Facharztprüfung Augenheilkunde ME (2014) 1000 kommentierte Prüfungsfragen. Thieme Kampik A, Grehn F, Facharztprüfung Augenheilkunde ME (2014) 1000 kommentierte Prüfungsfragen. Thieme
21.
Zurück zum Zitat Harris PA, Taylor R, Minor BL, Elliott V, Fernandez M, O’Neal L et al (2019) The REDCap consortium: building an international community of software platform partners. J Biomed Inform 95:103208CrossRefPubMedPubMedCentral Harris PA, Taylor R, Minor BL, Elliott V, Fernandez M, O’Neal L et al (2019) The REDCap consortium: building an international community of software platform partners. J Biomed Inform 95:103208CrossRefPubMedPubMedCentral
22.
Zurück zum Zitat Harris PA, Taylor R, Thielke R, Payne J, Gonzalez N, Conde JG (2009) Research electronic data capture (REDCap)—a metadata-driven methodology and workflow process for providing translational research informatics support. J Biomed Inform 42(2):377–381CrossRefPubMed Harris PA, Taylor R, Thielke R, Payne J, Gonzalez N, Conde JG (2009) Research electronic data capture (REDCap)—a metadata-driven methodology and workflow process for providing translational research informatics support. J Biomed Inform 42(2):377–381CrossRefPubMed
23.
Zurück zum Zitat Dossantos J, An J, Javan R (2023) Eyes on AI: ChatGPT’s Transformative Potential Impact on Ophthalmology. Cureus 15(6) Dossantos J, An J, Javan R (2023) Eyes on AI: ChatGPT’s Transformative Potential Impact on Ophthalmology. Cureus 15(6)
24.
Zurück zum Zitat Lai VD, Ngo NT, Veyseh APB, Man H, Dernoncourt F, Bui T et al (2023) Chatgpt beyond english: Towards a comprehensive evaluation of large language models in multilingual learning. ArXiv Prepr. ArXiv, Bd. 230405613 Lai VD, Ngo NT, Veyseh APB, Man H, Dernoncourt F, Bui T et al (2023) Chatgpt beyond english: Towards a comprehensive evaluation of large language models in multilingual learning. ArXiv Prepr. ArXiv, Bd. 230405613
26.
Zurück zum Zitat Bang Y, Cahyawijaya S, Lee N, Dai W, Su D, Wilie B et al (2023) A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. ArXiv Prepr. ArXiv, Bd. 230204023 Bang Y, Cahyawijaya S, Lee N, Dai W, Su D, Wilie B et al (2023) A multitask, multilingual, multimodal evaluation of chatgpt on reasoning, hallucination, and interactivity. ArXiv Prepr. ArXiv, Bd. 230204023
27.
Zurück zum Zitat Martinho A, Kroesen M, Chorus C (2021) A healthy debate: Exploring the views of medical doctors on the ethics of artificial intelligence. Artif Intell Med 121:102190CrossRefPubMed Martinho A, Kroesen M, Chorus C (2021) A healthy debate: Exploring the views of medical doctors on the ethics of artificial intelligence. Artif Intell Med 121:102190CrossRefPubMed
30.
Zurück zum Zitat Schmidt-Rimpler H Augenheilkunde und. Opthalmoskopie (In: Werdens Sammlung kurzer medizinischer Lehrbücher. 2. Braunschweig: von Friedrich Werden) Schmidt-Rimpler H Augenheilkunde und. Opthalmoskopie (In: Werdens Sammlung kurzer medizinischer Lehrbücher. 2. Braunschweig: von Friedrich Werden)
31.
Zurück zum Zitat Hirschberg J (1871) Professor A. von Graefe’s klinische Vorträge über Augenheilkunde. In, 1. Aufl. August Hirschwald, Berlin: Hirschberg J (1871) Professor A. von Graefe’s klinische Vorträge über Augenheilkunde. In, 1. Aufl. August Hirschwald, Berlin:
33.
Zurück zum Zitat C. Stades, Milton Wyman, Michael H. Boeve, Willy Neumann, Bernhard Spiess. 10 Cornea and Sclera. In: Ophthalmology for the Veterinary Practitioner. 2. Schlütersche; 2007. S. 272. C. Stades, Milton Wyman, Michael H. Boeve, Willy Neumann, Bernhard Spiess. 10 Cornea and Sclera. In: Ophthalmology for the Veterinary Practitioner. 2. Schlütersche; 2007. S. 272.
35.
Zurück zum Zitat Srivastava R (2023) Applications of Artificial Intelligence in Medicine. Explor Res Hypothesis Med 000:0–0 Srivastava R (2023) Applications of Artificial Intelligence in Medicine. Explor Res Hypothesis Med 000:0–0
36.
Zurück zum Zitat Li J, Dada A, Puladi B, Kleesiek J, Egger J (2024) ChatGPT in healthcare: a taxonomy and systematic review. Comput Methods Programs Biomed 108013: Li J, Dada A, Puladi B, Kleesiek J, Egger J (2024) ChatGPT in healthcare: a taxonomy and systematic review. Comput Methods Programs Biomed 108013:
37.
Zurück zum Zitat Finger RP (2020) Künstliche Intelligenz in der Augenheilkunde. Ophthalmol 117(10):963–964 Finger RP (2020) Künstliche Intelligenz in der Augenheilkunde. Ophthalmol 117(10):963–964
38.
Zurück zum Zitat Hswen Y, Voelker R (2023) New AI Tools Must Have Health Equity in Their DNA. JAMA Hswen Y, Voelker R (2023) New AI Tools Must Have Health Equity in Their DNA. JAMA
39.
Zurück zum Zitat Voelker R (2023) The Promise and Pitfalls of AI in the Complex World of Diagnosis, Treatment, and Disease Management. JAMA Voelker R (2023) The Promise and Pitfalls of AI in the Complex World of Diagnosis, Treatment, and Disease Management. JAMA
40.
Zurück zum Zitat Tan TF, Thirunavukarasu AJ, Jin L, Lim J, Poh S, Teo ZL et al (2023) Artificial intelligence and digital health in global eye health: opportunities and challenges. Lancet Glob Health 11(9):e1432–43CrossRefPubMed Tan TF, Thirunavukarasu AJ, Jin L, Lim J, Poh S, Teo ZL et al (2023) Artificial intelligence and digital health in global eye health: opportunities and challenges. Lancet Glob Health 11(9):e1432–43CrossRefPubMed
41.
Zurück zum Zitat Alexandrou M (2024) Interventional Cardiologists’ Perspectives and Knowledge Towards Artificial Intelligence. In SCAI Alexandrou M (2024) Interventional Cardiologists’ Perspectives and Knowledge Towards Artificial Intelligence. In SCAI
42.
Zurück zum Zitat van der Zander QE, van der Ende-van Loon MC, Janssen JM, Winkens B, van der Sommen F, Masclee AA et al (2022) Artificial intelligence in (gastrointestinal) healthcare: patients’ and physicians’ perspectives. Sci Rep 12(1):16779CrossRefPubMedPubMedCentral van der Zander QE, van der Ende-van Loon MC, Janssen JM, Winkens B, van der Sommen F, Masclee AA et al (2022) Artificial intelligence in (gastrointestinal) healthcare: patients’ and physicians’ perspectives. Sci Rep 12(1):16779CrossRefPubMedPubMedCentral
43.
Zurück zum Zitat Holzner D, Apfelbacher T, Rödle W, Schüttler C, Prokosch HU, Mikolajczyk RT et al (2022) Attitudes and Acceptance Towards Artificial Intelligence in. Medical, Care. In, S 68–72 Holzner D, Apfelbacher T, Rödle W, Schüttler C, Prokosch HU, Mikolajczyk RT et al (2022) Attitudes and Acceptance Towards Artificial Intelligence in. Medical, Care. In, S 68–72
44.
Zurück zum Zitat Pedro AR, Dias MB, Laranjo L, Cunha AS, Cordeiro JV (2023) Artificial intelligence in medicine: A comprehensive survey of medical doctor’s perspectives in Portugal. PLoS ONE 18(9):e290613CrossRefPubMedPubMedCentral Pedro AR, Dias MB, Laranjo L, Cunha AS, Cordeiro JV (2023) Artificial intelligence in medicine: A comprehensive survey of medical doctor’s perspectives in Portugal. PLoS ONE 18(9):e290613CrossRefPubMedPubMedCentral
45.
Zurück zum Zitat Chen M, Zhang B, Cai Z, Seery S, Gonzalez MJ, Ali NM et al (2022) Acceptance of clinical artificial intelligence among physicians and medical students: a systematic review with cross-sectional survey. Front Med 9:990604CrossRef Chen M, Zhang B, Cai Z, Seery S, Gonzalez MJ, Ali NM et al (2022) Acceptance of clinical artificial intelligence among physicians and medical students: a systematic review with cross-sectional survey. Front Med 9:990604CrossRef
Metadaten
Titel
ChatGPT und die deutsche Facharztprüfung für Augenheilkunde: eine Evaluierung
verfasst von
Dr. med. Rémi Yaïci, FEBO
M. Cieplucha
R. Bock
F. Moayed
N. E. Bechrakis
P. Berens
N. Feltgen
D. Friedburg
M. Gräf
R. Guthoff
E. M. Hoffmann
H. Hoerauf
C. Hintschich
T. Kohnen
E. M. Messmer
M. M. Nentwich
U. Pleyer
U. Schaudig
B. Seitz
G. Geerling
M. Roth
Publikationsdatum
27.05.2024
Verlag
Springer Medizin
Erschienen in
Die Ophthalmologie / Ausgabe 7/2024
Print ISSN: 2731-720X
Elektronische ISSN: 2731-7218
DOI
https://doi.org/10.1007/s00347-024-02046-0

Neu im Fachgebiet Augenheilkunde

Operieren in der Augenheilkunde während der Schwangerschaft

  • HIV
  • Leitthema

Das neue 2018 erlassene Mutterschutzgesetz (MuSchG) soll schwangeren Mitarbeiterinnen ermöglichen, ihre Arbeit auszuführen, die schwangere Mitarbeiterin und das Kind schützen sowie Benachteiligungen entgegenwirken. Immer wieder wird ein Verbot …

Optische Kohärenztomographie-Biomarker bei neovaskulärer altersabhängiger Makuladegeneration

Eine umfassende multimodale Bildgebung ist bei der präzisen Diagnostik der neovaskulären altersabhängigen Makuladegeneration (nAMD) essenziell. Die nichtinvasive optische Kohärenztomographie (OCT) ist sowohl für die Erstuntersuchung als auch für …

Ophthalmoonkologie in einer wärmeren Welt: klimabedingter Anstieg der Prävalenz von Lidtumoren

Der nichtmelanozytäre Hautkrebs ist mit einem Anteil von ca. 31 % aller erfassten bösartigen Tumoren die häufigste Krebserkrankung in Deutschland [ 3 ]. Die Gruppe des nichtmelanozytären Hautkrebses fasst mehrere Formen zusammen, knapp drei Viertel …

„Neue“ Erreger okulärer Infektionen durch Umweltveränderungen – Was kommt auf uns zu?

  • Leitthema

Durch die globalen Auswirkungen des Klimawandels verbreiten sich zahlreiche Infektionserkrankungen zunehmend auch in Regionen, die bisher davon kaum oder wenig betroffen waren. Da bei vielen dieser Infektionserkrankungen eine okuläre Beteiligung …

Update Augenheilkunde

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.