Skip to main content
Erschienen in: Die Unfallchirurgie 4/2018

20.02.2018 | Leitthema

Display-Technologien für Augmented Reality in der Medizin

verfasst von: Dr. Ulrich Eck, Alexander Winkler

Erschienen in: Die Unfallchirurgie | Ausgabe 4/2018

Einloggen, um Zugang zu erhalten

Zusammenfassung

Hintergrund

Eines der herausforderndsten Probleme für einen Chirurgen im OP ist das sinnvolle Nutzen der zahlreichen bildgebenden und Diagnoseverfahren. Augmented-Reality(AR)-Systeme können in Zukunft Bild- und Planungsdaten im Sichtfeld des Arztes einblenden und damit Eingriffe effizienter und sicherer machen.

Ziele der Arbeit (Fragestellung)

In diesem Beitrag werden verschiedene Ansätze zur Integration von AR-Displays in medizinischen Prozeduren vorgestellt sowie deren Vor- und Nachteile erläutert.

Material und Methoden

Basierend auf einer umfangreichen Literaturrecherche werden bestehende Ansätze zur Integration von AR in 5 Kategorien eingeteilt und die jeweils wichtigsten Forschungsergebnisse vorgestellt.

Ergebnisse

Eine Vielzahl von Lösungen wurde bereits als Prototypen in der Forschung entwickelt. Trotzdem ist der Einsatz derartiger System bisher nur in Ausnahmefällen am Patienten getestet worden.

Schlussfolgerung

Zum Einsatz von AR bei Operationen müssen spezialisierte Lösungen erarbeitet werden, die den Anforderungen im OP, bezogen auf Qualität, Genauigkeit, Ergonomie und Integration in die Arbeitsabläufe, gerecht werden.
Literatur
1.
Zurück zum Zitat Steinhaus H (1938) Sur la localisation au moyen des rayons x. C R Acad Sci Gen 206:1473–1475 Steinhaus H (1938) Sur la localisation au moyen des rayons x. C R Acad Sci Gen 206:1473–1475
2.
Zurück zum Zitat Kelly PJ, Alker GJ Jr, Goerss S (1982) Computer-assisted stereotactic laser microsurgery for the treatment of intracranial neoplasms. Neurosurgery 10(3):324–331CrossRefPubMed Kelly PJ, Alker GJ Jr, Goerss S (1982) Computer-assisted stereotactic laser microsurgery for the treatment of intracranial neoplasms. Neurosurgery 10(3):324–331CrossRefPubMed
3.
Zurück zum Zitat Roberts DW, Strohbehn JW, Hatch JF, Murray W, Kettenberger H (1986) A frameless stereotaxic integration of computerized tomographic imaging and the operating microscope. J Neurosurg 65(4):545–549CrossRefPubMed Roberts DW, Strohbehn JW, Hatch JF, Murray W, Kettenberger H (1986) A frameless stereotaxic integration of computerized tomographic imaging and the operating microscope. J Neurosurg 65(4):545–549CrossRefPubMed
4.
Zurück zum Zitat Edwards PJ, Hill DLG, Hawkes DJ, Spink R, Colchester ACF, Strong A, Gleeson M (1995) Neurosurgical guidance using the stereo microscope. In: Su C‑Y, Rakheja S, Liu H (Hrsg) Intelligent robotics and applications, Bd. 905. Springer, Berlin, Heidelberg, S 555–564 Edwards PJ, Hill DLG, Hawkes DJ, Spink R, Colchester ACF, Strong A, Gleeson M (1995) Neurosurgical guidance using the stereo microscope. In: Su C‑Y, Rakheja S, Liu H (Hrsg) Intelligent robotics and applications, Bd. 905. Springer, Berlin, Heidelberg, S 555–564
5.
Zurück zum Zitat King AP, Edwards PJ, Maurer, CR Jr, de Cunha DA, Hawkes DJ, Hill DLG., Gaston RP, Fenlon MR, Strong AJ, Chandler CL, Richards A, Gleeson MJ (2000) Design and evaluation of a system for microscope-assisted guided interventions. TMI 19(11):1082–1093 King AP, Edwards PJ, Maurer, CR Jr, de Cunha DA, Hawkes DJ, Hill DLG., Gaston RP, Fenlon MR, Strong AJ, Chandler CL, Richards A, Gleeson MJ (2000) Design and evaluation of a system for microscope-assisted guided interventions. TMI 19(11):1082–1093
6.
Zurück zum Zitat Birkfellner W, Figl M, Huber K, Watzinger F, Wanschitz F, Hummel J, Hanel R, Greimel W, Homolka P, Ewers R, Bergmann H (2002) A head-mounted operating binocular for augmented reality visualization in medicine – design and initial evaluation. IEEE Trans Med Imaging 21(8):991–997CrossRefPubMed Birkfellner W, Figl M, Huber K, Watzinger F, Wanschitz F, Hummel J, Hanel R, Greimel W, Homolka P, Ewers R, Bergmann H (2002) A head-mounted operating binocular for augmented reality visualization in medicine – design and initial evaluation. IEEE Trans Med Imaging 21(8):991–997CrossRefPubMed
7.
Zurück zum Zitat Roodaki H, Filippatos K, Eslami A, Navab N (2015) Introducing augmented reality to optical coherence tomography in ophthalmic microsurgery. IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2015, S 1–6 Roodaki H, Filippatos K, Eslami A, Navab N (2015) Introducing augmented reality to optical coherence tomography in ophthalmic microsurgery. IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2015, S 1–6
8.
Zurück zum Zitat Sutherland IE (1965) The ultimate display. Proceedings of the IFIP Congress, S 506–508 Sutherland IE (1965) The ultimate display. Proceedings of the IFIP Congress, S 506–508
9.
Zurück zum Zitat Bajura M, Fuchs H, Ohbuchi R (1992) Merging virtual objects with the real world – seeing ultrasound imagery within the patient. SIGGRAPH. Bd. 26, S 203–210 Bajura M, Fuchs H, Ohbuchi R (1992) Merging virtual objects with the real world – seeing ultrasound imagery within the patient. SIGGRAPH. Bd. 26, S 203–210
10.
Zurück zum Zitat Sauer F, Khamene A, Bascle B, Vogt S (2002) Augmented reality visualization in imri operating room: system description and pre-clinical testing. Medical Imaging 2002: Visualization, Image-Guided Procedures, and Display, San Diego. https://doi.org/10.1117/12.466949 Sauer F, Khamene A, Bascle B, Vogt S (2002) Augmented reality visualization in imri operating room: system description and pre-clinical testing. Medical Imaging 2002: Visualization, Image-Guided Procedures, and Display, San Diego. https://​doi.​org/​10.​1117/​12.​466949
11.
Zurück zum Zitat Bichlmeier C, Wimmer F, Heining SM, Navab N (2007) Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality. 3rd IEEE and ACM International Symposium on Mixed and Augmented Reality.CrossRef Bichlmeier C, Wimmer F, Heining SM, Navab N (2007) Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality. 3rd IEEE and ACM International Symposium on Mixed and Augmented Reality.CrossRef
12.
Zurück zum Zitat Tobiass B, Heining SM, Navab N (2009) Advanced training methods using an augmented reality ultrasound simulator. 8th IEEE International Symposium on Mixed and Augmented Reality, Orlando, S 177–178 Tobiass B, Heining SM, Navab N (2009) Advanced training methods using an augmented reality ultrasound simulator. 8th IEEE International Symposium on Mixed and Augmented Reality, Orlando, S 177–178
13.
Zurück zum Zitat Bichlmeier C, Euler E, Blum T (2010) Evaluation of the virtual mirror as a navigational aid for augmented reality driven minimally invasive procedures. 2010 IEEE International Symposium on Mixed and Augmented Reality, Seoul, 13.-16.10. 2010, S 91–97 https://doi.org/10.1109/ISMAR.2010.5643555 Bichlmeier C, Euler E, Blum T (2010) Evaluation of the virtual mirror as a navigational aid for augmented reality driven minimally invasive procedures. 2010 IEEE International Symposium on Mixed and Augmented Reality, Seoul, 13.-16.10. 2010, S 91–97 https://​doi.​org/​10.​1109/​ISMAR.​2010.​5643555
14.
Zurück zum Zitat Qian L, Barthel A, Johnson A, Osgood G, Kazanzides P, Navab N, Fuerst B (2017) Comparison of optical see-through head-mounted displays for surgical interventions with object-anchored 2D-display. Int J Comput Assist Radiol Surg 12(6):901–910CrossRefPubMed Qian L, Barthel A, Johnson A, Osgood G, Kazanzides P, Navab N, Fuerst B (2017) Comparison of optical see-through head-mounted displays for surgical interventions with object-anchored 2D-display. Int J Comput Assist Radiol Surg 12(6):901–910CrossRefPubMed
15.
Zurück zum Zitat Qian L, Unberath M, Yu K, Fuerst B, Johnson A, Navab N, Osgood G (2017) Towards virtual monitors for image guided interventions-real-time streaming to optical see-through head-mounted displays (arXiv preprint arXiv:1710.00808) Qian L, Unberath M, Yu K, Fuerst B, Johnson A, Navab N, Osgood G (2017) Towards virtual monitors for image guided interventions-real-time streaming to optical see-through head-mounted displays (arXiv preprint arXiv:1710.00808)
16.
Zurück zum Zitat Masutani Y, Iwahara M, Samuta O, Nishi Y, Suzuki N, Suzuki M, Dohi T, Iseki H, Takakura K (1995) Development of integral photography-based enhanced reality visualization system for surgical support. Proceedings of ISCAS. Bd. 95, S 16–17 Masutani Y, Iwahara M, Samuta O, Nishi Y, Suzuki N, Suzuki M, Dohi T, Iseki H, Takakura K (1995) Development of integral photography-based enhanced reality visualization system for surgical support. Proceedings of ISCAS. Bd. 95, S 16–17
17.
Zurück zum Zitat Fichtinger G, Deguet A, Masamune K, Balogh E, Fischer GS, Mathieu H, Taylor RH, Zinreich SJ, Fayad LM (2011) Image overlay guidance for needle insertion in CT scanner, S 1–11 Fichtinger G, Deguet A, Masamune K, Balogh E, Fischer GS, Mathieu H, Taylor RH, Zinreich SJ, Fayad LM (2011) Image overlay guidance for needle insertion in CT scanner, S 1–11
18.
Zurück zum Zitat Liao H, Hata N, Nakajima S, Iwahara M, Sakuma I, Dohi T (2004) Surgical navigation by autostereoscopic image overlay of integral videography. IEEE Trans Inf Technol Biomed 8(2):114–121CrossRefPubMed Liao H, Hata N, Nakajima S, Iwahara M, Sakuma I, Dohi T (2004) Surgical navigation by autostereoscopic image overlay of integral videography. IEEE Trans Inf Technol Biomed 8(2):114–121CrossRefPubMed
19.
Zurück zum Zitat Mahmoud N, Grasa ÓG, Nicolau SA, Doignon C, Soler L, Marescaux J, Montiel JMM (2016) On-patient see-through augmented reality based on visual SLAM. Int J Comput Assist Radiol Surg 12(1):1–11CrossRefPubMed Mahmoud N, Grasa ÓG, Nicolau SA, Doignon C, Soler L, Marescaux J, Montiel JMM (2016) On-patient see-through augmented reality based on visual SLAM. Int J Comput Assist Radiol Surg 12(1):1–11CrossRefPubMed
20.
Zurück zum Zitat Freysinger W, Gunkel AR, Thumfart WF (1997) Image-guided endoscopic ENT surgery. Eur Arch Otorhinolaryngol 254(7):343–346CrossRefPubMed Freysinger W, Gunkel AR, Thumfart WF (1997) Image-guided endoscopic ENT surgery. Eur Arch Otorhinolaryngol 254(7):343–346CrossRefPubMed
21.
Zurück zum Zitat Scholz M, Konen W, Tombrock S, Fricke B, Adams L (1998) Development of an endoscopic navigation system based on digital image processing. Comput Aided Surg 3:134–143CrossRefPubMed Scholz M, Konen W, Tombrock S, Fricke B, Adams L (1998) Development of an endoscopic navigation system based on digital image processing. Comput Aided Surg 3:134–143CrossRefPubMed
22.
Zurück zum Zitat Bernhardt S, Nicolau SA, Soler L, Doignon C (2017) The status of augmented reality in laparoscopic surgery as of 2016. Med Image Anal 37:66–90CrossRefPubMed Bernhardt S, Nicolau SA, Soler L, Doignon C (2017) The status of augmented reality in laparoscopic surgery as of 2016. Med Image Anal 37:66–90CrossRefPubMed
23.
Zurück zum Zitat Feuerstein M, Reichl T, Vogel J, Traub J, Navab N (2009) Magneto-optical tracking of flexible laparoscopic ultrasound: model-based online detection and correction of magnetic tracking errors. IEEE Trans Med Imaging 28(6):951–967CrossRefPubMed Feuerstein M, Reichl T, Vogel J, Traub J, Navab N (2009) Magneto-optical tracking of flexible laparoscopic ultrasound: model-based online detection and correction of magnetic tracking errors. IEEE Trans Med Imaging 28(6):951–967CrossRefPubMed
24.
Zurück zum Zitat Navab N, Heining SM, Traub J (2010) Camera augmented mobile C‑arm (CAMC): calibration, accuracy study, and clinical applications. IEEE Trans Med Imaging 29(7):1412–1423CrossRefPubMed Navab N, Heining SM, Traub J (2010) Camera augmented mobile C‑arm (CAMC): calibration, accuracy study, and clinical applications. IEEE Trans Med Imaging 29(7):1412–1423CrossRefPubMed
25.
Zurück zum Zitat Sugimoto M, Yasuda H, Koda K, Suzuki M, Yamazaki M, Tezuka T, Kosugi C, Higuchi R, Watayo Y, Yagawa Y, Uemura S, Tsuchiya H, Azuma T (2010) Image overlay navigation by markerless surface registration in gastrointestinal, hepatobiliary and pancreatic surgery. J Hepatobiliary Pancreat Sci 17(5):629–636CrossRefPubMed Sugimoto M, Yasuda H, Koda K, Suzuki M, Yamazaki M, Tezuka T, Kosugi C, Higuchi R, Watayo Y, Yagawa Y, Uemura S, Tsuchiya H, Azuma T (2010) Image overlay navigation by markerless surface registration in gastrointestinal, hepatobiliary and pancreatic surgery. J Hepatobiliary Pancreat Sci 17(5):629–636CrossRefPubMed
26.
Zurück zum Zitat Volonté F, Pugin F, Bucher P, Sugimoto M, Ratib O, Morel P (2011) Augmented reality and image overlay navigation with OsiriX in laparoscopic and robotic surgery: not only a matter of fashion. J Hepatobiliary Pancreat Sci 18(4):506–509CrossRefPubMed Volonté F, Pugin F, Bucher P, Sugimoto M, Ratib O, Morel P (2011) Augmented reality and image overlay navigation with OsiriX in laparoscopic and robotic surgery: not only a matter of fashion. J Hepatobiliary Pancreat Sci 18(4):506–509CrossRefPubMed
27.
Zurück zum Zitat Wu J‑R, Wang M‑L, Liu K‑C, Hu M‑H, Lee P‑Y (2014) Real-time advanced spinal surgery via visible patient model and augmented reality system. Comput Methods Programs Biomed 113(3):1–14CrossRef Wu J‑R, Wang M‑L, Liu K‑C, Hu M‑H, Lee P‑Y (2014) Real-time advanced spinal surgery via visible patient model and augmented reality system. Comput Methods Programs Biomed 113(3):1–14CrossRef
28.
Zurück zum Zitat Stauder R, Okur A, Peter L, Schneider A, Kranzfelder M, Feußner H, Navab N (2014) Random forests for phase detection in surgical workflow analysis. Information Processing in Computer-Assisted Interventions IPCAI 2014 vol. 8498, no. 16. Springer, Cham, S 148–157 Stauder R, Okur A, Peter L, Schneider A, Kranzfelder M, Feußner H, Navab N (2014) Random forests for phase detection in surgical workflow analysis. Information Processing in Computer-Assisted Interventions IPCAI 2014 vol. 8498, no. 16. Springer, Cham, S 148–157
29.
Zurück zum Zitat Navab N, Blum T, Wang L, Okur A, Wendler T (2012) First deployments of augmented reality in operating rooms. Computer 45(7):48–55CrossRef Navab N, Blum T, Wang L, Okur A, Wendler T (2012) First deployments of augmented reality in operating rooms. Computer 45(7):48–55CrossRef
Metadaten
Titel
Display-Technologien für Augmented Reality in der Medizin
verfasst von
Dr. Ulrich Eck
Alexander Winkler
Publikationsdatum
20.02.2018
Verlag
Springer Medizin
Erschienen in
Die Unfallchirurgie / Ausgabe 4/2018
Print ISSN: 2731-7021
Elektronische ISSN: 2731-703X
DOI
https://doi.org/10.1007/s00113-018-0463-1

Weitere Artikel der Ausgabe 4/2018

Die Unfallchirurgie 4/2018 Zur Ausgabe

Arthropedia

Grundlagenwissen der Arthroskopie und Gelenkchirurgie. Erweitert durch Fallbeispiele, Videos und Abbildungen. 
» Jetzt entdecken

Notfall-TEP der Hüfte ist auch bei 90-Jährigen machbar

26.04.2024 Hüft-TEP Nachrichten

Ob bei einer Notfalloperation nach Schenkelhalsfraktur eine Hemiarthroplastik oder eine totale Endoprothese (TEP) eingebaut wird, sollte nicht allein vom Alter der Patientinnen und Patienten abhängen. Auch über 90-Jährige können von der TEP profitieren.

Arthroskopie kann Knieprothese nicht hinauszögern

25.04.2024 Gonarthrose Nachrichten

Ein arthroskopischer Eingriff bei Kniearthrose macht im Hinblick darauf, ob und wann ein Gelenkersatz fällig wird, offenbar keinen Unterschied.

Therapiestart mit Blutdrucksenkern erhöht Frakturrisiko

25.04.2024 Hypertonie Nachrichten

Beginnen ältere Männer im Pflegeheim eine Antihypertensiva-Therapie, dann ist die Frakturrate in den folgenden 30 Tagen mehr als verdoppelt. Besonders häufig stürzen Demenzkranke und Männer, die erstmals Blutdrucksenker nehmen. Dafür spricht eine Analyse unter US-Veteranen.

Ärztliche Empathie hilft gegen Rückenschmerzen

23.04.2024 Leitsymptom Rückenschmerzen Nachrichten

Personen mit chronischen Rückenschmerzen, die von einfühlsamen Ärzten und Ärztinnen betreut werden, berichten über weniger Beschwerden und eine bessere Lebensqualität.

Update Orthopädie und Unfallchirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.