Skip to main content
Erschienen in: Surgical Endoscopy 9/2016

10.12.2015 | Dynamic Manuscript

Self-contained image mapping of placental vasculature in 3D ultrasound-guided fetoscopy

verfasst von: Liangjing Yang, Junchen Wang, Takehiro Ando, Akihiro Kubota, Hiromasa Yamashita, Ichiro Sakuma, Toshio Chiba, Etsuko Kobayashi

Erschienen in: Surgical Endoscopy | Ausgabe 9/2016

Einloggen, um Zugang zu erhalten

Abstract

Background

Surgical navigation technology directed at fetoscopic procedures is relatively underdeveloped compared with other forms of endoscopy. The narrow fetoscopic field of views and the vast vascular network on the placenta make examination and photocoagulation treatment of twin-to-twin transfusion syndrome challenging. Though ultrasonography is used for intraoperative guidance, its navigational ability is not fully exploited. This work aims to integrate 3D ultrasound imaging and endoscopic vision seamlessly for placental vasculature mapping through a self-contained framework without external navigational devices.

Methods

This is achieved through development, integration, and experimentation of novel navigational modules. Firstly, a framework design that addresses the current limitations based on identified gaps is conceptualized. Secondly, integration of navigational modules including (1) ultrasound-based localization, (2) image alignment, and (3) vision-based tracking to update the scene texture map is implemented. This updated texture map is projected to an ultrasound-constructed 3D model for photorealistic texturing of the 3D scene creating a panoramic view of the moving fetoscope. In addition, a collaborative scheme for the integration of the modular workflow system is proposed to schedule updates in a systematic fashion. Finally, experiments are carried out to evaluate each modular variation and an integrated collaborative scheme of the framework.

Results

The modules and the collaborative scheme are evaluated through a series of phantom experiments with controlled trajectories for repeatability. The collaborative framework demonstrated the best accuracy (5.2 % RMS error) compared with all the three single-module variations during the experiment. Validation on an ex vivo monkey placenta shows visual continuity of the freehand fetoscopic panorama.

Conclusions

The proposed developed collaborative framework and the evaluation study of the framework variations provide analytical insights for effective integration of ultrasonography and endoscopy. This contributes to the development of navigation techniques in fetoscopic procedures and can potentially be extended to other applications in intraoperative imaging.
Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat Fisk NM, Duncombe GJ, Sullivan MHF (2009) The basic and clinical science of twin–twin transfusion syndrome. Placenta 30(5):379–390CrossRefPubMed Fisk NM, Duncombe GJ, Sullivan MHF (2009) The basic and clinical science of twin–twin transfusion syndrome. Placenta 30(5):379–390CrossRefPubMed
2.
Zurück zum Zitat Robyr R, Lewi L, Salomon LJ et al (2006) Prevalence and management of late fetal complications following successful selective laser coagulation of chorionic plate anastomoses in twin-to-twin transfusion syndrome. Am J Obstet Gynecol 194(3):796–803CrossRefPubMed Robyr R, Lewi L, Salomon LJ et al (2006) Prevalence and management of late fetal complications following successful selective laser coagulation of chorionic plate anastomoses in twin-to-twin transfusion syndrome. Am J Obstet Gynecol 194(3):796–803CrossRefPubMed
3.
Zurück zum Zitat Lopriore E, Oepkes D, Walther FJ (2011) Neonatal morbidity in twin–twin transfusion syndrome. Early Hum Dev 87(9):595–599CrossRefPubMed Lopriore E, Oepkes D, Walther FJ (2011) Neonatal morbidity in twin–twin transfusion syndrome. Early Hum Dev 87(9):595–599CrossRefPubMed
4.
Zurück zum Zitat Baud D, Windrim R, Keunen J et al (2013) Fetoscopic laser therapy for twin-twin transfusion syndrome before 17 and after 26 weeks’ gestation. Am J Obstet Gynecol 208(3):197-e1CrossRef Baud D, Windrim R, Keunen J et al (2013) Fetoscopic laser therapy for twin-twin transfusion syndrome before 17 and after 26 weeks’ gestation. Am J Obstet Gynecol 208(3):197-e1CrossRef
5.
Zurück zum Zitat Rossi AC, D’Addario V (2008) Laser therapy and serial amnioreduction as treatment for twin-twin transfusion syndrome: a metaanalysis and review of literature. Am J Obstet Gynecol 198(2):147–152CrossRefPubMed Rossi AC, D’Addario V (2008) Laser therapy and serial amnioreduction as treatment for twin-twin transfusion syndrome: a metaanalysis and review of literature. Am J Obstet Gynecol 198(2):147–152CrossRefPubMed
6.
Zurück zum Zitat Senat M-V, Deprest J, Boulvain M et al (2004) Endoscopic laser surgery versus serial amnioreduction for severe twin-to-twin transfusion syndrome. N Engl J Med 351(2):136–144CrossRefPubMed Senat M-V, Deprest J, Boulvain M et al (2004) Endoscopic laser surgery versus serial amnioreduction for severe twin-to-twin transfusion syndrome. N Engl J Med 351(2):136–144CrossRefPubMed
7.
Zurück zum Zitat Hu Y, Yamanaka N, Masamune K (2014) Automatic tracking algorithm in coaxial near-infrared laser ablation endoscope for fetus surgery. Int J Optomechatron 8(3):159–178CrossRef Hu Y, Yamanaka N, Masamune K (2014) Automatic tracking algorithm in coaxial near-infrared laser ablation endoscope for fetus surgery. Int J Optomechatron 8(3):159–178CrossRef
8.
Zurück zum Zitat Yamanaka N, Yamashita H, Masamune K et al (2010) An endoscope with 2 DOFs steering of coaxial Nd: YAG laser beam for fetal surgery. Trans Mechatron IEEE/ASME 15(6):898–905 Yamanaka N, Yamashita H, Masamune K et al (2010) An endoscope with 2 DOFs steering of coaxial Nd: YAG laser beam for fetal surgery. Trans Mechatron IEEE/ASME 15(6):898–905
9.
Zurück zum Zitat Reeff M, Gerhard F, Cattin PC et al (2006) Mosaicing of endoscopic placenta images. GI Jahrestag 1(2006):467–474 Reeff M, Gerhard F, Cattin PC et al (2006) Mosaicing of endoscopic placenta images. GI Jahrestag 1(2006):467–474
10.
Zurück zum Zitat Liao H, Tsuzuki M, Mochizuki T et al (2009) Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minim Invasive Ther Allied Technol 18(6):332–340CrossRefPubMed Liao H, Tsuzuki M, Mochizuki T et al (2009) Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minim Invasive Ther Allied Technol 18(6):332–340CrossRefPubMed
11.
Zurück zum Zitat Yang L, Wang J, Kobayashi E et al (2013) Ultrasound image-guided mapping of endoscopic views on a 3D placenta model: a tracker-less approach. In: Liao H, Linte CA, Masamune K, Peters TM, Zheng G (eds) Augmented reality environments for medical imaging and computer-assisted interventions, Springer, Heidelberg, pp 107–116CrossRef Yang L, Wang J, Kobayashi E et al (2013) Ultrasound image-guided mapping of endoscopic views on a 3D placenta model: a tracker-less approach. In: Liao H, Linte CA, Masamune K, Peters TM, Zheng G (eds) Augmented reality environments for medical imaging and computer-assisted interventions, Springer, Heidelberg, pp 107–116CrossRef
12.
Zurück zum Zitat Yang L, Wang J, Kobayashi E et al (2015) Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. Int J Med Robot Comput Assist Surg 11(22):223–234CrossRef Yang L, Wang J, Kobayashi E et al (2015) Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. Int J Med Robot Comput Assist Surg 11(22):223–234CrossRef
13.
Zurück zum Zitat Yang L, Wang J, Ando T et al (2014) Vision-based endoscope tracking for 3D ultrasound image-guided surgical navigation. Comput Med Imaging Graph 40:205–216CrossRefPubMed Yang L, Wang J, Ando T et al (2014) Vision-based endoscope tracking for 3D ultrasound image-guided surgical navigation. Comput Med Imaging Graph 40:205–216CrossRefPubMed
14.
Zurück zum Zitat Yang L, Wang J, Kobayashi E et al (2013) Ultrasound image-based endoscope localization for minimally invasive fetoscopic surgery. In: IEEE international conference on engineering in medicine and biology conference. IEEE, pp 1411–1413. doi:10.1109/EMBC.2013.6609774 Yang L, Wang J, Kobayashi E et al (2013) Ultrasound image-based endoscope localization for minimally invasive fetoscopic surgery. In: IEEE international conference on engineering in medicine and biology conference. IEEE, pp 1411–1413. doi:10.​1109/​EMBC.​2013.​6609774
15.
Zurück zum Zitat Liao H, Tsuzuki M, Kobayashi et al E (2009) GPU-based fast 3D ultrasound-endoscope image fusion for complex-shaped objects. In: World Congress on Medical Physics and Biomedical Engineering. Springer, Berlin Heidelberg, pp 206–209. doi:10.1007/978-3-642-03904-1_58 Liao H, Tsuzuki M, Kobayashi et al E (2009) GPU-based fast 3D ultrasound-endoscope image fusion for complex-shaped objects. In: World Congress on Medical Physics and Biomedical Engineering. Springer, Berlin Heidelberg, pp 206–209. doi:10.​1007/​978-3-642-03904-1_​58
16.
Zurück zum Zitat Cleary K, Peters TM (2010) Image-guided interventions: technology review and clinical applications. Annu Rev Biomed Eng 12:119–142CrossRefPubMed Cleary K, Peters TM (2010) Image-guided interventions: technology review and clinical applications. Annu Rev Biomed Eng 12:119–142CrossRefPubMed
17.
Zurück zum Zitat Peters T, Cleary K (2008) Image-guided interventions: technology and applications. Springer, New YorkCrossRef Peters T, Cleary K (2008) Image-guided interventions: technology and applications. Springer, New YorkCrossRef
18.
Zurück zum Zitat Elfring R, de la Fuente M, Radermacher K (2010) Assessment of optical localizer accuracy for computer aided surgery systems. Comput Aided Surg 15(1–3):1–12CrossRefPubMed Elfring R, de la Fuente M, Radermacher K (2010) Assessment of optical localizer accuracy for computer aided surgery systems. Comput Aided Surg 15(1–3):1–12CrossRefPubMed
19.
Zurück zum Zitat Harada K, Miwa M, Fukuyo T et al (2009) ICG fluorescence endoscope for visualization of the placental vascular network: ORIGINAL ARTICLE. Minim Invasive Ther Allied Technol 18(1):3–7CrossRef Harada K, Miwa M, Fukuyo T et al (2009) ICG fluorescence endoscope for visualization of the placental vascular network: ORIGINAL ARTICLE. Minim Invasive Ther Allied Technol 18(1):3–7CrossRef
20.
Zurück zum Zitat Ishiyama A, Kim K, Yamashita H et al (2011) New fluorescence endoscope for use in twin–twin transfusion syndrome: in vivo visualization of placental blood vessels. Med Eng Phys 33(3):381–385CrossRefPubMed Ishiyama A, Kim K, Yamashita H et al (2011) New fluorescence endoscope for use in twin–twin transfusion syndrome: in vivo visualization of placental blood vessels. Med Eng Phys 33(3):381–385CrossRefPubMed
21.
Zurück zum Zitat Kim K, Kubota M, Ohkawa Y et al (2011) A novel ultralow-illumination endoscope system. Surg Endosc 25(6):2029–2033CrossRefPubMed Kim K, Kubota M, Ohkawa Y et al (2011) A novel ultralow-illumination endoscope system. Surg Endosc 25(6):2029–2033CrossRefPubMed
22.
Zurück zum Zitat Kubota A, Yang L, Wang J et al (2014) Contrast enhancement between vasculature and placenta using narrow band images for TTTS surgery. Int J Comput Assist Radiol Surg 9(Suppl 1):S98–S99 Kubota A, Yang L, Wang J et al (2014) Contrast enhancement between vasculature and placenta using narrow band images for TTTS surgery. Int J Comput Assist Radiol Surg 9(Suppl 1):S98–S99
23.
Zurück zum Zitat Bay H, Tuytelaars T, Van Gool L (2006) Surf: Speeded up robust features. Computer vision—ECCV 2006, Springer, pp 404–417 Bay H, Tuytelaars T, Van Gool L (2006) Surf: Speeded up robust features. Computer vision—ECCV 2006, Springer, pp 404–417
24.
Zurück zum Zitat Fryer JG, Brown DC (1986) Lens distortion for close-range photogrammetry. Photogramm Eng Remote Sen 52(1):51–58 Fryer JG, Brown DC (1986) Lens distortion for close-range photogrammetry. Photogramm Eng Remote Sen 52(1):51–58
25.
Zurück zum Zitat Lepetit V, Moreno-Noguer F, Fua P (2009) Epnp: an accurate o (n) solution to the pnp problem. Int J Comput Vis 81(2):155–166CrossRef Lepetit V, Moreno-Noguer F, Fua P (2009) Epnp: an accurate o (n) solution to the pnp problem. Int J Comput Vis 81(2):155–166CrossRef
26.
Zurück zum Zitat Kobayashi E, Ando T, Yamashita H et al (2009) A high-resolution, three-dimensional thin endoscope for fetal surgery. Surg Endosc 23(11):2450–2453CrossRefPubMed Kobayashi E, Ando T, Yamashita H et al (2009) A high-resolution, three-dimensional thin endoscope for fetal surgery. Surg Endosc 23(11):2450–2453CrossRefPubMed
27.
Zurück zum Zitat Mashiach R, Mezhybovsky V, Nevler A et al (2014) Three-dimensional imaging improves surgical skill performance in a laparoscopic test model for both experienced and novice laparoscopic surgeons. Surg Endosc 28(12):3489–3493CrossRefPubMed Mashiach R, Mezhybovsky V, Nevler A et al (2014) Three-dimensional imaging improves surgical skill performance in a laparoscopic test model for both experienced and novice laparoscopic surgeons. Surg Endosc 28(12):3489–3493CrossRefPubMed
Metadaten
Titel
Self-contained image mapping of placental vasculature in 3D ultrasound-guided fetoscopy
verfasst von
Liangjing Yang
Junchen Wang
Takehiro Ando
Akihiro Kubota
Hiromasa Yamashita
Ichiro Sakuma
Toshio Chiba
Etsuko Kobayashi
Publikationsdatum
10.12.2015
Verlag
Springer US
Erschienen in
Surgical Endoscopy / Ausgabe 9/2016
Print ISSN: 0930-2794
Elektronische ISSN: 1432-2218
DOI
https://doi.org/10.1007/s00464-015-4690-z

Weitere Artikel der Ausgabe 9/2016

Surgical Endoscopy 9/2016 Zur Ausgabe

Wie erfolgreich ist eine Re-Ablation nach Rezidiv?

23.04.2024 Ablationstherapie Nachrichten

Nach der Katheterablation von Vorhofflimmern kommt es bei etwa einem Drittel der Patienten zu Rezidiven, meist binnen eines Jahres. Wie sich spätere Rückfälle auf die Erfolgschancen einer erneuten Ablation auswirken, haben Schweizer Kardiologen erforscht.

Hinter dieser Appendizitis steckte ein Erreger

23.04.2024 Appendizitis Nachrichten

Schmerzen im Unterbauch, aber sonst nicht viel, was auf eine Appendizitis hindeutete: Ein junger Mann hatte Glück, dass trotzdem eine Laparoskopie mit Appendektomie durchgeführt und der Wurmfortsatz histologisch untersucht wurde.

Mehr Schaden als Nutzen durch präoperatives Aussetzen von GLP-1-Agonisten?

23.04.2024 Operationsvorbereitung Nachrichten

Derzeit wird empfohlen, eine Therapie mit GLP-1-Rezeptoragonisten präoperativ zu unterbrechen. Eine neue Studie nährt jedoch Zweifel an der Notwendigkeit der Maßnahme.

Ureterstriktur: Innovative OP-Technik bewährt sich

19.04.2024 EAU 2024 Kongressbericht

Die Ureterstriktur ist eine relativ seltene Komplikation, trotzdem bedarf sie einer differenzierten Versorgung. In komplexen Fällen wird dies durch die roboterassistierte OP-Technik gewährleistet. Erste Resultate ermutigen.

Update Chirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.

S3-Leitlinie „Diagnostik und Therapie des Karpaltunnelsyndroms“

Karpaltunnelsyndrom BDC Leitlinien Webinare
CME: 2 Punkte

Das Karpaltunnelsyndrom ist die häufigste Kompressionsneuropathie peripherer Nerven. Obwohl die Anamnese mit dem nächtlichen Einschlafen der Hand (Brachialgia parästhetica nocturna) sehr typisch ist, ist eine klinisch-neurologische Untersuchung und Elektroneurografie in manchen Fällen auch eine Neurosonografie erforderlich. Im Anfangsstadium sind konservative Maßnahmen (Handgelenksschiene, Ergotherapie) empfehlenswert. Bei nicht Ansprechen der konservativen Therapie oder Auftreten von neurologischen Ausfällen ist eine Dekompression des N. medianus am Karpaltunnel indiziert.

Prof. Dr. med. Gregor Antoniadis
Berufsverband der Deutschen Chirurgie e.V.

S2e-Leitlinie „Distale Radiusfraktur“

Radiusfraktur BDC Leitlinien Webinare
CME: 2 Punkte

Das Webinar beschäftigt sich mit Fragen und Antworten zu Diagnostik und Klassifikation sowie Möglichkeiten des Ausschlusses von Zusatzverletzungen. Die Referenten erläutern, welche Frakturen konservativ behandelt werden können und wie. Das Webinar beantwortet die Frage nach aktuellen operativen Therapiekonzepten: Welcher Zugang, welches Osteosynthesematerial? Auf was muss bei der Nachbehandlung der distalen Radiusfraktur geachtet werden?

PD Dr. med. Oliver Pieske
Dr. med. Benjamin Meyknecht
Berufsverband der Deutschen Chirurgie e.V.

S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“

Appendizitis BDC Leitlinien Webinare
CME: 2 Punkte

Inhalte des Webinars zur S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“ sind die Darstellung des Projektes und des Erstellungswegs zur S1-Leitlinie, die Erläuterung der klinischen Relevanz der Klassifikation EAES 2015, die wissenschaftliche Begründung der wichtigsten Empfehlungen und die Darstellung stadiengerechter Therapieoptionen.

Dr. med. Mihailo Andric
Berufsverband der Deutschen Chirurgie e.V.