Skip to main content
main-content

18.11.2019 | Original Article | Ausgabe 2/2020

International Journal of Computer Assisted Radiology and Surgery 2/2020

Multimodal 3D medical image registration guided by shape encoder–decoder networks

Zeitschrift:
International Journal of Computer Assisted Radiology and Surgery > Ausgabe 2/2020
Autoren:
Max Blendowski, Nassim Bouteldja, Mattias P. Heinrich
Wichtige Hinweise
Max Blendowski and Nassim Bouteldja contributed equally to this work.
This work was funded by the German Research Foundation (DFG) under Grant Number 320997906.

Publisher's Note

Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Abstract

Purpose

Nonlinear multimodal image registration, for example, the fusion of computed tomography (CT) and magnetic resonance imaging (MRI), fundamentally depends on a definition of image similarity. Previous methods that derived modality-invariant representations focused on either global statistical grayscale relations or local structural similarity, both of which are prone to local optima. In contrast to most learning-based methods that rely on strong supervision of aligned multimodal image pairs, we aim to overcome this limitation for further practical use cases.

Methods

We propose a new concept that exploits anatomical shape information and requires only segmentation labels for both modalities individually. First, a shape-constrained encoder–decoder segmentation network without skip connections is jointly trained on labeled CT and MRI inputs. Second, an iterative energy-based minimization scheme is introduced that relies on the capability of the network to generate intermediate nonlinear shape representations. This further eases the multimodal alignment in the case of large deformations.

Results

Our novel approach robustly and accurately aligns 3D scans from the multimodal whole-heart segmentation dataset, outperforming classical unsupervised frameworks. Since both parts of our method rely on (stochastic) gradient optimization, it can be easily integrated in deep learning frameworks and executed on GPUs.

Conclusions

We present an integrated approach for weakly supervised multimodal image registration. Achieving promising results due to the exploration of intermediate shape features as registration guidance encourages further research in this direction.

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

★ PREMIUM-INHALT
e.Med Interdisziplinär

Mit e.Med Interdisziplinär erhalten Sie Zugang zu allen CME-Fortbildungen und Fachzeitschriften auf SpringerMedizin.de. Zusätzlich können Sie eine Zeitschrift Ihrer Wahl in gedruckter Form beziehen – ohne Aufpreis.

Jetzt e.Med bestellen und 100 € sparen!

Weitere Produktempfehlungen anzeigen
Literatur
Über diesen Artikel

Weitere Artikel der Ausgabe 2/2020

International Journal of Computer Assisted Radiology and Surgery 2/2020 Zur Ausgabe
  1. Sie können e.Med Chirurgie 14 Tage kostenlos testen (keine Print-Zeitschrift enthalten). Der Test läuft automatisch und formlos aus. Es kann nur einmal getestet werden.

  2. Sie können e.Med Radiologie 14 Tage kostenlos testen (keine Print-Zeitschrift enthalten). Der Test läuft automatisch und formlos aus. Es kann nur einmal getestet werden.

Neu im Fachgebiet Radiologie

Meistgelesene Bücher aus der Radiologie

2016 | Buch

Medizinische Fremdkörper in der Bildgebung

Thorax, Abdomen, Gefäße und Kinder

Dieses einzigartige Buch enthält ca. 1.600 hochwertige radiologische Abbildungen und Fotos iatrogen eingebrachter Fremdmaterialien im Röntgenbild und CT.

Herausgeber:
Dr. med. Daniela Kildal

2011 | Buch

Atlas Klinische Neuroradiologie des Gehirns

Radiologie lebt von Bildern! Der vorliegende Atlas trägt dieser Tatsache Rechnung. Sie finden zu jedem Krankheitsbild des Gehirns Referenzbilder zum Abgleichen mit eigenen Befunden.

Autoren:
Priv.-Doz. Dr. med. Jennifer Linn, Prof. Dr. med. Martin Wiesmann, Prof. Dr. med. Hartmut Brückmann

Mail Icon II Newsletter

Bestellen Sie unseren kostenlosen Newsletter Update Radiologie und bleiben Sie gut informiert – ganz bequem per eMail.

Bildnachweise