Skip to main content
main-content

29.04.2019 | Original Article

Segmenting and classifying activities in robot-assisted surgery with recurrent neural networks

Zeitschrift:
International Journal of Computer Assisted Radiology and Surgery
Autoren:
Robert DiPietro, Narges Ahmidi, Anand Malpani, Madeleine Waldram, Gyusung I. Lee, Mija R. Lee, S. Swaroop Vedula, Gregory D. Hager
Wichtige Hinweise

Publisher's Note

Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Abstract

Purpose

Automatically segmenting and classifying surgical activities is an important prerequisite to providing automated, targeted assessment and feedback during surgical training. Prior work has focused almost exclusively on recognizing gestures, or short, atomic units of activity such as pushing needle through tissue, whereas we also focus on recognizing higher-level maneuvers, such as suture throw. Maneuvers exhibit more complexity and variability than the gestures from which they are composed, however working at this granularity has the benefit of being consistent with existing training curricula.

Methods

Prior work has focused on hidden Markov model and conditional-random-field-based methods, which typically leverage unary terms that are local in time and linear in model parameters. Because maneuvers are governed by long-term, nonlinear dynamics, we argue that the more expressive unary terms offered by recurrent neural networks (RNNs) are better suited for this task. Four RNN architectures are compared for recognizing activities from kinematics: simple RNNs, long short-term memory, gated recurrent units, and mixed history RNNs. We report performance in terms of error rate and edit distance, and we use a functional analysis-of-variance framework to assess hyperparameter sensitivity for each architecture.

Results

We obtain state-of-the-art performance for both maneuver recognition from kinematics (4 maneuvers; error rate of \(8.6 \pm 3.4\%\); normalized edit distance of \(9.3 \pm 4.3\%\)) and gesture recognition from kinematics (10 gestures; error rate of \(15.2 \pm 6.0\%\); normalized edit distance of \(8.4 \pm 6.3\%\)).

Conclusions

Automated maneuver recognition is feasible with RNNs, an exciting result which offers the opportunity to provide targeted assessment and feedback at a higher level of granularity. In addition, we show that multiple hyperparameters are important for achieving good performance, and our hyperparameter analysis serves to aid future work in RNN-based activity recognition.

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

★ PREMIUM-INHALT
e.Med Interdisziplinär

Mit e.Med Interdisziplinär erhalten Sie Zugang zu allen CME-Fortbildungen und Fachzeitschriften auf SpringerMedizin.de. Zusätzlich können Sie eine Zeitschrift Ihrer Wahl in gedruckter Form beziehen – ohne Aufpreis.

Weitere Produktempfehlungen anzeigen
Literatur
Über diesen Artikel
  1. Sie können e.Med Chirurgie 14 Tage kostenlos testen (keine Print-Zeitschrift enthalten). Der Test läuft automatisch und formlos aus. Es kann nur einmal getestet werden.

  2. Sie können e.Med Radiologie 14 Tage kostenlos testen (keine Print-Zeitschrift enthalten). Der Test läuft automatisch und formlos aus. Es kann nur einmal getestet werden.

Neu im Fachgebiet Radiologie

Meistgelesene Bücher aus der Radiologie

2016 | Buch

Medizinische Fremdkörper in der Bildgebung

Thorax, Abdomen, Gefäße und Kinder

Dieses einzigartige Buch enthält ca. 1.600 hochwertige radiologische Abbildungen und Fotos iatrogen eingebrachter Fremdmaterialien im Röntgenbild und CT.

Herausgeber:
Dr. med. Daniela Kildal

2011 | Buch

Atlas Klinische Neuroradiologie des Gehirns

Radiologie lebt von Bildern! Der vorliegende Atlas trägt dieser Tatsache Rechnung. Sie finden zu jedem Krankheitsbild des Gehirns Referenzbilder zum Abgleichen mit eigenen Befunden.

Autoren:
Priv.-Doz. Dr. med. Jennifer Linn, Prof. Dr. med. Martin Wiesmann, Prof. Dr. med. Hartmut Brückmann

Mail Icon II Newsletter

Bestellen Sie unseren kostenlosen Newsletter Update Radiologie und bleiben Sie gut informiert – ganz bequem per eMail.

Bildnachweise