Skip to main content
Erschienen in: Surgical Endoscopy 2/2013

01.02.2013 | Dynamic Manuscript

In vivo validation of a system for haptic feedback of tool vibrations in robotic surgery

verfasst von: Karlin Bark, William McMahan, Austin Remington, Jamie Gewirtz, Alexei Wedmid, David I. Lee, Katherine J. Kuchenbecker

Erschienen in: Surgical Endoscopy | Ausgabe 2/2013

Einloggen, um Zugang zu erhalten

Abstract

Background

Robotic minimally invasive surgery (RMIS) lacks the haptic (kinesthetic and tactile) cues that surgeons are accustomed to receiving in open and laparoscopic surgery. We previously introduced a method for adding tactile and audio feedback of tool vibrations to RMIS systems, creating sensations similar to what one feels and hears when using a laparoscopic tool. Our prior work showed that surgeons performing box-trainer tasks significantly preferred having this feedback and believed that it helped them concentrate on the task, but we did not know how well our approach would work in a clinically relevant setting. This study constituted the first in vivo test of our system.

Methods

Accelerometers that measure tool vibrations were mounted to the patient-side manipulators of a da Vinci S surgical system. The measured vibrations were recorded and presented to the surgeon through vibrotactile and audio channels while two transperitoneal nephrectomies and two mid-ureteral dissections with uretero-ureterostomy were completed on a porcine model. We examined 30 minutes of resulting video to identify and tag manipulation events, aiming to determine whether our system can measure significant and meaningful tool vibrations during in vivo procedures.

Results

A total of 1,404 manipulation events were identified. Analysis of each event’s accelerations indicated that 82 % of these events resulted in significant vibrations. The magnitude of the accelerations measured for different manipulation events varied widely, with hard contact causing the largest cues.

Conclusions

This study demonstrates the feasibility of providing tool vibration feedback during in vivo RMIS. Significant tool vibrations were reliably measured for the majority of events during standard urological procedures on a porcine model, while real-time, naturalistic tactile and audio tool vibration feedback was provided to the surgeon. The feedback system’s modules were easily implemented outside the sterile field of the da Vinci S and did not interfere with the surgical procedure.
Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat DiMaio S, Hanuschik M, Kreaden U (2011) The da Vinci Surgical System. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 199–218CrossRef DiMaio S, Hanuschik M, Kreaden U (2011) The da Vinci Surgical System. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 199–218CrossRef
2.
Zurück zum Zitat Bholat OS, Haluck RS, Murray WB, Gorman PJ, Krummel TM (1999) Tactile feedback is present during minimally invasive surgery. J Am Coll Surg 189:349–355PubMedCrossRef Bholat OS, Haluck RS, Murray WB, Gorman PJ, Krummel TM (1999) Tactile feedback is present during minimally invasive surgery. J Am Coll Surg 189:349–355PubMedCrossRef
3.
Zurück zum Zitat Sung GT, Gill IS (2001) Robotic laparoscopic surgery: a comparison of the da Vinci and Zeus systems. Urology 58:893–898PubMedCrossRef Sung GT, Gill IS (2001) Robotic laparoscopic surgery: a comparison of the da Vinci and Zeus systems. Urology 58:893–898PubMedCrossRef
4.
Zurück zum Zitat Meireles O, Horgan S (2011) Applications of surgical robotics in general surgery. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 791–812CrossRef Meireles O, Horgan S (2011) Applications of surgical robotics in general surgery. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 791–812CrossRef
5.
Zurück zum Zitat Costi R, Himpens J, Bruyns J, Cadière GB (2003) Robotic fundoplication: from theoretic advantages to real problems. J Am Coll Surg 197:500–507PubMedCrossRef Costi R, Himpens J, Bruyns J, Cadière GB (2003) Robotic fundoplication: from theoretic advantages to real problems. J Am Coll Surg 197:500–507PubMedCrossRef
6.
Zurück zum Zitat Nezhat F (2008) Minimally invasive surgery in gynecologic oncology: laparoscopy versus robotics. Gynecol Oncol 111:S29–S32PubMedCrossRef Nezhat F (2008) Minimally invasive surgery in gynecologic oncology: laparoscopy versus robotics. Gynecol Oncol 111:S29–S32PubMedCrossRef
7.
Zurück zum Zitat Okamura AM, Verner LN, Yamamoto T, Gwilliam JC, Griffiths PG (2011) Force feedback and sensory substitution for robot-assisted surgery. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 419–448CrossRef Okamura AM, Verner LN, Yamamoto T, Gwilliam JC, Griffiths PG (2011) Force feedback and sensory substitution for robot-assisted surgery. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 419–448CrossRef
8.
Zurück zum Zitat Culjat MO, Bisley JW, King CH, Wottawa C, Fan RE, Dutson EP, Grundfest WS (2011) Tactile feedback in surgical robotics. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 449–468CrossRef Culjat MO, Bisley JW, King CH, Wottawa C, Fan RE, Dutson EP, Grundfest WS (2011) Tactile feedback in surgical robotics. In: Rosen J, Hannaford B, Satava RM (eds) Surgical robotics. Springer, New York, pp 449–468CrossRef
9.
Zurück zum Zitat Hagen ME, Meehan JJ, Inan I, Morel P (2008) Visual clues act as a substitute for haptic feedback in robotic surgery. Surg Endosc 22:1505–1508PubMedCrossRef Hagen ME, Meehan JJ, Inan I, Morel P (2008) Visual clues act as a substitute for haptic feedback in robotic surgery. Surg Endosc 22:1505–1508PubMedCrossRef
10.
Zurück zum Zitat Wickens CD (2002) Multiple resources and performance prediction. Theor Issues Ergon Sci 3:159–177CrossRef Wickens CD (2002) Multiple resources and performance prediction. Theor Issues Ergon Sci 3:159–177CrossRef
11.
Zurück zum Zitat Vitense HS, Jacko JA, Emery VK (2003) Multimodal feedback: an assessment of performance and mental workload. Ergonomics 46:68–87PubMedCrossRef Vitense HS, Jacko JA, Emery VK (2003) Multimodal feedback: an assessment of performance and mental workload. Ergonomics 46:68–87PubMedCrossRef
12.
Zurück zum Zitat Prewett MS, Yang L, Stilson FRB, Gray AA, Coovert MD, Burke J, Redden E, Elliot LR (2006) The benefits of multimodal information: a meta-analysis comparing visual and visual-tactile feedback. Proc Multimodal Interfaces 333–338 Prewett MS, Yang L, Stilson FRB, Gray AA, Coovert MD, Burke J, Redden E, Elliot LR (2006) The benefits of multimodal information: a meta-analysis comparing visual and visual-tactile feedback. Proc Multimodal Interfaces 333–338
13.
Zurück zum Zitat Cao CGL, Zhou M, Jones DB, Schwaitzberg SD (2007) Can surgeons think and operate with haptics at the same time? J Gastrointest Surg 11:1564–1569PubMedCrossRef Cao CGL, Zhou M, Jones DB, Schwaitzberg SD (2007) Can surgeons think and operate with haptics at the same time? J Gastrointest Surg 11:1564–1569PubMedCrossRef
14.
Zurück zum Zitat Mayer H, Nagy I, Knoll A, Braun EU, Bauernschmitt R, Lange R (2007) Haptic feedback in a telepresence system for endoscopic heart surgery. Presence Teleoperators Virtual Environ 16:459–470CrossRef Mayer H, Nagy I, Knoll A, Braun EU, Bauernschmitt R, Lange R (2007) Haptic feedback in a telepresence system for endoscopic heart surgery. Presence Teleoperators Virtual Environ 16:459–470CrossRef
15.
Zurück zum Zitat van der Meijden O, Schijven M (2009) The value of haptic feedback in conventional and robot-assisted minimal invasive surgery and virtual reality training: a current review. Surg Endosc 23:1180–1190PubMedCrossRef van der Meijden O, Schijven M (2009) The value of haptic feedback in conventional and robot-assisted minimal invasive surgery and virtual reality training: a current review. Surg Endosc 23:1180–1190PubMedCrossRef
16.
Zurück zum Zitat Tan GY, Goel RK, Kaouk JH, Tewari AK (2009) Technological advances in robotic-assisted laparoscopic surgery. Urol Clin N Am 36:237–249CrossRef Tan GY, Goel RK, Kaouk JH, Tewari AK (2009) Technological advances in robotic-assisted laparoscopic surgery. Urol Clin N Am 36:237–249CrossRef
17.
Zurück zum Zitat Okamura AM (2009) Haptic feedback in robot-assisted minimally invasive surgery. Curr Opin Urol 19:102–107PubMedCrossRef Okamura AM (2009) Haptic feedback in robot-assisted minimally invasive surgery. Curr Opin Urol 19:102–107PubMedCrossRef
18.
Zurück zum Zitat Wagner CR, Stylopoulos N, Jackson PG, Howe RD (2007) The benefit of force feedback in surgery: examination of blunt dissection. Presence Teleoperators Virtual Environ 16:252–262CrossRef Wagner CR, Stylopoulos N, Jackson PG, Howe RD (2007) The benefit of force feedback in surgery: examination of blunt dissection. Presence Teleoperators Virtual Environ 16:252–262CrossRef
19.
Zurück zum Zitat King CH, Culjat MO, Franco ML, Lewis CE, Dutson EP, Grundfest WS, Bisley JW (2009) Tactile feedback induces reduced grasping force in robotic surgery. IEEE Trans Haptics 2:103–110CrossRef King CH, Culjat MO, Franco ML, Lewis CE, Dutson EP, Grundfest WS, Bisley JW (2009) Tactile feedback induces reduced grasping force in robotic surgery. IEEE Trans Haptics 2:103–110CrossRef
20.
Zurück zum Zitat Kontarinis DA, Howe RD (1996) Tactile display of vibratory information in teleoperation and virtual environments. Presence Teleoperators Virtual Environ 4:387–402 Kontarinis DA, Howe RD (1996) Tactile display of vibratory information in teleoperation and virtual environments. Presence Teleoperators Virtual Environ 4:387–402
21.
Zurück zum Zitat Johnson KO (2001) The roles and functions of cutaneous mechanoreceptors. Curr Opin Neurobiol 11:455–461PubMedCrossRef Johnson KO (2001) The roles and functions of cutaneous mechanoreceptors. Curr Opin Neurobiol 11:455–461PubMedCrossRef
22.
Zurück zum Zitat Johansson RS, Flanagan JR (2009) Coding and use of tactile signals from the fingertips in object manipulation tasks. Nat Rev Neurosci 10:345–359PubMedCrossRef Johansson RS, Flanagan JR (2009) Coding and use of tactile signals from the fingertips in object manipulation tasks. Nat Rev Neurosci 10:345–359PubMedCrossRef
23.
Zurück zum Zitat McMahan W, Romano JM, Rahuman AMA, Kuchenbecker KJ (2010) High frequency acceleration feedback significantly increases the realism of haptically rendered textured surfaces. Proc IEEE Haptics Symp 141–148 McMahan W, Romano JM, Rahuman AMA, Kuchenbecker KJ (2010) High frequency acceleration feedback significantly increases the realism of haptically rendered textured surfaces. Proc IEEE Haptics Symp 141–148
24.
Zurück zum Zitat McMahan W, Gewirtz J, Standish D, Martin P, Kunkel JA, Lilavois M, Wedmid A, Lee DI, Kuchenbecker KJ (2011) Tool contact acceleration feedback for telerobotic surgery. IEEE Trans Haptics 4:210–220CrossRef McMahan W, Gewirtz J, Standish D, Martin P, Kunkel JA, Lilavois M, Wedmid A, Lee DI, Kuchenbecker KJ (2011) Tool contact acceleration feedback for telerobotic surgery. IEEE Trans Haptics 4:210–220CrossRef
25.
Zurück zum Zitat Hayward V, Maclean KE (2007) Do it yourself haptics: part I. IEEE Robot Automation Mag 14:88–104CrossRef Hayward V, Maclean KE (2007) Do it yourself haptics: part I. IEEE Robot Automation Mag 14:88–104CrossRef
26.
Zurück zum Zitat Kuchenbecker KJ, Gewirtz J, McMahan W, Satndish D, Martin P, Bohren J, Mendoza PJ, Lee DI (2010) VerroTouch: high-frequency acceleration feedback for telerobotic surgery. In: Kappers AML, van Erp JBF, Bergmann Tiest WM, van der Helm FCT (eds) Haptics: generating and perceiving tangible sensations. Proceedings of EuroHaptics Part I, vol 6191. Springer, New York, pp 189–196 Kuchenbecker KJ, Gewirtz J, McMahan W, Satndish D, Martin P, Bohren J, Mendoza PJ, Lee DI (2010) VerroTouch: high-frequency acceleration feedback for telerobotic surgery. In: Kappers AML, van Erp JBF, Bergmann Tiest WM, van der Helm FCT (eds) Haptics: generating and perceiving tangible sensations. Proceedings of EuroHaptics Part I, vol 6191. Springer, New York, pp 189–196
27.
Zurück zum Zitat Bethea BT, Okamura AM, Kitagawa M, Fitton TP, Cattaneo SM, Gott VL, Baumgartner WA, Yuh DD (2004) Application of haptic feedback to robotic surgery. J Laparoendosc Adv Surg Tech A 14:191–195PubMedCrossRef Bethea BT, Okamura AM, Kitagawa M, Fitton TP, Cattaneo SM, Gott VL, Baumgartner WA, Yuh DD (2004) Application of haptic feedback to robotic surgery. J Laparoendosc Adv Surg Tech A 14:191–195PubMedCrossRef
28.
Zurück zum Zitat Bark K, Gomez ED, Rivera C, McMahan W, Remington AC, Murayama KM, Lee DI, Dumon KR, Williams NN, Kuchenbecker KJ (2012) Surgical instrument vibrations are a construct-valid measure of technical skill in robotic peg transfer and suturing tasks. In: Yang GZ, Darzi A (eds) Proc. Hamlyn Symposium on Medical Robotics, pp 50–51 Bark K, Gomez ED, Rivera C, McMahan W, Remington AC, Murayama KM, Lee DI, Dumon KR, Williams NN, Kuchenbecker KJ (2012) Surgical instrument vibrations are a construct-valid measure of technical skill in robotic peg transfer and suturing tasks. In: Yang GZ, Darzi A (eds) Proc. Hamlyn Symposium on Medical Robotics, pp 50–51
29.
Zurück zum Zitat Judkins TN, Oleynikov D, Stergiou N (2008) Enhanced robotic surgical training using augmented visual feedback. Surg Innov 15:59–68PubMedCrossRef Judkins TN, Oleynikov D, Stergiou N (2008) Enhanced robotic surgical training using augmented visual feedback. Surg Innov 15:59–68PubMedCrossRef
Metadaten
Titel
In vivo validation of a system for haptic feedback of tool vibrations in robotic surgery
verfasst von
Karlin Bark
William McMahan
Austin Remington
Jamie Gewirtz
Alexei Wedmid
David I. Lee
Katherine J. Kuchenbecker
Publikationsdatum
01.02.2013
Verlag
Springer-Verlag
Erschienen in
Surgical Endoscopy / Ausgabe 2/2013
Print ISSN: 0930-2794
Elektronische ISSN: 1432-2218
DOI
https://doi.org/10.1007/s00464-012-2452-8

Weitere Artikel der Ausgabe 2/2013

Surgical Endoscopy 2/2013 Zur Ausgabe

Wie erfolgreich ist eine Re-Ablation nach Rezidiv?

23.04.2024 Ablationstherapie Nachrichten

Nach der Katheterablation von Vorhofflimmern kommt es bei etwa einem Drittel der Patienten zu Rezidiven, meist binnen eines Jahres. Wie sich spätere Rückfälle auf die Erfolgschancen einer erneuten Ablation auswirken, haben Schweizer Kardiologen erforscht.

Hinter dieser Appendizitis steckte ein Erreger

23.04.2024 Appendizitis Nachrichten

Schmerzen im Unterbauch, aber sonst nicht viel, was auf eine Appendizitis hindeutete: Ein junger Mann hatte Glück, dass trotzdem eine Laparoskopie mit Appendektomie durchgeführt und der Wurmfortsatz histologisch untersucht wurde.

Mehr Schaden als Nutzen durch präoperatives Aussetzen von GLP-1-Agonisten?

23.04.2024 Operationsvorbereitung Nachrichten

Derzeit wird empfohlen, eine Therapie mit GLP-1-Rezeptoragonisten präoperativ zu unterbrechen. Eine neue Studie nährt jedoch Zweifel an der Notwendigkeit der Maßnahme.

Ureterstriktur: Innovative OP-Technik bewährt sich

19.04.2024 EAU 2024 Kongressbericht

Die Ureterstriktur ist eine relativ seltene Komplikation, trotzdem bedarf sie einer differenzierten Versorgung. In komplexen Fällen wird dies durch die roboterassistierte OP-Technik gewährleistet. Erste Resultate ermutigen.

Update Chirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.

S3-Leitlinie „Diagnostik und Therapie des Karpaltunnelsyndroms“

Karpaltunnelsyndrom BDC Leitlinien Webinare
CME: 2 Punkte

Das Karpaltunnelsyndrom ist die häufigste Kompressionsneuropathie peripherer Nerven. Obwohl die Anamnese mit dem nächtlichen Einschlafen der Hand (Brachialgia parästhetica nocturna) sehr typisch ist, ist eine klinisch-neurologische Untersuchung und Elektroneurografie in manchen Fällen auch eine Neurosonografie erforderlich. Im Anfangsstadium sind konservative Maßnahmen (Handgelenksschiene, Ergotherapie) empfehlenswert. Bei nicht Ansprechen der konservativen Therapie oder Auftreten von neurologischen Ausfällen ist eine Dekompression des N. medianus am Karpaltunnel indiziert.

Prof. Dr. med. Gregor Antoniadis
Berufsverband der Deutschen Chirurgie e.V.

S2e-Leitlinie „Distale Radiusfraktur“

Radiusfraktur BDC Leitlinien Webinare
CME: 2 Punkte

Das Webinar beschäftigt sich mit Fragen und Antworten zu Diagnostik und Klassifikation sowie Möglichkeiten des Ausschlusses von Zusatzverletzungen. Die Referenten erläutern, welche Frakturen konservativ behandelt werden können und wie. Das Webinar beantwortet die Frage nach aktuellen operativen Therapiekonzepten: Welcher Zugang, welches Osteosynthesematerial? Auf was muss bei der Nachbehandlung der distalen Radiusfraktur geachtet werden?

PD Dr. med. Oliver Pieske
Dr. med. Benjamin Meyknecht
Berufsverband der Deutschen Chirurgie e.V.

S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“

Appendizitis BDC Leitlinien Webinare
CME: 2 Punkte

Inhalte des Webinars zur S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“ sind die Darstellung des Projektes und des Erstellungswegs zur S1-Leitlinie, die Erläuterung der klinischen Relevanz der Klassifikation EAES 2015, die wissenschaftliche Begründung der wichtigsten Empfehlungen und die Darstellung stadiengerechter Therapieoptionen.

Dr. med. Mihailo Andric
Berufsverband der Deutschen Chirurgie e.V.