Skip to main content
Erschienen in: Surgical Endoscopy 6/2014

01.06.2014

Assessing visual control during simulated and live operations: gathering evidence for the content validity of simulation using eye movement metrics

verfasst von: Samuel J. Vine, John S. McGrath, Elizabeth Bright, Thomas Dutton, James Clark, Mark R. Wilson

Erschienen in: Surgical Endoscopy | Ausgabe 6/2014

Einloggen, um Zugang zu erhalten

Abstract

Background

Although virtual reality (VR) simulators serve an important role in the training and assessment of surgeons, they need to be evaluated for evidence of validity. Eye-tracking technology and measures of visual control have been used as an adjunct to the performance parameters produced by VR simulators to help in objectively establishing the construct validity (experts vs. novices) of VR simulators. However, determining the extent to which VR simulators represent the real procedure and environment (content validity) has largely been a subjective process undertaken by experienced surgeons. This study aimed to examine the content validity of a VR transurethral resection of the prostate (TURP) simulator by comparing visual control metrics taken during simulated and real TURP procedures.

Methods

Eye-tracking data were collected from seven surgeons performing 14 simulated TURP operations and three surgeons performing 15 real TURP operations on live patients. The data were analyzed offline, and visual control metrics (number and duration of fixations, percentage of time the surgeons fixated on the screen) were calculated.

Results

The surgeons displayed more fixations of a shorter duration and spent less time fixating on the video monitor during the real TURP than during the simulated TURP. This could have been due to (1) the increased complexity of the operating room (OR) environment (2) the decreased quality of the image of the urethra and associated anatomy (compared with the VR simulator), or (3) the impairment of visual attentional control due to the increased levels of stress likely experienced in the OR.

Conclusions

The findings suggest that the complexity of the environment surrounding VR simulators needs to be considered in the design of effective simulated training curricula. The study also provides support for the use of eye-tracking technology to assess the content validity of simulation and to examine psychomotor processes during live operations.
Literatur
1.
Zurück zum Zitat Champion HR, Gallagher AG (2003) Surgical simulation: a “good idea whose time has come”. Br J Surg 90:767–768PubMedCrossRef Champion HR, Gallagher AG (2003) Surgical simulation: a “good idea whose time has come”. Br J Surg 90:767–768PubMedCrossRef
2.
Zurück zum Zitat Schout BMA, Hendrikx AJM, Scheele F, Bemelmans BLH, Scherpbier AJJA (2010) Validation and implementation of surgical simulators: a critical review of present, past, and future. Surg Endosc 24:536–546PubMedCentralPubMedCrossRef Schout BMA, Hendrikx AJM, Scheele F, Bemelmans BLH, Scherpbier AJJA (2010) Validation and implementation of surgical simulators: a critical review of present, past, and future. Surg Endosc 24:536–546PubMedCentralPubMedCrossRef
3.
Zurück zum Zitat Gallagher AG, McClure N, McGuigan J, Crothers I, Browning J (1999) Virtual reality training in laparoscopic surgery: a preliminary assessment of minimally invasive surgical trainer virtual reality (MIST VR). Endoscopy 31:310–313PubMedCrossRef Gallagher AG, McClure N, McGuigan J, Crothers I, Browning J (1999) Virtual reality training in laparoscopic surgery: a preliminary assessment of minimally invasive surgical trainer virtual reality (MIST VR). Endoscopy 31:310–313PubMedCrossRef
4.
Zurück zum Zitat Abboudi H, Khan MS, Aboumarzouk O, Guru KA, Challacombe B, Dasgupta P, Ahmed K (2012) Current status of validation for robotic surgery simulators: a systematic review. Br J Urol 111:194–205CrossRef Abboudi H, Khan MS, Aboumarzouk O, Guru KA, Challacombe B, Dasgupta P, Ahmed K (2012) Current status of validation for robotic surgery simulators: a systematic review. Br J Urol 111:194–205CrossRef
5.
Zurück zum Zitat Bright E, Vine SJ, Wilson MR, Masters RSW, McGrath JS (2012) Face validity, construct validity, and training benefits of a virtual reality TURP simulator. Int J Surg 10:163–166PubMedCrossRef Bright E, Vine SJ, Wilson MR, Masters RSW, McGrath JS (2012) Face validity, construct validity, and training benefits of a virtual reality TURP simulator. Int J Surg 10:163–166PubMedCrossRef
6.
Zurück zum Zitat Carter FJ, Schijven MP, Aggarwal R, Grantcharov T, Francis NK, Hanna GB, Jakimowick JJ (2005) Consensus guidelines for validation of virtual reality surgical simulators. Surg Endosc 19:1523–1532PubMedCrossRef Carter FJ, Schijven MP, Aggarwal R, Grantcharov T, Francis NK, Hanna GB, Jakimowick JJ (2005) Consensus guidelines for validation of virtual reality surgical simulators. Surg Endosc 19:1523–1532PubMedCrossRef
7.
Zurück zum Zitat Kelly DC, Margules AC, Kundavarm CR, Narins H, Gomella LG, Trabulsi EJ, Lallas CD (2012) Face, content, and construct validity of the da Vinci Skills Simulator. J Urol 79:1068–1072CrossRef Kelly DC, Margules AC, Kundavarm CR, Narins H, Gomella LG, Trabulsi EJ, Lallas CD (2012) Face, content, and construct validity of the da Vinci Skills Simulator. J Urol 79:1068–1072CrossRef
8.
Zurück zum Zitat Richstone L, Schwartz MJ, Seideman C, Cadeddu J, Marshall S, Kavoussi LR (2010) Eye metrics as an objective assessment of surgical skill. Ann Surg 252:177–182PubMedCrossRef Richstone L, Schwartz MJ, Seideman C, Cadeddu J, Marshall S, Kavoussi LR (2010) Eye metrics as an objective assessment of surgical skill. Ann Surg 252:177–182PubMedCrossRef
9.
Zurück zum Zitat Wilson M, McGrath J, Vine S, Brewer J, Defriend D, Masters R (2010) Psychomotor control in a virtual laparoscopic surgery training environment: gaze control parameters differentiate novices from experts. Surg Endosc 24:2458–2464PubMedCentralPubMedCrossRef Wilson M, McGrath J, Vine S, Brewer J, Defriend D, Masters R (2010) Psychomotor control in a virtual laparoscopic surgery training environment: gaze control parameters differentiate novices from experts. Surg Endosc 24:2458–2464PubMedCentralPubMedCrossRef
10.
Zurück zum Zitat Wilson MR, McGrath JS, Vine SJ, Brewer J, Defriend D, Masters RS (2011) Perceptual impairment and psychomotor control in virtual laparoscopic surgery. Surg Endosc 25:2268–2274PubMedCentralPubMedCrossRef Wilson MR, McGrath JS, Vine SJ, Brewer J, Defriend D, Masters RS (2011) Perceptual impairment and psychomotor control in virtual laparoscopic surgery. Surg Endosc 25:2268–2274PubMedCentralPubMedCrossRef
11.
Zurück zum Zitat Law B, Atkins MS, Kirkpatrick AE, Lomax AJ, Mackenzie CL (2004) Eye gaze patterns differentiate novice and experts in a virtual laparoscopic surgery training environment. In: Duchowski AT, Vertegaal R (eds) Proceedings of the eye-tracking research and application symposium. San Antonio, TX, pp 41–47 Law B, Atkins MS, Kirkpatrick AE, Lomax AJ, Mackenzie CL (2004) Eye gaze patterns differentiate novice and experts in a virtual laparoscopic surgery training environment. In: Duchowski AT, Vertegaal R (eds) Proceedings of the eye-tracking research and application symposium. San Antonio, TX, pp 41–47
12.
Zurück zum Zitat Kocak E, Ober J, Berme N, Melvin WS (2005) Eye motion parameters correlate with level of experience in video-assisted surgery: objective testing of three tasks. J Laparoendosc Adv Surg Tech 15:575–580CrossRef Kocak E, Ober J, Berme N, Melvin WS (2005) Eye motion parameters correlate with level of experience in video-assisted surgery: objective testing of three tasks. J Laparoendosc Adv Surg Tech 15:575–580CrossRef
13.
Zurück zum Zitat Vine SJ, Masters RSW, McGrath JS, Bright E, Wilson RM (2012) Cheating experience: guiding novices to adopt the gaze strategies of experts expedites technical laparoscopic skill learning. Surgery 152:32–40PubMedCrossRef Vine SJ, Masters RSW, McGrath JS, Bright E, Wilson RM (2012) Cheating experience: guiding novices to adopt the gaze strategies of experts expedites technical laparoscopic skill learning. Surgery 152:32–40PubMedCrossRef
14.
15.
Zurück zum Zitat Bright E, Vine SJ, Wilson MR, McGrath JS (2011) Differences in the visuomotor control of experts and novices performing a virtual reality TURP. Br J Med Surg Urol 4:218–219CrossRef Bright E, Vine SJ, Wilson MR, McGrath JS (2011) Differences in the visuomotor control of experts and novices performing a virtual reality TURP. Br J Med Surg Urol 4:218–219CrossRef
16.
Zurück zum Zitat Kahn RSA, Tien G, Atkins MS, Zheng B, Panton NM, Meneghetti AT (2012) Analysis of eye gaze: do novice surgeons look at the same location as expert surgeons during a laparoscopic operation? Surg Endosc 26:3536–3540CrossRef Kahn RSA, Tien G, Atkins MS, Zheng B, Panton NM, Meneghetti AT (2012) Analysis of eye gaze: do novice surgeons look at the same location as expert surgeons during a laparoscopic operation? Surg Endosc 26:3536–3540CrossRef
17.
Zurück zum Zitat Kwok KW, Sun LW, Mylona GP, James DRC, Orihuela-Espina F, Yang GZ (2012) Collaborative gaze channelling for improved cooperation during robotic assisted surgery. Ann Biomed Eng 40:2156–2167PubMedCentralPubMedCrossRef Kwok KW, Sun LW, Mylona GP, James DRC, Orihuela-Espina F, Yang GZ (2012) Collaborative gaze channelling for improved cooperation during robotic assisted surgery. Ann Biomed Eng 40:2156–2167PubMedCentralPubMedCrossRef
18.
Zurück zum Zitat Smith SD, Gallagher AG, Henn P (2003) Augmenting, not cheating! Surgery 153:299–300CrossRef Smith SD, Gallagher AG, Henn P (2003) Augmenting, not cheating! Surgery 153:299–300CrossRef
19.
Zurück zum Zitat Vine SJ, Masters RSW, McGrath JS, Bright E, Wilson RM (2013) You can’t beat experience, but you can cheat it. Surgery 153:300PubMedCrossRef Vine SJ, Masters RSW, McGrath JS, Bright E, Wilson RM (2013) You can’t beat experience, but you can cheat it. Surgery 153:300PubMedCrossRef
20.
Zurück zum Zitat Zheng B, Tien G, Atkins SM, Swindells C, Tanin H, Meneghetti A, Qayumi KA, Panton NM (2011) Surgeon’s vigilance in the operating room. Am J Surg 201:667–671CrossRef Zheng B, Tien G, Atkins SM, Swindells C, Tanin H, Meneghetti A, Qayumi KA, Panton NM (2011) Surgeon’s vigilance in the operating room. Am J Surg 201:667–671CrossRef
21.
Zurück zum Zitat Gegenfurtner A, Lehtinen E, Säljö R (2011) Expertise differences in the comprehension of visualizations: a meta-analysis of eye-tracking research in professional domains. Educ Psychol Rev 23:523–552CrossRef Gegenfurtner A, Lehtinen E, Säljö R (2011) Expertise differences in the comprehension of visualizations: a meta-analysis of eye-tracking research in professional domains. Educ Psychol Rev 23:523–552CrossRef
22.
Zurück zum Zitat Sutton E, Youssef Y, Meenaghan N, Godinez C, Xiao Y, Lee T, Dexter D, Park A (2010) Gaze disruptions experienced by the laparoscopic operating surgeon. Surg Endosc 24:1240–1244PubMedCrossRef Sutton E, Youssef Y, Meenaghan N, Godinez C, Xiao Y, Lee T, Dexter D, Park A (2010) Gaze disruptions experienced by the laparoscopic operating surgeon. Surg Endosc 24:1240–1244PubMedCrossRef
23.
Zurück zum Zitat Wilson M, Vine SJ, Wood G (2009) The influence of anxiety on visual attentional control in basketball free-throw shooting. J Sport Exerc Psychol 31:152–168PubMed Wilson M, Vine SJ, Wood G (2009) The influence of anxiety on visual attentional control in basketball free-throw shooting. J Sport Exerc Psychol 31:152–168PubMed
24.
Zurück zum Zitat Chetwood ASA, Kwok KW, Sun LW, Mylonas GP, Clark J, Darzi A, Yang GZ (2012) Collaborative eye tracking: a potential training tool in laparoscopic surgery. Surg Endosc 26:2003–2009PubMedCrossRef Chetwood ASA, Kwok KW, Sun LW, Mylonas GP, Clark J, Darzi A, Yang GZ (2012) Collaborative eye tracking: a potential training tool in laparoscopic surgery. Surg Endosc 26:2003–2009PubMedCrossRef
Metadaten
Titel
Assessing visual control during simulated and live operations: gathering evidence for the content validity of simulation using eye movement metrics
verfasst von
Samuel J. Vine
John S. McGrath
Elizabeth Bright
Thomas Dutton
James Clark
Mark R. Wilson
Publikationsdatum
01.06.2014
Verlag
Springer US
Erschienen in
Surgical Endoscopy / Ausgabe 6/2014
Print ISSN: 0930-2794
Elektronische ISSN: 1432-2218
DOI
https://doi.org/10.1007/s00464-013-3387-4

Weitere Artikel der Ausgabe 6/2014

Surgical Endoscopy 6/2014 Zur Ausgabe

Wie erfolgreich ist eine Re-Ablation nach Rezidiv?

23.04.2024 Ablationstherapie Nachrichten

Nach der Katheterablation von Vorhofflimmern kommt es bei etwa einem Drittel der Patienten zu Rezidiven, meist binnen eines Jahres. Wie sich spätere Rückfälle auf die Erfolgschancen einer erneuten Ablation auswirken, haben Schweizer Kardiologen erforscht.

Hinter dieser Appendizitis steckte ein Erreger

23.04.2024 Appendizitis Nachrichten

Schmerzen im Unterbauch, aber sonst nicht viel, was auf eine Appendizitis hindeutete: Ein junger Mann hatte Glück, dass trotzdem eine Laparoskopie mit Appendektomie durchgeführt und der Wurmfortsatz histologisch untersucht wurde.

Mehr Schaden als Nutzen durch präoperatives Aussetzen von GLP-1-Agonisten?

23.04.2024 Operationsvorbereitung Nachrichten

Derzeit wird empfohlen, eine Therapie mit GLP-1-Rezeptoragonisten präoperativ zu unterbrechen. Eine neue Studie nährt jedoch Zweifel an der Notwendigkeit der Maßnahme.

Ureterstriktur: Innovative OP-Technik bewährt sich

19.04.2024 EAU 2024 Kongressbericht

Die Ureterstriktur ist eine relativ seltene Komplikation, trotzdem bedarf sie einer differenzierten Versorgung. In komplexen Fällen wird dies durch die roboterassistierte OP-Technik gewährleistet. Erste Resultate ermutigen.

Update Chirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.

S3-Leitlinie „Diagnostik und Therapie des Karpaltunnelsyndroms“

Karpaltunnelsyndrom BDC Leitlinien Webinare
CME: 2 Punkte

Das Karpaltunnelsyndrom ist die häufigste Kompressionsneuropathie peripherer Nerven. Obwohl die Anamnese mit dem nächtlichen Einschlafen der Hand (Brachialgia parästhetica nocturna) sehr typisch ist, ist eine klinisch-neurologische Untersuchung und Elektroneurografie in manchen Fällen auch eine Neurosonografie erforderlich. Im Anfangsstadium sind konservative Maßnahmen (Handgelenksschiene, Ergotherapie) empfehlenswert. Bei nicht Ansprechen der konservativen Therapie oder Auftreten von neurologischen Ausfällen ist eine Dekompression des N. medianus am Karpaltunnel indiziert.

Prof. Dr. med. Gregor Antoniadis
Berufsverband der Deutschen Chirurgie e.V.

S2e-Leitlinie „Distale Radiusfraktur“

Radiusfraktur BDC Leitlinien Webinare
CME: 2 Punkte

Das Webinar beschäftigt sich mit Fragen und Antworten zu Diagnostik und Klassifikation sowie Möglichkeiten des Ausschlusses von Zusatzverletzungen. Die Referenten erläutern, welche Frakturen konservativ behandelt werden können und wie. Das Webinar beantwortet die Frage nach aktuellen operativen Therapiekonzepten: Welcher Zugang, welches Osteosynthesematerial? Auf was muss bei der Nachbehandlung der distalen Radiusfraktur geachtet werden?

PD Dr. med. Oliver Pieske
Dr. med. Benjamin Meyknecht
Berufsverband der Deutschen Chirurgie e.V.

S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“

Appendizitis BDC Leitlinien Webinare
CME: 2 Punkte

Inhalte des Webinars zur S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“ sind die Darstellung des Projektes und des Erstellungswegs zur S1-Leitlinie, die Erläuterung der klinischen Relevanz der Klassifikation EAES 2015, die wissenschaftliche Begründung der wichtigsten Empfehlungen und die Darstellung stadiengerechter Therapieoptionen.

Dr. med. Mihailo Andric
Berufsverband der Deutschen Chirurgie e.V.