Skip to main content
Erschienen in: World Journal of Surgery 3/2015

01.03.2015 | Original Scientific Report

The Modern Surgeon and Competency Assessment: Are the Workplace-Based Assessments Evidence-Based?

verfasst von: K. M. Torsney, D. M. Cocker, A. A. P. Slesser

Erschienen in: World Journal of Surgery | Ausgabe 3/2015

Einloggen, um Zugang zu erhalten

Abstract

Introduction

The assessment of higher surgical training has changed in the last decade or two, with a greater emphasis on work-based assessments (WBAs) to prove competency. The aim of this study was to determine the evidence underpinning the use and number of WBAs in surgical training.

Methods

In July 2013, a systematic electronic literature review was undertaken using PubMed (Medline), Embase, Google Scholar and the Cochrane library.

Results

A total of 27 studies met the inclusion criteria of which 25 were observational studies and only five assessed WBAs in a surgical setting. Validity and feasibility in surgical training were assessed in two studies, respectively, with the results suggesting that WBAs maybe neither feasible nor valid in surgical training. The number required to achieve reliability in surgical training was demonstrated to be three in two separate studies. The evidence for the reliability, feasibility and validity of WBAs in other non-surgical fields was conflicting.

Conclusion

There is a paucity of evidence supporting the use of WBAs as a tool to determine competency in surgical training, and as such, they should only have a limited role in training until more evidence is available. There appears to be no justification or evidence underpinning the use of a specific number of WBAs to determine surgical competency.
Literatur
1.
Zurück zum Zitat Fitzgerald JEF, Giddings CEB, Khera G et al (2012) Improving the future of surgical training and education: consensus recommendations from the Association of Surgeons in Training. Int J Surg 10(8):389–392CrossRefPubMed Fitzgerald JEF, Giddings CEB, Khera G et al (2012) Improving the future of surgical training and education: consensus recommendations from the Association of Surgeons in Training. Int J Surg 10(8):389–392CrossRefPubMed
3.
Zurück zum Zitat General Medical Council (2011) Learning and assessment in the clinical environment: the way forward. General Medical Council, United Kingdom General Medical Council (2011) Learning and assessment in the clinical environment: the way forward. General Medical Council, United Kingdom
4.
5.
Zurück zum Zitat Pentlow A (2013) Workplace-based assessments in surgery: are we heading in the wrong direction? Med Teach 35(1):80CrossRefPubMed Pentlow A (2013) Workplace-based assessments in surgery: are we heading in the wrong direction? Med Teach 35(1):80CrossRefPubMed
6.
Zurück zum Zitat Bindal T, Wall D, Goodyear HM (2011) Trainee doctors’ views on workplace-based assessments: Are they just a tick box exercise? Med Teach 33(11):919–927CrossRefPubMed Bindal T, Wall D, Goodyear HM (2011) Trainee doctors’ views on workplace-based assessments: Are they just a tick box exercise? Med Teach 33(11):919–927CrossRefPubMed
7.
Zurück zum Zitat Moher D, Liberati A, Tetzlaff J et al (2009) Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. BMJ 339:b2535CrossRefPubMedCentralPubMed Moher D, Liberati A, Tetzlaff J et al (2009) Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. BMJ 339:b2535CrossRefPubMedCentralPubMed
8.
Zurück zum Zitat Eraut M (2009) The ISCP evaluation report. Joint Committee on Surgical Training Eraut M (2009) The ISCP evaluation report. Joint Committee on Surgical Training
10.
Zurück zum Zitat Buckley S, Coleman J, Davison I et al (2009) The educational effects of portfolios on undergraduate student learning: a best evidence medical education (BEME) systematic review. BEME Guide No 11. Med Teach 31:282–298CrossRefPubMed Buckley S, Coleman J, Davison I et al (2009) The educational effects of portfolios on undergraduate student learning: a best evidence medical education (BEME) systematic review. BEME Guide No 11. Med Teach 31:282–298CrossRefPubMed
11.
Zurück zum Zitat Barton JR, Corbett S, van der Vleuten CP (2012) The validity and reliability of a direct observation of procedural skills assessment tool: assessing colonoscopic skills of senior endoscopists. Gastrointest Endosc 75(3):591–597CrossRefPubMed Barton JR, Corbett S, van der Vleuten CP (2012) The validity and reliability of a direct observation of procedural skills assessment tool: assessing colonoscopic skills of senior endoscopists. Gastrointest Endosc 75(3):591–597CrossRefPubMed
12.
Zurück zum Zitat Brazil V, Ratcliffe L, Zhang J et al (2012) Mini-CEX as a workplace-based assessment tool for interns in an emergency department—does cost outweight value? Med Teach 34:1017–1023CrossRefPubMed Brazil V, Ratcliffe L, Zhang J et al (2012) Mini-CEX as a workplace-based assessment tool for interns in an emergency department—does cost outweight value? Med Teach 34:1017–1023CrossRefPubMed
14.
Zurück zum Zitat Crossley J, Johnson G, Booth J et al (2011) Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ 45:560–569CrossRefPubMed Crossley J, Johnson G, Booth J et al (2011) Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ 45:560–569CrossRefPubMed
15.
Zurück zum Zitat De Lima AA, Barrero C, Bararra S et al (2007) Validity, reliability, feasibility and satisfaction of the mini-clinical evaluation exercise (Mini-CEX) for cardiology residency training. Med Teach 29:785–790CrossRef De Lima AA, Barrero C, Bararra S et al (2007) Validity, reliability, feasibility and satisfaction of the mini-clinical evaluation exercise (Mini-CEX) for cardiology residency training. Med Teach 29:785–790CrossRef
16.
Zurück zum Zitat Durning SJ, Cation LJ, Markert RJ (2002) Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med 77(9):900–904CrossRefPubMed Durning SJ, Cation LJ, Markert RJ (2002) Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med 77(9):900–904CrossRefPubMed
17.
Zurück zum Zitat Hassan S (2011) Faculty development: mini-CEX as workplace-based assessment. Educ Med J 3(1):12–21CrossRef Hassan S (2011) Faculty development: mini-CEX as workplace-based assessment. Educ Med J 3(1):12–21CrossRef
18.
Zurück zum Zitat Hill F, Kendall K, Galbraith K et al (2009) Implementing the undergraduate mini-CEX: a tailored approach at Southampton University. Med Educ 43:326–334CrossRefPubMed Hill F, Kendall K, Galbraith K et al (2009) Implementing the undergraduate mini-CEX: a tailored approach at Southampton University. Med Educ 43:326–334CrossRefPubMed
19.
Zurück zum Zitat Holmboe ES, Huot S, Chung J et al (2003) Construct validity of the mini-clinical evaluation exercise (minCEX). Acad Med 78(8):826–830CrossRefPubMed Holmboe ES, Huot S, Chung J et al (2003) Construct validity of the mini-clinical evaluation exercise (minCEX). Acad Med 78(8):826–830CrossRefPubMed
20.
Zurück zum Zitat James K, Cross K, Lucarotti ME et al (2009) Undertaking procedure-based assessment is feasible in clinical practice. Ann R Coll Surg Engl 91:110–112CrossRefPubMedCentralPubMed James K, Cross K, Lucarotti ME et al (2009) Undertaking procedure-based assessment is feasible in clinical practice. Ann R Coll Surg Engl 91:110–112CrossRefPubMedCentralPubMed
21.
Zurück zum Zitat Johnson G, Booth J, Crossley J et al (2011) Assessing trainees in the workplace: results of a pilot study. Clin Med 11(1):48–53CrossRefPubMed Johnson G, Booth J, Crossley J et al (2011) Assessing trainees in the workplace: results of a pilot study. Clin Med 11(1):48–53CrossRefPubMed
22.
Zurück zum Zitat Kogan JR, Bellini LM, Shea JA (2003) Feasibility, reliability and validity of the mini-clinical evaluation exercise (mCEX) in a medicine core clerkship. Acad Med 78(10):S33–S35CrossRefPubMed Kogan JR, Bellini LM, Shea JA (2003) Feasibility, reliability and validity of the mini-clinical evaluation exercise (mCEX) in a medicine core clerkship. Acad Med 78(10):S33–S35CrossRefPubMed
23.
Zurück zum Zitat Kogan JR, Bellini LM, Shea JA (2002) Implementation of the mini-CEX to evaluate medical students’ clinical skills. Acad Med 77(11):1156–1157CrossRefPubMed Kogan JR, Bellini LM, Shea JA (2002) Implementation of the mini-CEX to evaluate medical students’ clinical skills. Acad Med 77(11):1156–1157CrossRefPubMed
24.
Zurück zum Zitat Malhotra S, Hatalal R, Courneya CA (2008) Internal medicine residents’ perceptions of the mini-clinical evaluation exercise. Med Teach 30:414–419CrossRefPubMed Malhotra S, Hatalal R, Courneya CA (2008) Internal medicine residents’ perceptions of the mini-clinical evaluation exercise. Med Teach 30:414–419CrossRefPubMed
25.
Zurück zum Zitat Marriott J, Purdie H, Crossley J et al (2011) Evaluation of procedure-based assessment for assessing trainees’ skills in the operating theatre. Br J Surg 98:450–457CrossRefPubMed Marriott J, Purdie H, Crossley J et al (2011) Evaluation of procedure-based assessment for assessing trainees’ skills in the operating theatre. Br J Surg 98:450–457CrossRefPubMed
26.
Zurück zum Zitat Mitchell C, Bhat S, Herbert A et al (2011) Workplace-based assessments of junior doctors: do scores predict training difficulties? Med Educ 45:1190–1198CrossRefPubMed Mitchell C, Bhat S, Herbert A et al (2011) Workplace-based assessments of junior doctors: do scores predict training difficulties? Med Educ 45:1190–1198CrossRefPubMed
27.
Zurück zum Zitat Moonen-van Loon JMW, Overeem K, Donkers HHLM et al (2013) Composite reliability of a workplace-based assessment toolbox for postgraduate medical education. Adv Health Sci Educ 18(5):1087–1102CrossRef Moonen-van Loon JMW, Overeem K, Donkers HHLM et al (2013) Composite reliability of a workplace-based assessment toolbox for postgraduate medical education. Adv Health Sci Educ 18(5):1087–1102CrossRef
28.
Zurück zum Zitat Morris A, Hewitt J, Roberts CM (2006) Practical experience of using directly observed procedures, mini clinical evaluation examinations, and peer observation in pre-registration house officer (FY1) trainees. Postgrad Med J 82:285–288CrossRefPubMedCentralPubMed Morris A, Hewitt J, Roberts CM (2006) Practical experience of using directly observed procedures, mini clinical evaluation examinations, and peer observation in pre-registration house officer (FY1) trainees. Postgrad Med J 82:285–288CrossRefPubMedCentralPubMed
29.
Zurück zum Zitat Nair B, Hensley MJ, Parvathy MS et al (2012) A systematic approach to workplace-based assessment for international medical graduates. Med J Aust 196:399–402CrossRefPubMed Nair B, Hensley MJ, Parvathy MS et al (2012) A systematic approach to workplace-based assessment for international medical graduates. Med J Aust 196:399–402CrossRefPubMed
30.
Zurück zum Zitat Nair BR, Alexander HG, McGrath BP et al (2008) The mini clinical evaluation exercise (mini-CEX) for assessing clinical performance of international medical graduates. Med Educ 189(3):159–161 Nair BR, Alexander HG, McGrath BP et al (2008) The mini clinical evaluation exercise (mini-CEX) for assessing clinical performance of international medical graduates. Med Educ 189(3):159–161
31.
Zurück zum Zitat Norcini JJ, Blank LL, Arnold GK et al (1995) The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med 123:795–799CrossRefPubMed Norcini JJ, Blank LL, Arnold GK et al (1995) The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med 123:795–799CrossRefPubMed
32.
Zurück zum Zitat Norcini JJ, Blank LL, Arnold GK et al (1997) Examiner differences in the mini-Cex. Adv Health Sci Educ 2:27–33CrossRef Norcini JJ, Blank LL, Arnold GK et al (1997) Examiner differences in the mini-Cex. Adv Health Sci Educ 2:27–33CrossRef
33.
Zurück zum Zitat Norcini JJ, Blank LL, Duffy DF et al (2003) The mini-CEX: a method for assessing clinical skills. Ann Intern Med 138:476–481CrossRefPubMed Norcini JJ, Blank LL, Duffy DF et al (2003) The mini-CEX: a method for assessing clinical skills. Ann Intern Med 138:476–481CrossRefPubMed
34.
Zurück zum Zitat Playford D, Kirke A, Maley M et al (2013) Longitudinal assessment in an undergraduate longitudinal integrated clerkship: the mini clinical evaluation exercise (mCEX) profile. Med Teach 35(8):1412–1421CrossRef Playford D, Kirke A, Maley M et al (2013) Longitudinal assessment in an undergraduate longitudinal integrated clerkship: the mini clinical evaluation exercise (mCEX) profile. Med Teach 35(8):1412–1421CrossRef
35.
Zurück zum Zitat Satpathy A, Kneebone R (2011) Workplace-based assessment in surgical training: a qualitative study. Ann R Coll Surg Engl 93(5):1–5CrossRef Satpathy A, Kneebone R (2011) Workplace-based assessment in surgical training: a qualitative study. Ann R Coll Surg Engl 93(5):1–5CrossRef
36.
Zurück zum Zitat Wilkinson JR, Crossley JGM, Wragg A et al (2008) Implementing workplace-based assessment across the medical specialties in the United Kingdom. Med Educ 42:364–373CrossRefPubMed Wilkinson JR, Crossley JGM, Wragg A et al (2008) Implementing workplace-based assessment across the medical specialties in the United Kingdom. Med Educ 42:364–373CrossRefPubMed
37.
Zurück zum Zitat Weller JM, Jolly B, Misur MP et al (2009) Mini-clinical evaluation exercise in anaesthesia training. Br J Anaesth 102:633–641CrossRefPubMed Weller JM, Jolly B, Misur MP et al (2009) Mini-clinical evaluation exercise in anaesthesia training. Br J Anaesth 102:633–641CrossRefPubMed
38.
Zurück zum Zitat Beard J, Rowley D, Bussey M et al (2009) Workplace-based assessment: assessing technical skill throughout the continuum of surgical training. ANZ J Surg 79(3):148–153CrossRefPubMed Beard J, Rowley D, Bussey M et al (2009) Workplace-based assessment: assessing technical skill throughout the continuum of surgical training. ANZ J Surg 79(3):148–153CrossRefPubMed
Metadaten
Titel
The Modern Surgeon and Competency Assessment: Are the Workplace-Based Assessments Evidence-Based?
verfasst von
K. M. Torsney
D. M. Cocker
A. A. P. Slesser
Publikationsdatum
01.03.2015
Verlag
Springer US
Erschienen in
World Journal of Surgery / Ausgabe 3/2015
Print ISSN: 0364-2313
Elektronische ISSN: 1432-2323
DOI
https://doi.org/10.1007/s00268-014-2875-6

Weitere Artikel der Ausgabe 3/2015

World Journal of Surgery 3/2015 Zur Ausgabe

Wie erfolgreich ist eine Re-Ablation nach Rezidiv?

23.04.2024 Ablationstherapie Nachrichten

Nach der Katheterablation von Vorhofflimmern kommt es bei etwa einem Drittel der Patienten zu Rezidiven, meist binnen eines Jahres. Wie sich spätere Rückfälle auf die Erfolgschancen einer erneuten Ablation auswirken, haben Schweizer Kardiologen erforscht.

Hinter dieser Appendizitis steckte ein Erreger

23.04.2024 Appendizitis Nachrichten

Schmerzen im Unterbauch, aber sonst nicht viel, was auf eine Appendizitis hindeutete: Ein junger Mann hatte Glück, dass trotzdem eine Laparoskopie mit Appendektomie durchgeführt und der Wurmfortsatz histologisch untersucht wurde.

Mehr Schaden als Nutzen durch präoperatives Aussetzen von GLP-1-Agonisten?

23.04.2024 Operationsvorbereitung Nachrichten

Derzeit wird empfohlen, eine Therapie mit GLP-1-Rezeptoragonisten präoperativ zu unterbrechen. Eine neue Studie nährt jedoch Zweifel an der Notwendigkeit der Maßnahme.

Ureterstriktur: Innovative OP-Technik bewährt sich

19.04.2024 EAU 2024 Kongressbericht

Die Ureterstriktur ist eine relativ seltene Komplikation, trotzdem bedarf sie einer differenzierten Versorgung. In komplexen Fällen wird dies durch die roboterassistierte OP-Technik gewährleistet. Erste Resultate ermutigen.

Update Chirurgie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.

S3-Leitlinie „Diagnostik und Therapie des Karpaltunnelsyndroms“

Karpaltunnelsyndrom BDC Leitlinien Webinare
CME: 2 Punkte

Das Karpaltunnelsyndrom ist die häufigste Kompressionsneuropathie peripherer Nerven. Obwohl die Anamnese mit dem nächtlichen Einschlafen der Hand (Brachialgia parästhetica nocturna) sehr typisch ist, ist eine klinisch-neurologische Untersuchung und Elektroneurografie in manchen Fällen auch eine Neurosonografie erforderlich. Im Anfangsstadium sind konservative Maßnahmen (Handgelenksschiene, Ergotherapie) empfehlenswert. Bei nicht Ansprechen der konservativen Therapie oder Auftreten von neurologischen Ausfällen ist eine Dekompression des N. medianus am Karpaltunnel indiziert.

Prof. Dr. med. Gregor Antoniadis
Berufsverband der Deutschen Chirurgie e.V.

S2e-Leitlinie „Distale Radiusfraktur“

Radiusfraktur BDC Leitlinien Webinare
CME: 2 Punkte

Das Webinar beschäftigt sich mit Fragen und Antworten zu Diagnostik und Klassifikation sowie Möglichkeiten des Ausschlusses von Zusatzverletzungen. Die Referenten erläutern, welche Frakturen konservativ behandelt werden können und wie. Das Webinar beantwortet die Frage nach aktuellen operativen Therapiekonzepten: Welcher Zugang, welches Osteosynthesematerial? Auf was muss bei der Nachbehandlung der distalen Radiusfraktur geachtet werden?

PD Dr. med. Oliver Pieske
Dr. med. Benjamin Meyknecht
Berufsverband der Deutschen Chirurgie e.V.

S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“

Appendizitis BDC Leitlinien Webinare
CME: 2 Punkte

Inhalte des Webinars zur S1-Leitlinie „Empfehlungen zur Therapie der akuten Appendizitis bei Erwachsenen“ sind die Darstellung des Projektes und des Erstellungswegs zur S1-Leitlinie, die Erläuterung der klinischen Relevanz der Klassifikation EAES 2015, die wissenschaftliche Begründung der wichtigsten Empfehlungen und die Darstellung stadiengerechter Therapieoptionen.

Dr. med. Mihailo Andric
Berufsverband der Deutschen Chirurgie e.V.