“Research is to see what everybody has seen and think what nobody has thought.”

Albert Szent-Györgyi1

Nobel laureate Albert Szent-Györgyi’s field of scientific discovery was that of biochemistry; however, his reflection on the nature of research could not be more apt for the qualitative researcher. In qualitative research, the researcher is not only the scientist but also the instrument of measurement. Observations and conversations provide the dataset that must be sampled, recorded, organized, and analyzed in a systematic fashion. It is this deliberate approach to the everyday that separates the qualitative researcher from the casual observer and permits scientific enquiry into matters that cannot be meaningfully investigated by more familiar methodology. Qualitative research is ideally suited to real-world observations of complex situations involving human interactions with other people or their environment.

The role of the anesthesiologist is often conveniently summarized as the “applied physiologist and pharmacologist”, but these are merely the basic foundations of a profession that requires considerable skill pertaining to communication, situation awareness, teamwork, leadership, and teaching, to name but a few examples. These nontechnical aspects of anesthesia have attracted increasing attention in recent years, and it is in the investigation of these concepts that qualitative research is most valuable. Despite the clear relevance of qualitative research, it continues to account for a small minority of medical publications.2 Accordingly, Bould et al.’s manuscript in this edition of the Journal represents something of a rarity. Their paper reports on an interview-based study in which faculty participating in an international educational initiative to provide training to anesthesia providers in Zambia describe their experiences.3 Amongst Bould et al.’s findings, it was apparent that participants had significant logistical and educational challenges to overcome, and that anesthesia in a resource-poor environment requires the ability to use antiquated drugs and equipment, to cope with unexpected shortages of basic supplies, and to reconcile the risks of proceeding with surgery in problematic circumstances with those of doing nothing at all. Consequently, participating in this project involved a great deal of learning for the faculty as well as for the students.

These insights are doubtless of much interest to any anesthesiologist involved in teaching overseas, and those who are considering planning such a project have much to learn from Bould et al.’s findings. But how are the results of this paper any more useful than simply chatting to a colleague who has recently returned from such a venture? In order to address this question, we examine herein the qualitative research methods that Bould et al. employed, namely, interviews and thematic analysis, and consider the markers of rigour in qualitative research.

An interview is a conversation between a researcher and one or more participants. Though many variations on the principle exist, they can usually be classified as “structured”, “semi-structured”, or “in-depth”.4 Structured interviews follow a strict routine of closed questioning in order to provide standardized data. While they are simple to undertake, they seldom provide in-depth information as they do not permit the researcher to pursue any cues offered by the participant. Semi-structured interviews offer the researcher more freedom, and while they follow a schedule of questions, they are typically open in nature and supplementary questions may be asked to clarify or expand on key points. In-depth interviews are the most free-form technique in which the participant is encouraged to explore a small range of concepts in detail. Increasing the depth of the data opens up the potential for new insights to emerge from the participants’ discussion; however, the researcher must possess considerable skill in order to guide the discussion without stifling the discourse or imposing personal biases. In addition, as the depth of the data increases, the structure often diminishes, and this can present additional challenges in the analysis of results. Bould et al. make use of semi-structured interviews in their study, though close examination of the interview schedule reveals areas of somewhat closed questioning regarding the challenges experienced by participants. Further expansion on the ethical and cultural challenges would have been a welcome addition to this paper, and greater depth of data may have been achieved with a more open questioning strategy.

Though structured interviews in which the participant is compelled to answer in a binary fashion may be analyzed statistically, the majority of interview data is recorded as a natural conversation. This may simply be an audio recording, but often this information is combined with field notes providing additional data on non-verbal cues, and other media such as photographs and videos may also be included. At first glance, these data appear unstructured and must be organized in order to achieve a meaningful analysis. This typically involves verbatim transcription of audio recordings, often with simultaneous anonymization and integration of field notes at appropriate points. Researchers can then familiarize themselves with the data in its entirety and subsequently examine the information systematically with the objective of finding the common themes that tie the data together. This process is often facilitated by the use of a software package, which enables researchers to annotate and link data electronically, though an equivalent process can be undertaken with poster boards, highlighters, string, and Post-it® Notes – it is not the technology but the judgement of the research team that forms the basis of thematic analysis. The strategy for eliciting themes varies but can be broadly classified into deductive and inductive approaches. The deductive approach starts with a hypothesis that is tested through observation, in which case, themes are defined in advance and the data are sifted in order to locate passages that relate to those themes. It is therefore best applied in areas of study in which the theoretical basis for behaviour is well established. In contrast, the inductive approach, as employed by Bould et al., begins with observations that are examined for repeating patterns that form the basis for new hypotheses. The repeating patterns are often described as “emergent themes” as they emerge from the data as they are read and re-read, and themes are divided or combined as the understanding of the data increases.5

As with any scientific study, qualitative research should be rigorous and employ reproducible methodology. This entails a description of the sampling strategy, the data collection technique, and the process of data analysis. The same standards should be applied to a report of a qualitative study as are applied to all scientific papers, i.e., properly trained researchers should be able to replicate the study in their own setting. Importantly, because the subjects under scrutiny are human beings rather than cells, drugs, or receptors, the results of such a replication are likely to differ depending on the context in which they are obtained. In addition to the justification and precise description of methodology, qualitative researchers must acknowledge that they are potentially less accurate instruments than those one might find in the laboratory, and therefore, they must take steps to mitigate this disparity. These steps include reliability measures (e.g., multiple researchers independently undertaking all or some of the data analysis to check for agreement) and validity measures (e.g., presenting preliminary results back to the study participants to obtain feedback on the conclusions that have been drawn). Using multiple methodologies to compare the data obtained, often through interviews and observations, is known as triangulation and provides verification of findings in cases of agreement. However, the significance of discordant findings is open to debate as participants may act differently in the presence of a researcher, or they may not do what they say they do. The influence of the researcher on the study should therefore be minimized, but it is unlikely that it can be excluded altogether. Therefore, qualitative researchers should be “reflexive”; they should be transparent about their potential influence.6 Bould et al.‘s report includes many of the above markers of rigour, and though it is based on a single data collection technique and triangulation may be desirable, the distributed and international nature of the project makes it difficult to see how such data could have reasonably been obtained.

In this issue of the Journal, readers have the opportunity not only to learn from the experiences of colleagues involved in an international educational project, but also to gain an understanding of the rigorous process of analysis that their well-versed colleagues use to report the accounts of such experiences. Bould et al.’s study is therefore a welcome illustration of how qualitative research can enhance anesthetic education and practice.

« La recherche consiste à voir ce que tout le monde a vu et de penser ce à quoi personne n’avait pensé »

Albert Szent-Györgyi1

Le domaine de découverte scientifique du lauréat du Prix Nobel Albert Szent-Györgyi était la biochimie; toutefois, sa réflexion sur la nature de la recherche n’aurait pas pu convenir davantage à un chercheur qualitatif. Dans la recherche qualitative, le chercheur n’est pas seulement le scientifique, mais également l’instrument de mesure. Les observations et conversations fournissent l’ensemble de données qui doivent être échantillonnées, consignées, organisées et analysées de façon systématique. Il s’agit d’une approche délibérée du quotidien qui sépare le chercheur qualitatif du simple observateur et permet une quête scientifique dans des domaines qui ne peuvent pas être étudiés valablement avec une méthodologie plus courante. La recherche qualitative convient idéalement aux observations de situations complexes du monde réel impliquant des interactions humaines avec d’autres personnes ou leur environnement.

Le rôle de l’anesthésiologiste est souvent commodément résumé ainsi : « spécialiste en physiologie appliquée et pharmacologie »; néanmoins, il s’agit là des notions fondamentales pour une profession qui requiert des compétences considérables ayant trait à la communication, à la prise de conscience de situations, au travail en équipe, au leadership et à l’enseignement, pour n’en citer que quelques-unes. Ces aspects non techniques de l’anesthésie ont attiré une attention croissante au cours des dernières années et c’est dans l’étude de ces concepts que la recherche qualitative prend toute sa valeur. En dépit de la pertinence évidente de la recherche qualitative, elle continue à ne représenter qu’une petite part minoritaire des publications médicales.2 En conséquence, l’article de Bould et coll. publié dans ce numéro du Journal représente quelque chose de rare. Leur article rapporte une étude basée sur des entretiens dans laquelle des enseignants universitaires participant à une initiative éducative internationale visant à former des personnels en anesthésie en Zambie décrivent leur expérience.3 Parmi les constatations de Bould et coll., il est devenu évident que les participants devaient surmonter des défis logistiques et éducatifs significatifs et que l’anesthésiologie dans un environnement manquant de ressources nécessite la capacité d’utiliser des médicaments et un équipement archaïque, faire face aux pénuries imprévues de fournitures de base et de concilier les risques de procéder à l’intervention chirurgicale dans les situations problématiques avec les risques de ne rien faire du tout.. Par conséquent, la participation à ce projet impliquait une grande dose d’apprentissage pour les enseignants comme pour les étudiants.

Ces points de vue ont, sans aucun doute, beaucoup d’intérêt pour tout anesthésiologiste impliqué dans un enseignement outremer, et ceux qui envisagent de mettre sur pied un tel projet auront beaucoup à gagner des constatations de Bould et coll. Mais les résultats exposés dans cet article sont-ils vraiment plus utiles qu’une banale conversation avec un collègue qui vient de rentrer après un tel séjour? Afin d’aborder cette question, nous examinons ici la méthodologie de la recherche qualitative employée par Bould et coll., nommément des entrevues et une analyse thématique et nous regardons les marqueurs de rigueur dans la recherche qualitative.

Un entretien est une conversation entre un chercheur et un ou plusieurs participants. Bien qu’il y ait de nombreuses variations sur le principe, ils peuvent être habituellement classés en « structurés », « semi-structurés » ou « en profondeur ».4 Les entretiens structurés suivent une stricte routine de questions fermées afin de fournir des données standardisées. Tandis qu’ils sont simples à entreprendre, ils fournissent rarement une information approfondie, car ils ne permettent pas au chercheur de poursuivre des pistes offertes par le ou la participante. Les entretiens semi-structurés donnent au chercheur plus de liberté et tout en poursuivant un cadre de questions, ils sont habituellement de nature ouverte permettant de poser des questions supplémentaires qui permettront de clarifier ou d’approfondir des points clés. Les entretiens en profondeur constituent la technique la plus libre dans laquelle le participant est encouragé à explorer de façon détaillée un petit éventail de concepts. En approfondissant les données, il est possible de voir émerger des points de vue nouveaux de la discussion entre les participants. Le chercheur doit cependant avoir une très grande maîtrise de la technique afin de guider la discussion sans étouffer le dialogue ou imposer des biais personnels. De plus, au fur et à mesure de l’approfondissement du sujet, la structure s’estompe souvent et cela peut constituer des défis supplémentaires pour l’analyse des résultats. Bould et coll. font usage d’entretiens semi-structurés dans leur étude, bien qu’un examen attentif de la trame de ces entretiens révèle des zones de questions plutôt fermées à propos des défis rencontrés par les participants. Une extension des défis culturels et éthiques aurait été un ajout bienvenu à cet article et une plus grande profondeur des données aurait pu être obtenue avec une stratégie de questions plus ouvertes.

Bien que dans les entretiens structurés, où les participants sont obligés de répondre sur un mode binaire, peuvent être soumis à une analyse statistique, la majorité des données des entretiens est enregistrée sous forme de conversation naturelle. Il peut simplement s’agir d’un enregistrement audio, mais le plus souvent cette information est combinée à des notes de terrain procurant des données supplémentaires sur des signaux non verbaux et d’autres médias tels que des photographies ou des vidéos peuvent être également incluses. À première vue, ces données semblent non structurées et doivent être organisées afin de parvenir à une analyse utile. Cela implique habituellement la transcription d’enregistrements audio, souvent accompagnée d’une anonymisation simultanée et de l’intégration de notes de terrain aux endroits appropriés. Les chercheurs peuvent alors se familiariser avec la totalité des données et ensuite étudier l’information de façon systématique dans le but d’identifier les thèmes communs qui relient toutes ces données. Ce processus est souvent facilité par l’utilisation d’un ensemble de logiciels qui aide les chercheurs à annoter et relier électroniquement les données, bien qu’un processus équivalent puisse être entrepris avec des tableaux, des surligneurs, de la ficelle et des Post-it® : ce n’est pas la technologie mais le jugement de l’équipe de recherche qui constitue la base de l’analyse thématique. La stratégie d’identification des thèmes varie mais peut être classée, globalement, en approches déductives et inductives. L’approche déductive commence avec une hypothèse qui est testée par l’observation, auquel cas les thèmes sont définis d’avance et les données sont filtrées afin de localiser les passages ayant trait à ces thèmes. Elle s’applique donc mieux dans les domaines d’études dans lesquels la base théorique du comportement est bien établie. En revanche, l’approche inductive, comme celle utilisée par Bould et coll., commence avec des observations qui sont examinées à la recherche de motifs répétitifs qui constituent la base de nouvelles hypothèses. Les motifs répétitifs sont souvent décrits comme des « thèmes émergents », car ils ressortent des données au fur et à mesure des lectures et relectures, et ces thèmes sont divisés ou combinés au fur et à mesure que la compréhension des données s’améliore.5

Comme pour toute étude scientifique, la recherche qualitative doit être rigoureuse et comprendre une méthodologie reproductible qui implique la description d’une stratégie d’échantillonnage, de la technique de collecte des données et du processus d’analyse de ces données. Les mêmes normes doivent s’appliquer au compte rendu d’une étude qualitative comme on les appliquerait à tous les articles scientifiques, c’est-à-dire que des chercheurs correctement formés doivent être capables de répliquer l’étude dans leur propre cadre de travail. Cela est important parce que les sujets qui sont étudiés sont des êtres humains et non des cellules, des médicaments ou des récepteurs et les résultats d’une telle réplication de l’étude sont susceptibles de varier en fonction du contexte dans lequel ils ont été obtenus. En plus de la justification et de la description précise de la méthodologie, les chercheurs qualitatifs doivent reconnaître qu’ils sont des instruments potentiellement moins précis que ceux que l’on trouverait dans un laboratoire et, en conséquence, ils doivent prendre des dispositions pour limiter cette disparité. Ces dispositions incluent des mesures de fiabilité (par exemple, plusieurs chercheurs entreprenant de façon indépendante une analyse de toutes ou d’une partie des données pour vérifier une concordance) et des mesures de validité (par exemple, la présentation des résultats préliminaires à des participants de l’étude pour obtenir leur opinion sur les conclusions qui en ont été tirées). L’utilisation de multiples méthodologies comparant les données obtenues, souvent par le biais d’entretiens et d’observations, est une technique appelée triangulation et fournit une vérification des constatations en cas de accord. Pourtant, la signification de constatations discordantes est ouverte à la discussion, car les participants peuvent agir différemment en présence d’un chercheur ou ils pourraient ne pas faire ce qu’ils disent faire. L’influence du chercheur sur l’étude doit donc être minimisée, mais il est improbable qu’elle puisse être totalement exclue. En conséquence, les chercheurs qualitatifs doivent être « réflexifs »; ils doivent être transparents à propos de leur influence potentielle.6 L’article de Bould et coll. comporte un grand nombre de marqueurs de la rigueur décrite plus haut, et bien qu’il ne repose que sur une technique unique de collecte de données et qu’une triangulation pourrait être souhaitable, la répartition et la nature internationale du projet font que l’on voit mal comment de telles données pourraient avoir été raisonnablement obtenues.

Dans ce numéro du Journal, les lecteurs ont l’opportunité non seulement d’apprendre grâce à l’expérience de leurs collègues impliqués dans un projet éducatif international, mais aussi de mieux comprendre le processus rigoureux d’analyse que leurs très compétents collègues utilisent pour rapporter ces expériences. L’étude de Bould et coll. est donc bienvenue en illustrant comment une recherche qualitative peut améliorer l’éducation et la pratique en anesthésiologie.