“Accurate and transparent reporting is like turning on the light before you clean up the room: it doesn’t clean it for you but does tell you where the problems are”1

Despite the expensive and often highly competitive real estate in health care journals, two major publications have introduced new sections in their respective journals within the last few months, i.e., PLoS Medicine2 “…guidelines and guidance in PLoS medicine” and the BMJ3 “Research methods and reporting”. The new sections focus, to some extent, on ways to improve the quality of reporting health research. These intellectual investments emerge as ongoing concern continues about inadequately reported health research.4,5 Beyond the practical difficulties faced by readers who try to interpret incomplete research reporting, there is growing evidence as to the magnitude of inadequate reporting. Chan et al.6 compared 48 protocols of randomized trials that were funded by the Canadian Institutes of Health Research and their 68 associated publications. More than one in every three (40%) primary outcomes differed between the protocol and full publication, and statistically positive efficacy outcomes were more likely to be reported than non-significant efficacy outcomes (odds ratio = 2.7).

For some time, the editorial boards of health care journals (the major conduits for disseminating health care research) have been concerned about the quality of the research reports they publish. They have used three mechanisms to deal with this issue: instructions to authors, peer review, and editorial processes. In 1979 and more recently, the International Committee of Medical Journal Editors (ICMJE) provided guidance on reporting for authors. Although the ICMJE’s primary focus is on formatting issues pertaining to research reports, editorial boards of journals that support this guidance typically incorporate this information into their Instructions to Authors section. Some journals, such as the BMJ, British Journal of Obstetrics and Gynaecology, and the CMAJ have moved this process forward. However, prior to the mid 1990s, few efforts were specifically aimed at developing reporting guidelines for health research studies. Peer review is another process used by journals to deal with the problem, although its effectiveness at improving the quality of reports is uncertain.7 Finally, and more recently, researchers have begun examining the editorial processes used in accepting manuscripts for publication,8 the clarity and completeness of submissions being a major factor.

These foregoing efforts are aimed at helping authors at the publication stage of their research. However, there appears to be a gap in guidance for authors from the time they carry out their research to the point of publication, i.e., a gap in direction much earlier on in the knowledge generation-translation cycle. A reporting guideline may fill this gap, i.e., a checklist, flow diagram, or explicit text to guide authors who are reporting a specific type of research using explicit methodology. The CONSORT Statement9 is an example of a reporting guideline. This systematic approach needs to be differentiated from other efforts even if a checklist is produced, such as the recent efforts to improve the design and conduct of self-administered surveys.10 This definition would also exclude formatting guidance for reporting health research, such as some journals ‘Instructions to Authors’.

Perhaps the first reporting guideline was the CONSORT Statement for reporting the ‘classic’ two group parallel randomized controlled trial. Following a face-to-face meeting of medical journal editors, clinical trial researchers, and methodologists, in Ottawa, Canada, in 1993, a checklist of 22 items was produced for authors to consider when reporting the primary results of their randomized trial. A flow diagram was incorporated to help authors give their readers some clarity as to the flow of participants throughout the trial. This early draft was subsequently iterated many times until the group signed off on the final version—CONSORT 1996.11 The selection of items for the checklist was based on disclosing evidence, whenever available. For example, CONSORT 1996 asked authors to inform readers how they achieved adequate allocation concealment. New evidence (at that time) indicated that inadequately generated and/or reported allocation concealment biased the estimates of the intervention’s effectiveness by about 30%.12 A unique attribute of the checklist approach is that ‘judgements’ are not being made about the quality of the research undertaken. Rather, the emphasis is on asking authors to provide readers with a coherent, accurate, and transparent report of their research. The Journal adopted CONSORT in 2000, and stipulates that authors send a completed CONSORT checklist whenever they submit reports of randomized controlled trials.

A reporting guideline is an ‘intervention’ aimed at improving the quality of reporting of a particular study design (cohort), study type (quality improvement), or type of data (harms). Like any intervention, the guideline must be assessed as to whether it improves the quality of reports for which it was developed. Until now, most research on this issue has been focused on the effectiveness of CONSORT, perhaps because it has been in existence the longest. An early evaluation of CONSORT was completed by Devereaux et al.13 Using 11 items adapted from the CONSORT 1996 checklist, trained assessors examined 98 reports of randomized trials published in 26 journals in 1997 (median year of publication); 10 journals explicitly endorsed CONSORT, while the remaining 16 did not. Although it was discouraging that only six of the 11 items were reported less than 50% of the time, a greater number of items were reported in journals endorsing CONSORT. A systematic review of these evaluations has recently been completed,14 and the results indicate that use of the CONSORT Statement for reporting randomized trials is associated with improved quality. However, the quality of reporting of randomized trials across journals is less than optimal.

The ‘weaker’ effect may be due to the manner in which CONSORT has been endorsed and adhered to by journals. Altman15 reviewed the Instructions to Authors sections of 166 high impact factor journals (the top 15 general and internal medicine journals and the top five from each of 33 medical categories) and observed that only 33 (22%) included any mention of the CONSORT Statement. In a follow up five years later, Hopewell and colleagues16 observed that 62 (38%) of 165 journal Instructions to Authors mentioned CONSORT (121 journals were included in both the 2003 and 2007 samples; of these, 32 (26%) of 121 journals in 2003 provided any mention of CONSORT compared to 47 (39%) in 2007, a relative increase of 50%). While this is an impressive improvement (73%) there are still less than 50% of high impact factor journals endorsing the CONSORT statement. Hopewell and colleagues also examined adherence of these 165 journals. Of the 62 journals mentioning CONSORT in their Instructions to Authors (endorsement), only 23 of them were explicit about authors needing to 'conform' to the CONSORT as part of their submission requirement (adherence). The remaining journals were vague in the language they used to guide authors when submitting reporting of randomized trials to their journals.

There has yet to be a systematic review identifying and characterizing existing reporting guidelines; even so, we estimate that at least 90 are in existence covering a broad range of health care research. These guidelines, found on the EQUATOR Network web site, www.equator-network.org, embrace a broad spectrum of health research designs, including CONSORT and its many extensions (reporting randomized trials), STROBE (reporting observational studies, in particular, cross sectional, case control, and cohort designs), STARD (reporting diagnostic accuracy studies), STREGA (reporting genetic epidemiology studies), and many others. Reporting guidelines also exist for reporting types of data, such as harms from randomized trials. Similarly, reporting guidelines exist for different types of studies, such as reporting quality improvement studies (SQUIRE).

The EQUATOR Network, initiated in 2006 following the work of the CONSORT group and other reporting guideline groups, has five main goals: 1) to build a comprehensive web-based resource centre to develop and maintain up-to-date information, tools, and other materials related to reporting health research; 2) to create a network of reporting guideline developers and to initiate and maintain mutual collaboration; 3) to actively promote reporting guidelines and their use by developing online training courses for editors, peer reviewers, and researchers, and creating additional activities to raise awareness of the importance of reporting guidelines; 4) to regularly evaluate how journals implement reporting guidelines; 5) to conduct regular audits of reporting quality across the health literature.

The study of reporting guidelines is an emerging field of investigation. Several projects are in various stages of development, including a systematic review to identify and characterize existing reporting guidelines; guidance for guideline developers on how to develop a reporting guideline; guidance on how authors, peer reviewers, and editors can optimally use reporting guidelines; the development of an instrument on how to appraise reporting guidelines; and efforts to improve the endorsement of and adherence to reporting guidelines. While it is not entirely clear how a guideline can best be developed, there are likely a core set of tasks that need consideration. Once a reporting guideline is developed, the authors (and other stakeholders) will require help to understand how best it can be used. While it is encouraging to identify a large number of reporting guidelines, it is likely that they were developed idiosyncratically, as there are no agreed upon methods for their development. As such, some caution may be in order. There is likely a growing need to develop an instrument that will help authors (and other stakeholders) to appraise the usefulness of any reporting guideline. Once a systematic review of reporting guidelines has been completed, such a tool will likely be created. This is will help to characterize similarities and differences used by reporting guideline developers to create their respective reporting guidelines.

Few reporting guidelines have been updated, although most (83%) guideline developers recognize the need to do so.17 This will be a major challenge for reporting guideline developers, as evidence from other areas of health research indicate that knowledge is fluid and can quickly go out of date.18

Reporting guidelines are at one end of the knowledge generation cycle. Consideration should be given to efforts earlier in the research generation cycle, such as ways to improve the conduct of health research. At the grant application stage, sponsors should encourage prospective applicants to adequately address the items included in the reporting guidelines in their application. This may facilitate optimal use of scarce fiscal resources. Some groups are already moving in this direction, for example, the OMERACT (Outcome Measures in Rheumatoid Arthritis Clinical Trials) group, aims to encourage rheumatology researchers to use a core set of defined outcomes in any trials assessing a rheumatology outcome.19 Such a collaborative approach to the conduct of these trials has obvious advantages for all readers, especially systematic reviewers. Most recently, this collaborative approach has been taken up by the International Forum of Standards for Research in Children (http://www.ifsrc.org/).

Improving the quality of reporting health research is not the sole responsibility of any one person or group. Sponsors, researchers, authors, peer reviewers, editors, journal publishers, and consumers must work together to improve the design, conduct, and reporting of health research. We all share this obligation and responsibility.

« Une communication précise et transparente, c’est comme allumer la lumière avant de nettoyer une pièce: cela ne la nettoie pas pour vous, mais cela vous dit où sont les problèmes. »1

Malgré le coût élevé et la compétition souvent acharnée pour obtenir des plages dans les revues de soins de santé, deux publications majeures ont introduit de nouvelles sections dans leurs revues respectives au cours des derniers mois : PLoS Medicine2 a introduit ses « … guidelines and guidance in PLoS medicine » (« directives et conseils en médecine de la PLoS ») et le BMJ3 a fait de la place pour une section intitulée « Research methods and reporting » (« Méthodes de recherche et communication des résultats »). Ces nouvelles sections traitent, dans une certaine mesure, des façons d’améliorer la communication des résultats de recherche dans le domaine de la santé. Ces investissements intellectuels voient le jour alors que les préoccupations concernant la communication inadéquate des résultats de recherche en santé sont toujours d’actualité.4,5 Outre les difficultés pratiques auxquelles les lecteurs font face lorsqu’ils tentent d’interpréter des communications de résultats de recherche incomplètes, un amoncellement croissant de données rapportent l’ampleur de ce phénomène de communication inadéquate des résultats. Chan et coll.6 ont comparé 48 protocoles d’études randomisées financées par les Instituts de recherche en santé canadiens ainsi que les 68 publications associées. Ils ont rapporté que les résultats primaires différaient entre le protocole et la publication dans plus d’un tiers (40 %) des cas, et les résultats d’efficacité statistiquement positifs avaient plus de chances d’être rapportés que les résultats d’efficacité non significatifs (rapport de cotes = 2,7).

Depuis un certain temps, les comités de rédaction des revues en soins de santé (les véhicules principaux de la dissémination de la recherche en santé) portent une attention particulière à la qualité des comptes-rendus de recherche qu’ils publient. Pour traiter de ces questions, ils ont mis trois mécanismes en place : des directives aux auteurs, la révision par les pairs, et les processus éditoriaux. En 1979 et plus récemment, le Comité international des rédacteurs de revues médicales (CIRRM) a publié des conseils aux auteurs en ce qui touche à la communication de résultats. Bien que la préoccupation majeure du CIRRM porte sur des questions de formatage en matière de comptes-rendus de recherche, les comités de rédaction qui appuient ces directives intègrent généralement ces informations dans leurs Directives aux auteurs. Certaines revues, comme par exemple le BMJ, le British Journal of Obstetrics and Gynaecology et le JAMC ont activement mis en œuvre ce processus. Cependant, avant le milieu des années 90, peu d’efforts ont été faits dans le sens de l’élaboration spécifique de directives en matière de communication des résultats des études de recherche en santé. La révision par les pairs est un autre processus utilisé par les revues pour résoudre ce problème, bien que l’efficacité d’un tel processus pour améliorer la qualité des comptes-rendus demeure incertaine.7 Enfin, plus récemment, certains chercheurs ont commencé à s’intéresser aux processus éditoriaux utilisés pour accepter des manuscrits pour publication,8 étant donné que la clarté et l’exhaustivité des manuscrits soumis jouent un rôle prépondérant.

Les efforts mentionnés ci-dessus ont pour but d’aider les auteurs au stade de la publication de leur recherche. Toutefois, il semble y avoir une lacune dans les conseils prodigués aux auteurs entre le temps où ils réalisent leur recherche et le moment de la publication, en d’autres termes un manque d’orientation bien plus tôt dans le cycle de génération et d’application des connaissances. Une directive en matière de communication pourrait combler cette lacune, soit une liste de contrôle, un organigramme, ou des textes explicites visant à guider les auteurs rapportant un type spécifique de recherche et utilisant une méthodologie explicite. L’énoncé CONSORT9 est un bon exemple de directive de communication des résultats. Cette approche méthodique doit être distincte des autres efforts d’élaboration des directives et ce, même si une liste de contrôle est élaborée, telle que les efforts récents effectués dans le but d’améliorer la conception et la réalisation de sondages auto-administrés.10 Cette définition exclurait également les directives de formatage pour la communication des résultats de recherche en santé qui sont comprises dans les « Directives aux auteurs » de certaines revues.

Il se peut que la première directive en matière de communication des résultats à avoir vu le jour soit l’Énoncé CONSORT portant sur l’amélioration de la qualité des rapports « conventionnels » d’étude à groupe parallèle randomisées et contrôlées. À la suite de rencontres en personne avec des rédacteurs de revues médicales, des chercheurs cliniciens et des spécialistes de la méthodologie à Ottawa, Canada, en 1993, une liste de contrôle comportant 22 éléments a été réalisée à l’intention des auteurs, afin qu’ils puissent s’y référer lors de la communication des résultats primaires de leur étude randomisée. Un organigramme a été intégré pour aider les auteurs à fournir un certain degré de clarté à leur lectorat concernant le flux des participants tout au long de l’étude. Cette première ébauche a été réitérée à plusieurs reprises par la suite, jusqu’à ce que le groupe approuve la version finale, CONSORT 1996.11 La sélection des divers éléments qui devraient figurer sur la liste de contrôle s’est fondée sur des données de divulgation lorsque celles-ci étaient disponibles. Par exemple, l’énoncé CONSORT 1996 demandait aux auteurs d’informer les lecteurs concernant la manière dont ils avaient procédé pour répartir les participants dans les différents groupe en aveugle. De nouvelles données probantes (à l’époque) ont indiqué qu’une dissimulation de l’affectation des groupes d’études générée et/ou rapportée de façon inadaptée biaisait les estimations quant à l’efficacité d’une intervention d’environ 30 %.12 Un des avantages de la liste de contrôle réside dans le fait qu’aucun « jugement » n’est émis concernant la qualité de la recherche entreprise. Au contraire, l’emphase est mise sur le fait de demander aux auteurs de fournir aux lecteurs un compte-rendu cohérent, précis et transparent de leur recherche. Le Journal a adopté l’énoncé CONSORT en 2000 et stipule que les auteurs joignent une liste de contrôle CONSORT dûment remplie à leur soumission de comptes-rendus d’études randomisées contrôlées.

Une directive de communication des résultats est une « procédure » qui a pour objectif d’améliorer la qualité de la communication d’un concept d’étude (étude de cohorte), d’un type d’étude (amélioration de la qualité) ou d’un type de données (éléments nocifs) en particulier. Comme toute procédure, cette directive doit être évaluée et il faut se demander si elle améliore la qualité des comptes-rendus qui ont justifié son élaboration. Jusqu’à présent, la plus grande partie de la recherche effectuée à ce sujet s’est concentrée sur l’efficacité de l’énoncé CONSORT – possiblement parce que cette directive est celle qui existe depuis le plus longtemps. Une première évaluation de l’énoncé CONSORT a été réalisée par Devereaux et coll.13 À l’aide de 11 éléments adaptés de la liste de contrôle de CONSORT 1996, des évaluateurs professionnels ont examiné 98 comptes-rendus d’études randomisées publiés dans 26 revues en 1997 (année médiane de publication); au total, 10 revues adhéraient explicitement aux directives de CONSORT, ce qui n’était pas le cas des 16 autres. Bien qu’il soit quelque peu décourageant que seulement 6 des 11 éléments de la liste soient rapportés dans moins de 50 % des cas, un plus grand nombre d’éléments étaient rapportés dans les revues appuyant les directives CONSORT. Une revue méthodique de ces évaluations a été réalisée récemment,14 et les résultats indiquent que l’utilisation de l’énoncé CONSORT pour la communication des résultats des études randomisées était associée avec une qualité améliorée. Toutefois, la qualité de la communication des résultats d’études randomisées est loin d’être optimale dans toutes les revues.

Cet effet « plus faible » pourrait être lié à la façon dont l’énoncé CONSORT a été adopté et utilisé par les revues. Altman15 a passé en revue les sections de Directives aux auteurs de 166 revues à facteur d’impact élevé (les 15 revues de médecine générale et de médecine interne les plus importantes et les cinq revues les plus importantes dans chacune de 33 catégories médicales). Il a observé que seulement 33 revues (22 %) faisaient référence à l’énoncé CONSORT. Dans une étude de suivi cinq ans plus tard, Hopewell et coll.16 ont observé que 62 (38 %) des 165 Directives aux auteurs de revues faisaient mention de l’énoncé CONSORT (121 revues ont été inclues dans les échantillons de 2003 et de 2007; parmi ces 121 revues, 32 (26 %) ont fait une mention quelconque de l’énoncé CONSORT en 2003, comparativement à 47 (39 %) en 2007, soit une augmentation relative de 50 %). Tout en constituant une amélioration impressionnante (73 %), moins de 50 % des revues à facteur d’impact élevé soutiennent l’énoncé CONSORT à l’heure actuelle. Hopewell et coll. ont également examiné l’adhésion aux directives de ces 165 revues. Des 62 revues faisant mention de l’énoncé CONSORT dans leur Directives aux auteurs (soutien), seules 23 revues explicitaient l’exigence pour les auteurs de se « conformer » à l’énoncé CONSORT dans le cadre de leurs exigences de soumission (adhésion). La langue utilisée dans les autres revues demeurait vague concernant les directives à l’intention des auteurs soumettant des comptes-rendus d’études randomisées pour publication.

Une revue méthodique identifiant et caractérisant les directives de communication des résultats existantes doit encore être réalisée; cependant, nos estimations nous incitent à penser qu’au moins 90 directives différentes existent, lesquelles couvrent un large éventail de recherche en soins de santé. Ces directives, disponibles sur le site Internet du Réseau EQUATOR, www.equator-network.org, recoupent un large éventail de concepts de recherches en santé, y compris l’énoncé CONSORT et ses nombreuses additions (communication des résultats des études randomisées), les directives STROBE (communication des résultats des études observationnelles et plus particulièrement les concepts d’études transversales, cas-témoins et de cohorte), les directives STARD (communication des résultats d’études d’exactitude du diagnostic), les directives STREGA (communication des résultats d’études génétiques épidémiologiques), et bien d’autres. Des directives de communication de résultats existent également concernant la communication de différents types de données, tels que les éléments nuisibles des études randomisées. En outre, il existe des directives de communication des résultats concernant les différents types d’études, telles que les directives SQUIRE qui portent sur la communication des résultats d’études d’amélioration de la qualité.

Lancé en 2006 à la suite des travaux du groupe CONSORT et d’autres groupes élaborant des directives quant à la communication des résultats, le Réseau EQUATOR a cinq objectifs principaux : 1) bâtir un centre de ressources en ligne exhaustif pour élaborer et maintenir à jour des informations, des outils et autres matériels liés à la communication des résultats des recherches en santé; 2) créer un réseau de développeurs de directives de communication des résultats et initier et maintenir une collaboration mutuelle; 3) faire une promotion active des directives de communication des résultats et de leur utilisation grâce à la mise en place de cours de formation en ligne destinés aux rédacteurs, aux lecteurs experts et aux chercheurs, ainsi que créer des activités supplémentaires pour attirer l’attention sur l’importance des directives de communication des résultats; 4) évaluer régulièrement la façon dont les revues mettent en œuvre les directives de communication des résultats; et 5) réaliser des contrôles réguliers de la qualité en matière de communications de résultats dans la littérature en santé.

L’étude des directives de communication des résultats est un nouveau domaine de recherche. Divers projets sont en cours d’élaboration à des degrés différents d’avancement, y compris une revue méthodique réalisée afin d’identifier et de caractériser les directives de communication des résultats existantes; des conseils destinés aux développeurs de directives concernant la manière d’élaborer une directive de communication des résultats, des conseils concernant la façon dont les auteurs, les lecteurs experts et les rédacteurs peuvent utiliser les directives de manière optimale; l’élaboration d’un instrument permettant d’évaluer les directives de communication des résultats; et des efforts afin d’améliorer le soutien et l’adhésion aux directives de communication des résultats. Bien que nous ne connaissions pas de méthode optimale pour élaborer une directive, il est fort probable qu’il existe un ensemble de tâches de base à prendre en considération. Une fois qu’une directive de communication des résultats est élaborée, les auteurs (et autres parties prenantes) auront besoin d’aide pour comprendre comment l’utiliser au mieux. Le fait de pouvoir identifier un nombre important de directives est certes encourageant; néanmoins, il est possible qu’elles aient été élaborées de façon idiosyncrasique, étant donné qu’il n’existe aucune méthode approuvée pour leur élaboration. Dès lors, la prudence est de mise. Il est probablement de plus en plus pressant d’élaborer un instrument qui aidera les auteurs (et autres parties prenantes) à évaluer l’utilité d’une directive de communication des résultats donnée. Il est probable qu’un tel outil soit créé lorsqu’une étude méthodique des directives de communication des résultats aura été réalisée. Cet outil permettra de caractériser les similitudes et les différences utilisées par les développeurs de directives de communication des résultats lorsqu’ils créent leurs directives respectives.

Un nombre limité de directives de communication des résultats a été mis à jour et ce, malgré le fait que la plupart (83 %) des développeurs de directives en reconnaissent le besoin.17 Cette mise à jour constituera un défi d’envergure pour les développeurs de directives de communication des résultats; en effet, des données probantes provenant d’autres domaines de la recherche en santé indiquent que les connaissances sont mouvantes et peuvent rapidement devenir obsolètes.18

Les directives de communication des résultats se situent à une extrémité du cycle de génération des connaissances. Il sera nécessaire de tenir compte des efforts réalisés plus tôt dans le cycle de génération de la recherche, comme par exemple des façons d’améliorer la réalisation des recherches en santé. Au stade de la soumission de la demande de fonds, les promoteurs devraient encourager les candidats potentiels à traiter de façon adaptée les éléments compris dans les directives de communication des résultats lors de leur soumission. Ainsi, il est possible que l’utilisation optimale de ressources financières restreintes soit facilitée. Certains organismes s’orientent déjà dans cette direction, notamment le groupe OMERACT (Outcome Measures in Rheumatoid Arthritis Clinical Trials), qui a pour objectif d’encourager les chercheurs en rhumatologie à utiliser un ensemble de base de résultats définis dans toute étude évaluant un devenir rhumatologique.19 Une telle approche de collaboration pour la réalisation de ces études présente des avantages évidents, pour tous les lecteurs et pour les lecteurs experts habituels en particulier. Tout récemment, cette approche collaborative a été adoptée par l’IFSRC (International Forum of Standards for Research in Children – http://www.ifsrc.org/).

L’amélioration de la qualité de la communication des résultats de recherche en santé n’incombe pas exclusivement à une personne ou un groupe donné. Promoteurs, chercheurs, auteurs, lecteurs experts, rédacteurs, éditeurs de revues et consommateurs doivent collaborer afin d’améliorer la conception, la réalisation et la communication des résultats de recherche en santé. Nous partageons tous cette obligation et cette responsabilité.