Guide: Comment nous évaluons les preuves

Une absence de documentation occidentale n'est pas la même chose qu'une absence d'effet. Quand la littérature contient peu d'éléments sur une pratique, cela signifie que la science occidentale ne l'a pas encore mesurée, pas que la pratique ne fait rien. Ce que nous pouvons vous dire, c'est ce que les preuves soutiennent, ce contre quoi elles pèsent, et où personne n'a encore regardé, afin que vous puissiez décider par vous-même.

Les quatre niveaux

Le niveau enregistre la solidité des preuves d'une affirmation, du stade testé en essai jusqu'à un premier signal.

Forte. Essais contrôlés randomisés, ou corpus de preuves large et cohérent bien contrôlé. Une affirmation Forte dispose d'un soutien de niveau essai ou équivalent et a tenu bon à travers les études.

Modérée. De réels essais à l'appui, soit plus petits soit aux résultats mitigés, et cohérents avec le mécanisme. La direction est raisonnablement claire. L'ampleur de l'effet n'est pas établie.

Émergente. Précoce et prometteur : petits essais, mécanisme solide, et recherche active en cours. Émergente ne veut pas dire non. Cela veut dire que la question est ouverte et en cours d'étude en ce moment même.

Préliminaire. Un signal mécanistique ou observationnel, avec des données de résultats humains minces ou absentes. Nous présentons le signal et indiquons ce qui manque, afin que vous puissiez le peser vous-même.

Nous n'utilisons pas de niveau « faible ». Cela se lit comme un verdict sur la thérapie alors que ce que nous décrivons est l'état de la recherche. Préliminaire véhicule la même information sans le jugement de valeur.

Évaluer l'affirmation, pas la thérapie

Une thérapie n'est pas Forte ou faible dans son ensemble. L'exposition à la chaleur dispose de bonnes preuves randomisées pour la fonction vasculaire et d'un signal observationnel pour la mortalité. Elle a un essai Fort et un suivi nul pour la dépression. Son effet sur l'hormone de croissance est mesurable mais mineur.

Appeler toute la thérapie Forte exagérerait les parties faibles. L'appeler Préliminaire minimiserait les parties solides. Donc chaque affirmation obtient son propre niveau, et ils se côtoient sur la page.

Chaque affirmation vit dans un enregistrement unique avec son niveau, sa taille d'effet, la population dans laquelle elle a été mesurée, sa limite et sa source. C'est pourquoi le même fait ne peut pas apparaître à deux niveaux de force différents sur deux pages différentes : il n'en existe qu'une seule copie.

La force n'est pas une approbation

Un niveau vous dit à quel point les preuves sont bonnes. Il ne vous dit pas que la nouvelle est bonne. Des preuves Fortes peuvent indiquer un bénéfice, un risque, ou rien du tout. Donc chaque puce porte deux choses à la fois : le niveau, et la direction de ce qui a été trouvé.

Un bénéfice conserve la couleur de son niveau :

• vert pour Forte,
• ambre pour Modérée,
• bleu pour Émergente,
• vert sauge pour Préliminaire.

Un constat qui indique un risque devient rouge à tous les niveaux, de sorte qu'une mise en garde n'est jamais affichée dans une couleur apaisante.

Un résultat nul, ou mitigé, devient gris à tous les niveaux. Une puce grise ne devient jamais verte, car le vert se lirait comme « cela fonctionne » alors que de bons essais ont cherché et n'ont rien trouvé.

La couleur seule ne porte pas le sens. Le vert est un bénéfice Fort ; l'ambre, le bleu et le vert sauge sont des bénéfices à un niveau inférieur. Le rouge est un risque et le gris est une absence d'effet ou un résultat mitigé, quelle que soit la force. Lisez le niveau et la direction ensemble, jamais la couleur seule.

Constats observationnels

Un corpus large et cohérent de preuves observationnelles peut atteindre le niveau Fort. Une seule cohorte frappante ne le peut pas. Les études de cohorte sont la façon dont nous apprenons des choses qui ne peuvent pas être randomisées, et certains des constats les plus importants de cette section sont observationnels.

Quand la recherche n'a pas encore regardé

Certaines pratiques n'ont que très peu de littérature occidentale derrière elles. C'est un fait sur la littérature, pas sur la pratique.

La recherche suit le financement, et le financement suit les brevets, les produits et les carrières universitaires. Une pratique gratuite que personne ne peut vendre a moins de raisons d'être étudiée qu'un dispositif qui, lui, peut l'être. Donc quand nous disons que les preuves sont minces, nous voulons dire que les études n'existent pas, et nous distinguons cela des études qui existent et n'ont rien trouvé. Ce sont des situations différentes et elles méritent des formulations différentes.

L'axe de la frontière

Les pages de la bibliothèque scientifique portent une seconde étiquette, distincte : Établie, Émergente, Spéculative ou Réfutée. Elle décrit si la science sous-jacente est réelle, une question différente de savoir si une thérapie construite dessus fonctionne.

Que les cellules portent des tensions et que les plaies génèrent des champs électriques est Établi. Qu'un appareil grand public basé sur cette idée fasse quoi que ce soit est une affirmation distincte, évaluée séparément, et généralement bien plus bas. Garder les deux axes séparés nous permet de prendre la science de frontière au sérieux, tout en évaluant un produit construit dessus selon ses propres preuves.

Là où quelque chose a été testé dans des conditions randomisées en aveugle et répliquées, et a échoué, nous le marquons Réfuté et donnons la raison précise de son échec.

Ce que nous ne faisons pas

Nous ne pourchassons pas chaque affirmation faite par d'autres. Nous suivons la recherche et les observations et indiquons ce qu'est chacune d'elles.

Nous ne mettons pas de produit sur une page consacrée à une pathologie. Là où le commerce existe, il se trouve sur la page dont le sujet est cette classe de produit, à un clic des symptômes du lecteur. Certains sujets ne comportent aucun produit du tout.

Nous nous trompons aussi parfois. Tout ici est recherché, recoupé et réécrit, et cela ne le rend pas exempt d'erreurs. Si vous en trouvez une, dites-le-nous et nous la corrigerons. Notre méthode complète se trouve dans notre politique éditoriale.

Le prisme de la médecine chinoise

La médecine chinoise n'est pas évaluée selon ces niveaux, et ce serait une erreur de catégorie que d'essayer. C'est un système clinique construit par l'observation sur deux millénaires, avec sa propre logique interne, sa propre méthode diagnostique, et ses propres critères de ce qui compte comme savoir quelque chose.

Quand nous la plaçons à côté d'un mécanisme, nous superposons un langage descriptif à un autre parce que c'est éclairant, non parce que l'un validerait l'autre.

Nous présentons aussi ce que soutient la tradition, y compris là où elle met en garde contre quelque chose. La médecine chinoise ne considère pas le sauna comme universellement bénéfique, et nous le disons.