Guide: Wie wir Evidenz bewerten

Ein Mangel an westlicher Dokumentation ist nicht dasselbe wie ein Mangel an Wirkung. Wenn die Literatur wenig zu einer Praxis enthält, bedeutet das, dass die westliche Wissenschaft sie noch nicht gemessen hat, nicht dass die Praxis nichts bewirkt. Was wir Ihnen sagen können, ist, was die Evidenz stützt, was gegen sie spricht, und wo noch niemand hingesehen hat, damit Sie selbst entscheiden können.

Die vier Stufen

Die Stufe erfasst, wie stark die Evidenz für eine Behauptung ist, von studienerprobt bis hinunter zu einem ersten Signal.

Stark. Randomisierte kontrollierte Studien, oder ein großer und konsistenter Bestand gut kontrollierter Evidenz. Eine Stark-Behauptung hat studienstarke oder gleichwertige Unterstützung und hat sich über Studien hinweg gehalten.

Mäßig. Echte unterstützende Studien, entweder kleiner oder mit gemischten Ergebnissen, und im Einklang mit dem Mechanismus. Die Richtung ist einigermaßen klar. Die Größe des Effekts ist nicht geklärt.

Aufkommend. Früh und vielversprechend: kleine Studien, ein starker Mechanismus und aktive laufende Forschung. Aufkommend bedeutet nicht Nein. Es bedeutet, dass die Frage offen ist und gerade bearbeitet wird.

Vorläufig. Ein mechanistisches oder beobachtendes Signal, mit dünnen oder fehlenden Daten zu Ergebnissen beim Menschen. Wir stellen das Signal dar und sagen, was fehlt, damit Sie es selbst abwägen können.

Wir verwenden keine „schwach“-Stufe. Sie liest sich als Urteil über die Therapie, während wir den Stand der Forschung beschreiben. Vorläufig trägt dieselbe Information ohne die Wertung.

Die Behauptung bewerten, nicht die Therapie

Eine Therapie ist nicht als Ganzes Stark oder schwach. Wärmeexposition hat gute randomisierte Evidenz für Gefäßfunktion und ein beobachtendes Signal für Mortalität. Sie hat eine Stark-Studie und eine ergebnislose Folgestudie zu Depression. Ihr Effekt auf das Wachstumshormon ist messbar, aber gering.

Die ganze Therapie als Stark zu bezeichnen würde die schwachen Teile überbewerten. Sie als Vorläufig zu bezeichnen würde die starken unterbewerten. Daher erhält jede Behauptung ihre eigene Stufe, und sie stehen nebeneinander auf der Seite.

Jede Behauptung lebt in einem einzigen Datensatz mit ihrer Stufe, ihrer Effektgröße, der Population, in der sie gemessen wurde, ihrer Grenze und ihrer Quelle. Deshalb kann dieselbe Tatsache nicht auf zwei verschiedenen Seiten mit zwei verschiedenen Stärken erscheinen: Es gibt nur eine Kopie davon.

Stärke ist keine Befürwortung

Eine Stufe sagt Ihnen, wie gut die Evidenz ist. Sie sagt Ihnen nicht, dass die Nachricht gut ist. Starke Evidenz kann auf einen Nutzen, ein Risiko oder auf nichts hindeuten. Deshalb trägt jedes Chip zwei Dinge zugleich: die Stufe, und die Richtung dessen, was gefunden wurde.

Ein Nutzen behält die Farbe seiner Stufe:

• grün für Stark,
• bernstein für Mäßig,
• blau für Aufkommend,
• salbeigrün für Vorläufig.

Ein Befund, der auf ein Risiko hindeutet, wird auf jeder Stufe rot, sodass eine Warnung nie in einer ruhigen Farbe gezeigt wird.

Ein Nullergebnis, oder eines, das gemischt ist, wird auf jeder Stufe grau. Ein graues Chip wird nie grün, weil grün sich als „das wirkt“ lesen würde, wenn gute Studien hinsahen und nichts fanden.

Farbe allein trägt nicht die Bedeutung. Grün ist ein starker Nutzen; bernstein, blau und salbeigrün sind Nutzen auf einer niedrigeren Stufe. Rot ist Schaden und grau ist keine Wirkung oder gemischt, bei jeder Stärke. Lesen Sie die Stufe und die Richtung zusammen, nie die Farbe allein.

Beobachtungsbefunde

Ein großer, konsistenter Bestand an Beobachtungsevidenz kann Stark erreichen. Eine einzelne auffällige Kohorte nicht. Kohortenstudien sind, wie wir über Dinge lernen, die nicht randomisiert werden können, und einige der wichtigsten Befunde in diesem Abschnitt sind beobachtend.

Wenn die Forschung noch nicht hingesehen hat

Manche Praktiken haben nur sehr wenig westliche Literatur hinter sich. Das ist eine Tatsache über die Literatur, nicht über die Praxis.

Forschung folgt Geld, und Geld folgt Patenten, Produkten und akademischen Karrieren. Eine freie Praxis, die niemand verkaufen kann, hat weniger Grund, erforscht zu werden, als ein Gerät, das man verkaufen kann. Wenn wir also sagen, die Evidenz sei dünn, meinen wir, dass die Studien nicht existieren, und wir kennzeichnen das getrennt von Studien, die existieren und nichts fanden. Das sind unterschiedliche Situationen, und sie verdienen unterschiedliche Sätze.

Die Grenzwissenschafts-Achse

Seiten der Wissenschaftsbibliothek tragen ein zweites, getrenntes Label: Etabliert, Aufkommend, Spekulativ oder Widerlegt. Es beschreibt, ob die zugrunde liegende Wissenschaft echt ist, eine andere Frage als die, ob eine darauf aufgebaute Therapie wirkt.

Dass Zellen Spannungen halten und dass Wunden elektrische Felder erzeugen, ist Etabliert. Dass ein auf dieser Idee basierendes Konsumgerät irgendetwas bewirkt, ist eine gesonderte Behauptung, gesondert bewertet, und meist viel niedriger. Die beiden Achsen getrennt zu halten erlaubt uns, Grenzwissenschaft ernst zu nehmen und trotzdem ein darauf aufgebautes Produkt nach seiner eigenen Evidenz zu bewerten.

Wo etwas unter verblindeten, replizierten Bedingungen getestet wurde und scheiterte, kennzeichnen wir es als Widerlegt und nennen den konkreten Grund für das Scheitern.

Was wir nicht tun

Wir jagen nicht jeder Behauptung hinterher, die andere Menschen aufstellen. Wir folgen der Forschung und den Beobachtungen und kennzeichnen, was jede davon ist.

Wir stellen kein Produkt auf eine Seite über eine Erkrankung. Wo Handel überhaupt existiert, lebt er auf der Seite, deren Thema jene Produktklasse ist, einen Klick von den Symptomen einer Leserin oder eines Lesers entfernt. Manche Themen tragen überhaupt kein Produkt.

Wir liegen auch manchmal falsch. Alles hier ist recherchiert, quergeprüft und umgeschrieben, und das macht es nicht fehlerfrei. Wo Sie einen Fehler finden, sagen Sie uns Bescheid, und wir korrigieren ihn. Unsere vollständige Methode steht in unserer redaktionellen Richtlinie.

Die chinesisch-medizinische Linse

Die chinesische Medizin wird nicht auf diesen Stufen bewertet, und es wäre ein Kategorienfehler, das zu versuchen. Sie ist ein klinisches System, das über zwei Jahrtausende durch Beobachtung aufgebaut wurde, mit eigener innerer Logik, eigener Diagnosemethode und eigenen Kriterien dafür, was als Wissen zählt.

Wenn wir sie neben einen Mechanismus stellen, legen wir eine beschreibende Sprache über eine andere, weil es erhellend ist, nicht weil eines das andere validiert.

Wir stellen auch dar, was die Tradition vertritt, einschließlich wo sie vor etwas warnt. Die chinesische Medizin behandelt Sauna nicht als universell vorteilhaft, und wir sagen das so.