Guide: Hoe wij bewijs beoordelen

Een gebrek aan westerse documentatie is niet hetzelfde als een gebrek aan effect. Wanneer de literatuur weinig heeft over een praktijk, betekent dat dat de westerse wetenschap het nog niet heeft gemeten, niet dat de praktijk niets doet. Wat wij u kunnen vertellen, is wat het bewijs ondersteunt, wat het tegenspreekt, en waar niemand heeft gekeken, zodat u zelf kunt beslissen.

De vier niveaus

Het niveau registreert hoe sterk het bewijs voor een bewering is, van in proeven getest tot een eerste signaal.

Sterk. Gerandomiseerde gecontroleerde onderzoeken, of een groot en consistent geheel van goed gecontroleerd bewijs. Een Sterke bewering heeft ondersteuning op proefniveau of gelijkwaardig, en heeft standgehouden over verschillende studies.

Matig. Echte ondersteunende proeven, hetzij kleiner hetzij gemengd in hun resultaten, en consistent met het mechanisme. De richting is redelijk duidelijk. De omvang van het effect staat niet vast.

Opkomend. Vroeg en veelbelovend: kleine proeven, een sterk mechanisme, en actief lopend onderzoek. Opkomend betekent geen nee. Het betekent dat de vraag open staat en er op dit moment aan wordt gewerkt.

Voorlopig. Een mechanistisch of observationeel signaal, met dunne of afwezige gegevens over menselijke uitkomsten. Wij presenteren het signaal en zeggen wat ontbreekt, zodat u het zelf kunt afwegen.

Wij gebruiken geen "zwak"-niveau. Dat leest als een oordeel over de therapie, terwijl wat wij beschrijven de staat van het onderzoek is. Voorlopig draagt dezelfde informatie zonder het redactionele oordeel.

De bewering beoordelen, niet de therapie

Een therapie is niet als geheel Sterk of zwak. Hitteblootstelling heeft goed gerandomiseerd bewijs voor vaatfunctie en een observationeel signaal voor sterfte. Ze heeft één Sterke proef en één neutrale vervolgstudie voor depressie. Het effect op groeihormoon is meetbaar maar gering.

De hele therapie Sterk noemen zou de zwakke delen overdrijven. Het Voorlopig noemen zou de sterke delen onderschatten. Daarom krijgt elke bewering haar eigen niveau, en ze staan naast elkaar op de pagina.

Elke bewering staat in één enkel record met haar niveau, haar effectgrootte, de populatie waarin ze werd gemeten, haar beperking en haar bron. Daarom kan hetzelfde feit niet op twee verschillende pagina's met twee verschillende sterktes verschijnen: er is maar één exemplaar van.

Sterkte is geen goedkeuring

Een niveau vertelt u hoe goed het bewijs is. Het vertelt u niet dat het nieuws goed is. Sterk bewijs kan wijzen op een voordeel, op een risico, of op niets. Dus elke chip draagt twee dingen tegelijk: het niveau, en de richting van wat er werd gevonden.

Een voordeel behoudt de kleur van zijn niveau:

• groen voor Sterk,
• amber voor Matig,
• blauw voor Opkomend,
• salie voor Voorlopig.

Een bevinding die op een risico wijst, wordt op elk niveau rood, zodat een waarschuwing nooit in een kalme kleur wordt getoond.

Een nulresultaat, of een gemengd resultaat, wordt op elk niveau grijs. Een grijze chip wordt nooit groen, omdat groen zou lezen als "dit werkt" terwijl goede proeven keken en niets vonden.

Kleur alleen draagt de betekenis niet. Groen is een Sterk voordeel; amber, blauw en salie zijn voordelen op een lager niveau. Rood is schade en grijs is geen effect of gemengd, op elke sterkte. Lees het niveau en de richting samen, nooit de kleur op zichzelf.

Observationele bevindingen

Een groot, consistent geheel van observationeel bewijs kan Sterk bereiken. Eén enkel opvallend cohort kan dat niet. Cohortstudies zijn hoe wij leren over dingen die niet gerandomiseerd kunnen worden, en enkele van de belangrijkste bevindingen in deze sectie zijn observationeel.

Wanneer het onderzoek nog niet heeft gekeken

Sommige praktijken hebben zeer weinig westerse literatuur achter zich. Dat is een feit over de literatuur, niet over de praktijk.

Onderzoek volgt financiering, en financiering volgt patenten, producten en academische carrières. Een gratis praktijk die niemand kan verkopen, heeft minder reden om onderzocht te worden dan een apparaat dat wel verkocht kan worden. Dus wanneer wij zeggen dat het bewijs dun is, bedoelen wij dat de onderzoeken niet bestaan, en dat markeren wij apart van onderzoeken die wel bestaan en niets vonden. Dat zijn verschillende situaties en ze verdienen verschillende formuleringen.

De grensvlak-as

Pagina's van de wetenschapsbibliotheek dragen een tweede, apart label: Gevestigd, Opkomend, Speculatief of Ontkracht. Het beschrijft of de onderliggende wetenschap echt is, een andere vraag dan of een daarop gebouwde therapie werkt.

Dat cellen spanningen dragen en dat wonden elektrische velden opwekken is Gevestigd. Dat een consumentenapparaat gebaseerd op dat idee iets doet, is een aparte bewering, apart beoordeeld, en meestal veel lager. Door de twee assen gescheiden te houden kunnen wij grenswetenschap serieus nemen, en toch een product dat erop gebouwd is beoordelen op zijn eigen bewijs.

Waar iets onder geblindeerde, gerepliceerde omstandigheden is getest en heeft gefaald, markeren wij het als Ontkracht en geven wij de specifieke reden waarom het faalde.

Wat wij niet doen

Wij jagen niet elke bewering na die andere mensen doen. Wij volgen het onderzoek en de observaties en markeren wat elk daarvan is.

Wij plaatsen geen product op een pagina over een aandoening. Waar commercie überhaupt bestaat, staat die op de pagina waarvan het onderwerp die productcategorie is, één klik van de symptomen van een lezer verwijderd. Sommige onderwerpen dragen helemaal geen product.

Wij hebben het ook wel eens mis. Alles hier is onderzocht, gekruiscontroleerd en herschreven, en dat maakt het niet foutvrij. Als u er een vindt, laat het ons weten en wij zullen het corrigeren. Onze volledige methode staat in ons redactioneel beleid.

De lens van de Chinese geneeskunde

De Chinese geneeskunde wordt niet op deze niveaus beoordeeld, en het zou een categoriefout zijn om dat te proberen. Het is een klinisch systeem opgebouwd door observatie over twee millennia, met haar eigen interne logica, haar eigen diagnostische methode, en haar eigen criteria voor wat telt als iets weten.

Wanneer wij haar naast een mechanisme plaatsen, leggen wij de ene beschrijvende taal over de andere omdat het verhelderend is, niet omdat de een de ander bevestigt.

Wij presenteren ook wat de traditie stelt, inclusief waar zij tegen iets waarschuwt. De Chinese geneeskunde behandelt sauna niet als universeel heilzaam, en dat zeggen wij ook.