Guide: Cara Membaca Sebuah Studi

Sebuah studi menjelaskan apa yang terjadi pada satu kelompok orang tertentu, diukur dengan satu cara tertentu, oleh peneliti dengan pertanyaan tertentu dan pendana tertentu. Membaca satu studi dengan baik bermuara pada empat pertanyaan: siapa yang ada di dalamnya, apa yang sebenarnya diukur, seberapa yakin angka-angkanya, dan apakah kesimpulan yang dinyatakan cocok dengan temuan di baliknya. Keempat pertanyaan yang sama bekerja pada hampir semuanya, dari siaran pers dua baris hingga makalah 30 halaman.

Kami memberi peringkat setiap klaim di situs ini dengan salah satu dari empat label: Kuat, Sedang, Baru Berkembang, atau Awal, dijabarkan dalam cara kami menilai bukti. Alat-alat di bawah ini adalah cara Anda memeriksa studi di balik label apa pun, termasuk milik kami.

Tangga Bukti

Desain sebuah studi memberi tahu Anda kira-kira seberapa jauh mempercayainya sebelum Anda membaca satu angka pun. Lima desain luas berada pada sebuah tangga, dari yang paling lemah di bawah hingga yang paling kuat di atas.

Di bagian bawah adalah laporan kasus, atau serangkaian kasus dari segelintir pasien: satu orang yang menjalani suatu pengobatan dan hasilnya baik atau buruk. Ini adalah anekdot. Ini dapat memunculkan pertanyaan yang layak diteliti. Ini tidak dapat menyelesaikan satu, karena tidak ada seorang pun untuk dibandingkan dengan pasien tersebut.

Berikutnya datang studi observasional, tempat peneliti mengamati orang yang sudah atau tidak melakukan sesuatu. Survei potong-lintang adalah cuplikan satu momen. Studi kasus-kontrol dimulai dari orang yang memiliki suatu hasil dan melihat ke belakang. Studi kohort mengikuti sebuah kelompok ke depan, kadang selama 10 atau 20 tahun. Studi-studi ini dapat menunjukkan bahwa dua ukuran naik dan turun bersamaan, mengukur seberapa kuat, dan mengungkapkan respons-dosis. Studi-studi ini tidak dapat menunjukkan bahwa satu menyebabkan yang lain, karena orang yang melakukan hal itu berbeda dari yang tidak dalam seratus cara lain.

Uji coba terkendali acak adalah alat yang dibangun untuk memperbaiki perancu. Menugaskan orang ke pengobatan atau kontrol secara kebetulan membuat kedua kelompok sama rata-rata, baik faktor yang diketahui maupun yang tidak diketahui, sehingga perbedaan setelahnya dapat secara masuk akal dikaitkan dengan pengobatannya. Penyamaran, di mana baik pasien maupun penilai tidak tahu siapa yang mendapat apa, mencegah ekspektasi membentuk hasilnya.

Di bagian atas, tinjauan sistematis mengumpulkan setiap studi tentang sebuah pertanyaan dan menilainya bersama-sama; meta-analisis menggabungkan angka-angka mereka menjadi satu perkiraan. Bila dilakukan dengan baik, ini adalah hal paling andal yang kita miliki. Bila dilakukan pada tumpukan studi lemah, ini adalah rata-rata rapi dari studi lemah, tidak lebih kuat dari yang dimasukkan.

Tangga itu memberi Anda titik awal dan tidak lebih. Satu kohort besar yang bersih dapat mengalahkan uji coba acak kecil dan ceroboh terhadap 30 orang. Desain menetapkan ekspektasi Anda; metodenya memberi tahu Anda apakah sebuah studi memenuhinya.

Korelasi Bukan Sebab

Selama bertahun-tahun, minum kopi tampak terkait dengan kanker paru, hingga peneliti memperhatikan bahwa peminum kopi pada era itu juga merokok jauh lebih banyak. Itulah kesalahan di balik sebagian besar judul berita kesehatan yang buruk, dan itu mengambil dua bentuk.

Yang pertama adalah perancu, di mana faktor ketiga mendorong kedua hal itu sekaligus. Penjualan es krim dan tenggelam meningkat bersamaan hanya karena keduanya naik pada musim panas. Terapi hormon adalah versi yang mahal: selama bertahun-tahun ini tampak melindungi jantung dalam data observasional, karena wanita yang mengonsumsinya lebih sehat dan lebih kaya sejak awal, pola yang disebut bias pengguna-sehat. Uji coba acak yang mengikutinya tidak menemukan perlindungan sama sekali.

Bentuk kedua adalah kausalitas terbalik, di mana panahnya menunjuk arah yang lain. Orang pada tahap awal suatu penyakit sering bergerak lebih sedikit, sehingga "duduk terkait dengan penyakit" bisa jadi penyakitnya yang menyebabkan duduk itu, dengan panah sesungguhnya terbalik.

Randomisasi memutus kedua jebakan itu, itulah sebabnya tangga menempatkan uji coba di atas kohort. Namun untuk banyak pertanyaan penting, data observasional adalah satu-satunya yang akan pernah ada, karena mengacak orang akan kejam atau mustahil. Empat tanda kemudian membuat bacaan kausal lebih kredibel: respons-dosis yang jelas, penyebab yang datang sebelum efeknya, mekanisme biologis yang masuk akal, dan hasil yang sama muncul di berbagai populasi yang berbeda. Tidak satu pun yang menentukan sendirian. Bersama-sama, itulah cara orang yang cermat bernalar tentang penyebab yang tidak dapat mereka acak.

Risiko Relatif Versus Absolut

Satu angka menyesatkan lebih banyak pembaca dibandingkan angka lain mana pun pada halaman kesehatan: pengurangan risiko yang dilaporkan tanpa garis dasarnya. Ambil sebuah obat yang menurunkan risiko Anda terhadap suatu peristiwa dari 2 dari 1,000 menjadi 1 dari 1,000 selama setahun. Hasil yang sama dapat ditulis dengan dua cara:

• Sebagai pengurangan risiko relatif: obat itu mengurangi risiko Anda menjadi separuh, pengurangan 50%.
• Sebagai pengurangan risiko absolut: risiko Anda turun sebesar 1 dari 1,000, atau 0.1 poin persentase.

Cara ketiga mengatakan hal yang sama secara lebih sederhana: jumlah yang perlu diobati, di sini 1,000. Seribu orang mengonsumsi obat selama setahun agar satu di antara mereka menghindari peristiwanya; 999 lainnya hanya mendapatkan efek samping dan tagihannya. Cerminannya adalah jumlah yang perlu untuk merugikan.

Angka relatif tidak lengkap karena menyembunyikan risiko awal. Pemotongan 50% dari garis dasar yang kecil adalah perubahan yang kecil; pemotongan 50% dari garis dasar yang besar adalah perubahan yang besar.

Ketika Anda melihat pengurangan persentase, tanyakan dua pertanyaan setiap kali: pengurangan dari garis dasar apa, dan berapa perubahannya dalam angka sederhana?

Signifikansi Statistik Versus Signifikansi Dunia Nyata

Nilai-p menjawab satu pertanyaan sempit, dan pembaca secara rutin salah mengiranya sebagai pertanyaan yang lebih besar. Jika pengobatannya benar-benar tidak berpengaruh apa pun, seberapa sering hasil yang setidaknya seekstrem ini muncul hanya karena kebetulan, itulah satu-satunya yang dilaporkannya. P di bawah 0.05 adalah sebuah konvensi, sebuah garis yang digambar seseorang, bukan ambang batas kebenaran. Ini tidak memberikan probabilitas bahwa temuannya nyata atau bahwa hipotesisnya berlaku. Sebuah studi dapat melewati 0.05 dan tetap merupakan kebetulan, terutama yang kecil yang mengukur banyak hal dan melaporkan satu hasil tunggal yang melewati garis itu.

Interval kepercayaan lebih berguna, karena menunjukkan seluruh rentang efek yang sesuai dengan datanya. Interval yang sempit berarti perkiraan yang tepat; interval yang lebar berarti studinya dapat memberi tahu Anda sedikit. Jika intervalnya mencakup "tanpa efek," hasilnya tetap tidak pasti apa pun yang terbaca nilai-p-nya. Utamakan intervalnya dibandingkan nilai-p telanjang setiap kali.

Signifikansi statistik dan kepentingan dunia nyata berpisah jalan lebih sering dari yang diakui judul berita. Sebuah uji coba terhadap 50,000 orang dapat memastikan penurunan tekanan darah setengah poin, kokoh dan tidak berguna sekaligus, karena tidak ada pasien yang akan merasakan setengah poin. Efek yang benar-benar berguna dapat tergelincir ke arah lain, kehilangan signifikansi dalam studi yang terlalu kecil untuk menangkapnya. Kelewatan itu mencerminkan ukuran studinya; ini tidak membuktikan efeknya hilang. Tanyakan seberapa besar efek yang benar-benar penting bagi seseorang, lalu periksa apakah studinya menemukan efek sebesar itu sebelum Anda memeriksa nilai-p-nya.

Surogat Versus Hasil

Obat-obatan yang menekan detak jantung yang tidak teratur setelah serangan jantung diharapkan menyelamatkan nyawa. Ketika akhirnya diuji terhadap kematian itu sendiri, mereka justru meningkatkannya. Detak jantung yang mereka perbaiki adalah surogat, penanda laboratorium yang berdiri menggantikan hasil yang sesungguhnya dipedulikan siapa pun.

Surogat ada di mana-mana; lima yang umum adalah kolesterol LDL untuk serangan jantung, tekanan darah untuk stroke, penyusutan tumor untuk kelangsungan hidup, kepadatan tulang untuk patah tulang, dan HbA1c untuk komplikasi diabetes. Ini menarik karena bergerak dalam hitungan minggu dan biayanya sedikit, sementara hasil sesungguhnya membutuhkan bertahun-tahun.

Menggerakkan penandanya tidak selalu menggerakkan hasilnya, dan dapat menggerakkannya ke arah yang salah. Beberapa obat kanker mengecilkan tumor pada pemindaian sementara tidak pernah membuat orang hidup lebih lama atau merasa lebih baik. Jadi ketika sebuah studi melaporkan surogat, perlakukan sebagai petunjuk yang menjanjikan, lalu tanyakan pertanyaan sesungguhnya: apakah ada yang mengukur bagaimana keadaan pasiennya, berapa lama mereka hidup, bagaimana perasaan mereka, apakah patah tulang atau serangan jantungnya pernah datang?

Siapa yang Diteliti, dan Siapa yang Membayar

Hasil yang diukur pada 2,315 pria Finlandia solid untuk pria Finlandia dan pertanyaan terbuka bagi semua orang lainnya. Dua studi dapat melaporkan angka yang identik dan tetap layak mendapatkan kepercayaan yang sangat berbeda, sepenuhnya bergantung pada cetakan kecilnya.

Studi kecil berisik. Hasil dramatis pada 12 orang adalah alasan untuk menjalankan studi yang lebih besar, bukan alasan untuk mengubah apa yang Anda lakukan.

Siapa yang ada dalam studi menentukan untuk siapa studi itu berlaku. Temuan yang diukur pada pria muda yang sehat, atau di satu negara, atau di rentang usia yang sempit, mungkin tidak berlaku untuk Anda. Sebagian besar penelitian olahraga dan fisiologi condong berat ke pria, dan kecondongan itu menjadi tidak terlihat begitu satu angka dikutip dan dikutip ulang. Inilah sebabnya klaim kami sendiri menandai jenis kelamin tempat mereka diukur. Generalisasibilitas adalah pertanyaan yang harus Anda tanyakan; sebuah studi jarang menyukarelakan batasannya sendiri.

Sebuah studi yang mendeklarasikan hasil utamanya dan rencana analisisnya di muka, lalu melaporkan persis itu, jauh lebih sulit dicurangi dibandingkan yang mengukur 10 hal dan memberi tahu Anda tentang dua yang berhasil. Carilah protokol yang telah didaftarkan sebelumnya.

Studi yang dipublikasikan adalah sampel bias dari studi yang benar-benar dijalankan. Uji coba yang tidak menemukan apa-apa sering tidak dipublikasikan, sehingga catatan yang dipublikasikan condong positif sebelum Anda membaca satu kata pun darinya. Tinjauan sistematis yang mencari registri uji coba di luar jurnal adalah solusi parsialnya.

Pendanaan industri tidak mendiskualifikasi, dan banyak penelitian yang sangat baik dibayar oleh perusahaan yang membuat produknya. Itu adalah alasan untuk membaca metodenya lebih keras, memeriksa siapa yang memilih hasil dan kelompok pembandingnya, dan menimbang hasilnya bersamaan dengan karya independen.

Hasil pada tikus, atau pada sel dalam cawan, adalah alasan untuk menjalankan uji coba manusia dan tidak lebih. Sebagian besar temuan yang tampak mencolok pada tikus tidak pernah tereplikasi pada manusia.

Anda biasanya dapat melacak bagaimana sebuah makalah sederhana menjadi judul berita yang berisik. Judul beritanya berasal dari siaran pers, siaran persnya dari abstrak, dan abstraknya sering menjadi bagian paling menyanjung dari seluruh dokumen.

The Research & Studies

Everything here is based on the research we have collected and checked, sorted into groups and ordered with the strongest evidence first. Click any claim to open the studies behind it.

Evidence And Methods

Abstrak dari sekitar 58% uji coba yang tidak signifikan masih dituliskan sebagai positifModerate · mixed

In plain terms

Para peneliti mengumpulkan 72 uji coba di mana hasil utamanya tidak mencapai signifikansi statistik, yang berarti pengobatan tersebut tidak jelas mengungguli pembandingnya. Pada sebagian besar uji coba tersebut, abstraknya, bagian yang hampir dibaca oleh semua orang, tetap ditulis seolah-olah pengobatan tersebut berhasil.

In detail

Boutron dan koleganya menyaring uji coba yang terindeks pada Desember 2006 dan mengidentifikasi 72 uji coba acak kelompok paralel dengan hasil utama yang secara statistik tidak signifikan. Penilai mengklasifikasikan spin (pemutarbalikan penyajian), yang didefinisikan sebagai pelaporan yang menekankan manfaat pengobatan meskipun hasilnya tidak signifikan. Spin muncul pada bagian hasil abstrak pada 37.5% laporan dan pada bagian kesimpulan abstrak pada 58.3%, dengan kesimpulan pada teks utama terpengaruh pada tingkat yang serupa atau lebih tinggi. Abstrak adalah bagian yang paling banyak dilihat pembaca, dan sering kali menjadi satu-satunya bagian yang dibaca, sehingga penyusunan kata yang optimistis membentuk cara sebuah uji coba dengan hasil nihil (null trial) diingat.

Who this may not transfer to:This is a finding about how trials get written up, not a health effect, so it applies whenever you read a study, not to any one group of people.

How to use it

Baca hasil utama (primary outcome) dan hasilnya sebelum Anda membaca kesimpulan. Jika titik akhir utama (main endpoint) yang telah ditentukan sebelumnya tidak menunjukkan perubahan tetapi kesimpulannya optimis, kalimat tersebut biasanya bersandar pada temuan sekunder atau subkelompok. Percayalah pada angka, bukan pada kata sifatnya.

The study · 1

Boutron et al., reporting and interpretation of randomized trials with statistically nonsignificant results for primary outcomes · JAMA 2010;303(20):2058-64

Jurnal menunjukkan bahwa 94% uji coba antidepresan bersifat positif; data FDA menunjukkan 51%Moderate · mixed

In plain terms

Regulator menyimpan hasil dari 74 uji coba antidepresan. Hampir setiap uji coba dengan hasil baik dipublikasikan, sementara sebagian besar uji coba dengan hasil buruk tidak pernah dipublikasikan, atau ditulis ulang agar terlihat lebih baik daripada kenyataannya. Seseorang yang hanya membaca jurnal akan mengira hampir semua uji coba berhasil, padahal catatan lengkapnya menunjukkan hanya sekitar separuh yang berhasil.

In detail

Turner dan rekan-rekannya membandingkan 74 uji coba antidepresan yang terdaftar di US Food and Drug Administration antara tahun 1987 dan 2004 dengan apa yang benar-benar sampai ke literatur yang dipublikasikan. Dari 38 studi yang dinilai positif oleh FDA, 37 dipublikasikan. Dari 36 studi dengan hasil negatif atau meragukan, 22 sama sekali tidak dipublikasikan dan 11 dipublikasikan dalam bentuk yang menyampaikan hasil yang positif. Catatan yang dipublikasikan dengan demikian menunjukkan 94% uji coba sebagai positif, dibandingkan dengan 51% menurut FDA, dan ukuran efek dalam literatur jurnal sekitar 32% lebih besar dibandingkan dengan yang berasal dari kumpulan data FDA secara keseluruhan, dengan obat-obatan tertentu mengalami inflasi antara 11% dan 69%.

Who this may not transfer to:This is a finding about which trials reach the published record, not a health effect, so it applies whenever you rely on the literature, not to any one group of people.

How to use it

Satu uji coba positif yang dipublikasikan tidak banyak menyelesaikan masalah dengan sendirinya, karena uji coba yang gagal mungkin saja tidak muncul ke permukaan. Utamakan tinjauan sistematis yang menelusuri registri uji coba, bukan hanya jurnal, dan periksa apakah hasil (outcome) tersebut telah didaftarkan sebelumnya (preregistered) sebelum studi dimulai.

The study · 1

Turner et al., selective publication of antidepressant trials and its influence on apparent efficacy · N Engl J Med 2008;358(3):252-60

Pembingkaian risiko relatif membuat manfaat yang sama tampak lebih besar dibandingkan risiko absolutModerate · mixed

In plain terms

Katakan pada orang bahwa sebuah pil memangkas risiko mereka hingga setengahnya, dan mereka akan lebih tertarik dibandingkan jika Anda mengatakan bahwa pil itu menurunkan risiko mereka dari 2 dalam 1,000 menjadi 1 dalam 1,000, meskipun keduanya adalah fakta yang sama. Angka relatif yang terdengar lebih besar menarik keputusan dengan lebih kuat.

In detail

Covey mengumpulkan (pooling) studi eksperimental yang menyajikan manfaat pengobatan yang sama kepada partisipan dalam format numerik yang berbeda. Pengurangan risiko relatif secara konsisten menghasilkan penilaian efektivitas yang lebih tinggi dan kesediaan yang lebih besar untuk menjalani atau merekomendasikan suatu pengobatan dibandingkan pengurangan risiko absolut atau number needed to treat, pada partisipan awam, mahasiswa, maupun klinisi. Temuan ini berkaitan dengan bagaimana suatu format mengarahkan persepsi, bukan tentang format mana yang benar: angka absolut dan number needed to treat memuat risiko dasar (baseline) yang tidak disertakan dalam angka relatif.

Who this may not transfer to:This is a finding about how risk numbers steer perception, not a health effect, so it applies whenever you meet a percentage reduction, not to any one group of people.

How to use it

Ketika Anda menemukan persentase penurunan, tanyakan dua hal setiap kali: penurunan dari risiko awal berapa, dan berapa perubahan dalam angka sederhana. Jika risiko dasar kecil, penurunan relatif yang besar dapat menjadi penurunan absolut yang sepele.

The study · 1

Covey, a meta-analysis of the effects of presenting treatment benefits in different formats · Med Decis Making 2007;27(5):638-54

Pertanyaan untuk Ditanyakan pada Studi Apa Pun

Jalankan studi, judul berita, atau siaran pers apa pun melalui tujuh pertanyaan yang sama. Sembilan puluh detik cukup untuk menyaringnya, dan jawabannya memberi tahu Anda apakah temuannya layak ditinjau lebih dekat.

Pertanyaan Umum

Apa satu pertanyaan paling berguna untuk ditanyakan tentang sebuah studi?

Apakah kelompok yang diteliti menyerupai Anda, dan apakah apa yang mereka ukur adalah apa yang Anda pedulikan. Efek besar pada penanda surogat pada orang yang sama sekali tidak seperti Anda memandu keputusan Anda lebih sedikit dibandingkan efek sederhana pada hasil nyata pada orang yang berbagi situasi Anda. Relevansi datang sebelum desain dan statistik.

Mengapa "mengurangi risiko Anda separuh" menyesatkan?

Karena ini menyembunyikan risiko awal. Membelah dua risiko 2 dari 1,000 menyelamatkan satu orang untuk setiap 1,000 yang diobati; membelah dua risiko 1 dari 3 sangatlah besar. Angka relatifnya terbaca sama pada kedua kasus dan memberi tahu Anda hampir tidak ada apa pun sendirian. Ubah menjadi perubahan absolut, dan bila bisa, jumlah yang perlu diobati.

Apakah satu studi pernah menyelesaikan apa pun?

Jarang. Sebuah temuan mendapatkan kepercayaan ketika tereplikasi di berbagai kelompok dan tim peneliti yang berbeda. Tinjauan sistematis yang baik memeriksa persis itu. Satu uji coba tunggal, sebesar apa pun, adalah satu titik data. Waspadalah paling besar terhadap satu studi kecil tunggal yang membalikkan tubuh besar karya sebelumnya; itu lebih sering merupakan kebisingan dibandingkan revolusi.

Apakah studi pada tikus atau sel tidak berharga?

Tidak, tetapi itu menjawab pertanyaan yang berbeda. Kerja hewan dan laboratorium adalah bagaimana peneliti menemukan mekanisme dan memutuskan apa yang layak diuji pada manusia. Ini menunjuk pada uji coba manusia yang layak dijalankan. Sebagian besar hasil yang mencolok pada tikus tidak tereplikasi pada manusia, jadi baca "pada tikus" dalam judul berita sebagai sinyal bahwa bukti manusianya belum ada.

Bagaimana saya bisa membedakan temuan yang nyata dari judul berita yang dilebih-lebihkan?

Carilah tanda-tanda sebuah klaim yang menjangkau melampaui buktinya. "Terkait dengan" atau "dikaitkan dengan" biasanya menandai data observasional yang tidak dapat memastikan sebab-akibat. Angka relatif datang tanpa angka absolut di sampingnya. Penanda surogat dilaporkan seolah-olah itu adalah sebuah hasil. Sampelnya kecil. Dan "mungkin" membawa seluruh kalimat pertama. Ketika beberapa tanda menumpuk dalam satu judul berita, carilah studinya dan bacalah hasil utamanya sendiri.