Artikel ini telah diterjemahkan secara otomatis. Versi aslinya tersedia dalam bahasa Inggris.
Pada 2016, dua puluh tiga laboratorium di empat benua, dari Australia dan Indonesia hingga Belgia, Swedia, Kanada, dan Amerika Serikat, melaporkan hasil uji paling ketat yang pernah dihadapi deplesi ego. Protokolnya identik di setiap lokasi dan didaftarkan secara terbuka sebelum satu pengukuran pun dilakukan, sehingga pilihan-pilihan analisis yang dulu bebas ditentukan para peneliti deplesi ego setelah melihat data mereka kini dikunci sejak awal.
Enam tahun sebelumnya, gabungan hasil 198 uji yang telah diterbitkan menempatkan efek itu pada d = 0,62, efek yang solid, tergolong sedang hingga besar (d mengukur selisih antara dua kelompok dalam satuan simpangan baku, dan nol berarti tidak ada selisih sama sekali). Deplesi ego, teori bahwa kendali diri bersandar pada satu sumber daya terbatas yang terkuras setiap kali dipakai, dirumuskan Roy Baumeister dan rekan-rekannya pada 1998 dan tampaknya terkonfirmasi, dalam ratusan studi, selama hampir dua dasawarsa. Teori itu masuk ke buku ajar mahasiswa sarjana. Ia merambah nasihat manajemen, pelatihan produktivitas, dan buku swabantu, tempat tekad menjadi tangki bahan bakar yang harus dihemat sebelum makan siang.
Dua puluh tiga laboratorium menjalankan protokol praregistrasi yang sama pada 2.141 orang, dan estimasinya anjlok dari d = 0,62 ke d = 0,04, yang pada dasarnya nihil, dan hasil itu tidak berasal dari satu studi berdaya statistik rendah yang gagal mereplikasi literatur berdaya statistik tinggi.
Koreksi itu datang melalui mesin kelembagaan yang sama dengan temuan-temuan yang digugurkannya: para ilmuwan, metode standar, jurnal psikologi yang ditinjau sejawat. Baumeister dan Kathleen Vohs, pembela utama teori itu, menyanggah bahwa tugas terkomputerisasi yang dipakai untuk membuat orang lelah mungkin sama sekali tidak menyentuh kendali diri. Maka pada 2021, sebuah uji praregistrasi di 36 laboratorium yang dipimpin Vohs mencoba lagi dengan 3.531 peserta. Uji itu juga tidak menemukan efek yang andal.
Polanya
Deplesi ego hanyalah satu kasus dari pola yang diproduksi literatur ilmiah dalam skala besar.
Pada 2010, Dana Carney, Amy Cuddy, dan Andy Yap menerbitkan sebuah studi dengan 42 peserta yang menyatakan bahwa dua menit dalam postur tubuh yang ekspansif, lengan terbuka lebar dan tangan di pinggang, menaikkan testosteron, menurunkan kortisol, dan meningkatkan toleransi terhadap risiko finansial. Cuddy memaparkan temuan itu dalam ceramah TED tahun 2012 yang sejak itu telah menjangkau lebih dari 76 juta penonton. Temuan itu lalu masuk ke coaching eksekutif, program pelatihan korporat, dan kiat persiapan wawancara kerja yang menyuruh pelamar berpose seperti pahlawan super di kamar mandi sebelum melangkah masuk ke ruangan.
Pada 2015, upaya replikasi sudah gagal menemukan efek hormonalnya. Pada 2016, Dana Carney, penulis pertama makalah itu, menerbitkan pernyataan yang secara tegas meninggalkan teori tersebut. Ia menyebut masalahnya secara terang: sampel yang sangat kecil, hanya 42 orang; peserta yang diuji per gelombang sampai efeknya muncul; satu pencilan yang dibuang dari analisis hormon; hanya yang lebih kecil dari dua nilai p yang dilaporkan; dan pertanyaan laporan diri yang dipertahankan karena “berhasil”. Cuddy tidak menarik klaimnya. Ia mempersempit klaim itu dari perubahan hormonal yang terukur menjadi perasaan percaya diri yang subjektif, dan terus mempresentasikan penelitian tersebut.
John Bargh, Mark Chen, dan Lara Burrows menerbitkan studi priming lansia mereka pada 1996. Peserta yang dipaparkan pada kata-kata yang lekat dengan usia tua, seperti “Florida”, “bingo”, dan “keriput”, sesudahnya berjalan menyusuri lorong dengan langkah yang terukur lebih lambat. Temuan itu menjadi salah satu andalan riset priming sosial dan muncul dalam buku Daniel Kahneman, Thinking, Fast and Slow, sebagai bukti betapa konteks memengaruhi perilaku secara otomatis dan menyeluruh.
Pada 2012, Stéphane Doyen dan rekan-rekannya mengulang studi itu. Mereka memakai alat pengukur waktu inframerah alih-alih peneliti yang memegang stopwatch, memastikan para pelaksana eksperimen tidak tahu kondisi setiap peserta, dan memakai sampel yang lebih besar, dan mereka tidak menemukan perlambatan sama sekali. Lalu mereka menjalankan eksperimen kedua dan memberi tahu para pelaksana eksperimen apa yang semestinya terjadi. Efek kecepatan berjalan itu muncul kembali hanya ketika para pelaksana eksperimen berharap menemukannya. Bargh menanggapi dengan menyebut para peneliti Belgia itu “tidak kompeten atau kurang informasi” dalam sebuah unggahan blog yang belakangan ia hapus.
Kahneman, yang telah mempertaruhkan sebagian kredibilitas bukunya pada temuan priming sosial, mengirim surat terbuka pada September tahun itu kepada para peneliti di bidang tersebut. Ia melihat, tulisnya, “kecelakaan kereta yang mengancam”. Belakangan ia mengakui di depan publik, saat menanggapi para peneliti replikasi yang telah membongkar bab priming dalam bukunya, bahwa pembahasannya tentang priming sosial dalam Thinking, Fast and Slow terlalu mudah percaya.
Gambaran yang sistematis datang dari Open Science Collaboration, yang menghabiskan beberapa tahun untuk mereplikasi 100 eksperimen psikologi yang telah diterbitkan. Hasilnya terbit pada 2015: 97% studi asli memiliki temuan yang signifikan secara statistik, berbanding 36% pada replikasinya, dan ukuran efek replikasi rata-rata kira-kira separuh dari studi aslinya.
Lalu ada Daryl Bem. Pada 2011, Bem menerbitkan makalah di sebuah jurnal psikologi sosial arus utama yang melaporkan sembilan eksperimen, delapan di antaranya signifikan, sebagai bukti persepsi ekstrasensori. Para peserta tampak tahu gambar apa yang akan ditampilkan komputer sebelum komputer itu memilihnya. Makalah itu memakai jenis metode statistik yang sama dengan makalah lain mana pun di jurnal tersebut pada tahun itu. Replikasinya gagal. Ketika para ahli metodologi memeriksa studi aslinya, mereka tidak menemukan apa pun yang melanggar aturan yang berlaku di bidang itu, hanya keleluasaan biasa yang memang diizinkan aturan tersebut.
Jika metode standar bisa menghasilkan delapan studi yang tampak signifikan dari sembilan untuk efek yang mustahil secara fisik, kesalahannya terletak pada metode itu, dan makalah Bem, meskipun tidak memulai krisis replikasi, membuat hal itu mustahil diabaikan.
Di mana posisi kecurangan
Pada 2011, Diederik Stapel, psikolog sosial Belanda di Universitas Tilburg, dipecat karena memalsukan data secara besar-besaran; investigasi yang menyusul mendapati kecurangan selama bertahun-tahun penelitian, dalam 55 publikasinya. Ia mengarang seluruh set data dari nol.
Stapel tidak menjelaskan krisis replikasi. Laboratorium deplesi ego, para peneliti power pose, dan para peneliti priming sosial yang temuannya runtuh tidak memalsukan data. Mereka menjalankan studi dan menulis makalah dengan metode yang diterima dan diganjar oleh bidangnya. Krisis replikasi tidak membutuhkan kecurangan untuk berjalan. Yang dibutuhkan hanyalah para peneliti yang menanggapi insentif di hadapan mereka. Stapel adalah pengecualian.Bagaimana sistem menghasilkan semua ini
Jika Stapel dikesampingkan, setiap temuan yang diuraikan di atas lolos tinjauan sejawat, dengan metode yang menjadi standar di bidangnya dan data yang tidak dipalsukan siapa pun.
Cacat utama dalam proses itu sudah diuraikan puluhan tahun sebelumnya. Robert Rosenthal menamai masalah laci arsip (file drawer problem) pada 1979, meskipun Theodore Sterling telah mendokumentasikan fenomena itu secara empiris dua dasawarsa sebelumnya: ia mendapati bahwa 97% artikel di empat jurnal psikologi utama yang memakai uji signifikansi melaporkan penolakan hipotesis nol.
Jurnal menerbitkan temuan signifikan jauh lebih sering daripada hasil nol. Eksperimen yang gagal, entah karena tidak menemukan efek, menemukan efek ke arah yang keliru, atau tidak menghasilkan cerita yang layak terbit, menumpuk tanpa pernah diterbitkan. Karena itu, literatur adalah himpunan bagian dari seluruh eksperimen yang dijalankan, yakni yang selamat melewati saringan yang sangat condong ke hasil positif.
Begini hasilnya dalam skala besar: seorang peneliti menjalankan dua puluh eksperimen untuk menguji hipotesis yang keliru. Sembilan belas memberikan hasil nol. Satu memberikan positif palsu karena kebetulan, hasil yang memang diperkirakan ketika ambang signifikansi 5% diterapkan pada hipotesis nol yang benar. Yang sembilan belas tidak ke mana-mana, dan yang satu diterbitkan. Bidang itu mendapat satu studi positif tanpa informasi korektif apa pun. Kalikan ini di seluruh bidang, selama puluhan tahun, dan literatur pun dipenuhi temuan kebetulan yang menyamar sebagai bukti yang terakumulasi.
P-hacking bekerja di dalam satu studi, bukan lintas banyak studi, sehingga lebih sulit dideteksi dan lebih meluas. Seorang peneliti selesai mengumpulkan data dan mendapat p = 0,06, nyaris signifikan. Ia membuang dua peserta yang menunjukkan pola respons tak lazim sebelum analisis formal. Kini p = 0,047. Atau ia menambahkan kovariat yang tersedia tetapi semula tidak direncanakan. Atau ia menjalankan analisis pada beberapa ukuran sampel dan berhenti di titik ketika data tampak paling bersih. Makalah yang terbit tidak akan mencatat semua ini, hanya analisis terakhir, yang disajikan seolah-olah itulah satu-satunya analisis yang dijalankan. Segelintir “derajat kebebasan peneliti” semacam ini (keputusan tentang ukuran hasil mana yang dilaporkan, kovariat mana yang ditambahkan, kapan berhenti mengumpulkan data, dan kondisi eksperimen mana yang dibuang) dapat menaikkan tingkat positif palsu dari 5% yang nominal menjadi lebih dari 60%. Peneliti yang melakukan ini sedang bertindak rasional menanggapi struktur imbalan yang memperlakukan p < 0,05 sebagai satu-satunya pembeda antara keberhasilan dan kegagalan.
HARKing, singkatan dari Hypothesizing After Results are Known (merumuskan hipotesis setelah hasil diketahui), adalah mekanisme ketiga. Norbert Kerr menciptakan istilah itu pada 1998. Mekanismenya: seorang peneliti menjalankan eksperimen dengan harapan menemukan efek X, malah menemukan efek Y, lalu menyusun hipotesis yang semestinya dapat meramalkan Y, dan menulis makalahnya seolah-olah hipotesis itu sudah ada sejak awal. Artikel yang terbit pun terbaca sebagai konfirmasi teori. Insentifnya bersifat struktural: temuan konfirmatori lebih mudah diterbitkan daripada temuan eksploratori. Hasil yang dilaporkan sebagai sesuatu yang telah diprediksi diterima secara berbeda dari hasil yang sama yang dilaporkan sebagai temuan tak sengaja. Setiap temuan eksploratori punya alasan untuk tampil sebagai temuan konfirmatori, dan tak seorang pun yang membaca makalah akhirnya bisa membedakannya.
Ketiga mekanisme ini, bila berjalan bersamaan, menghasilkan akibat matematis yang dapat diramalkan. John Ioannidis menghitungnya pada 2005. Di bidang-bidang yang rasio hipotesis benar terhadap hipotesis keliru yang diuji rendah (gambaran yang cocok bagi banyak bagian psikologi sosial, tempat teori-teori spekulatif diuji dalam eksperimen laboratorium yang murah dengan sampel kecil yang diambil seadanya), sampelnya berdaya statistik rendah, keleluasaan analisisnya tinggi, dan insentif publikasinya sangat mengutamakan hasil positif, literatur yang terbit bisa berakhir memuat lebih banyak positif palsu daripada positif sejati.
Hitungan spesifiknya: jika 10% hipotesis yang diuji benar, dengan daya statistik 80% dan ambang p = 0,05, menjalankan 100 uji rata-rata menghasilkan 8 positif sejati dan 4,5 positif palsu. Tingkat penemuan palsu, yakni proporsi hasil positif yang keliru, sekitar 36%. Turunkan tingkat dasar hipotesis yang benar, seperti yang akan terjadi di bidang yang menguji klaim yang sangat spekulatif dalam studi kecil yang lentur, dan tingkat penemuan palsu melonjak melewati 50%. Pada titik itu, literatur bisa lebih banyak salah daripada benar.
Apa arti p < 0,05, dan apa yang bukan artinya
Nilai p di bawah 0,05 berarti: jika hipotesis nol benar, hasil seekstrem ini akan muncul karena kebetulan dalam kurang dari 5% kasus. Itu tidak berarti ada probabilitas 95% bahwa temuannya nyata. Itu tidak mengonfirmasi hipotesis. Ronald Fisher, yang memopulerkan nilai p, memaksudkannya sebagai sinyal lemah yang layak ditindaklanjuti dengan eksperimen lanjutan, bukan kriteria biner untuk menentukan terbit atau tidaknya sebuah makalah.
Kerangka pengujian signifikansi hipotesis nol yang menjadi standar dominan psikologi adalah hibrida dari dua filsafat statistik yang tidak saling cocok: uji signifikansi Fisher dan kerangka pengujian hipotesis Neyman-Pearson. Tak satu pun pencetusnya merestui pendekatan gabungan itu; keduanya mengkritik sistem pihak lain secara tertulis. Ambang p < 0,05, sebuah konvensi dari statistik pertanian Fisher yang diterapkan dengan logika terima-atau-tolak yang kaku khas pengendalian mutu industri, menjadi gerbang publikasi universal karena kelembaman institusional, bukan karena logika statistik. Penyalahgunaannya memampatkan ukuran bukti yang kontinu menjadi keputusan biner lulus/gagal, dan dengan begitu menciptakan persis insentif untuk melewati ambang itu dengan cara apa pun yang tersedia.Mengapa orang-orang rasional melakukannya
Sebagian besar peneliti yang karyanya runtuh tidaklah korup ataupun tidak kompeten. Pertanyaan yang berguna adalah mengapa insentif karier yang lazim membuat perilaku ini dapat diramalkan pada ilmuwan mana pun yang bekerja di bidang itu.
Karier akademik bergantung pada publikasi, khususnya publikasi di jurnal bergengsi, yang lebih menyukai hasil yang signifikan secara statistik. Peneliti yang menjalankan tiga eksperimen dan mendapat satu hasil signifikan akan menerbitkan yang satu itu. Dua lainnya masuk laci arsip.
Setiap peneliti menghadapi hitungan yang sama, karena karier dinilai dari keluaran, bukan proses: hasil signifikan dihitung, hasil nol tidak.
Pendanaan hibah memperparah masalahnya. Dana penelitian jauh lebih mudah diperoleh dengan rekam jejak temuan yang telah diterbitkan. Hasil nol tidak membangun rekam jejak itu. Peneliti yang terus-menerus mendapati hipotesisnya tidak terbukti menghadapi siklus hibah yang lebih berat, daftar publikasi yang lebih tipis, dan dukungan institusi yang menyusut, semuanya berpangkal pada CV yang, menurut metrik yang dianggap penting, tampak seperti kegagalan. Bagi banyak peneliti, insentif untuk menemukan hasil positif adalah syarat agar tetap bisa bekerja.
Tinjauan sejawat tidak mengoreksi hal ini. Para penelaah adalah pakar di bidang yang ditelaah, dan mereka juga punya kepentingan atas temuan-temuan terdahulu di bidang itu. Makalah yang menantang hasil yang sudah mapan, misalnya makalah yang mempertanyakan priming sosial, berhadapan dengan penelaah yang telah membangun kerangka teori, menulis proposal hibah, dan menerbitkan makalah yang bergantung pada bertahannya temuan-temuan itu. Ketika keahlian datang sepaket dengan kepentingan atas sekumpulan hasil tertentu, standar bagi makalah yang menantang temuan mapan bisa lebih tinggi daripada standar bagi makalah yang mengonfirmasinya, bahkan ketika metodenya sama kuatnya.
Semua ini tidak memaafkan desain riset yang malas atau penalaran yang termotivasi, dan keduanya memang ada. Dalam kasus Stapel, semua ini tidak memaafkan pemalsuan. Intinya, literatur yang terdistorsi yang sama akan tetap muncul tanpa satu pun kegagalan individual itu.
Karena kegagalannya terletak pada insentif yang tidak selaras, reformasi yang layak diikuti adalah reformasi yang mengubah apa yang diterbitkan jurnal dan apa yang diganjar karier.
Apa yang dilakukan sains
Krisis replikasi menjadi sorotan publik sekitar 2011. Saat itu kritik metodologis sudah bertahun-tahun bergulir dalam literatur spesialis; yang berubah adalah visibilitasnya — fiasko Bem, kecurangan Stapel, dan replikasi priming yang gagal pada 2011–2012, disusul makalah OSC pada 2015 dan temuan-temuan ceramah TED yang tak bisa direplikasi, membuat bidang itu tak mungkin lagi berpura-pura bahwa masalahnya remeh. Yang menyusul adalah upaya reformasi, dengan penerapan yang tidak merata dan cakupan yang belum lengkap, dan sebagian reformasinya terbukti mengubah hasil.
Praregistrasi adalah reformasi yang paling luas diadopsi. Para peneliti mendaftarkan hipotesis, ukuran sampel, dan rencana analisis mereka di repositori publik sebelum pengumpulan data dimulai. Ini membuat HARKing bisa dideteksi: jika analisis yang dijalankan berbeda dari analisis yang tercatat, siapa pun dapat mencocokkan makalah dengan rencananya, dan praktik yang baik menuntut penulis mengungkapkan serta menjelaskan perubahan itu. Praregistrasi secara formal memisahkan riset eksploratori dari riset konfirmatori — keduanya sah, tetapi dalam sistem lama keduanya tampak identik dalam bentuk terbitan, dan temuan eksploratori rutin diperlakukan sebagai bukti konfirmatori. Open Science Framework dan AsPredicted adalah platform utamanya, dan kini banyak jurnal menandai studi yang dipraregistrasi dengan lencana Open Science.
Namun praregistrasi tidak menghapus bias publikasi. Ia mengubah apa yang dilakukan peneliti sebelum menulis, bukan apa yang diputuskan editor untuk diterima.
Satu tim mengujinya secara langsung dengan membandingkan 193 studi psikologi yang dipraregistrasi dengan 193 studi padanan yang tidak dipraregistrasi. Tingkat hasil positif tidak turun secara substansial. Ukuran efek secara angka lebih kecil pada studi yang dipraregistrasi, tetapi selisihnya tidak signifikan secara statistik. Studi yang dipraregistrasi memiliki sampel lebih besar dan lebih sering disertai analisis daya, jadi praregistrasi memang memperbaiki desain studi. Perbandingan itu tidak menunjukkan bahwa praregistrasi menghentikan p-hacking atau HARKing, dan insentif publikasi tetap di tempatnya.
Mengubah insentif itu membutuhkan mekanisme lain. Registered Reports menyediakannya, dan dampaknya sudah diukur. Dalam model ini, jurnal menilai lalu menerima atau menolak makalah berdasarkan pertanyaan penelitian dan metodenya, sebelum data dikumpulkan, dan berkomitmen menerbitkan hasilnya apa pun itu.
Itu menutup jalur utama bias publikasi, yaitu penolakan berdasarkan hasil, karena keputusan redaksi diambil sebelum hasilnya ada. Ahli neurosains Chris Chambers meluncurkan format ini pada 2013 di jurnal yang turut ia sunting, dan sejak itu format tersebut telah menyebar ke ratusan jurnal.
Sebuah perbandingan yang lebih belakangan mengadu Registered Reports dengan sampel acak publikasi psikologi standar. Pada 96% artikel standar, hipotesis pertama yang diuji ternyata didukung; pada Registered Reports, 44%. Selisih itu adalah jejak bias publikasi dan analisis yang lentur — penjelasan yang oleh para penulisnya sendiri dinilai paling masuk akal. Perbandingan ini bersifat observasional, dan Registered Reports mungkin menarik hipotesis yang berbeda, tetapi perbandingan itu menunjukkan seperti apa tingkat hasil positif ketika jurnal melepaskan kemampuan untuk menolak hasil nol setelah hasilnya diketahui, kemampuan yang dibiarkan utuh oleh praregistrasi.
Proyek-proyek Many Labs adalah hal paling mendekati data replikasi sistematis yang dapat dijadikan patokan kebenaran dalam psikologi. Many Labs 2, yang terbit pada 2018, mereplikasi 28 efek di 36 negara dengan lebih dari 15.000 peserta. Menurut kriteria signifikansi standar, sedikit lebih dari separuhnya berhasil direplikasi, dan tiga perempat ukuran efek replikasi lebih kecil daripada aslinya. Variasi antarnegara, antaruniversitas, dan antarsampel tidak besar, dan terutama muncul pada efek-efek yang lebih besar; efek yang secara keseluruhan mendekati nol tetap mendekati nol hampir di mana-mana, alih-alih berlaku di sebagian tempat dan tidak di tempat lain. Many Labs 2 melakukan apa yang tidak bisa dilakukan replikasi satu laboratorium: memisahkan efek yang bertahan lintas latar dari temuan yang tidak bisa direproduksi di luar kondisi aslinya.
Beberapa jurnal kini juga mewajibkan data mentah dan kode analisis dibagikan secara terbuka, sehingga analisisnya dapat diperiksa dengan cara yang tak bisa dicapai tinjauan sejawat. Penelaah melihat laporan tertulisnya; peneliti yang memegang data mentah dapat melihat apakah laporan itu mewakili datanya secara akurat. Center for Open Science pimpinan Brian Nosek telah mendorong adopsi standar transparansi melalui program Open Science Badges, yang kini ditawarkan oleh lebih dari 100 jurnal, untuk menandai praregistrasi, berbagi data, dan berbagi materi dalam makalah yang terbit.
Analisis Bayes dan syarat ukuran sampel minimum sama-sama bisa memperbaiki studi individual tanpa menyentuh masalah strukturalnya. Analisis Bayes bertanya bagaimana data baru semestinya memperbarui keyakinan awal, alih-alih menghasilkan keputusan signifikansi yang biner; pendekatan ini sedang berkembang di psikologi dan ilmu kognitif, tetapi tetap terbuka bagi analisis yang lentur, dan belum merombak insentif publikasi ataupun menghasilkan penurunan positif palsu yang terukur di tingkat populasi, karena ia tidak mengubah apa yang diterbitkan. Syarat ukuran sampel minimum dan analisis daya juga berharga di tingkat desain studi, dan juga terbatas: penerapannya tidak merata, bukan standar umum. Tak satu pun menjangkau sejauh Registered Reports, yang turun tangan pada keputusan redaksi, bukan pada desain studi.
Ketertinggalan dan pertanyaan yang masih terbuka
Tak satu pun dari reformasi ini memperbaiki literatur yang terbit sebelum reformasi itu ada, atau menyentuh bidang-bidang yang nyaris belum didatanginya.
Open Science Collaboration mendapati bahwa sekitar 64% dari sampel 100 studi gagal direplikasi dengan bersih. Psikologi menerbitkan ribuan studi setiap tahun. Sebagian besar literatur prakrisis belum diuji ulang, dan sebagian besar mungkin tak akan pernah diuji. Replikasi multilaboratorium yang ketat itu lambat, mahal, dan menuntut koordinasi puluhan tim di sekitar satu protokol. Studi deplesi ego multilaboratorium membutuhkan dua puluh tiga laboratorium dan 2.141 peserta. Eksperimen Baumeister yang asli membutuhkan satu laboratorium. Menghasilkan temuan itu murah; mengoreksinya dengan ketelitian yang tidak dimiliki temuan aslinya tidak murah. Buku ajar yang mengutip deplesi ego sebagai ilmu yang mapan tidak ditarik dari peredaran pada 2016. Koreksinya ada dalam catatan ilmiah. Jangkauannya di luar catatan itu terbatas, dengan cara-cara yang tak bisa diperbaiki oleh reformasi tinjauan sejawat mana pun.
Secara lebih luas, insentif karier sebagian besar tidak berubah. Registered Reports kini ditawarkan oleh lebih dari 300 jurnal, dan praregistrasi didorong di seluruh psikologi, tetapi bagi sebagian besar riset psikologi keduanya tidak wajib. Registrasi wajib untuk uji klinis, termasuk uji klinis psikologis: jurnal-jurnal kedokteran terkemuka tidak akan menerbitkan uji yang mulai merekrut peserta pada atau setelah 1 Juli 2005 kecuali uji itu didaftarkan sebelum pasien pertama direkrut. Komite pengangkatan dosen tetap masih sangat bertumpu pada jumlah publikasi dan metrik sitasi, meskipun koalisi reformasi seperti CoARA mendesak institusi meninggalkan penggunaan metrik yang tidak tepat, seperti faktor dampak jurnal dan indeks-h. Peneliti junior yang menjalankan studi praregistrasi berdaya statistik tinggi dan menerbitkan lebih sedikit makalah menghasilkan CV yang lebih tipis daripada peneliti yang menjalankan banyak studi kecil yang lentur dan menerbitkan lebih banyak hasil positif. Tekanan ke arah temuan positif telah sebagian diimbangi di subbidang yang mengadopsi reformasi, tetapi tekanan itu tetap ada.
Kedokteran dan gizi adalah bidang tempat celah ini paling berarti, karena di sana kegagalan struktural yang sama menimbulkan akibat yang tidak ditimbulkan kegagalan psikologi akademik. Kedokteran klinis memang mengadopsi satu reformasi sejak awal: registrasi uji klinis wajib, yang dituntut jurnal-jurnal terkemuka sejak 2005. Di antara uji jantung berskala besar di AS, 57% dari yang terbit sebelum 2000 melaporkan manfaat, berbanding 8% dari yang terbit sesudahnya, ketika penetapan luaran di muka di ClinicalTrials.gov sudah menjadi rutin, penurunan yang oleh para penulis studinya dikaitkan dengan registrasi di muka itu. Namun registrasi mencakup uji klinis, bukan himpunan riset observasional dan laboratorium yang jauh lebih besar, dan justru di riset semacam itu, serta di bidang gizi, reformasi yang diuraikan di sini paling sedikit tiba. Kedokteran punya versi polanya sendiri: Ioannidis mendapati bahwa sekitar sepertiga studi klinis yang banyak dikutip dan mengklaim suatu pengobatan berhasil belakangan dibantah atau terbukti efeknya jauh lebih kecil. Di bidang gizi, situasinya bisa dibilang lebih buruk: studinya biasanya kecil dan observasional, pendanaan industri sudah mengakar, mengacak pola makan orang selama bertahun-tahun begitu lambat dan mahal sehingga uji jangka panjang kalah jauh jumlahnya dari studi observasional, dan rekomendasi diet selama puluhan tahun terombang-ambing seiring temuan-temuan berdaya statistik rendah silih berganti naik daun lalu ditinggalkan.
Ambil contoh lemak makanan. Selama puluhan tahun, nasihat diet menyalahkan lemak atas penyakit jantung berdasarkan studi observasional dan sebuah tinjauan yang didanai industri gula, yang menyorot lemak dan kolesterol sambil mengecilkan peran gula. Ketika Women’s Health Initiative akhirnya menguji nasihat rendah lemak yang luas itu dalam uji acak terhadap hampir 49.000 perempuan, pengurangan lemak total tidak menghasilkan penurunan penyakit jantung atau stroke yang signifikan. Klaim yang lebih sempit bertahan lebih baik: uji jangka panjang yang mengurangi lemak jenuh memang menurunkan kejadian kardiovaskular. Uang industri ikut berperan, tetapi cerita yang lebih besar adalah soal metode: nasihat yang dibangun di atas studi observasional yang terganggu faktor perancu melaju bertahun-tahun mendahului uji yang bisa mengujinya, sebagaimana temuan psikologi akademik melaju mendahului buktinya ke dalam praktik manajemen dan budaya swabantu.
Yang tersisa
Para manajer dinasihati untuk mengambil keputusan tersulit di awal hari, sebelum kelelahan mengambil keputusan mulai terasa, karena deplesi ego sudah dinyatakan terbukti. Buku swabantu menyuruh pembaca menjaga cadangan tekad mereka dengan mengurangi pilihan pada awal hari. Budaya produktivitas membangun sebuah industri kecil di seputar konsep bahan bakar kognitif. Semua ini ditawarkan sebagai petunjuk praktis, yang diturunkan dari temuan ilmiah yang menguap ketika diperiksa lebih cermat. Penerapan hilir dari literatur asli itu terus beredar dalam bentuk-bentuk yang tak terjangkau oleh koreksi ilmiah.
Dua puluh tiga laboratorium yang menguji deplesi ego menggunakan praregistrasi, protokol multilokasi yang terkoordinasi, dan komitmen untuk menerbitkan hasilnya apa pun itu. Itulah perangkat struktural yang dilembagakan oleh Registered Reports. Apa yang akan ditemukan audit serupa di literatur klinis kedokteran atau pedoman gizi sejauh ini baru terlihat sekilas: ketika Reproducibility Project: Cancer Biology mengulang 50 eksperimen dari 23 makalah kanker berdampak tinggi, median efek replikasi untuk hasil positif 85% lebih kecil daripada aslinya. Bidang-bidang itu memiliki kondisi yang sama dengan psikologi dan, sebagian besar, insentif yang sama pula. Psikologi terseret ke dalam pertanggungjawaban publik selama satu dasawarsa, setelah kegagalan yang kasatmata menumpuk hingga mencapai massa kritis. Registered Reports telah menjangkau jurnal biologi dan kedokteran, tetapi secara tambal sulam; sebagian besar jurnal yang menawarkannya masih berada di psikologi. Pertanyaan terbuka yang praktis adalah apakah format itu menjadi norma di sana sebelum pertanggungjawaban serupa memaksakannya.
Belum ada yang menghitung harga penantian itu, dalam bentuk keputusan pasien yang diambil berdasarkan bukti yang belum pasti dan pedoman diet yang pernah berayun dan mungkin akan berayun lagi.
Penafian AI Generatif
Sebagian konten halaman ini dihasilkan dan/atau disunting dengan bantuan AI Generatif.
Media
Sumber dan Referensi Utama
Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265. https://doi.org/10.1037/0022-3514.74.5.1252
Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. D. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136(4), 495–525. https://doi.org/10.1037/a0019486
Hagger, M. S., Chatzisarantis, N. L. D., et al. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4), 546–573. https://doi.org/10.1177/1745691616652873
Association for Psychological Science. (2016). Replication project investigates self-control as limited resource [Press release]. https://www.psychologicalscience.org/news/releases/replication-project-investigates-self-control-as-limited-resource.html
Vohs, K. D., Schmeichel, B. J., Lohmann, S., Gronau, Q. F., Finley, A. J., et al. (2021). A multisite preregistered paradigmatic test of the ego-depletion effect. Psychological Science, 32(10), 1566–1581. https://doi.org/10.1177/0956797621989733
Carney, D. R., Cuddy, A. J. C., & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21(10), 1363–1368. https://doi.org/10.1177/0956797610383437
Cuddy, A. (2012, June). Your body language may shape who you are [Video]. TED Conferences. https://www.ted.com/talks/amy_cuddy_your_body_language_may_shape_who_you_are
Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, R. A. (2015). Assessing the robustness of power posing: No effect on hormones and risk tolerance in a large sample of men and women. Psychological Science, 26(5), 653–656. https://doi.org/10.1177/0956797614553946
Carney, D. R. (2016, September). My position on “Power Poses” [Faculty statement]. Haas School of Business, University of California, Berkeley. https://faculty.haas.berkeley.edu/dana_carney/pdf_my%20position%20on%20power%20poses.pdf
Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2), 230–244. https://doi.org/10.1037/0022-3514.71.2.230
Doyen, S., Klein, O., Pichon, C.-L., & Cleeremans, A. (2012). Behavioral priming: It’s all in the mind, but whose mind? PLoS ONE, 7(1), e29081. https://doi.org/10.1371/journal.pone.0029081
Yong, E. (2012). A failed replication draws a scathing personal attack from a psychology professor. National Geographic. https://www.nationalgeographic.com/science/article/failed-replication-bargh-psychology-study-doyen
Kahneman, D. (2012, September 26). A proposal to deal with questions about priming effects [Open letter circulated to social priming researchers]. Available via Nature News: https://www.nature.com/news/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf
Schimmack, U., Heene, M., & Kesavan, K. (2017, February 2). Reconstruction of a train wreck: How priming research went off the rails [Blog post, with comment by D. Kahneman]. Replication Index. https://replicationindex.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLoS ONE, 7(3), e33423. https://doi.org/10.1371/journal.pone.0033423
Univers (Tilburg University). (2012, November 28). Levelt report: Fraud detected in 55 publications. https://universonline.nl/2012/11/28/levelt-report-fraud-detected-in-55-publications
Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa. Journal of the American Statistical Association, 54(285), 30–34. https://doi.org/10.2307/2282137
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Ioannidis, J. P. A. (2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA, 294(2), 218–228. https://doi.org/10.1001/jama.294.2.218
van den Akker, O., et al. (2024; published online 2023). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods, 56, 5424–5433. https://doi.org/10.3758/s13428-023-02277-0
Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2). https://doi.org/10.1177/25152459211007467
Klein, R. A., et al. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi.org/10.1016/j.cortex.2012.12.016
Center for Open Science. (n.d.). Registered Reports. https://www.cos.io/initiatives/registered-reports
Montoya, A. K., Krenzer, W. L., & Fossum, J. L. (2021). Opening the door to Registered Reports: Census of journals publishing Registered Reports (2013–2020). Collabra: Psychology, 7(1), 24404. https://doi.org/10.1525/collabra.24404
Center for Open Science. (n.d.). Open Science Badges. https://www.cos.io/initiatives/badges
Coalition for Advancing Research Assessment (CoARA). (n.d.). The commitments. https://coara.org/agreement/the-commitments/
International Committee of Medical Journal Editors. (n.d.). Clinical trials registration: FAQs. https://www.icmje.org/about-icmje/faqs/clinical-trials-registration/
Kaplan, R. M., & Irvin, V. L. (2015). Likelihood of null effects of large NHLBI clinical trials has increased over time. PLoS ONE, 10(8), e0132382. https://doi.org/10.1371/journal.pone.0132382
Howard, B. V., Van Horn, L., Hsia, J., et al. (2006). Low-fat dietary pattern and risk of cardiovascular disease: The Women’s Health Initiative Randomized Controlled Dietary Modification Trial. JAMA, 295(6), 655–666. https://doi.org/10.1001/jama.295.6.655
Kearns, C. E., Schmidt, L. A., & Glantz, S. A. (2016). Sugar industry and coronary heart disease research: A historical analysis of internal industry documents. JAMA Internal Medicine, 176(11), 1680–1685. https://doi.org/10.1001/jamainternmed.2016.5394
Hooper, L., Martin, N., Jimoh, O. F., Kirk, C., Foster, E., & Abdelhamid, A. S. (2020). Reduction in saturated fat intake for cardiovascular disease. Cochrane Database of Systematic Reviews, CD011737. https://doi.org/10.1002/14651858.CD011737.pub3
Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601. https://doi.org/10.7554/eLife.71601
