為什麼那麼多已發表的研究是錯的？科學界又如何自救

本文由英文原文機器翻譯而成。

最後更新：2026年11月2日 · 閱讀時間約17分鐘

2016年，分布在四大洲的23個實驗室，從澳洲、印尼到比利時、瑞典、加拿大和美國，公布了自我耗損（ego depletion）理論有史以來最嚴格的一次檢驗結果。每個地點採用完全相同的實驗程序，而且在測得任何一筆數據之前就已公開登記；這等於事先鎖定了各種分析上的選擇，而早年的自我耗損研究者，原本可以等看過資料之後才做這些決定。

在那之前六年，198項已發表檢驗的彙整結果，把這個效應估在d = 0.62，算是穩固的中等到大型效應（d衡量兩組之間相差幾個標準差，零代表完全沒有差距）。自我耗損理論認為，自我控制仰賴單一而有限的資源，越用越少。這套理論由羅伊·鮑梅斯特（Roy Baumeister）與同事在1998年提出，此後將近二十年，看似一再獲得數以百計研究的證實。它寫進了大學教科書，也進入管理建議、生產力教練課程和自我成長書籍；在那裡，意志力成了一個油箱，午餐之前就得省著用。

23個實驗室對2,141人執行同一套預先登記的實驗程序，估計值從d = 0.62跌到d = 0.04，基本上等於零；而且這個結果，並不是某一項檢定力不足的研究沒能重現一批檢定力充足的文獻。

這次修正走的，正是當初產生這些發現的同一套體制：科學家、標準方法、一份經同儕審查的心理學期刊。鮑梅斯特與Kathleen Vohs是這套理論最主要的辯護者，他們提出異議，認為用來讓受試者疲累的電腦作業，可能根本沒有動用到自我控制。於是在2021年，一項由Vohs主導、橫跨36個實驗室的預先登記檢驗再試了一次，納入3,531名受試者，同樣沒有發現可靠的效應。

一再出現的模式

自我耗損只是一個案例，同樣的模式在研究文獻中大量出現。

2010年，Dana Carney、艾美·柯蒂（Amy Cuddy）和Andy Yap發表一項研究，受試者42人，宣稱只要擺出開展的姿勢兩分鐘，雙臂張開、雙手叉腰，就能提高睪固酮、降低皮質醇，並提升對財務風險的承受度。柯蒂在2012年的一場TED演講中介紹這些發現，這場演講至今已累積超過7,600萬人次觀看。這項發現隨後走進主管教練、企業培訓課程，以及求職面試的準備建議，教應徵者進門之前先在廁所裡擺出超級英雄的姿勢。

到了2015年，重複驗證研究已接連找不到荷爾蒙效應。2016年，這篇論文的第一作者Dana Carney發表聲明，明確放棄這套理論。她直接點出問題所在：42人的極小樣本；受試者分批施測，直到效應出現為止；荷爾蒙分析中剔除了一個離群值；兩個p值只報告較小的那個；自陳問卷的題目之所以保留，是因為它們「行得通」。柯蒂沒有撤回主張。她把說法從可測量的荷爾蒙變化，縮小為主觀的自信感受，並繼續對外講述這項研究。

John Bargh、Mark Chen和Lara Burrows在1996年發表了他們的老年促發研究。受試者接觸過與老年相關的字詞，例如「佛羅里達」、「賓果」和「皺巴巴」之後，走過走廊的速度變慢，慢到可以測量出來。這項發現成了社會促發研究的核心案例，也出現在丹尼爾·康納曼（Daniel Kahneman）的著作《快思慢想》中，被當作證據，說明情境會自動而全面地影響行為。

2012年，Stéphane Doyen與同事重做了這項研究。他們用紅外線計時設備取代拿著碼錶的研究人員，讓實驗者不知道每位受試者被分到哪個條件，也擴大了樣本，結果完全沒有發現步速變慢。接著他們做了第二個實驗，事先告訴實驗者應該預期什麼。只有在實驗者預期會看到效應時，步速效應才重新出現。Bargh的回應，是在一篇部落格文章中稱這些比利時研究者「無能或不明就裡」，那篇文章後來被他刪了。

康納曼曾把著作的一部分可信度押在社會促發的研究發現上；那年9月，他寄出一封公開信給這個領域的研究者。他在信中寫道，他看見「一場火車事故正在逼近」。後來，有些重複驗證研究者把他書中談促發的那一章逐條拆解，他在回應他們時公開承認，自己在《快思慢想》中處理社會促發的方式太過輕信。

系統性的全貌來自開放科學協作計畫（Open Science Collaboration）。這個團隊花了好幾年，重複驗證100項已發表的心理學實驗，結果在2015年公布：原始研究有97%得到統計上顯著的結果，重複驗證只有36%；重複驗證的效果量平均約只有原始研究的一半。

接著還有Daryl Bem。2011年，Bem在一份主流社會心理學期刊上發表論文，報告9項實驗，其中8項達到顯著，作為超感官知覺存在的證據。受試者似乎在電腦選出圖片之前，就知道電腦會顯示哪些圖片。這篇論文用的統計方法，和那一年同一份期刊上的其他論文如出一轍。重複驗證全部失敗。方法學者檢視原始論文，找不到任何違反該領域通行規則之處，只看到這些規則所容許的尋常彈性。

如果標準方法能替一個在物理上不可能存在的效應，做出9項中有8項看似顯著的研究，問題就出在方法本身。Bem的論文雖然不是再現性危機的起點，卻讓人再也無法忽視這一點。

造假在這當中的位置

2011年，蒂爾堡大學（Tilburg University）的荷蘭社會心理學家Diederik Stapel，因大規模捏造數據遭到解聘；隨後的調查發現，造假橫跨他多年的研究，涉及55篇論文。他的資料集完全是憑空編造的。

Stapel解釋不了再現性危機。研究發現崩塌的那些自我耗損實驗室、權力姿勢研究者和社會促發研究者，並沒有捏造數據。他們做研究、寫論文，用的是這個領域接受並獎勵的方法。再現性危機的運作不需要造假，只需要研究者回應擺在眼前的誘因。Stapel才是那個離群值。

體制如何製造出這些結果

把Stapel放在一邊，上面提到的每一項發現都通過了同儕審查，用的是該領域的標準方法，數據也沒有人捏造。

這套流程的核心缺陷，早在數十年前就有人描述過。羅伯特·羅森塔爾（Robert Rosenthal）在1979年為「抽屜問題」（file drawer problem）命名，不過Theodore Sterling早在那之前二十年，就已用實證資料記錄了這個現象：他發現，在四份主要心理學期刊中，使用顯著性檢定的文章有97%報告拒絕了虛無假設。

期刊發表顯著結果的比率，遠高於陰性結果。失敗的實驗，無論是沒發現效應、發現的效應方向相反，還是寫不出一個能發表的故事，都未經發表，越積越多。因此，研究文獻只是所有已做實驗中的一個子集，是通過一道強烈偏向陽性結果的篩選後倖存下來的那些。

規模一放大，就會變成這樣：一名研究者做了20次實驗，檢驗一個錯誤的假設。其中19次得到陰性結果，1次純屬偶然地出現偽陽性；當虛無假設為真、顯著門檻設在5%時，這正是預期中的結果。那19次無聲無息，那1次獲得發表。這個領域多了一項陽性研究，卻沒有得到任何可供校正的資訊。把這種情形乘上整個領域、乘上數十年，文獻裡就塞滿了偶然出現的結果，看起來卻像不斷累積的證據。

p值操弄（p-hacking）發生在單一研究內部，而不是橫跨多項研究，因此更難察覺，也更普遍。一名研究者收完資料，得到p = 0.06，離顯著只差一步。研究者在正式分析之前，剔除兩名反應模式異常的受試者，p就變成了0.047。或者，加進一個手邊現成、但原本沒有規劃的共變項。又或者，在好幾個不同的樣本數下分別跑分析，停在數據看起來最乾淨的地方。發表出來的論文不會記下這些，只會呈現最後那次分析，彷彿那是唯一跑過的一次。只要幾個這類「研究者自由度」（要報告哪些結果測量、要加入哪些共變項、何時停止收集資料、要捨棄哪些實驗條件），就能把偽陽性率從名義上的5%推高到超過60%。這麼做的研究者，是在理性地回應一套獎勵結構，在這套結構裡，p < 0.05就是成功與失敗之間的全部差別。

第三種機制是HARKing，全稱Hypothesizing After Results are Known，也就是「知道結果之後才提出假設」。這個詞由Norbert Kerr在1998年創造。機制是這樣的：研究者做實驗時預期會找到效應X，結果卻找到效應Y，於是構想出一個本來就能預測Y的假設，再把論文寫得好像這個假設從一開始就在那裡。發表出來的文章，讀起來就像理論獲得了證實。誘因是結構性的：驗證性的發現比探索性的發現更容易發表。同一個結果，報告成「如預期」和報告成「意外撞見」，受到的對待並不相同。每一項探索性發現都有理由把自己包裝成驗證性的，而讀到最終論文的人，誰也分辨不出差別。

這三種機制同時運作，會產生一個可以預測的數學結果。John Ioannidis在2005年算出了這筆帳。有些領域裡，受檢驗的假設當中真的少、假的多（社會心理學有很大一部分正是如此：臆測性的理論，用小型的便利樣本，在廉價的實驗室實驗中檢驗），樣本的檢定力不足，分析的彈性很大，發表誘因又強烈偏好陽性結果；在這樣的領域，發表的文獻最後可能偽陽性多於真陽性。

具體的算術是這樣：如果受檢驗的假設有10%為真，統計檢定力為80%，顯著門檻為p = 0.05，那麼做100次檢驗，平均會得到8個真陽性和4.5個偽陽性。偽發現率，也就是陽性結果中錯誤所占的比例，約為36%。若把為真假設的基本率再調低，就像一個用小型、彈性大的研究去檢驗高度臆測性主張的領域那樣，偽發現率就會攀升到50%以上。到了那個地步，文獻可能錯的比對的還多。

p < 0.05是什麼意思，又不是什麼意思

p值低於0.05的意思是：如果虛無假設為真，這麼極端的結果因偶然而出現的機率低於5%。它不代表這項發現有95%的機率為真，也不能證實假設。推廣p值的羅納德·費雪（Ronald Fisher），原本把它當成一個微弱的訊號，值得再用進一步的實驗追下去，而不是決定能否發表的二元標準。

後來成為心理學主流標準的虛無假設顯著性檢定架構，是兩種互不相容的統計哲學混合而成的：費雪的顯著性檢定，以及奈曼—皮爾森（Neyman-Pearson）的假設檢定架構。兩邊的開創者都不認同這種合併的做法，而且都曾公開撰文批評對方的體系。p < 0.05這道門檻，原本是費雪農業統計裡的一個慣例，後來套上了工業品質管制那種「接受或拒絕」的固定邏輯，再靠體制慣性而非統計邏輯，成了普遍通行的發表關卡。誤用這道門檻，會把一個連續的證據量尺壓縮成「通過／不通過」的二元決定，也正因如此，製造出不擇手段跨過門檻的誘因。

理性的人為什麼這麼做

研究成果崩塌的研究者，大多既非心術不正，也非無能之輩。真正有用的問題是：為什麼尋常的職涯誘因，會讓這個領域裡任何一位科學家都可預見地做出這種行為。

學術職涯取決於發表，更確切地說，取決於在高聲望期刊上發表，而這些期刊偏好統計顯著的結果。一名研究者做了三個實驗，得到一個顯著結果，就發表那一個。另外兩個進了抽屜。

每位研究者面對的都是同一筆帳，因為職涯評量看的是產出，不是過程：顯著結果算數，陰性結果不算。

研究經費讓問題雪上加霜。有已發表研究成果的紀錄，申請經費要容易得多，而陰性結果累積不出這種紀錄。一名研究者若總是發現自己的假設站不住，就會面臨更艱難的經費申請週期、更單薄的發表清單，以及日漸縮減的機構支持；這一切都源自一份履歷，而用那些真正算數的指標來看，這份履歷就像失敗的紀錄。對許多研究者來說，驅使他們找到陽性結果的誘因，就是能不能保住工作。

同儕審查矯正不了這一點。審查者是受審領域的專家，同時也在這個領域既有的研究發現上投入甚深。一篇挑戰既有結果的論文，例如質疑社會促發的論文，面對的審查者往往已經建立了理論架構、寫過經費申請書、發表過論文，而這些都仰賴那些發現站得住腳。當專業知識和對某組結果的利害關係綁在一起，挑戰既有發現的論文所面對的門檻，就可能比證實它的論文更高，即使兩者的方法同樣嚴謹。

這些都不能為草率的研究設計或動機性推理開脫，而這兩者確實都存在。至於Stapel，這一切更不能為他的造假開脫。重點在於，即使沒有任何這些個人缺失，同樣扭曲的文獻還是會出現。

既然失敗出在錯置的誘因，值得關注的改革，就是那些能改變期刊發表什麼、職涯獎勵什麼的改革。

科學界正在做什麼

再現性危機大約在2011年公開爆發。在那之前，方法學上的批評已在專業文獻中醞釀多年；改變的是能見度。Bem的風波、Stapel的造假、2011至2012年接連失敗的促發重複驗證，再加上開放科學協作計畫2015年的論文，以及那些未能重現的TED演講研究發現，讓這個領域再也無法假裝問題只是邊緣現象。隨後展開的是一場改革行動，各方採納的程度參差不齊，涵蓋範圍也不完整，但其中有些改革可以證明確實改變了結果。

預先登記是採納最廣的改革。研究者在開始收集資料之前，就把假設、樣本數和分析計畫登記在公開的登記平台上。這讓HARKing變得可以察覺：如果實際跑的分析與登記在案的不同，任何人都能拿論文和計畫對照，而良好的做法要求作者揭露並說明改動。它在形式上把探索性研究與驗證性研究區分開來。兩者都是正當的研究，但在舊體系中，它們發表出來的樣子一模一樣，探索性發現常常被當成驗證性證據。開放科學架構（Open Science Framework）和AsPredicted是主要的平台，許多期刊現在也會用「開放科學徽章」標示預先登記的研究。

但預先登記並不能消除發表偏誤。它改變的是研究者動筆之前做什麼，而不是編輯決定接受什麼。

有一個團隊直接檢驗了這一點，比較193項預先登記的心理學研究和193項經過配對、沒有預先登記的研究。陽性結果的比率並沒有大幅下降。預先登記研究的效果量在數值上較小，但差異不具統計顯著性。預先登記的研究樣本較大，也較常做檢定力分析，可見預先登記確實改善了研究設計。但這項比較並沒有顯示預先登記能阻止p值操弄或HARKing，發表誘因也依然原封不動。

要改變這個誘因，需要另一種機制。登記報告（Registered Reports）提供了一種，而且它的效果已經有人測量過。在這種模式下，期刊在收集資料之前，就根據研究問題和方法評估論文，決定接受或拒絕，並承諾無論結果如何都會刊登。

這就堵住了發表偏誤的主要途徑，也就是因結果而遭拒，因為編輯是在結果出現之前就做出決定。神經科學家Chris Chambers在2013年，於一份他參與編輯的期刊推出這種形式，此後已擴散到數百份期刊。

後來有一項比較，把登記報告和隨機抽樣的一般心理學論文放在一起看。在96%的一般論文中，第一個受檢驗的假設獲得了支持；在登記報告中，這個比例是44%。這道落差，就是發表偏誤和彈性分析留下的足跡，這也是作者們自己認為最合理的解釋。這項比較屬於觀察性研究，登記報告也可能吸引不同類型的假設，但它呈現了一件事：當期刊放棄在事後拒絕陰性結果的能力時，陽性結果的比率會是什麼模樣。而預先登記並沒有拿走期刊的這種能力。

Many Labs系列計畫，是心理學界手上最接近「真實基準」的系統性重複驗證資料。2018年發表的Many Labs 2，在36個國家重複驗證了28個效應，受試者超過1.5萬人。依照標準的顯著性準則，略多於一半成功重現，而有四分之三的重複驗證效果量小於原始研究。不同國家、大學和樣本之間的差異不大，而且主要出現在較大的效應上；整體接近零的效應，幾乎在所有地方都維持接近零，而不是在某些地方有效、在其他地方無效。Many Labs 2做到了單一實驗室重複驗證做不到的事：把在各種情境下都站得住的效應，和一離開原始條件就無法重現的發現區分開來。

現在也有好幾份期刊要求公開分享原始數據和分析程式碼，讓分析得以查核，這是同儕審查做不到的。審查者看到的是寫出來的報告；拿到原始數據的研究者，則能看出報告是否如實呈現了數據。Brian Nosek的開放科學中心（Center for Open Science）透過「開放科學徽章」計畫推動透明標準，目前已有超過100份期刊採用，在已發表的論文上標示預先登記、數據分享和材料分享。

貝氏分析和最低樣本數要求，都能改善個別研究，卻碰不到結構性的問題。貝氏分析問的是新數據應該如何更新先前的信念，而不是產出一個「顯著／不顯著」的二元決定；它在心理學和認知科學中越來越普遍，但仍然留有彈性分析的空間，而且既沒有重塑發表誘因，也沒有在整體層面帶來可測量的偽陽性減少，因為它不改變什麼會被發表。最低樣本數和檢定力分析的要求，在研究設計層面同樣有價值，也同樣有限：採納程度參差不齊，並不是通行的標準。兩者的影響都不及登記報告，因為登記報告介入的是編輯決定，而不是研究設計。

時間落差與懸而未決的問題

這些改革都修補不了在它們之前發表的文獻，也碰觸不到那些改革幾乎還沒抵達的領域。

開放科學協作計畫發現，在100項研究的樣本中，約64%未能明確重現。心理學每年發表數以千計的研究。危機之前的文獻大多還沒重新檢驗，而且大部分很可能永遠不會。嚴謹的多實驗室重複驗證既緩慢又昂貴，還得協調數十個團隊遵循同一套實驗程序。自我耗損的多實驗室研究動用了23個實驗室和2,141名受試者；鮑梅斯特當初的實驗只需要一個實驗室。製造一項發現很便宜；要用原始研究所欠缺的嚴謹去修正它，可就不便宜了。那些把自我耗損當成定論引用的教科書，並沒有在2016年被回收。修正存在於科學紀錄之中，但一離開這份紀錄，它能觸及的範圍就很有限，而這種侷限，任何同儕審查的改革都修補不了。

更廣泛地說，職涯誘因大致沒有改變。目前有超過300份期刊提供登記報告，心理學界也普遍鼓勵預先登記，但對大多數心理學研究而言，兩者都不是強制的。臨床試驗則必須登記，心理學的臨床試驗也不例外：主要醫學期刊不會刊登在2005年7月1日或之後開始招募受試者、卻沒有在第一位病人加入前完成登記的試驗。終身職審查委員會仍然高度倚重發表數量和引用指標，儘管像推進研究評量聯盟（CoARA）這樣的改革聯盟，正推動各機構放棄對期刊影響係數和h指數等指標的不當使用。一名年輕研究者做的是檢定力充足、預先登記的研究，發表的論文較少；另一位做許多小型、彈性大的研究，發表更多陽性結果。前者的履歷會比後者單薄。在已採納這些改革的子領域，追求陽性結果的壓力已部分被抵銷，但壓力仍在。

醫學和營養學是這道落差影響最大的地方，因為在那裡，同樣的結構性失靈，會造成學術心理學的失靈所不會造成的後果。臨床醫學確實很早就採納了一項改革：自2005年起，主要期刊就要求臨床試驗必須登記。在美國的大型心臟試驗中，2000年之前發表的有57%報告了療效，之後發表的只有8%；那時，事先在ClinicalTrials.gov上申報結果指標已成常規，研究作者認為這個降幅與事前登記有關。但登記涵蓋的是試驗，而不是數量多得多的觀察性研究和實驗室研究；本文談到的這些改革，恰恰在這類研究和營養學中落實得最少。醫學也有自己版本的同一種模式：Ioannidis發現，在宣稱某種療法有效、而且被高度引用的臨床研究中，約有三分之一後來遭到推翻，或被證明效果小得多。營養學的情況可以說更糟：研究通常規模小且屬於觀察性，產業資助無所不在；要把受試者隨機分配到不同飲食、並維持好幾年，既緩慢又昂貴，以致長期試驗的數量遠遠不及觀察性研究；數十年來，飲食建議也隨著檢定力不足的發現時而受寵、時而失寵，來回擺盪。

以膳食脂肪為例。數十年來，飲食建議根據觀察性研究，以及一篇由製糖業資助、專挑脂肪和膽固醇開刀卻淡化糖的文獻回顧，把心臟病歸咎於脂肪。當「婦女健康倡議」（Women’s Health Initiative）終於以一項涵蓋近4.9萬名女性的隨機試驗，檢驗廣泛的低脂建議時，減少總脂肪攝取並沒有讓心臟病或中風顯著減少。較窄的主張比較站得住腳：減少飽和脂肪的長期試驗，確實降低了心血管事件。產業的錢起了一定作用，但更大的問題出在方法：建立在有混淆因子的觀察性研究上的建議，比能夠檢驗它的試驗早跑了好幾年，就像學術心理學的發現，在證據到位之前就跑進了管理實務和自我成長文化。

留下了什麼

經理人被建議趕在決策疲勞出現之前，在一天的早些時候做出最困難的決定，因為自我耗損已是定論。自我成長書籍告訴讀者，在一天的前段少做選擇，以保住意志力的存量。生產力文化圍繞著「認知燃料」的概念，撐起了一個小型產業。這些都被當成實用的指示，源自那些一經仔細檢視就煙消雲散的科學發現。原始文獻衍生出的下游應用，至今仍以科學修正觸及不到的形式繼續流傳。

檢驗自我耗損的那23個實驗室，採用了預先登記、多地點協調一致的實驗程序，並承諾不論結果如何都會發表。登記報告正是把這些結構性工具化為制度。若對醫學的臨床文獻或營養指引做一次類似的稽核，會發現什麼，目前只窺見了一角：「癌症生物學再現性計畫」（Reproducibility Project: Cancer Biology）重做了23篇高影響力癌症論文中的50項實驗，陽性結果的重複驗證效應中位數，比原始研究小了85%。這些領域和心理學有相同的條件，大體上也有相同的誘因。心理學是在顯眼的失敗累積到臨界量之後，才在十年間被拖進一場公開的清算。登記報告已經進入生物學和醫學期刊，但零零星星；提供這種形式的期刊，大多仍在心理學領域。懸而未決的實際問題是：登記報告能否在一場類似的清算迫使那些領域採用之前，就先在那裡成為常態。

沒有人算過這段等待的代價：病患根據不確定的證據做出的決定，還有那些擺盪過、也可能再次擺盪的飲食指南。

相關文章

• 為什麼連自己的記憶也靠不住
• 道德心智：你的道德直覺，沒有你以為的那麼可靠
• AI到底怎麼運作：開發者知道、頭條卻沒說的事

延伸閱讀

Eikleaf參與亞馬遜聯盟計畫（Amazon Associates），可透過符合計畫條件的購買獲得佣金。下方標示Amazon的書籍連結為聯盟行銷連結；若您透過這些連結購買商品，我們可能獲得少量佣金，您無須額外付費。標示博客來的連結則非聯盟行銷連結。

推薦影片

生成式AI使用聲明

本頁部分內容使用生成式AI協助撰寫或編輯。

圖片與媒體來源

Pilan Filmes – Pexels

主要資料來源與參考文獻

Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265. https://doi.org/10.1037/0022-3514.74.5.1252

Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. D. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136(4), 495–525. https://doi.org/10.1037/a0019486

Hagger, M. S., Chatzisarantis, N. L. D., et al. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4), 546–573. https://doi.org/10.1177/1745691616652873

Association for Psychological Science. (2016). Replication project investigates self-control as limited resource [Press release]. https://www.psychologicalscience.org/news/releases/replication-project-investigates-self-control-as-limited-resource.html

Vohs, K. D., Schmeichel, B. J., Lohmann, S., Gronau, Q. F., Finley, A. J., et al. (2021). A multisite preregistered paradigmatic test of the ego-depletion effect. Psychological Science, 32(10), 1566–1581. https://doi.org/10.1177/0956797621989733

Carney, D. R., Cuddy, A. J. C., & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21(10), 1363–1368. https://doi.org/10.1177/0956797610383437

Cuddy, A. (2012, June). Your body language may shape who you are [Video]. TED Conferences. https://www.ted.com/talks/amy_cuddy_your_body_language_may_shape_who_you_are

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, R. A. (2015). Assessing the robustness of power posing: No effect on hormones and risk tolerance in a large sample of men and women. Psychological Science, 26(5), 653–656. https://doi.org/10.1177/0956797614553946

Carney, D. R. (2016, September). My position on “Power Poses” [Faculty statement]. Haas School of Business, University of California, Berkeley. https://faculty.haas.berkeley.edu/dana_carney/pdf_my%20position%20on%20power%20poses.pdf

Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2), 230–244. https://doi.org/10.1037/0022-3514.71.2.230

Doyen, S., Klein, O., Pichon, C.-L., & Cleeremans, A. (2012). Behavioral priming: It’s all in the mind, but whose mind? PLoS ONE, 7(1), e29081. https://doi.org/10.1371/journal.pone.0029081

Yong, E. (2012). A failed replication draws a scathing personal attack from a psychology professor. National Geographic. https://www.nationalgeographic.com/science/article/failed-replication-bargh-psychology-study-doyen

Kahneman, D. (2012, September 26). A proposal to deal with questions about priming effects [Open letter circulated to social priming researchers]. Available via Nature News: https://www.nature.com/news/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf

Schimmack, U., Heene, M., & Kesavan, K. (2017, February 2). Reconstruction of a train wreck: How priming research went off the rails [Blog post, with comment by D. Kahneman]. Replication Index. https://replicationindex.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/

Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716

Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524

Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790

Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLoS ONE, 7(3), e33423. https://doi.org/10.1371/journal.pone.0033423

Univers (Tilburg University). (2012, November 28). Levelt report: Fraud detected in 55 publications. https://universonline.nl/2012/11/28/levelt-report-fraud-detected-in-55-publications

Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638

Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa. Journal of the American Statistical Association, 54(285), 30–34. https://doi.org/10.2307/2282137

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4

Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124

Ioannidis, J. P. A. (2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA, 294(2), 218–228. https://doi.org/10.1001/jama.294.2.218

van den Akker, O., et al. (2024; published online 2023). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods, 56, 5424–5433. https://doi.org/10.3758/s13428-023-02277-0

Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2). https://doi.org/10.1177/25152459211007467

Klein, R. A., et al. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225

Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi.org/10.1016/j.cortex.2012.12.016

Center for Open Science. (n.d.). Registered Reports. https://www.cos.io/initiatives/registered-reports

Montoya, A. K., Krenzer, W. L., & Fossum, J. L. (2021). Opening the door to Registered Reports: Census of journals publishing Registered Reports (2013–2020). Collabra: Psychology, 7(1), 24404. https://doi.org/10.1525/collabra.24404

Center for Open Science. (n.d.). Open Science Badges. https://www.cos.io/initiatives/badges

Coalition for Advancing Research Assessment (CoARA). (n.d.). The commitments. https://coara.org/agreement/the-commitments/

International Committee of Medical Journal Editors. (n.d.). Clinical trials registration: FAQs. https://www.icmje.org/about-icmje/faqs/clinical-trials-registration/

Kaplan, R. M., & Irvin, V. L. (2015). Likelihood of null effects of large NHLBI clinical trials has increased over time. PLoS ONE, 10(8), e0132382. https://doi.org/10.1371/journal.pone.0132382

Howard, B. V., Van Horn, L., Hsia, J., et al. (2006). Low-fat dietary pattern and risk of cardiovascular disease: The Women’s Health Initiative Randomized Controlled Dietary Modification Trial. JAMA, 295(6), 655–666. https://doi.org/10.1001/jama.295.6.655

Kearns, C. E., Schmidt, L. A., & Glantz, S. A. (2016). Sugar industry and coronary heart disease research: A historical analysis of internal industry documents. JAMA Internal Medicine, 176(11), 1680–1685. https://doi.org/10.1001/jamainternmed.2016.5394

Hooper, L., Martin, N., Jimoh, O. F., Kirk, C., Foster, E., & Abdelhamid, A. S. (2020). Reduction in saturated fat intake for cardiovascular disease. Cochrane Database of Systematic Reviews, CD011737. https://doi.org/10.1002/14651858.CD011737.pub3

Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601. https://doi.org/10.7554/eLife.71601