이 글은 자동 번역되었습니다. 원문은 영어로 제공됩니다.
2016년, 오스트레일리아와 인도네시아에서 벨기에, 스웨덴, 캐나다, 미국에 이르기까지 네 대륙의 실험실 스물세 곳이 자아 고갈 이론이 그때까지 받아 본 가운데 가장 엄격한 검증의 결과를 보고했다. 프로토콜은 모든 실험실에서 똑같았고 측정을 단 하나라도 하기 전에 공개 등록되었다. 이로써 이전의 자아 고갈 연구자들이 데이터를 본 뒤에 마음대로 내릴 수 있었던 분석상의 선택들이 미리 못 박혔다.
그보다 6년 전, 발표된 검증 198건의 결과를 종합한 분석은 이 효과를 d = 0.62로 추정했다. 중간에서 큰 수준에 이르는 탄탄한 효과다(d는 두 집단 사이의 차이를 표준편차 단위로 나타낸 값으로, 0은 차이가 전혀 없다는 뜻이다). 자기통제가 쓸수록 줄어드는 단 하나의 유한한 자원에 기댄다는 자아 고갈 이론은 1998년 로이 바우마이스터와 동료들이 처음 내세웠고, 이후 20년 가까이 수백 건의 연구에서 확인된 듯 보였다. 이 이론은 대학 교과서에 실렸다. 경영 조언과 생산성 코칭, 자기계발 분야로까지 퍼졌고, 그곳에서 의지력은 점심 전까지 아껴 써야 하는 연료 탱크가 되었다.
스물세 개 실험실이 같은 사전 등록 프로토콜로 2,141명을 시험하자 추정치는 d = 0.62에서 d = 0.04로 떨어졌다. 사실상 아무것도 없다는 값이다. 그리고 이 결과는 검정력이 부족한 연구 하나가 검정력이 탄탄한 기존 문헌을 재현하지 못해서 나온 것이 아니었다.
이 수정은 그것이 무너뜨린 연구 결과들과 똑같은 제도적 경로를 거쳐 나왔다. 과학자들이, 표준적인 방법으로, 동료 심사를 거치는 심리학 학술지에서. 이 이론을 가장 앞장서 옹호해 온 바우마이스터와 캐슬린 보스는 사람들을 지치게 하려고 쓴 컴퓨터 과제가 애초에 자기통제를 건드리지 못했을 수 있다고 반박했다. 그래서 2021년, 보스가 이끈 36개 실험실의 사전 등록 검증이 3,531명을 대상으로 다시 시도되었다. 이번에도 신뢰할 만한 효과는 나오지 않았다.
패턴
자아 고갈은 연구 문헌이 대규모로 만들어 내는 패턴의 한 사례였다.
2010년 데이나 카니, 에이미 커디, 앤디 얍은 참가자 42명을 대상으로 한 연구를 발표하며, 팔을 넓게 벌리고 허리에 손을 얹는 식의 확장된 자세를 2분만 취해도 테스토스테론이 올라가고 코르티솔이 내려가며 금전적 위험을 감수하는 성향이 커진다고 주장했다. 커디는 2012년 TED 강연에서 이 결과를 소개했고, 이 강연은 지금까지 7,600만 명이 넘는 시청자에게 닿았다. 이 발견은 임원 코칭과 기업 연수 프로그램으로, 그리고 면접장에 들어가기 전 화장실에서 슈퍼히어로처럼 자세를 잡아 보라는 면접 준비 요령으로까지 번졌다.
2015년 무렵에는 재현 연구들이 호르몬 효과를 찾아내지 못하고 있었다. 2016년, 논문의 제1저자인 데이나 카니는 이 이론을 명시적으로 버린다는 성명을 발표했다. 그는 문제를 직접 짚었다. 42명이라는 아주 작은 표본, 효과가 나타날 때까지 참가자를 묶음 단위로 계속 실험한 것, 호르몬 분석에서 이상치 하나를 뺀 것, 두 p값 가운데 작은 쪽을 보고한 것, 그리고 “통했기” 때문에 남겨 둔 자기보고 문항들. 커디는 주장을 철회하지 않았다. 측정 가능한 호르몬 변화라는 주장을 자신감이라는 주관적 느낌으로 좁히고는 계속 이 연구를 소개했다.
존 바그, 마크 첸, 라라 버로스는 1996년 노인 점화 연구를 발표했다. “플로리다”, “빙고”, “주름진”처럼 노년을 연상시키는 단어에 노출된 참가자들은 실험 뒤 복도를 측정될 만큼 더 느리게 걸어 나갔다. 이 결과는 사회적 점화 연구의 대표 사례가 되었고, 대니얼 카너먼의 책 《생각에 관한 생각》에 맥락이 행동에 자동적이고 전방위적인 영향을 미친다는 증거로 실렸다.
2012년 스테판 두아얭과 동료들이 이 연구를 다시 수행했다. 스톱워치를 든 연구자 대신 적외선 계측 장비를 썼고, 실험자가 참가자 각자의 실험 조건을 모르게 했으며, 표본도 더 키웠다. 걸음이 느려지는 현상은 전혀 나타나지 않았다. 이어 그들은 실험자에게 어떤 결과를 기대해야 하는지 알려 준 채 두 번째 실험을 했다. 걷는 속도 효과는 실험자가 그 효과를 찾으리라 기대할 때에만 다시 나타났다. 바그는 블로그 글에서 이 벨기에 연구자들을 “무능하거나 정보가 부족한” 사람들이라고 불렀다가, 나중에 그 글을 지웠다.
책의 신뢰도 일부를 사회적 점화 연구에 걸었던 카너먼은 그해 9월 이 분야 연구자들에게 공개서한을 보냈다. 그는 “다가오는 열차 사고”가 보인다고 썼다. 훗날 그는 자기 책의 점화 장을 낱낱이 해부한 재현 연구자들에게 답하면서, 《생각에 관한 생각》에서 사회적 점화를 다룬 방식이 지나치게 쉽게 믿은 것이었다고 공개적으로 인정했다.
전체 그림은 오픈 사이언스 컬래버레이션에서 나왔다. 이 연구진은 몇 년에 걸쳐 발표된 심리학 실험 100건을 재현했다. 2015년에 나온 결과는 이랬다. 원래 연구의 97%가 통계적으로 유의한 결과를 냈지만 재현 연구에서는 36%에 그쳤고, 재현 연구의 효과 크기는 평균적으로 원래의 절반 정도였다.
그리고 대릴 벰이 있다. 2011년 벰은 주류 사회심리학 학술지에 실험 아홉 건을 보고하는 논문을 실었다. 그중 여덟 건이 유의했고, 그는 이를 초감각 지각의 증거로 내놓았다. 참가자들은 컴퓨터가 어떤 이미지를 보여 줄지, 컴퓨터가 그 이미지를 고르기도 전에 아는 것처럼 보였다. 이 논문은 그해 같은 학술지에 실린 다른 어느 논문에서나 볼 수 있는 종류의 통계 기법을 썼다. 재현은 실패했다. 방법론자들이 원 논문을 들여다봤을 때 분야의 통용 규칙을 어긴 부분은 하나도 없었다. 그 규칙이 허용하는 평범한 유연성이 있었을 뿐이다.
표준적인 방법이 물리적으로 불가능한 효과에 대해 아홉 건 가운데 여덟 건이나 유의해 보이는 연구를 만들어 낼 수 있다면, 잘못은 방법에 있다. 벰의 논문이 재현성 위기를 시작한 것은 아니지만, 이 사실을 더는 외면할 수 없게 만들었다.
사기는 어디에 자리하는가
2011년, 네덜란드 틸뷔르흐 대학교의 사회심리학자 디데리크 스타펄은 데이터를 통째로 조작한 일로 해임되었다. 뒤이은 조사에서 여러 해에 걸친 연구와 그의 발표 논문 55편에서 사기가 드러났다. 그는 데이터 세트를 아예 지어냈다.
스타펄은 재현성 위기를 설명해 주지 않는다. 결과가 무너진 자아 고갈 실험실들, 파워 포즈 연구자들, 사회적 점화 연구자들은 데이터를 조작하지 않았다. 그들은 분야가 받아들이고 보상하던 방법으로 연구를 하고 논문을 썼다. 재현성 위기가 작동하는 데 사기는 필요 없었다. 연구자들이 눈앞의 유인에 반응하기만 하면 충분했다. 스타펄은 예외다.시스템은 어떻게 이런 결과를 만들어 내는가
스타펄을 제외하면, 위에서 다룬 연구 결과는 모두 동료 심사를 통과했다. 그 분야에서 표준이던 방법을 썼고, 누구도 데이터를 조작하지 않았다.
그 과정의 핵심 결함은 수십 년 전에 이미 지적된 것이었다. 로버트 로젠탈이 1979년 여기에 서랍 문제라는 이름을 붙였지만, 그보다 20년 전 시어도어 스털링이 이미 이 현상을 실증적으로 기록해 두었다. 주요 심리학 학술지 네 곳에서 유의성 검정을 사용한 논문의 97%가 귀무가설을 기각했다고 보고한 것이다.
학술지는 귀무 결과보다 유의한 결과를 훨씬 높은 비율로 싣는다. 효과를 찾지 못했든, 반대 방향의 효과를 얻었든, 논문으로 엮을 이야기가 없든, 실패한 실험들은 발표되지 못한 채 쌓여 간다. 따라서 연구 문헌은 수행된 모든 실험 가운데 긍정적 결과 쪽으로 크게 기운 필터를 통과한 부분집합이다.
이것이 대규모로 낳는 결과는 이렇다. 한 연구자가 거짓인 가설을 검증하는 실험을 스무 번 한다. 열아홉 번은 귀무 결과가 나온다. 한 번은 우연히 위양성이 나온다. 참인 귀무가설에 5% 유의수준을 적용하면 예상되는 결과다. 열아홉 건은 어디에도 실리지 않고, 한 건은 발표된다. 분야는 긍정적 연구 하나를 얻고, 이를 바로잡아 줄 정보는 하나도 얻지 못한다. 이것을 한 분야 전체에, 수십 년에 걸쳐 곱하면, 문헌은 축적된 증거처럼 차려입은 우연한 결과들로 가득 찬다.
p-해킹은 여러 연구에 걸쳐서가 아니라 연구 하나 안에서 일어난다. 그래서 잡아내기가 더 어렵고, 더 만연해 있다. 한 연구자가 데이터 수집을 마치고 p = 0.06을 얻는다. 유의성에 살짝 못 미친다. 그는 정식 분석에 앞서 특이한 응답 패턴을 보인 참가자 두 명을 뺀다. 이제 p = 0.047이다. 아니면 확보는 해 두었지만 원래 계획에는 없던 공변량을 추가한다. 아니면 여러 표본 크기에서 분석을 돌려 보고 데이터가 가장 깔끔해 보이는 지점에서 멈춘다. 발표된 논문에는 이 가운데 어느 것도 기록되지 않는다. 최종 분석만이, 마치 그것이 유일하게 수행된 분석인 것처럼 실린다. 이런 “연구자 자유도”(어떤 결과 측정치를 보고할지, 어떤 공변량을 넣을지, 언제 데이터 수집을 멈출지, 어떤 실험 조건을 뺄지에 관한 결정) 몇 가지만으로도 위양성 비율은 명목상의 5%에서 60% 넘게까지 부풀 수 있다. 이렇게 하는 연구자는 p < 0.05를 성공과 실패를 가르는 유일한 차이로 취급하는 보상 구조에 합리적으로 반응하고 있는 것이다.
세 번째 메커니즘은 HARKing, 곧 결과를 안 뒤에 가설 세우기(Hypothesizing After Results are Known)다. 노버트 커가 1998년 이 용어를 만들었다. 작동 방식은 이렇다. 연구자가 효과 X를 기대하고 실험을 했는데 효과 Y가 나온다. 그러면 Y를 예측했을 법한 가설을 만들어, 그 가설이 처음부터 있었던 것처럼 논문을 쓴다. 발표된 논문은 이론을 확증한 연구로 읽힌다. 유인은 구조적이다. 확증적 결과가 탐색적 결과보다 발표되기 쉽다. 예측대로 나왔다고 보고한 결과는, 똑같은 결과를 우연히 발견했다고 보고할 때와 다르게 받아들여진다. 모든 탐색적 발견에는 확증적 발견으로 행세할 이유가 있고, 완성된 논문을 읽는 사람은 그 차이를 알아챌 수 없다.
이 세 메커니즘이 동시에 돌아가면 예측 가능한 수학적 결과가 나온다. 존 이오아니디스가 2005년 그 산술을 풀어냈다. 검증 대상 가설 가운데 참인 것의 비율이 낮고(값싼 실험실 실험에서 소규모 편의 표본으로 사변적인 이론을 검증하는 사회심리학의 상당 부분에 들어맞는 설명이다), 표본의 검정력이 부족하고, 분석의 유연성이 크며, 발표 유인이 긍정적 결과를 강하게 선호하는 분야에서는, 발표된 문헌에 참인 결과보다 위양성이 더 많아질 수 있다.
구체적인 계산은 이렇다. 검증하는 가설의 10%가 참이고 통계적 검정력이 80%, 기준이 p = 0.05라면, 검정 100번에서 평균적으로 진양성 8건과 위양성 4.5건이 나온다. 긍정적 결과 가운데 틀린 것의 비율인 거짓 발견율은 약 36%다. 극히 사변적인 주장을 작고 유연한 연구로 검증하는 분야에서처럼 참인 가설의 기저율을 낮추면, 거짓 발견율은 50%를 넘어선다. 그 지점에서 문헌은 맞는 것보다 틀린 것이 더 많을 수 있다.
p < 0.05가 뜻하는 것과 뜻하지 않는 것
p값이 0.05보다 작다는 것은 이런 뜻이다. 귀무가설이 참이라면, 이만큼 극단적인 결과가 우연히 나타날 확률이 5% 미만이라는 것. 연구 결과가 진짜일 확률이 95%라는 뜻이 아니다. 가설을 확증해 주지도 않는다. p값을 널리 퍼뜨린 로널드 피셔는 이를 추가 실험으로 따라가 볼 만한 약한 신호로 의도했지, 게재 여부를 가르는 이분법적 기준으로 의도하지 않았다.
심리학의 지배적 표준이 된 귀무가설 유의성 검정 체계는 서로 양립할 수 없는 두 통계 철학, 곧 피셔의 유의성 검정과 네이만-피어슨의 가설 검정 체계를 섞은 잡종이다. 두 창시자 가운데 누구도 이 결합 방식을 지지하지 않았고, 양쪽 모두 지면에서 상대의 체계를 비판했다. 피셔의 농업 통계에서 나온 관례인 p < 0.05 기준은 산업 품질 관리의 고정된 채택-기각 논리와 함께 적용되면서, 통계적 논리가 아닌 제도적 관성에 따라 보편적인 게재 관문이 되었다. 이 기준을 잘못 쓰면 연속적인 증거의 척도가 통과/탈락이라는 이분법적 판정으로 뭉개지고, 그 과정에서 어떤 수단을 써서라도 기준선을 넘으려는 바로 그 유인이 생겨난다.합리적인 사람들이 왜 이렇게 했나
연구가 무너진 연구자들 대부분은 부패하지도 무능하지도 않았다. 쓸모 있는 질문은 평범한 경력 유인이 왜 이 분야에서 일하는 어느 과학자에게서나 이런 행동을 예측 가능하게 만들었느냐는 것이다.
학자의 경력은 논문에, 그것도 통계적으로 유의한 결과를 선호하는 권위 있는 학술지에 실린 논문에 달려 있다. 실험 세 번을 해서 유의한 결과를 하나 얻은 연구자는 그 하나를 발표한다. 나머지 둘은 서랍 속으로 들어간다.
모든 연구자가 같은 계산을 한다. 경력이 과정이 아니라 산출물로 평가되기 때문이다. 유의한 결과는 실적으로 쳐지고, 귀무 결과는 쳐지지 않는다.
연구비가 문제를 키운다. 연구비는 발표된 연구 결과의 실적이 있을 때 훨씬 따내기 쉽다. 귀무 결과로는 그런 실적이 쌓이지 않는다. 자기 가설이 번번이 들어맞지 않는다는 결과를 얻는 연구자는 더 힘든 연구비 심사, 더 얇은 논문 목록, 줄어드는 기관의 지원을 마주한다. 모두 중요하게 여겨지는 지표로 보면 실패처럼 보이는 이력서에서 비롯되는 일이다. 많은 연구자에게 긍정적 결과를 찾아야 한다는 유인은 계속 고용되기 위한 조건이다.
동료 심사는 이것을 바로잡지 못한다. 심사자는 심사 대상 분야의 전문가이고, 동시에 그 분야의 기존 연구 결과에 이해관계가 걸린 사람들이다. 사회적 점화에 의문을 제기하는 논문처럼 확립된 결과에 도전하는 논문은, 그 결과가 유지된다는 전제 위에서 이론 틀을 세우고 연구비 신청서를 쓰고 논문을 발표해 온 심사자들을 마주한다. 전문성이 특정 결과에 대한 이해관계와 한데 묶여 있으면, 방법이 똑같이 탄탄하더라도 확립된 결과에 도전하는 논문의 문턱이 그것을 확인하는 논문의 문턱보다 높아질 수 있다.
이 가운데 어느 것도 엉성한 연구 설계나 동기화된 추론을 변명해 주지 않는다. 둘 다 실제로 있었다. 스타펄의 경우, 이 가운데 어느 것도 조작을 변명해 주지 않는다. 요점은 그런 개인의 결함이 하나도 없었더라도 똑같이 왜곡된 문헌이 생겨났으리라는 것이다.
실패의 원인이 어긋난 유인에 있으므로, 지켜볼 만한 개혁은 학술지가 무엇을 싣고 경력이 무엇을 보상하는지를 바꾸는 개혁이다.
과학은 무엇을 하고 있나
재현성 위기는 2011년 무렵 세상에 드러났다. 그때 이미 방법론 비판은 전문 문헌 안에서 여러 해 동안 쌓여 온 상태였다. 달라진 것은 가시성이었다. 벰 사태, 스타펄의 조작, 2011~2012년의 점화 재현 실패, 이어 2015년의 OSC 논문과 재현되지 않은 TED 강연 속 연구 결과들이 나오면서, 이 분야는 문제가 변두리의 일인 척할 수 없게 되었다. 그 뒤로 개혁 노력이 이어졌다. 도입은 들쭉날쭉하고 범위는 불완전했지만, 그 가운데 일부 개혁은 실제로 결과를 바꿨음이 입증되었다.
사전 등록은 가장 널리 채택된 개혁이다. 연구자들은 데이터 수집을 시작하기 전에 가설과 표본 크기, 분석 계획을 공개 저장소에 등록한다. 이렇게 하면 HARKing을 잡아낼 수 있다. 실제로 수행한 분석이 기록된 분석과 다르면 누구든 논문을 계획과 대조해 볼 수 있고, 좋은 관행은 저자에게 그 변경을 밝히고 설명하도록 요구한다. 사전 등록은 탐색적 연구와 확증적 연구를 공식적으로 구분한다. 둘 다 정당한 연구지만, 옛 체계에서는 발표된 형태로는 똑같아 보였고 탐색적 결과가 확증적 증거로 취급되기 일쑤였다. 주요 플랫폼은 Open Science Framework와 AsPredicted이며, 이제 많은 학술지가 사전 등록된 연구에 오픈 사이언스 배지를 달아 표시한다.
그러나 사전 등록이 출판 편향을 없애지는 않는다. 사전 등록이 바꾸는 것은 연구자가 논문을 쓰기 전에 하는 일이지, 편집자가 무엇을 받아들일지 정하는 일이 아니다.
한 연구팀이 이를 직접 검증했다. 사전 등록된 심리학 연구 193건을, 짝을 맞춘 사전 등록되지 않은 연구 193건과 비교한 것이다. 긍정적 결과의 비율은 크게 떨어지지 않았다. 효과 크기는 사전 등록된 연구에서 수치상 더 작았지만, 그 차이는 통계적으로 유의하지 않았다. 사전 등록된 연구는 표본이 더 컸고 검정력 분석을 더 자주 했다. 사전 등록이 연구 설계를 개선하고 있었던 것이다. 하지만 이 연구는 사전 등록이 p-해킹이나 HARKing을 막았음을 보여 주지 못했고, 출판 유인은 그대로였다.
그 유인을 바꾸려면 다른 메커니즘이 필요하다. 등록 보고서가 그런 메커니즘이며, 그 효과는 측정된 바 있다. 이 모델에서 학술지는 데이터가 수집되기 전에 연구 질문과 방법을 근거로 논문을 평가해 게재 여부를 정하고, 결과가 어떻게 나오든 싣겠다고 약속한다.
이렇게 하면 출판 편향의 주된 경로, 곧 결과를 이유로 한 게재 거절이 막힌다. 편집 결정이 결과가 존재하기도 전에 내려지기 때문이다. 신경과학자 크리스 체임버스가 2013년 자신이 편집에 참여하던 학술지에서 이 형식을 처음 도입했고, 이후 수백 개 학술지로 퍼졌다.
이후의 한 비교 연구는 등록 보고서를 표준적인 심리학 논문의 무작위 표본과 나란히 놓았다. 표준 논문의 96%에서 처음 검증한 가설이 지지되었다. 등록 보고서에서는 44%였다. 저자들 스스로 가장 그럴듯하다고 판단한 설명에 따르면, 이 격차는 출판 편향과 유연한 분석이 남긴 흔적이다. 이 비교는 관찰 연구이고 등록 보고서에는 다른 종류의 가설이 몰릴 수도 있다. 그래도 학술지가 사후에 귀무 결과를 거절할 권한, 사전 등록으로는 손대지 못하는 그 권한을 내려놓았을 때 긍정적 결과의 비율이 어떤 모습이 되는지는 보여 준다.
Many Labs 프로젝트는 심리학이 가진 체계적 재현 데이터 가운데 실측 기준에 가장 가까운 것을 제공한다. 2018년에 발표된 Many Labs 2는 36개국에서 1만 5,000명이 넘는 참가자를 대상으로 28가지 효과를 재현했다. 표준적인 유의성 기준으로는 절반을 조금 넘는 효과가 재현되었고, 재현 효과 크기의 4분의 3은 원래보다 작았다. 나라와 대학, 표본에 따른 편차는 크지 않았고 주로 효과가 큰 쪽에서 나타났다. 전체적으로 0에 가까웠던 효과는 어떤 곳에서는 통하고 어떤 곳에서는 통하지 않는 대신, 거의 모든 곳에서 0에 가깝게 머물렀다. Many Labs 2는 단일 실험실 재현 연구가 할 수 없는 일을 한다. 여러 환경에서 유지되는 효과와, 원래 조건 밖에서는 재현되지 않는 결과를 가려낸다.
이제 여러 학술지는 원자료와 분석 코드까지 공개하도록 요구한다. 그 덕분에 동료 심사로는 불가능한 방식으로 분석을 검증할 수 있다. 심사자는 연구 보고서를 본다. 원자료를 가진 연구자는 그 보고서가 데이터를 정확히 대변하는지까지 볼 수 있다. 브라이언 노섹의 오픈 사이언스 센터는 오픈 사이언스 배지 프로그램을 통해 투명성 기준의 도입을 이끌어 왔다. 지금은 100개가 넘는 학술지가 운영하는 이 프로그램은 발표 논문에 사전 등록, 데이터 공유, 연구 자료 공유 여부를 표시한다.
베이즈 분석과 최소 표본 크기 요건은 모두 구조적 문제는 건드리지 않은 채 개별 연구를 개선할 수 있다. 베이즈 분석은 이분법적 유의성 판정을 내리는 대신, 새 데이터가 기존 믿음을 어떻게 갱신해야 하는지 묻는다. 심리학과 인지과학에서 쓰임이 늘고 있지만 여전히 유연한 분석에 열려 있다. 그리고 무엇이 발표되는지를 바꾸지 않기 때문에, 출판 유인을 재편하지도, 문헌 전체 수준에서 위양성을 측정 가능할 만큼 줄이지도 못했다. 최소 표본 크기와 검정력 분석 요건도 연구 설계 차원에서는 마찬가지로 유용하고, 마찬가지로 한계가 있다. 도입이 들쭉날쭉하고 일반적인 표준이 되지 못했다. 둘 다 연구 설계가 아니라 편집 결정 단계에 개입하는 등록 보고서만큼 멀리 닿지는 못한다.
시차, 그리고 열린 질문
이 개혁들 가운데 어느 것도 그 이전에 발표된 문헌을 바로잡지 못하며, 개혁이 거의 닿지 않은 분야에는 손도 대지 못한다.
오픈 사이언스 컬래버레이션은 연구 100건 표본 가운데 약 64%가 깔끔하게 재현되지 않았음을 확인했다. 심리학은 해마다 수천 건의 연구를 발표한다. 위기 이전 문헌의 대부분은 다시 검증되지 않았고, 그 대부분은 아마 앞으로도 검증되지 않을 것이다. 엄격한 다중 실험실 재현은 느리고 비싸며, 수십 개 팀이 하나의 프로토콜에 맞춰 움직이도록 조율해야 한다. 자아 고갈 다중 실험실 연구에는 실험실 스물세 곳과 참가자 2,141명이 필요했다. 바우마이스터의 원래 실험에는 실험실 하나면 충분했다. 연구 결과를 만들어 내는 데는 돈이 적게 든다. 원래 연구에 없던 엄밀함으로 그것을 바로잡는 데는 그렇지 않다. 자아 고갈을 확립된 과학으로 인용한 교과서들은 2016년에 회수되지 않았다. 수정은 과학 기록 안에 존재한다. 그 기록 바깥으로 수정이 닿는 범위는, 어떤 동료 심사 개혁으로도 고칠 수 없는 방식으로 제한되어 있다.
더 넓게 보면 경력 유인은 거의 그대로다. 등록 보고서는 이제 300개가 넘는 학술지에서 제공되고 사전 등록은 심리학 전반에서 권장되지만, 대부분의 심리학 연구에서 둘 다 의무는 아니다. 임상시험은 심리학 임상시험을 포함해 등록이 의무다. 주요 의학 학술지들은 2005년 7월 1일부터 참가자 모집을 시작한 임상시험이 첫 환자 등록 전에 등록되지 않았다면 게재하지 않는다. 테뉴어 심사위원회는 여전히 논문 수와 인용 지표에 크게 기댄다. CoARA 같은 개혁 연합이 학술지 영향력 지수나 h-지수 같은 지표의 부적절한 사용을 버리라고 기관들을 압박하고 있는데도 그렇다. 검정력이 충분한 사전 등록 연구를 하고 논문을 적게 내는 신진 연구자는, 작고 유연한 연구를 많이 돌려 긍정적 결과를 더 많이 발표하는 연구자보다 이력서가 얇아진다. 긍정적 결과를 향한 압력은 개혁을 받아들인 하위 분야에서 부분적으로 상쇄되었지만, 여전히 남아 있다.
이 격차가 가장 크게 문제가 되는 곳은 의학과 영양학이다. 그곳에서는 똑같은 구조적 실패가 학계 심리학의 실패로는 생기지 않는 결과를 낳기 때문이다. 임상의학은 한 가지 개혁을 일찍 받아들였다. 2005년부터 주요 학술지들이 요구해 온 임상시험 등록 의무화다. 미국의 대규모 심장 임상시험 가운데 2000년 이전에 발표된 것은 57%가 이득을 보고했지만, 그 이후에 발표된 것은 8%에 그쳤다. 그 무렵에는 ClinicalTrials.gov에 결과 지표를 미리 밝혀 두는 일이 관행이 되어 있었고, 연구 저자들은 이 하락을 바로 그 사전 등록과 연결 짓는다. 그러나 등록은 임상시험에만 적용될 뿐, 그보다 훨씬 방대한 관찰 연구와 실험실 연구에는 적용되지 않는다. 그리고 여기서 살펴본 개혁이 가장 덜 도달한 곳이 바로 그 연구들, 그리고 영양학이다. 의학에서도 이 패턴은 의학 나름의 모습으로 나타난다. 이오아니디스는 치료가 효과 있다고 주장한 고인용 임상 연구의 약 3분의 1이 나중에 반박되거나 효과가 상당히 작은 것으로 드러났음을 밝혀냈다. 영양학의 상황은 더 나쁘다고 할 만하다. 연구는 대개 소규모 관찰 연구이고, 업계 자금이 만연해 있으며, 사람들의 식단을 몇 년씩 무작위로 배정하는 일은 너무 느리고 비싸서 장기 임상시험의 수가 관찰 연구에 크게 못 미친다. 그리고 수십 년 동안 검정력이 부족한 연구 결과들이 유행처럼 들고 나는 사이 식생활 권고는 이리저리 흔들려 왔다.
식이 지방을 보자. 수십 년 동안 식생활 권고는 관찰 연구들, 그리고 지방과 콜레스테롤을 지목하고 설탕은 대수롭지 않게 다룬, 설탕 업계가 돈을 댄 한 문헌 검토를 근거로 심장병의 책임을 지방에 돌렸다. 여성 건강 이니셔티브가 마침내 4만 9,000명 가까운 여성을 대상으로 한 무작위 임상시험에서 폭넓은 저지방 권고를 검증했을 때, 총지방 섭취를 줄여도 심장병이나 뇌졸중은 유의하게 줄지 않았다. 더 좁은 주장은 더 잘 버텼다. 포화지방을 줄인 장기 임상시험들에서는 심혈관 사건이 실제로 줄었다. 업계 자금도 한몫했지만, 더 큰 이야기는 방법에 관한 것이다. 학계 심리학의 연구 결과가 증거를 앞질러 경영 현장과 자기계발 문화로 퍼져 나갔듯, 교란된 관찰 연구 위에 세워진 권고는 그것을 검증할 수 있는 임상시험보다 여러 해 앞서 달려 나갔다.
남은 것
관리자들은 결정 피로가 찾아오기 전, 하루 중 이른 시간에 가장 어려운 결정을 내리라는 조언을 들었다. 자아 고갈이 확립된 사실이었기 때문이다. 자기계발서는 독자들에게 하루의 이른 시간에 선택을 줄여 의지력 비축분을 지키라고 일렀다. 생산성 문화는 인지 연료라는 개념을 중심으로 작은 산업 하나를 일으켰다. 이것들은 실용적인 지침으로 제시되었고, 면밀히 들여다보자 증발해 버린 과학적 결과에서 나온 것이었다. 원래 문헌에서 파생된 응용들은 과학적 수정이 닿지 못하는 형태로 여전히 떠돌고 있다.
자아 고갈을 검증한 스물세 개 실험실은 사전 등록, 조율된 다기관 프로토콜, 결과와 상관없이 발표하겠다는 약속을 활용했다. 등록 보고서가 제도로 만든 것이 바로 이런 구조적 도구들이다. 의학의 임상 문헌이나 영양 지침 전반에서 이에 견줄 만한 감사를 한다면 무엇이 드러날지는 지금까지 일부만 엿보였을 뿐이다. 암 생물학 재현성 프로젝트가 영향력 큰 암 논문 23편에서 실험 50건을 반복했을 때, 긍정적 결과의 재현 효과 크기 중앙값은 원래보다 85% 작았다. 이 분야들은 심리학과 같은 조건을, 그리고 대체로 같은 유인을 공유한다. 심리학은 눈에 보이는 실패들이 임계량까지 쌓인 뒤에야 10년에 걸친 공개적 결산에 끌려 들어갔다. 등록 보고서는 생물학과 의학 학술지에도 도달했지만 드문드문할 뿐이고, 이를 제공하는 학술지 대부분은 여전히 심리학 분야에 있다. 열려 있는 현실적인 질문은, 비슷한 결산이 강제하기 전에 그곳에서 등록 보고서가 표준이 되느냐다.
불확실한 증거 위에서 내려진 환자들의 결정, 그리고 전에도 흔들렸고 다시 흔들릴 수 있는 식생활 지침으로 치르는 이 기다림의 비용을 합산해 본 사람은 아무도 없다.
생성형 AI 고지
이 페이지의 일부 내용은 생성형 AI의 도움을 받아 생성 및/또는 편집되었습니다.
미디어
주요 출처 및 참고문헌
Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265. https://doi.org/10.1037/0022-3514.74.5.1252
Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. D. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136(4), 495–525. https://doi.org/10.1037/a0019486
Hagger, M. S., Chatzisarantis, N. L. D., et al. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4), 546–573. https://doi.org/10.1177/1745691616652873
Association for Psychological Science. (2016). Replication project investigates self-control as limited resource [Press release]. https://www.psychologicalscience.org/news/releases/replication-project-investigates-self-control-as-limited-resource.html
Vohs, K. D., Schmeichel, B. J., Lohmann, S., Gronau, Q. F., Finley, A. J., et al. (2021). A multisite preregistered paradigmatic test of the ego-depletion effect. Psychological Science, 32(10), 1566–1581. https://doi.org/10.1177/0956797621989733
Carney, D. R., Cuddy, A. J. C., & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21(10), 1363–1368. https://doi.org/10.1177/0956797610383437
Cuddy, A. (2012, June). Your body language may shape who you are [Video]. TED Conferences. https://www.ted.com/talks/amy_cuddy_your_body_language_may_shape_who_you_are
Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, R. A. (2015). Assessing the robustness of power posing: No effect on hormones and risk tolerance in a large sample of men and women. Psychological Science, 26(5), 653–656. https://doi.org/10.1177/0956797614553946
Carney, D. R. (2016, September). My position on “Power Poses” [Faculty statement]. Haas School of Business, University of California, Berkeley. https://faculty.haas.berkeley.edu/dana_carney/pdf_my%20position%20on%20power%20poses.pdf
Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2), 230–244. https://doi.org/10.1037/0022-3514.71.2.230
Doyen, S., Klein, O., Pichon, C.-L., & Cleeremans, A. (2012). Behavioral priming: It’s all in the mind, but whose mind? PLoS ONE, 7(1), e29081. https://doi.org/10.1371/journal.pone.0029081
Yong, E. (2012). A failed replication draws a scathing personal attack from a psychology professor. National Geographic. https://www.nationalgeographic.com/science/article/failed-replication-bargh-psychology-study-doyen
Kahneman, D. (2012, September 26). A proposal to deal with questions about priming effects [Open letter circulated to social priming researchers]. Available via Nature News: https://www.nature.com/news/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf
Schimmack, U., Heene, M., & Kesavan, K. (2017, February 2). Reconstruction of a train wreck: How priming research went off the rails [Blog post, with comment by D. Kahneman]. Replication Index. https://replicationindex.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLoS ONE, 7(3), e33423. https://doi.org/10.1371/journal.pone.0033423
Univers (Tilburg University). (2012, November 28). Levelt report: Fraud detected in 55 publications. https://universonline.nl/2012/11/28/levelt-report-fraud-detected-in-55-publications
Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa. Journal of the American Statistical Association, 54(285), 30–34. https://doi.org/10.2307/2282137
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Ioannidis, J. P. A. (2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA, 294(2), 218–228. https://doi.org/10.1001/jama.294.2.218
van den Akker, O., et al. (2024; published online 2023). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods, 56, 5424–5433. https://doi.org/10.3758/s13428-023-02277-0
Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2). https://doi.org/10.1177/25152459211007467
Klein, R. A., et al. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi.org/10.1016/j.cortex.2012.12.016
Center for Open Science. (n.d.). Registered Reports. https://www.cos.io/initiatives/registered-reports
Montoya, A. K., Krenzer, W. L., & Fossum, J. L. (2021). Opening the door to Registered Reports: Census of journals publishing Registered Reports (2013–2020). Collabra: Psychology, 7(1), 24404. https://doi.org/10.1525/collabra.24404
Center for Open Science. (n.d.). Open Science Badges. https://www.cos.io/initiatives/badges
Coalition for Advancing Research Assessment (CoARA). (n.d.). The commitments. https://coara.org/agreement/the-commitments/
International Committee of Medical Journal Editors. (n.d.). Clinical trials registration: FAQs. https://www.icmje.org/about-icmje/faqs/clinical-trials-registration/
Kaplan, R. M., & Irvin, V. L. (2015). Likelihood of null effects of large NHLBI clinical trials has increased over time. PLoS ONE, 10(8), e0132382. https://doi.org/10.1371/journal.pone.0132382
Howard, B. V., Van Horn, L., Hsia, J., et al. (2006). Low-fat dietary pattern and risk of cardiovascular disease: The Women’s Health Initiative Randomized Controlled Dietary Modification Trial. JAMA, 295(6), 655–666. https://doi.org/10.1001/jama.295.6.655
Kearns, C. E., Schmidt, L. A., & Glantz, S. A. (2016). Sugar industry and coronary heart disease research: A historical analysis of internal industry documents. JAMA Internal Medicine, 176(11), 1680–1685. https://doi.org/10.1001/jamainternmed.2016.5394
Hooper, L., Martin, N., Jimoh, O. F., Kirk, C., Foster, E., & Abdelhamid, A. S. (2020). Reduction in saturated fat intake for cardiovascular disease. Cochrane Database of Systematic Reviews, CD011737. https://doi.org/10.1002/14651858.CD011737.pub3
Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601. https://doi.org/10.7554/eLife.71601
