Este artigo foi traduzido automaticamente. A versão original está disponível em inglês.
Em 2016, vinte e três laboratórios em quatro continentes, da Austrália e da Indonésia à Bélgica, à Suécia, ao Canadá e aos Estados Unidos, divulgaram os resultados do teste mais rigoroso que o esgotamento do ego já havia enfrentado. O protocolo era idêntico em todos os locais e foi registrado publicamente antes de qualquer medição, o que fixou de antemão as escolhas analíticas que os pesquisadores anteriores do esgotamento do ego estavam livres para fazer depois de ver seus dados.
Seis anos antes, os resultados agregados de 198 testes publicados haviam estimado o efeito em d = 0,62, um efeito sólido, de médio a grande (d mede a distância entre dois grupos em desvios-padrão, e zero significa nenhuma distância). O esgotamento do ego, a teoria de que o autocontrole depende de um único recurso finito que se esgota com o uso, fora proposto por Roy Baumeister e colegas em 1998 e, ao que parecia, confirmado em centenas de estudos ao longo de quase duas décadas. Entrou nos livros didáticos da graduação. Chegou aos conselhos de gestão, ao coaching de produtividade e à autoajuda, onde a força de vontade virou um tanque de combustível a ser racionado antes do almoço.
Vinte e três laboratórios aplicaram o mesmo protocolo pré-registrado a 2.141 pessoas, e a estimativa caiu de d = 0,62 para d = 0,04, o que é praticamente nada, e o resultado não veio de um único estudo com pouco poder estatístico que deixou de replicar uma literatura com amplo poder estatístico.
A correção veio pela mesma engrenagem institucional que havia produzido as descobertas que ela minou: cientistas, métodos convencionais, uma revista de psicologia com revisão por pares. Baumeister e Kathleen Vohs, os principais defensores da teoria, objetaram que a tarefa computadorizada usada para cansar os participantes talvez nem mobilizasse o autocontrole. Então, em 2021, um teste pré-registrado em 36 laboratórios, liderado por Vohs, tentou de novo com 3.531 participantes. Tampouco encontrou um efeito confiável.
O padrão
O esgotamento do ego foi um caso de um padrão que a literatura produz em escala.
Em 2010, Dana Carney, Amy Cuddy e Andy Yap publicaram um estudo, com 42 participantes, afirmando que dois minutos numa postura corporal expansiva, braços abertos e mãos na cintura, elevavam a testosterona, reduziam o cortisol e aumentavam a tolerância ao risco financeiro. Cuddy apresentou os resultados numa palestra TED de 2012 que desde então alcançou mais de 76 milhões de espectadores. A descoberta migrou para o coaching de executivos, para programas de treinamento corporativo e para dicas de preparação para entrevistas de emprego que mandavam os candidatos posar como super-heróis no banheiro antes de entrar na sala.
Em 2015, as replicações já não encontravam os efeitos hormonais. Em 2016, Dana Carney, primeira autora do artigo, publicou uma declaração abandonando explicitamente a teoria. Apontou os problemas sem rodeios: uma amostra minúscula de 42 pessoas, participantes testados em lotes até o efeito aparecer, um valor atípico excluído das análises hormonais, o menor de dois valores-p relatado e perguntas de autorrelato mantidas porque “funcionaram”. Cuddy não se retratou. Restringiu a afirmação, das mudanças hormonais mensuráveis para sensações subjetivas de confiança, e continuou apresentando a pesquisa.
John Bargh, Mark Chen e Lara Burrows publicaram seu estudo de priming da velhice em 1996. Participantes expostos a palavras associadas à velhice, como “Flórida”, “bingo” e “enrugado”, depois percorriam o corredor de forma mensuravelmente mais lenta. A descoberta tornou-se peça central da pesquisa sobre priming social e apareceu no livro de Daniel Kahneman Rápido e devagar como prova da influência automática e abrangente do contexto sobre o comportamento.
Em 2012, Stéphane Doyen e colegas refizeram o estudo. Usaram cronometragem por infravermelho em vez de um pesquisador com um cronômetro, mantiveram os experimentadores sem saber a condição de cada participante e trabalharam com uma amostra maior, e não encontraram lentidão alguma. Depois fizeram um segundo experimento, no qual disseram aos experimentadores o que esperar. O efeito sobre a velocidade da caminhada só reapareceu quando os experimentadores esperavam encontrá-lo. Bargh reagiu chamando os pesquisadores belgas de “incompetentes ou mal informados” num post de blog que depois apagou.
Kahneman, que havia apostado parte da credibilidade do livro nas descobertas sobre priming social, enviou naquele setembro uma carta aberta aos pesquisadores da área. Via, escreveu, “um desastre ferroviário se aproximando”. Mais tarde reconheceu publicamente, em resposta a pesquisadores de replicação que haviam desmontado seu capítulo sobre priming, que seu tratamento do priming social em Rápido e devagar tinha sido crédulo demais.
O retrato sistemático veio da Open Science Collaboration, que passou vários anos replicando 100 experimentos de psicologia publicados. Os resultados saíram em 2015: 97% dos originais tinham resultados estatisticamente significativos, contra 36% das replicações, e os tamanhos de efeito das replicações ficaram, em média, em cerca de metade dos originais.
Há ainda Daryl Bem. Em 2011, Bem publicou numa revista de referência da psicologia social um artigo que relatava nove experimentos, oito deles significativos, como prova de percepção extrassensorial. Os participantes pareciam saber que imagens um computador exibiria antes que o computador as tivesse escolhido. O artigo usava o mesmo tipo de método estatístico encontrado em qualquer outro artigo da revista naquele ano. As replicações fracassaram. Quando metodólogos examinaram o original, não encontraram nada que violasse as regras vigentes da área, apenas a flexibilidade corriqueira que essas regras permitiam.
Se métodos convencionais conseguem produzir oito estudos aparentemente significativos em nove para um efeito fisicamente impossível, a falha está nos métodos, e o artigo de Bem, embora não tenha dado início à crise de replicação, tornou isso impossível de ignorar.
Onde entra a fraude
Em 2011, Diederik Stapel, psicólogo social holandês da Universidade de Tilburg, foi demitido por fabricar dados em larga escala; a investigação que se seguiu constatou fraude ao longo de anos de pesquisa, em 55 de suas publicações. Ele inventava conjuntos de dados inteiros.
Stapel não explica a crise de replicação. Os laboratórios do esgotamento do ego, os pesquisadores da pose de poder e os pesquisadores do priming social cujas descobertas desmoronaram não estavam fabricando dados. Estavam conduzindo estudos e escrevendo artigos com métodos que a área aceitava e recompensava. A crise de replicação não precisou de fraude para funcionar. Bastou que os pesquisadores respondessem aos incentivos que tinham diante de si. Stapel é a exceção.Como o sistema produz isso
Deixando Stapel de lado, todas as descobertas descritas acima passaram pela revisão por pares, com métodos que eram padrão na área e dados que ninguém havia fabricado.
A falha central desse processo fora descrita décadas antes. Robert Rosenthal batizou o problema da gaveta em 1979, embora Theodore Sterling já tivesse documentado o fenômeno empiricamente duas décadas antes, ao constatar que 97% dos artigos de quatro grandes revistas de psicologia que usavam testes de significância relatavam a rejeição da hipótese nula.
As revistas publicam resultados significativos numa proporção muito maior do que resultados nulos. Os experimentos fracassados, seja porque não encontraram efeito, seja porque encontraram um efeito na direção errada ou nenhuma história publicável, vão se acumulando sem publicação. A literatura é, portanto, o subconjunto de todos os experimentos realizados que sobreviveu a um filtro fortemente enviesado a favor do positivo.
O que isso produz em escala: um pesquisador faz vinte experimentos para testar uma hipótese falsa. Dezenove dão resultado nulo. Um dá um falso positivo por acaso, o desfecho esperado quando se aplica um limiar de significância de 5% a uma hipótese nula verdadeira. Os dezenove não vão a lugar nenhum, e o único é publicado. A área ganha um estudo positivo e nenhuma informação corretiva. Multiplique isso por uma área inteira, ao longo de décadas, e a literatura se enche de achados casuais disfarçados de evidência acumulada.
O p-hacking age dentro de um único estudo, e não ao longo de muitos, o que o torna mais difícil de detectar e mais disseminado. Um pesquisador termina a coleta de dados e obtém p = 0,06, a um passo da significância. Remove dois participantes que mostraram padrões de resposta incomuns antes da análise formal. Agora p = 0,047. Ou acrescenta uma covariável que estava disponível, mas não fora planejada de início. Ou roda a análise com vários tamanhos de amostra e para onde os dados parecem mais limpos. O artigo publicado não registrará nada disso, apenas a análise final, apresentada como se fosse a única realizada. Um punhado desses “graus de liberdade do pesquisador” (decisões sobre quais medidas de resultado relatar, quais covariáveis acrescentar, quando parar de coletar dados e quais condições experimentais descartar) pode inflar a taxa de falsos positivos dos 5% nominais para mais de 60%. O pesquisador que faz isso está respondendo de forma racional a uma estrutura de recompensas que trata p < 0,05 como toda a diferença entre sucesso e fracasso.
O HARKing, sigla em inglês para formular hipóteses depois de conhecer os resultados (Hypothesizing After Results are Known), é o terceiro mecanismo. Norbert Kerr cunhou o termo em 1998. O mecanismo: um pesquisador faz um experimento esperando encontrar o efeito X, encontra o efeito Y, constrói uma hipótese que teria previsto Y e escreve o artigo como se essa hipótese estivesse lá desde o início. O artigo publicado se lê como confirmação de uma teoria. O incentivo é estrutural: achados confirmatórios são mais publicáveis do que os exploratórios. Um resultado relatado como previsto é recebido de forma diferente do mesmo resultado relatado como encontrado por acaso. Todo achado exploratório tem motivo para se apresentar como confirmatório, e ninguém que leia o artigo final consegue perceber a diferença.
Esses três mecanismos, operando ao mesmo tempo, produzem um resultado matemático previsível. John Ioannidis fez as contas em 2005. Em áreas em que a proporção entre hipóteses verdadeiras e falsas testadas é baixa (uma descrição que serve para boa parte da psicologia social, onde teorias especulativas são testadas em experimentos de laboratório baratos com pequenas amostras de conveniência), em que as amostras têm pouco poder estatístico, a flexibilidade analítica é alta e os incentivos de publicação favorecem fortemente resultados positivos, a literatura publicada pode acabar com mais falsos positivos do que verdadeiros.
As contas, especificamente: se 10% das hipóteses testadas são verdadeiras, com poder estatístico de 80% e limiar de p = 0,05, 100 testes rendem em média 8 verdadeiros positivos e 4,5 falsos positivos. A taxa de falsas descobertas, a fração de resultados positivos que estão errados, fica em torno de 36%. Reduza a taxa-base de hipóteses verdadeiras, como aconteceria numa área que testa afirmações altamente especulativas em estudos pequenos e flexíveis, e a taxa de falsas descobertas passa de 50%. Nesse ponto, a literatura pode estar mais errada do que certa.
O que p < 0,05 significa, e o que não significa
Um valor-p abaixo de 0,05 significa: se a hipótese nula fosse verdadeira, resultados tão extremos apareceriam por acaso menos de 5% das vezes. Não significa que haja 95% de probabilidade de a descoberta ser real. Não confirma a hipótese. Ronald Fisher, que popularizou o valor-p, o concebeu como um sinal fraco, que valia a pena investigar com novos experimentos, e não como um critério binário de publicação.
O teste de significância da hipótese nula, que se tornou o padrão dominante da psicologia, é um híbrido de duas filosofias estatísticas incompatíveis: o teste de significância de Fisher e o modelo de teste de hipóteses de Neyman-Pearson. Nenhum dos criadores endossou a abordagem combinada; cada um criticou publicamente o sistema do outro. O limiar de p < 0,05, uma convenção da estatística agrícola de Fisher aplicada com a lógica fixa de aceitar ou rejeitar do controle de qualidade industrial, tornou-se uma porta universal de publicação por inércia institucional, e não por lógica estatística. Seu uso indevido reduz uma medida contínua de evidência a uma decisão binária de aprovado ou reprovado e, com isso, cria exatamente o incentivo para cruzar o limiar por quaisquer meios disponíveis.Por que pessoas racionais fizeram isso
A maioria dos pesquisadores cujo trabalho desmoronou não era corrupta nem incompetente. A pergunta útil é por que incentivos de carreira comuns tornavam esse comportamento previsível em qualquer cientista que atuasse na área.
Carreiras acadêmicas dependem de publicações, e especificamente de publicações em revistas de prestígio, que preferem resultados estatisticamente significativos. Um pesquisador que faz três experimentos e obtém um resultado significativo publica esse único. Os outros dois vão para a gaveta.
Todo pesquisador enfrenta o mesmo cálculo, porque carreiras são julgadas pela produção e não pelo processo: o resultado significativo conta, e o nulo não.
O financiamento agrava o problema. É bem mais fácil conseguir verba de pesquisa com um histórico de descobertas publicadas. Resultados nulos não constroem esse histórico. Um pesquisador que constata repetidamente que suas hipóteses não se sustentam enfrenta editais mais difíceis, uma lista de publicações mais magra e um apoio institucional cada vez menor, tudo decorrente de um currículo que parece, pelas métricas que importam, um fracasso. Para muitos pesquisadores, o incentivo para encontrar resultados positivos é condição para continuar empregado.
A revisão por pares não corrige isso. Os pareceristas são especialistas na área avaliada e também têm interesse nas descobertas anteriores dessa área. Um artigo que contesta um resultado estabelecido, como um que questione o priming social, enfrenta pareceristas que construíram modelos teóricos, escreveram projetos e publicaram artigos que dependem de essas descobertas se sustentarem. Quando a especialidade vem acompanhada de um interesse num determinado conjunto de resultados, a exigência para um artigo que contesta uma descoberta estabelecida pode ser mais alta do que para um que a confirma, mesmo quando os métodos são igualmente sólidos.
Nada disso desculpa o desenho de pesquisa preguiçoso ou o raciocínio motivado, ambos presentes. No caso de Stapel, nada disso desculpa a fabricação. A questão é que a mesma literatura distorcida teria surgido sem nenhuma dessas falhas individuais.
Como a falha está em incentivos desalinhados, as reformas que merecem atenção são as que mudam o que as revistas publicam e o que as carreiras recompensam.
O que a ciência está fazendo
A crise de replicação veio a público por volta de 2011. Àquela altura, a crítica metodológica já vinha se acumulando havia anos na literatura especializada; o que mudou foi a visibilidade — o vexame de Bem, a fraude de Stapel e as replicações fracassadas de priming de 2011–2012, seguidos pelo artigo da OSC de 2015 e pelas descobertas das palestras TED que não se replicaram, tornaram impossível para a área fingir que o problema era marginal. Seguiu-se um esforço de reforma, de adesão desigual e alcance incompleto, no qual algumas das reformas mudaram comprovadamente os resultados.
O pré-registro é a reforma mais amplamente adotada. Os pesquisadores registram a hipótese, o tamanho da amostra e o plano de análise num repositório público antes de começar a coleta de dados. Isso torna o HARKing detectável: se a análise realizada difere da análise registrada, qualquer pessoa pode confrontar o artigo com o plano, e as boas práticas exigem que os autores declarem e expliquem a mudança. O pré-registro separa formalmente a pesquisa exploratória da confirmatória — ambas são legítimas, mas no sistema antigo pareciam idênticas na forma publicada, e achados exploratórios eram rotineiramente tratados como evidência confirmatória. O Open Science Framework e o AsPredicted são as principais plataformas, e muitas revistas hoje sinalizam os estudos pré-registrados com um selo de Ciência Aberta.
Mas o pré-registro não elimina o viés de publicação. Muda o que os pesquisadores fazem antes de escrever, não o que os editores decidem aceitar.
Uma equipe testou isso diretamente, comparando 193 estudos de psicologia pré-registrados com 193 estudos equivalentes sem pré-registro. As taxas de resultados positivos não caíram de forma substancial. Os tamanhos de efeito eram numericamente menores nos estudos pré-registrados, mas a diferença não foi estatisticamente significativa. Os estudos pré-registrados tinham amostras maiores e faziam análises de poder com mais frequência, de modo que o pré-registro estava melhorando o desenho dos estudos. Não ficou demonstrado que o pré-registro tenha impedido o p-hacking ou o HARKing, e o incentivo de publicação continuou onde estava.
Mudar esse incentivo exige outro mecanismo. Os Registered Reports (relatos registrados) oferecem um, e seu efeito já foi medido. Nesse modelo, uma revista avalia e aceita ou rejeita um artigo com base na pergunta de pesquisa e no método, antes da coleta de dados, e se compromete a publicar o resultado seja ele qual for.
Isso fecha a principal via do viés de publicação, a rejeição em função do resultado, porque a decisão editorial é tomada antes que o resultado exista. O neurocientista Chris Chambers lançou o formato em 2013 numa revista da qual era um dos editores, e desde então ele se espalhou por centenas de revistas.
Uma comparação posterior confrontou os Registered Reports com uma amostra aleatória de publicações convencionais de psicologia. Em 96% dos artigos convencionais, a primeira hipótese testada saiu confirmada; nos Registered Reports, 44%. Essa diferença é a marca do viés de publicação e da análise flexível — as explicações que os próprios autores consideram mais plausíveis. A comparação é observacional, e os Registered Reports podem atrair hipóteses diferentes, mas ela mostra como ficam as taxas de resultados positivos quando as revistas abrem mão da possibilidade de rejeitar resultados nulos a posteriori, uma possibilidade que o pré-registro deixa intacta.
Os projetos Many Labs oferecem o que a psicologia tem de mais próximo de dados sistemáticos de replicação que sirvam de referência. O Many Labs 2, publicado em 2018, replicou 28 efeitos em 36 países, com mais de 15 mil participantes. Pelos critérios convencionais de significância, pouco mais da metade se replicou, e três quartos dos tamanhos de efeito das replicações foram menores que os originais. A variação entre países, universidades e amostras foi modesta e apareceu sobretudo entre os efeitos maiores; efeitos próximos de zero no conjunto continuaram próximos de zero em quase todo lugar, em vez de funcionar em alguns lugares e em outros não. O Many Labs 2 faz o que replicações num único laboratório não conseguem: separa os efeitos que se sustentam em contextos diferentes dos achados que não se reproduzem fora de suas condições originais.
Várias revistas agora também exigem que os dados brutos e o código de análise sejam compartilhados publicamente, o que torna a análise verificável de um jeito que a revisão por pares não alcança. Um parecerista vê o texto; um pesquisador com os dados brutos pode ver se o texto os representa com fidelidade. O Center for Open Science, de Brian Nosek, impulsionou a adoção de padrões de transparência por meio de um programa de Selos de Ciência Aberta, hoje oferecido por mais de 100 revistas, que sinaliza nos artigos publicados o pré-registro, o compartilhamento de dados e o compartilhamento de materiais.
A análise bayesiana e as exigências de tamanho mínimo de amostra podem melhorar estudos individuais sem tocar no problema estrutural. A análise bayesiana pergunta como novos dados devem atualizar uma crença prévia, em vez de produzir uma decisão binária de significância; está crescendo na psicologia e na ciência cognitiva, mas continua aberta à análise flexível, e não reestruturou os incentivos de publicação nem produziu uma redução mensurável de falsos positivos no conjunto da literatura, porque não muda o que é publicado. As exigências de tamanho mínimo de amostra e de análise de poder são igualmente valiosas no desenho dos estudos, e igualmente limitadas: a adoção é desigual, não um padrão geral. Nenhuma das duas vai tão longe quanto os Registered Reports, que intervêm na decisão editorial, e não no desenho do estudo.
O atraso e a questão em aberto
Nenhuma dessas reformas conserta a literatura publicada antes delas, nem chega às áreas onde mal começaram a aparecer.
A Open Science Collaboration constatou que cerca de 64% de uma amostra de 100 estudos não se replicaram de forma clara. A psicologia publica milhares de estudos por ano. A maior parte da literatura anterior à crise não foi testada de novo, e a maior parte provavelmente nunca será. A replicação rigorosa em vários laboratórios é lenta, cara e exige coordenar dezenas de equipes em torno de um único protocolo. O estudo multilaboratorial do esgotamento do ego precisou de vinte e três laboratórios e 2.141 participantes. Os experimentos originais de Baumeister precisaram de um laboratório. Gerar uma descoberta é barato; corrigi-la com o rigor que faltou ao original não é. Os livros didáticos que citavam o esgotamento do ego como ciência estabelecida não foram recolhidos em 2016. A correção existe no registro científico. Seu alcance fora desse registro é limitado de maneiras que nenhuma reforma da revisão por pares pode resolver.
Os incentivos de carreira, de modo mais amplo, continuam em grande parte os mesmos. Os Registered Reports são hoje oferecidos por mais de 300 revistas, e o pré-registro é incentivado em toda a psicologia, mas, para a maior parte da pesquisa psicológica, nenhum dos dois é obrigatório. O registro é obrigatório para ensaios clínicos, inclusive os psicológicos: as principais revistas médicas não publicam um ensaio que tenha começado a recrutar participantes em 1º de julho de 2005 ou depois, a menos que ele tenha sido registrado antes da inclusão do primeiro paciente. As comissões de efetivação ainda se apoiam muito na contagem de publicações e nas métricas de citação, mesmo com coalizões reformistas como a CoARA pressionando as instituições a abandonar usos inadequados de métricas como o fator de impacto das revistas e o índice h. Um pesquisador em início de carreira que faz estudos pré-registrados e com bom poder estatístico e publica menos artigos acaba com um currículo mais magro do que outro que faz muitos estudos pequenos e flexíveis e publica mais resultados positivos. A pressão por resultados positivos foi parcialmente contrabalançada nas subáreas que adotaram as reformas, mas continua lá.
É na medicina e na nutrição que essa lacuna mais pesa, porque nelas as mesmas falhas estruturais produzem consequências que as falhas da psicologia acadêmica não produzem. A medicina clínica adotou cedo uma reforma: o registro obrigatório de ensaios, exigido pelas principais revistas desde 2005. Entre os grandes ensaios cardiológicos dos EUA, 57% dos publicados antes de 2000 relatavam um benefício, contra 8% dos publicados depois, quando declarar os desfechos com antecedência no ClinicalTrials.gov já tinha virado rotina, uma queda que os autores do estudo associam a esse registro prévio. Mas o registro abrange ensaios, não o conjunto muito maior de pesquisas observacionais e de laboratório, e é nessas pesquisas, e na nutrição, que as reformas descritas aqui menos chegaram. A medicina tem sua própria versão do padrão: Ioannidis constatou que cerca de um terço dos estudos clínicos muito citados que afirmavam a eficácia de um tratamento foram depois contestados ou mostraram ter efeitos substancialmente menores. Na nutrição, pode-se dizer que a situação é pior: os estudos costumam ser pequenos e observacionais, o financiamento da indústria é endêmico, randomizar a dieta das pessoas por anos é tão lento e caro que os ensaios de longo prazo são amplamente superados em número pelos estudos observacionais, e décadas de recomendações alimentares oscilaram à medida que achados com pouco poder estatístico entravam e saíam de moda.
Veja o caso da gordura na dieta. Durante décadas, as recomendações culparam a gordura pelas doenças cardíacas com base em estudos observacionais e numa revisão financiada pela indústria do açúcar que apontou especificamente a gordura e o colesterol e minimizou o açúcar. Quando a Women’s Health Initiative finalmente testou a recomendação ampla de comer menos gordura num ensaio randomizado com quase 49 mil mulheres, cortar a gordura total não produziu queda significativa de doenças cardíacas ou de AVC. A afirmação mais restrita se sustentou melhor: ensaios de longo prazo que cortaram a gordura saturada reduziram, sim, os eventos cardiovasculares. O dinheiro da indústria teve seu papel, mas a história maior é de método: recomendações construídas sobre estudos observacionais com fatores de confusão correram anos à frente dos ensaios capazes de testá-las, assim como as descobertas da psicologia acadêmica correram à frente de suas evidências rumo às práticas de gestão e à cultura da autoajuda.
O que fica
Gestores eram aconselhados a tomar as decisões mais difíceis no começo do dia, antes que a fadiga de decisão se instalasse, porque o esgotamento do ego estava estabelecido. Livros de autoajuda diziam aos leitores que protegessem suas reservas de força de vontade fazendo menos escolhas no início do dia. A cultura da produtividade montou uma pequena indústria em torno da ideia de combustível cognitivo. Tudo isso era oferecido como instrução prática, derivada de descobertas científicas que evaporaram sob um exame mais atento. As aplicações derivadas da literatura original continuam circulando em formas que a correção científica não consegue alcançar.
Os vinte e três laboratórios que testaram o esgotamento do ego usaram pré-registro, protocolos coordenados em vários locais e o compromisso de publicar fosse qual fosse o resultado. São essas as ferramentas estruturais que os Registered Reports institucionalizam. O que uma auditoria comparável encontraria na literatura clínica da medicina ou nas diretrizes nutricionais até agora só foi vislumbrado: quando o Reproducibility Project: Cancer Biology repetiu 50 experimentos de 23 artigos de alto impacto sobre câncer, o efeito mediano das replicações para resultados positivos foi 85% menor que o original. Essas áreas compartilham as condições da psicologia e, em grande parte, seus incentivos. A psicologia foi arrastada para um acerto de contas público ao longo de uma década, depois que fracassos visíveis se acumularam até atingir massa crítica. Os Registered Reports chegaram a revistas de biologia e de medicina, mas de forma esparsa; a maioria das revistas que os oferecem ainda é de psicologia. A questão prática em aberto é se eles se tornarão a norma nessas áreas antes que um acerto de contas comparável os imponha.
Ninguém somou o custo da espera, em decisões sobre pacientes tomadas com evidências incertas e em diretrizes alimentares que já oscilaram e podem oscilar de novo.
Aviso sobre IA generativa
Parte do conteúdo desta página foi gerada e/ou editada com a ajuda de uma IA generativa.
Mídia
Principais fontes e referências
Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265. https://doi.org/10.1037/0022-3514.74.5.1252
Hagger, M. S., Wood, C., Stiff, C., & Chatzisarantis, N. L. D. (2010). Ego depletion and the strength model of self-control: A meta-analysis. Psychological Bulletin, 136(4), 495–525. https://doi.org/10.1037/a0019486
Hagger, M. S., Chatzisarantis, N. L. D., et al. (2016). A multilab preregistered replication of the ego-depletion effect. Perspectives on Psychological Science, 11(4), 546–573. https://doi.org/10.1177/1745691616652873
Association for Psychological Science. (2016). Replication project investigates self-control as limited resource [Press release]. https://www.psychologicalscience.org/news/releases/replication-project-investigates-self-control-as-limited-resource.html
Vohs, K. D., Schmeichel, B. J., Lohmann, S., Gronau, Q. F., Finley, A. J., et al. (2021). A multisite preregistered paradigmatic test of the ego-depletion effect. Psychological Science, 32(10), 1566–1581. https://doi.org/10.1177/0956797621989733
Carney, D. R., Cuddy, A. J. C., & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21(10), 1363–1368. https://doi.org/10.1177/0956797610383437
Cuddy, A. (2012, June). Your body language may shape who you are [Video]. TED Conferences. https://www.ted.com/talks/amy_cuddy_your_body_language_may_shape_who_you_are
Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., & Weber, R. A. (2015). Assessing the robustness of power posing: No effect on hormones and risk tolerance in a large sample of men and women. Psychological Science, 26(5), 653–656. https://doi.org/10.1177/0956797614553946
Carney, D. R. (2016, September). My position on “Power Poses” [Faculty statement]. Haas School of Business, University of California, Berkeley. https://faculty.haas.berkeley.edu/dana_carney/pdf_my%20position%20on%20power%20poses.pdf
Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action. Journal of Personality and Social Psychology, 71(2), 230–244. https://doi.org/10.1037/0022-3514.71.2.230
Doyen, S., Klein, O., Pichon, C.-L., & Cleeremans, A. (2012). Behavioral priming: It’s all in the mind, but whose mind? PLoS ONE, 7(1), e29081. https://doi.org/10.1371/journal.pone.0029081
Yong, E. (2012). A failed replication draws a scathing personal attack from a psychology professor. National Geographic. https://www.nationalgeographic.com/science/article/failed-replication-bargh-psychology-study-doyen
Kahneman, D. (2012, September 26). A proposal to deal with questions about priming effects [Open letter circulated to social priming researchers]. Available via Nature News: https://www.nature.com/news/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf
Schimmack, U., Heene, M., & Kesavan, K. (2017, February 2). Reconstruction of a train wreck: How priming research went off the rails [Blog post, with comment by D. Kahneman]. Replication Index. https://replicationindex.com/2017/02/02/reconstruction-of-a-train-wreck-how-priming-research-went-of-the-rails/
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s “retroactive facilitation of recall” effect. PLoS ONE, 7(3), e33423. https://doi.org/10.1371/journal.pone.0033423
Univers (Tilburg University). (2012, November 28). Levelt report: Fraud detected in 55 publications. https://universonline.nl/2012/11/28/levelt-report-fraud-detected-in-55-publications
Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa. Journal of the American Statistical Association, 54(285), 30–34. https://doi.org/10.2307/2282137
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Ioannidis, J. P. A. (2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA, 294(2), 218–228. https://doi.org/10.1001/jama.294.2.218
van den Akker, O., et al. (2024; published online 2023). Preregistration in practice: A comparison of preregistered and non-preregistered studies in psychology. Behavior Research Methods, 56, 5424–5433. https://doi.org/10.3758/s13428-023-02277-0
Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science, 4(2). https://doi.org/10.1177/25152459211007467
Klein, R. A., et al. (2018). Many Labs 2: Investigating variation in replicability across samples and settings. Advances in Methods and Practices in Psychological Science, 1(4), 443–490. https://doi.org/10.1177/2515245918810225
Chambers, C. D. (2013). Registered Reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. https://doi.org/10.1016/j.cortex.2012.12.016
Center for Open Science. (n.d.). Registered Reports. https://www.cos.io/initiatives/registered-reports
Montoya, A. K., Krenzer, W. L., & Fossum, J. L. (2021). Opening the door to Registered Reports: Census of journals publishing Registered Reports (2013–2020). Collabra: Psychology, 7(1), 24404. https://doi.org/10.1525/collabra.24404
Center for Open Science. (n.d.). Open Science Badges. https://www.cos.io/initiatives/badges
Coalition for Advancing Research Assessment (CoARA). (n.d.). The commitments. https://coara.org/agreement/the-commitments/
International Committee of Medical Journal Editors. (n.d.). Clinical trials registration: FAQs. https://www.icmje.org/about-icmje/faqs/clinical-trials-registration/
Kaplan, R. M., & Irvin, V. L. (2015). Likelihood of null effects of large NHLBI clinical trials has increased over time. PLoS ONE, 10(8), e0132382. https://doi.org/10.1371/journal.pone.0132382
Howard, B. V., Van Horn, L., Hsia, J., et al. (2006). Low-fat dietary pattern and risk of cardiovascular disease: The Women’s Health Initiative Randomized Controlled Dietary Modification Trial. JAMA, 295(6), 655–666. https://doi.org/10.1001/jama.295.6.655
Kearns, C. E., Schmidt, L. A., & Glantz, S. A. (2016). Sugar industry and coronary heart disease research: A historical analysis of internal industry documents. JAMA Internal Medicine, 176(11), 1680–1685. https://doi.org/10.1001/jamainternmed.2016.5394
Hooper, L., Martin, N., Jimoh, O. F., Kirk, C., Foster, E., & Abdelhamid, A. S. (2020). Reduction in saturated fat intake for cardiovascular disease. Cochrane Database of Systematic Reviews, CD011737. https://doi.org/10.1002/14651858.CD011737.pub3
Errington, T. M., Mathur, M., Soderberg, C. K., Denis, A., Perfito, N., Iorns, E., & Nosek, B. A. (2021). Investigating the replicability of preclinical cancer biology. eLife, 10, e71601. https://doi.org/10.7554/eLife.71601
