Perché le persone istruite credono a cose che non sono vere

Questo articolo è stato tradotto automaticamente. La versione originale è disponibile in inglese.

Date a un gruppo di americani molto portati per la matematica un problema di statistica che richiede di trarre da una tabella di dati un’inferenza causale corretta, e se la caveranno bene. Poi date loro lo stesso identico problema, con gli stessi numeri, la stessa struttura della tabella e la stessa difficoltà causale, ma cambiate la cornice: invece della sperimentazione di una cura per un’eruzione cutanea, la tabella documenta se il divieto di portare armi adottato da una città abbia ridotto la criminalità. Adesso sono proprio i soggetti più abili con i numeri a dividersi di più: risolvono il problema alla perfezione quando la risposta asseconda la loro opinione sul controllo delle armi, e inciampano quando la contraddice.

L’esperimento è di Dan Kahan e va sotto il nome di «numeracy motivata», dove per numeracy si intende la dimestichezza con i numeri. La sua lezione è che la capacità cognitiva può mettersi al servizio del ragionamento motivato con la stessa facilità con cui lo corregge: più potenza analitica può semplicemente rendervi più efficaci nello sbagliare. Gli studi successivi continuano a ritrovare la distorsione di parte, anche se l’amplificazione supplementare tra i più abili con i numeri emerge con meno regolarità. In una grande replica preregistrata, una numeracy migliore portava ancora a più risposte corrette in ogni versione del problema, ma il divario tra gli schieramenti non si allargava al crescere della numeracy. In un caso come nell’altro, essere bravi con i numeri non annullava la distorsione di parte. La capacità analitica protegge bene dall’errore puro e semplice e molto meno dall’errore motivato, dove la stessa capacità può fornire argomenti a sostegno dello sbaglio.

Probabilmente siete arrivati a questo articolo con un presupposto implicito che merita anch’esso di finire tra le prove: qualunque cosa emerga, descrive i fallimenti degli altri, e la numeracy motivata riguarda chi ragiona con meno attenzione di voi.

La macchina che si alimenta da sé

Qui istruzione significa più che accumulo di titoli, cioè anni di scuola, lauree e timbri istituzionali. Ciò che l’istruzione fa, e ciò per cui è pensata, è sviluppare e premiare strumenti cognitivi precisi: capacità analitica, riconoscimento di schemi, costruzione di narrazioni e sicurezza nel proprio campo. La scuola allena e ricompensa quegli strumenti, e le prove che seguono riguardano loro all’opera, non gli anni passati in aula.

La distinzione conta, perché la difesa più ovvia, «io ragiono a partire dalle prove, non dalla mia identità», è esattamente ciò che quegli strumenti permettono di credere mentre si fa il contrario.

Lo studio di Kahan ha rilevato che una numeracy più alta prediceva risposte corrette nel problema della crema per la pelle. Quando si passava al controllo delle armi, i soggetti più abili con i numeri non smettevano di fare inferenze migliori: le reindirizzavano. I progressisti con un’alta numeracy erano più precisi quando i dati mostravano che il divieto aveva ridotto la criminalità; i conservatori con un’alta numeracy lo erano quando mostravano che l’aveva fatta aumentare. La capacità analitica di ciascun gruppo si esprimeva nella direzione richiesta dalla sua politica.

Il fatto chiave è l’inversione di direzione: la numeracy aiutava soprattutto nel verso politicamente comodo. Nulla nei dati mostra che i soggetti scegliessero di ingannare sé stessi, e nessuno ha bisogno di barare per ottenere questo risultato. Un analista abile che voglia sminuire una tabella ha sempre a portata di mano domande legittime: se il campione fosse rappresentativo, se le variabili confondenti fossero state controllate, se il meccanismo causale fosse plausibile. Le domande diventano motivate quando lo stesso scrutinio non viene applicato ai dati che confermano ciò che l’analista crede già.

Kahan ha trovato lo stesso schema sul clima, quando ha verificato se una maggiore cultura scientifica e una maggiore numeracy spingessero le persone verso il consenso scientifico sul rischio climatico. Non succedeva. Tra le persone con orientamenti culturali gerarchici e individualisti, una cultura scientifica più alta prediceva un maggiore scetticismo verso il rischio climatico. Tra quelle con orientamenti egualitari e comunitari, prediceva un allarme maggiore. Il divario tra i due gruppi si allargava al crescere della cultura scientifica.

I membri più colti di entrambi i gruppi sapevano di più, quindi l’ignoranza non può spiegare la spaccatura. A cambiare era la direzione in cui applicavano ciò che sapevano, e quella direzione seguiva l’identità politica.

Il giornalista scientifico Chris Mooney ha dato un nome al fenomeno: l’effetto «idioti intelligenti», per cui le persone politicamente sofisticate risultano più faziose, e meno disposte a lasciarsi convincere, di quelle disinformate. Mooney sosteneva che l’effetto fosse più forte a destra — una lettura che lo stesso Kahan ha respinto; i suoi stessi dati, sul clima e sulla tabella sul controllo delle armi, mostrano lo schema da entrambe le parti. L’etichetta è volutamente scomoda, e l’osservazione che vi sta sotto regge: il ragionamento motivato non si attenua al crescere della capacità cognitiva.

L’istruzione crea un vincolo preciso. Non si limita a sviluppare questi strumenti cognitivi: vi investe l’identità. Chi ha passato anni a costruirsi una competenza analitica, ed è stato premiato da istituzioni, colleghi e successo professionale per averla usata in certe direzioni, ha più da perdere nello scoprire che la direzione era sbagliata. Gli strumenti diventano più difficili da rivolgere contro le posizioni che sono serviti a costruire. Non occorre alcun difetto di carattere, solo sviluppo cognitivo e formazione dell’identità che avvengono nella stessa istituzione, nello stesso momento, premiando le stesse conclusioni. Il vincolo si stringe a ogni successo, perché ogni guadagno in citazioni, reputazione o prestigio istituzionale alza il costo di una scoperta che minaccia l’impianto.

Le capacità che l’istruzione produce, come l’inferenza analitica, l’abitudine a costruire resoconti coerenti a partire dalle prove e la sicurezza che viene dalla competenza in un campo, non arrivano con le istruzioni su quando smettere di fidarsi di sé stessi. Riescono benissimo a produrre la sensazione di aver ragionato correttamente, e quella sensazione dice poco sull’esattezza.

La maledizione dell’esperto

Potreste concedere che le convinzioni politiche siano tribali, sostenendo però che occupino uno scompartimento separato dal vostro giudizio professionale — che nel vostro campo, quello vero, ragioniate correttamente. Philip Tetlock ha passato due decenni a mettere alla prova quello scompartimento.

Dal 1984 al 2003 circa reclutò 284 esperti, tra cui politologi, economisti, analisti di politica estera e funzionari di governo in carica o ex funzionari, e fece loro formulare più di 80.000 previsioni su eventi politici ed economici: chi avrebbe vinto le elezioni, se le economie sarebbero cresciute o si sarebbero contratte, se i conflitti si sarebbero inaspriti o risolti. Poi aspettò, e diede i voti.

Il risultato fu imbarazzante: gli esperti fecero appena meglio del caso e non meglio di un profano informato che legge i giornali. L’accuratezza dipendeva da come era organizzato il sapere di un esperto, non da quanto fosse profondo. Gli esperti che organizzavano la propria visione del mondo attorno a un unico schema esplicativo erano i peggiori previsori di tutti; Tetlock, prendendo il termine dal saggio di Isaiah Berlin del 1953, li chiamò ricci. Le volpi, che attingevano a più schemi e si aggiornavano quando arrivavano nuove prove, facevano meglio.

Sicurezza e accuratezza andavano in senso inverso: gli esperti più convinti e più certi erano i meno precisi. Il loro rigore era autentico, e serviva a difendere uno schema che non potevano permettersi di veder fallire.

Ai peggiori previsori non mancava la conoscenza. Conoscevano il proprio campo abbastanza bene da aver organizzato quel sapere in un sistema coerente, e il sistema era diventato la lente attraverso cui percepivano tutto. Un teorico realista delle relazioni internazionali prevedeva i conflitti secondo la logica del potere statale. Un economista dell’offerta prevedeva le recessioni secondo la logica degli incentivi. Ogni schema era stato costruito con anni di prove, il che lo faceva sembrare particolarmente solido, e particolarmente cieco a ciò che non riusciva a cogliere. Più lo schema era onnicomprensivo, più ogni nuovo evento poteva esservi assorbito senza metterlo in discussione, e meno era probabile che lo schema si incrinasse mai.

Un meccanismo di selezione aggrava le cose. Tetlock scoprì che le qualità che redattori e produttori televisivi apprezzano di più, come affermazioni nette, disponibilità a sbilanciarsi e toni sicuri, sono correlate negativamente con l’accuratezza delle previsioni. Gli esperti più ricercati come commentatori sono, statisticamente, quelli con più probabilità di sbagliare. I ricci funzionano bene in televisione; le volpi tergiversano in modi che rendono nervosi i produttori. La struttura di ricompense istituzionali della competenza pubblica finisce così per promuovere chi rende peggio — e per premiare tutti gli altri quanto più ne imitano il tono.

Nel 2011 Tetlock e Barbara Mellers lanciarono il Good Judgment Project nell’ambito del programma Aggregative Contingent Estimation della IARPA, un torneo di previsioni organizzato dall’agenzia di ricerca dell’intelligence statunitense. I suoi volontari, che si erano proposti da sé e non erano esperti del settore, gareggiavano contro altre squadre di ricerca. Quando le loro previsioni aggregate furono messe a confronto con quelle di analisti professionisti dell’intelligence con accesso a informazioni classificate, i volontari risultarono, secondo i calcoli del progetto stesso, più precisi del 30 per cento circa, e i migliori tra loro, poi chiamati superprevisori, fecero ancora meglio.

Che cosa facevano i superprevisori

Le abitudini dietro quei risultati non hanno niente di affascinante. I superprevisori mettevano per iscritto le proprie previsioni prima che gli eventi si compissero, così da non poter ritoccare il ricordo di aver avuto ragione. Misuravano la propria accuratezza su un registro che non potevano modificare. Quando sbagliavano, si aggiornavano invece di liquidare la smentita come un'anomalia o un caso eccezionale. Esprimevano la probabilità come stime calibrate, percentuali precise direttamente confrontabili con gli esiti, invece che come prese di posizione direzionali al riparo da ogni verifica. Scomponevano le grandi domande in parti più piccole, in cui le singole variabili potevano essere valutate separatamente.

L'intelligenza aiuta, ma niente di tutto questo funziona con la sola intelligenza. Tutto richiede la disponibilità costante a risultare palesemente in errore su un registro che tenete voi stessi, e mantenerla si rivela difficile quando la vostra identità professionale e sociale è costruita attorno all'essere la persona che queste cose le capisce.

Dove ha sbagliato il centro

La difesa abituale della competenza istituzionale suona così: certo, i singoli esperti sbagliano, ma la revisione tra pari, la replicazione e la scienza cumulativa servono proprio a questo. Il sistema si corregge da solo. L’eccesso di sicurezza individuale si compensa nella media, i casi anomali vengono contestati, i risultati sbagliati non sopravvivono a un esame indipendente.

È in parte vero, con abbastanza tempo. Prima di accettarlo, però, chiedetevi quanto ci è voluto per l’autocorrezione, chi ha pagato il prezzo nel frattempo e perché i processi interni del settore non abbiano colto il problema per primi.

Nel 2015 il Reproducibility Project, coordinato da Brian Nosek, dell’Università della Virginia, riferì che cosa accadde quando centinaia di ricercatori tentarono di replicare 100 studi pubblicati su tre importanti riviste di psicologia. Solo il 36 per cento si replicò alla soglia di significatività originale, e la psicologia sociale fece peggio di tutte, con il 25 per cento circa. Nell’insieme delle repliche, gli effetti risultarono grosso modo la metà di quelli originali.

Il progetto di replica misurò il problema senza diagnosticarlo, ma i metodologi avevano già indicato i principali sospettati, e nessuno di essi richiedeva frodi o qualche mela marcia. Erano tutti il prodotto sistematico della normale logica di funzionamento: campioni piccoli considerati sufficienti perché i risultati sembravano convincenti; soglie del valore p aggirate con test ripetuti e resoconti selettivi; una cultura editoriale che respingeva i risultati nulli, che così non entravano mai nella letteratura.

I revisori erano in una posizione poco adatta per accorgersi di tutto questo: erano stati formati con gli stessi metodi, spesso partivano dagli stessi presupposti e condividevano la stessa struttura di incentivi. Facevano parte del sistema che avrebbero dovuto controllare, e così la sofisticazione che aveva costruito il settore contribuì anche a renderne invisibili gli errori dall’interno.

Le previsioni economiche erano soggette a pressioni diverse, ma produssero un punto cieco equivalente attraverso un meccanismo diverso. Nel luglio 2007 il World Economic Outlook Update del Fondo monetario internazionale prevedeva una crescita globale del 5,2 per cento per il 2007 e il 2008, con un bilancio dei rischi descritto come «leggermente sbilanciato verso il basso». Quattordici mesi dopo, Lehman Brothers crollò. L’Ufficio di valutazione indipendente dell’FMI concluse in seguito che il Fondo aveva fatto un pessimo lavoro nel segnalare la crisi o la sua gravità.

Economisti eterodossi e analisti avvertivano da anni della fragilità del sistema, e il Fondo vedeva i boom immobiliari e i nuovi strumenti finanziari; ne minimizzò i rischi. I suoi valutatori ne attribuirono la colpa al pensiero di gruppo, alla cattura intellettuale e a una mentalità generale secondo cui una grande crisi nelle grandi economie avanzate era improbabile, oltre che a una cultura che scoraggiava le opinioni controcorrente e a un’analisi debole del settore finanziario. La visione condivisa descriveva un sistema stabile, e gli avvertimenti fondati su un sistema instabile faticavano a farsi sentire.

In superficie questi due fallimenti sembrano diversi: incentivi sbagliati nella psicologia, un modo di pensare prigioniero nella macroeconomia. Al fondo, entrambi sono avvenuti al centro dei rispettivi campi, tra le persone più sicure dei propri schemi, che erano anche le più cieche a ciò che quegli schemi producevano.

L'uovo che non vi stava uccidendo

Ancel Keys era un fisiologo dell'Università del Minnesota che negli anni Cinquanta e Sessanta costruì la tesi secondo cui le diete ricche di grassi saturi alzavano il colesterolo nel sangue e causavano malattie cardiache. Il suo Seven Countries Study, avviato nel 1958 per seguire uomini di mezza età in sedici coorti di sette paesi, divenne un testo fondativo. L'idea del legame tra dieta e cuore arrivò presto al colesterolo contenuto nei cibi: nel 1968 l'American Heart Association raccomandò di assumere meno di 300 milligrammi di colesterolo alimentare al giorno e non più di tre uova intere alla settimana.

Le critiche arrivarono presto. Nel 1957 lo statistico Jacob Yerushalmy e il medico Herman Hilleboe, commissario alla sanità dello stato di New York, fecero notare che il celebre grafico di Keys del 1953 riportava solo sei paesi quando esistevano dati comparabili per molti di più, e che la correlazione tra grassi e malattie cardiache si indeboliva una volta aggiunti gli altri. I ricercatori che contestavano l'ipotesi dieta-cuore furono emarginati dal normale funzionamento di un consenso che si era cristallizzato attorno a una storia sostenuta da dati sufficienti a farla sembrare inattaccabile; non servirono complotti né corruzione. A tenere fuori le prove scomode fu la sicurezza consolidata di un settore convinto di aver chiuso la questione.

Nel 2015 il Dietary Guidelines Advisory Committee raccomandò di eliminare il limite storico di 300 milligrammi di colesterolo alimentare, concludendo che «le prove disponibili non mostrano alcuna relazione apprezzabile tra il consumo di colesterolo alimentare e il colesterolo sierico». Le linee guida definitive per il 2015–2020 tolsero il numero, pur continuando a consigliare di assumere il meno possibile di colesterolo alimentare nell'ambito di un'alimentazione sana e inserendo le uova tra gli alimenti che possono farne parte. Dopo quasi cinquant'anni, l'uovo era stato in gran parte riabilitato. I grassi saturi, il cuore dell'ipotesi di Keys, no: le stesse linee guida ne mantennero il tetto sotto il 10 per cento delle calorie giornaliere.

La trappola della plausibilità

I fallimenti visti finora sono un’inferenza politicamente motivata che amplifica l’errore invece di correggerlo, una sicurezza degli esperti che va in senso inverso all’accuratezza, sistemi di revisione che hanno lasciato entrare risultati inaffidabili e ve li hanno trattenuti, e un modello economico dominante incapace di rappresentare l’instabilità in cui era immerso. Hanno in comune un meccanismo, e quel meccanismo non dipende né dalla stupidità né dalla corruzione. L’istruzione sviluppa il riconoscimento di schemi e la costruzione di narrazioni, e queste capacità riescono bene a produrre il tipo di convinzione sbagliata che ha più probabilità di sopravvivere.

Le convinzioni palesemente false, come il creazionismo della Terra giovane, la Terra piatta e il nesso causale tra vaccini e autismo, circolano anche tra le persone istruite, quindi l’istruzione non offre una protezione assoluta. Gli ambienti istruiti restano comunque meno efficienti nel produrle e mantenerle, perché convinzioni del genere falliscono in fretta i test di plausibilità superficiale a contatto con il sapere accumulato, e tenerle in vita richiede uno sforzo motivato e costante che le istituzioni colte di solito non premiano. Le convinzioni che si propagano meglio negli ambienti istruiti sono quelle abbastanza plausibili nella struttura da superare gli stessi test che intercettano i fallimenti evidenti. L’istruzione filtra la prima categoria molto meglio della seconda, ed è la seconda quella che i suoi stessi strumenti producono con più naturalezza.

Il riconoscimento di schemi salta a conclusioni sicure a partire da prove esili. Spesso ha ragione, ma non viene fornito con un misuratore di accuratezza. La sensazione di aver riconosciuto uno schema non è un indicatore affidabile del fatto che lo schema ci sia. La costruzione di narrazioni collega le prove in resoconti coerenti al loro interno, e la coerenza è ciò che fa sembrare veri i resoconti. Una storia che sta in piedi, spiega più cose in un’unica cornice e scioglie le ambiguità dà la sensazione di aver capito. Può darsi che si tratti davvero di comprensione, ma la sensazione non può dirvi se lo sia.

Il problema della coerenza morde più forte chi ha studiato. Costruire un resoconto coerente a partire da prove complesse richiede esattamente le abilità che l’istruzione sviluppa. Più un pensatore è sofisticato, più elementi riesce a intrecciare in un’unica cornice esplicativa, e più il resoconto che ne risulta diventa appagante, per lui e per i lettori sofisticati a cui si rivolge. Una teoria elegante è più persuasiva di una goffa, a prescindere da quale sia più accurata. L’eleganza è un criterio di buona scrittura e di pensiero attento, ma non è una proprietà delle teorie che segua la verità. L’istruzione insegna a produrre spiegazioni eleganti senza insegnare a diffidare dell’eleganza.

I risultati più noti della psicologia sociale che in seguito non si sono replicati non erano arbitrari né inverosimili. Erano ciò che un osservatore sofisticato del comportamento umano si aspetterebbe di trovare, ed è per questo che furono pubblicati, citati, insegnati e incorporati nei programmi di formazione prima che qualcuno li verificasse sul serio.

Il power posing era l’idea che due minuti in una postura espansiva facessero salire il testosterone, scendere il cortisolo e aumentare la propensione al rischio. Il meccanismo, la postura del corpo che modella lo stato ormonale per retroazione, era convincente. Poi un altro gruppo ripeté l’esperimento con 200 partecipanti, quasi cinque volte i 42 originali, e con uno sperimentatore all’oscuro della condizione. Il power posing faceva ancora sentire le persone più potenti, ma non aveva alcun effetto sul loro testosterone, sul cortisolo o sulla propensione al rischio.

Secondo la teoria dell’ego depletion, esercitare l’autocontrollo in un compito esauriva una risorsa, compromettendo la prestazione nei compiti successivi — la forza di volontà come un serbatoio di carburante. Quando 23 laboratori condussero un test preregistrato di un classico compito di ego depletion su più di 2.000 partecipanti, l’effetto risultò sostanzialmente pari a zero.

Il priming sociale produsse il celebre risultato secondo cui i partecipanti che avevano letto parole associate agli stereotipi sugli anziani percorrevano poi un corridoio più lentamente. Una replica in doppio cieco con cronometraggio automatico non trovò alcun effetto. Un esperimento aggiuntivo scoprì che il rallentamento compariva solo quando gli sperimentatori se lo aspettavano, il che suggerisce che il risultato originale fosse un artefatto delle aspettative dello sperimentatore e non un priming inconscio.

Questi fallimenti sono sfuggiti a lettori intelligenti, a una revisione tra pari rigorosa, a riviste di grande prestigio e agli esperti meglio piazzati per individuare i problemi. A smascherarli alla fine sono stati campioni più grandi, sperimentatori all’oscuro delle condizioni, misurazioni automatizzate e, per l’ego depletion, un piano registrato prima che arrivasse qualsiasi dato: procedure che mettono ostacoli sulla strada della selezione motivata che la sofisticazione rende così scorrevole.

Quanto costa la virtù

La risposta ovvia è essere più umili e aggrapparsi meno alle proprie convinzioni. Sono esortazioni giuste nello stesso modo in cui «mangiare meno e muoversi di più» è giusto per il peso corporeo — esatte in astratto, inutili senza una descrizione concreta di come appaiano nella pratica e del perché mantenerle sia così difficile.

Il Good Judgment Project ne offre una concreta. I superprevisori non sono esperti del settore. Sono più brillanti della media: nei test del progetto ottenevano punteggi più alti degli altri previsori nelle misure di intelligenza fluida e cristallizzata, e i ricercatori definirono un’intelligenza fluida superiore alla media quasi un tratto distintivo del gruppo. Ma il cervello si accompagnava a qualcosa di altrettanto importante: la pratica. I superprevisori affrontavano più domande e si aggiornavano più spesso, tenendo il registro descritto prima, domanda dopo domanda, per anni. L’intelligenza rende quel lavoro più facile, ma non lo fa al posto vostro.

Il lavoro di Kahan sulla curiosità scientifica traccia una distinzione più fine: l’effetto polarizzante della cultura scientifica, con il sapere che amplifica la divergenza politica, non valeva per la curiosità scientifica, la propensione alla scoperta e alla novità. Le persone più curiose di scienza davano risposte meno polarizzate alle domande scientifiche politicamente cariche, a prescindere dall’identità politica di partenza. La curiosità, a differenza del sapere accumulato, è rivolta verso l’ignoto, e quindi ha meno investito in ciò che già si crede.

Ciò che protegge, allora, sembra un certo rapporto con l’incertezza, e quel rapporto va mantenuto attivamente, controcorrente rispetto a istituzioni e identità che premiano l’impegno sicuro e puniscono l’esitazione. Il risultato sulla curiosità scientifica suggerisce il perché: per il curioso, un risultato che ribalta una convinzione precedente è, a un certo livello, interessante. Per chi ha investito la propria identità in quella convinzione, è minaccioso. Nemmeno la curiosità garantisce l’accuratezza, ma tiene aperto il canale attraverso cui può arrivare la smentita, mentre la competenza tende a chiuderlo.

I ricci di Tetlock erano intelligenti. Avevano costruito la propria identità intellettuale attorno ai propri schemi, e lo schema era diventato parte di ciò che erano, così la loro intelligenza veniva impiegata a difendere qualcosa che non poteva permettersi di fallire; più ne avevano, più elaborata e inattaccabile era la difesa.

Saperlo servirà meno di quanto sperate, perché il meccanismo non ha bisogno della disattenzione. Funziona con lo stesso tipo di ragionamento attento e partecipe a partire dalle prove che avete fatto negli ultimi quindici minuti. Questo non è un motivo per liquidare ciò che avete appena letto: i fallimenti delle repliche, i risultati di Tetlock sulle previsioni e i numeri dell’FMI del 2007 sono reali. È un motivo per trattare la sensazione di essere stati convinti come un superprevisore tratterebbe un’intuizione: come una probabilità, da verificare alla luce di ciò che succede dopo.

Avvertenza sull’IA generativa

Alcuni contenuti di questa pagina sono stati generati e/o modificati con l’ausilio di un’IA generativa.

Media

Hartono Creative Studio – Pexels

Fonti principali e riferimenti

Dan Kahan, Ellen Peters, Erica Cantrell Dawson & Paul Slovic, “Motivated numeracy and enlightened self-government,” Behavioural Public Policy, Vol. 1, Issue 1, pp. 54–86, 2017. https://doi.org/10.1017/bpp.2016.2

Dan Kahan, Ellen Peters, Maggie Wittlin, Paul Slovic, Lisa Larrimore Ouellette, Donald Braman & Gregory Mandel, “The polarizing impact of science literacy and numeracy on perceived climate change risks,” Nature Climate Change, Vol. 2, pp. 732–735, 2012. https://doi.org/10.1038/nclimate1547

Philip Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press, 2005.

Philip Tetlock & Dan Gardner, Superforecasting: The Art and Science of Prediction, Crown Publishers, 2015.

Barbara Mellers, Eric Stone, Terry Murray, Angela Minster, Nick Rohrbaugh, Michael Bishop, Eva Chen, Joshua Baker, Yuan Hou, Michael Horowitz, Lyle Ungar & Philip Tetlock, “Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions,” Perspectives on Psychological Science, Vol. 10, No. 3, pp. 267–281, 2015. https://doi.org/10.1177/1745691615577794

Open Science Collaboration, “Estimating the reproducibility of psychological science,” Science, Vol. 349, Issue 6251, 2015. https://doi.org/10.1126/science.aac4716

International Monetary Fund, “IMF Survey: Global Growth Seen at 5.2 pct in 2007” (on the World Economic Outlook Update), 25 July 2007. https://www.imf.org/en/News/Articles/2015/09/28/04/53/sonew0725a

IMF Independent Evaluation Office, “IMF Performance in the Run-Up to the Financial and Economic Crisis: IMF Surveillance in 2004–07,” 2011 (summary in IEO Newsletter, Spring 2011). https://ieo.imf.org/-/media/ieo/files/publications/newsletters/english-versions/spring2011-english.pdf

Dana R. Carney, Amy J.C. Cuddy & Andy J. Yap, “Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance,” Psychological Science, Vol. 21, No. 10, pp. 1363–1368, 2010.

Eva Ranehill, Anna Dreber, Magnus Johannesson, Susanne Leiberg, Sunhae Sul & Roberto A. Weber, “Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women,” Psychological Science, Vol. 26, No. 5, pp. 653–656, 2015.

Roy F. Baumeister, Ellen Bratslavsky, Mark Muraven & Dianne M. Tice, “Ego Depletion: Is the Active Self a Limited Resource?”, Journal of Personality and Social Psychology, Vol. 74, No. 5, pp. 1252–1265, 1998.

Martin S. Hagger, Nikos L.D. Chatzisarantis et al., “A Multilab Preregistered Replication of the Ego-Depletion Effect,” Perspectives on Psychological Science, Vol. 11, pp. 546–573, 2016. https://doi.org/10.1177/1745691616652873

John A. Bargh, Mark Chen & Lara Burrows, “Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action,” Journal of Personality and Social Psychology, Vol. 71, No. 2, pp. 230–244, 1996.

Stéphane Doyen, Olivier Klein, Cora-Lise Pichon & Axel Cleeremans, “Behavioral Priming: It’s All in the Mind, but Whose Mind?”, PLOS ONE, 2012. https://doi.org/10.1371/journal.pone.0029081

Chris Mooney, The Republican Brain: The Science of Why They Deny Science — and Reality, Wiley, 2012.

Dan M. Kahan, Asheley Landrum, Katie Carpenter, Laura Helft & Kathleen Hall Jamieson, “Science Curiosity and Political Information Processing,” Political Psychology, Vol. 38, Supplement 1, pp. 179–199, 2017. https://doi.org/10.1111/pops.12396

Ancel Keys et al., Seven Countries: A Multivariate Analysis of Death and Coronary Heart Disease, Harvard University Press, 1980.

Isaiah Berlin, The Hedgehog and the Fox: An Essay on Tolstoy’s View of History, Weidenfeld and Nicolson, 1953.

Emil Persson, David Andersson, Lina Koppel, Daniel Västfjäll & Gustav Tinghög, “A preregistered replication of motivated numeracy,” Cognition, Vol. 214, 2021. https://doi.org/10.1016/j.cognition.2021.104768

Dan Kahan, “What do I think of Mooney’s Republican Brain?”, Cultural Cognition Project blog, 2012. https://www.culturalcognition.net/blog/2012/7/27/what-do-i-think-of-mooneys-republican-brain.html

Joseph P. Simmons, Leif D. Nelson & Uri Simonsohn, “False-Positive Psychology,” Psychological Science, Vol. 22, No. 11, pp. 1359–1366, 2011. https://doi.org/10.1177/0956797611417632

Jacob Yerushalmy & Herman E. Hilleboe, “Fat in the diet and mortality from heart disease; a methodologic note,” New York State Journal of Medicine, Vol. 57, pp. 2343–2354, 1957.

Donald J. McNamara, “The Fifty Year Rehabilitation of the Egg,” Nutrients, Vol. 7, pp. 8716–8722, 2015. https://pmc.ncbi.nlm.nih.gov/articles/PMC4632449/

Today’s Dietitian, “The 2015–2020 Dietary Guidelines,” 2016. https://www.todaysdietitian.com/the-2015-2020-dietary-guidelines/

U.S. Department of Health and Human Services & U.S. Department of Agriculture, 2015–2020 Dietary Guidelines for Americans, 8th Edition, December 2015. https://odphp.health.gov/sites/default/files/2019-09/2015-2020_Dietary_Guidelines.pdf