Андрей Ловаков: Результаты проверки воспроизводимости 15 социально-психологических эффектов

В прошлом году я писал о проекте The “Many Labs” Replication Project, в рамках которого объединились исследователи из 36 лабораторий разных стран и на 36 независимых выборках (всего 6,344 человека) из 12 стран проверили воспроизводимость 13 известных психологических эффектов. Однако параллельно с этим проектом идеологи движения репликации и предварительной регистрации исследований в психологии Брайан Носек и Даниэль Лакенс призвали всех желающих принять участие в проекте повторения классических социально-психологических исследований. О важности пререгистрации можно почитать в The Guardian. 

Желающие повторить какое-либо исследование сначала регистрировали заявки с подробным описанием исследования, которые рецензировались и только после этого проводились сами исследования. На этой неделе вышел спецномер журнала Social Psychology, в котором опубликованы первые 15 отчетов об этих исследованиях. Эффекты для репликации выбирались по нескольким основаниям: 

• широко известные эффекты, вошедшие в учебники (1–4), 
• недавние работы, привлекшие внимание и получившие большое количество цитирований (9, 10, 13, 14), 
• эффекты, относительно которых были получены противоречивые результаты (5, 6, 7, 11), 
• эффекты, которые могли возникнуть из-за специфических условий (8, 12).

Про результаты The “Many Labs” Replication Project я уже подробно писал. Теперь посмотрим, что получилось у других.

• Nauts et al. проверили primacy-of-warmth effect, полученный в исследовании С. Аша (Asch, 1946). Эффект заключается в том, что суждения, описывающие "душевность" человека, оказывают более сильное влияние на впечатления о нем, чем суждения, описывающие его компетенции. Авторы репликации не нашли подтверждений существования этого эффекта. Влияние этих типов суждения сильно зависело от контекста.
• Wesselmann et al. проверяли исследование С. Шахтера (Schachter, 1951), в котором было установлено, что человек, мнение которого сильно отличается от норм группы, лишается прав и изолируется группой. Данный эффект воспроизвёлся, но оказался не таким сильным, как считалось раньше.
• Sinclair et al. проверяли "эффект Ромео и Джульеты", говорящий о том, что интенсивное вмешательство родителей в отношения между парой, приводит к увеличению любви, доверия и преданности между партнёрами (Driscoll, Davis, and Lipetz, 1972). Данный эффект не подтвердился. Наоборот, пары, ощущающие сильное вмешательства в отношения и их неодобрение, демонстрировали более низкое качество отношений.
• Vermeulen et al. проверяли, влияние музыки на потребительский выбор. В исследовании Gorn (1982) было показано, что одновременное предъявление нравящейся музыки и изображения определённой ручки приводит к тому, что при выборе люди отдают предпочтение именно этой ручке, а не какой-то другой. В новом исследовании данный эффект не подтвердился.
• Müller и Rothermund проверяли эффект прайминга стереотипов, заключающийся в том, что обработка определённых категориальных сигналов приводит к автоматической активации соответствующих стереотипов. В исследовании Blair и Banaji (1996) показано, что испытуемые быстрее классифицировали имена как мужские или женские, если им предшествовал гендерный прайминг. Влияние прайминга на возникновение стереотипов подтвердилось, однако активация стереотипов не была автоматической и ограничивалась конкретными условиями ситуации.
• Gibson et al. проверяли феномен восприимчивости стереотипов – осознание стереотипа о собственной группе оказывает влияние на поведение или эффективность выполнения задачи, связанной с этим стереотипом. В исследовании Shih, Pittinsky, and Ambady (1999) было показано, что азиатские женщины лучше выполняли тест по математике, под влияние стереотипа о высоких математических способностях азиатов, и хуже – под влиянием стереотипа о низких математических способностях женщин. Эффект подтвердился. Однако у Moon и Roeder, которые также проверяли феномен восприимчивости стереотипов, он не воспроизвёлся. 
• IJzerman et al. проверяли разницу между мужчинами и женщинами в переживании неверности. В исследовании Shackelford et al. (2004) было показано, что по сравнению с женщинами мужчины более сильно переживают сексуальную измену, чем эмоциональную. И эта разница между мужчинами и женщинами с возрастом только увеличивается. Репликация подтвердила наличия таких различий между мужчинами и женщинами, но эффект был слабее и наблюдался только у людей молодого возраста.
• Johnson et al. проверяли связь между физической чистотой и моральностью суждений. В исследовании Schnall, Benton, and Harvey (2008) было показано, что находясь под влиянием прайминга понятия "чистота", люди давали более нравственные оценки. Они предположили, что ощущение чистоты приводит к возникновению чувства нравственной чистоты. В новом исследовании не было найдено доказательств того, что физическая чистота влияет на моральность суждений. Ответ от Simone Schnall
• Lynott et al. проверяли связь между ощущением физического тепла и просоциальным поведением. В исследовании Williams and Bargh (2008) было показано, что ощущение человеком физического тепла увеличивает вероятность принятия им просоциального решения. Данный эффект не воспроизвёлся. Авторы репликации пришли к выводу, что нет никаких доказательств такой связи.
• Žeželj и Jokić проверяли связь между психологической дистанцией и моральностью суждений. В исследовании Eyal, Liberman, and Trope (2008) было показано, что люди сильнее осуждают нарушения морали и более позитивно оценивают добродетельные поступки, если воспринимают эти действия как более далёкими от них. Репликация показала отсутствие эффекта в случае временной дистанции, но эффект подтвердился в случае социальной дистанции.
• Blanken et al. проверяли moral licensing effect. В исследовании Sachdeva,Iliev, and Medin (2009) было показано, что написание текста о собственных положительных чертах привело к снижению пожертвований на благотворительность и снижению кооперативного поведения. Эффект не подтвердился.
• Calin-Jageman и Caldwell проверяли связь между суевериями и производительностью в моторных и когнитивных задачах. В исследовании Damisch, Stoberock, & Mussweiler (2010) было показано, что наличие суеверия о счастливом шаре увеличивала эффективность игрока в гольф. Репликация не дала оснований для подтверждения эффекта суеверий.
• Brandt et al. проверяли связь между моральным поведением и восприятием освещенности. В исследовании Banerjee, Chatterjee, and Sinha (2012) было показано, что воспоминания о неэтичном поведении привело тому, что участники исследования воспринимали комнату как более тёмную, по сравнению с воспоминаниями об этичном поведении. Репликация не подтвердила наличие такой связи.

Таким образом, из 13 эффектов однозначно подтвердились только 3! Как так получилось, что результаты 10 остальных исследований, часто опубликованных во влиятельных, авторитетных журналах, не подтвердились? Чаще всего оригинальные исследования, впервые описывающие тот или иной эффект, проведены на маленьких выборках, где высока вероятность случайности результатов. Но поскольку в них исследуются яркие и неочевидные эффекты, журналы всё равно публикуют их. Репликации же проводились на выборках большего объёма, и новые результаты являются более мощными. Рекомендую почитать дискуссию, возникшую вокруг проекта. 

_______________________________________________

[1] Nauts, S., Langner, O., Huijsmans, I., Vonk, R., & Wigboldus, D. H. J. (2014). Forming Impressions of Personality: A Replication and Review of Asch’s (1946) Evidence for a Primacy-of-Warmth Effect in Impression Formation. Social Psychology, 45(3), 153–163. doi: 10.1027/1864-9335/a000179

[2] Wesselmann, E. D., Williams, K. D., Pryor, J. B., Eichler, F. A., Gill, D. M., & Hogue, J. D. (2014). Revisiting Schachter’s Research on Rejection, Deviance, and Communication (1951). Social Psychology, 45(3), 164–169. doi: 10.1027/1864-9335/a000180

[3] Sinclair, H. C., Hood, K. B., & Wright, B. L. (2014). Revisiting the Romeo and Juliet Effect (Driscoll, Davis, & Lipetz, 1972): Reexamining the Links Between Social Network Opinions and Romantic Relationship Outcomes. Social Psychology, 45(3), 170–178. doi: 10.1027/1864-9335/a000181

[4] Vermeulen, I., Batenburg, A., Beukeboom, C. J., & Smits, T. (2014). Breakthrough or One-Hit Wonder? Three Attempts to Replicate Single-Exposure Musical Conditioning Effects on Choice Behavior (Gorn, 1982). Social Psychology, 45(3), 179–186. doi: 10.1027/1864-9335/a000182

[5] Müller, F., & Rothermund, K. (2014). What Does It Take to Activate Stereotypes? Simple Primes Don’t Seem Enough: A Replication of Stereotype Activation (Banaji & Hardin, 1996; Blair & Banaji, 1996). Social Psychology, 45(3), 187–193. doi:10.1027/1864-9335/a000183

[6] Gibson, C. E., Losee, J., & Vitiello, C. (2014). A Replication Attempt of Stereotype Susceptibility (Shih, Pittinsky, & Ambady, 1999): Identity Salience and Shifts in Quantitative Performance. Social Psychology, 45(3), 194–198. doi: 10.1027/1864-9335/a000184

[7] Moon, A., & Roeder, S. S. (2014). A Secondary Replication Attempt of Stereotype Susceptibility (Shih, Pittinsky, & Ambady, 1999). Social Psychology, 45(3), 199–201. doi: 10.1027/1864-9335/a000193

[8] Ijzerman, H., Blanken, I., Brandt, M. J., Oerlemans, J. M., Van den Hoogenhof, M. M. W., Franken, S. J. M., & Oerlemans, M. W. G. (2014). Sex Differences in Distress From Infidelity in Early Adulthood and in Later Life: A Replication and Meta-Analysis of Shackelford et al. (2004). Social Psychology, 45(3), 202–208. doi: 10.1027/1864-9335/a000185

[9] Johnson, D. J., Cheung, F., & Donnellan, M. B. (2014). Does Cleanliness Influence Moral Judgments? A Direct Replication of Schnall, Benton, and Harvey (2008). Social Psychology, 45(3), 209–215. doi: 10.1027/1864-9335/a000186

[10] Lynott, D., Corker, K. S., Wortman, J., Connell, L., Donnellan, M. B., Lucas, R. E., & O’Brien, K. (2014). Replication of “Experiencing Physical Warmth Promotes Interpersonal Warmth” by Williams and Bargh (2008). Social Psychology, 45(3), 216–222. doi: 10.1027/1864-9335/a000187

[11] Žeželj, I. L., & Jokić, B. R. (2014). Replication of Experiments Evaluating Impact of Psychological Distance on Moral Judgment (Eyal, Liberman & Trope, 2008; Gong & Medin, 2012). Social Psychology, 45(3), 223–231. doi: 10.1027/1864-9335/a000188

[12] Blanken, I., van de Ven, N., Zeelenberg, M., & Meijers, M. H. C. (2014). Three Attempts to Replicate the Moral Licensing Effect. Social Psychology, 45(3), 232–238. doi: 10.1027/1864-9335/a000189

[13] Calin-Jageman, R. J., & Caldwell, T. L. (2014). Replication of the Superstition and Performance Study by Damisch, Stoberock, and Mussweiler (2010). Social Psychology, 45(3), 239–245. doi: 10.1027/1864-9335/a000190

[14] Brandt, M. J., Ijzerman, H., & Blanken, I. (2014). Does Recalling Moral Behavior Change the Perception of Brightness? A Replication and Meta-Analysis of Banerjee, Chatterjee, and Sinha (2012). Social Psychology, 45(3), 246-252. doi:10.1027/1864-9335/a000191

Взято.