心理科学进展 2016, 24 (9): 1504-1518.
胡传鹏 1王非 1过继成思 1宋梦迪 1隋洁 2彭凯平 1
DOI: 10.3724/SP.J.1042.2016.01504
假阳性过高,可疑研究操作是假阳性过高的直接原因,而出版偏见和过度依赖虚无假设检验则是更加深层的原因。面对可重复性问题,研究者从统计方法和研究实践两个方面提出了相应的解决方案,这些方法与实践正在成为心理学研究的新标准。然而,要解决可重复性问题,还需要心理学研究领域的多方参与,尤其是在政策上鼓励公开、透明和开放的研究取向,避免出版偏见。心理学研究者为解决可重复性问题做出的努力,不仅会加强心理学研究的可靠性,也为其他学科解决可重复问题提供了借鉴,推动科学界可重复问题的解决。
摘要:可重复性问题是当前科学界面临的共同问题。最近,心理学研究领域的可重复性问题也受到广泛关注,引起了研究者的积极讨论与探索。通过对2008年发表的100项研究结果进行大规模重复实验,研究者发现,心理学研究的成功重复率约为39%,但该研究仍然存在着巨大的争议,不同的研究者对其结果的解读不尽相同。针对可重复性问题,研究者通过数据模拟、元分析以及调查等多种方法来分析和探索其原因,这些研究表明,可重复性问题本质上可能是发表的研究关键字:可重复性 假阳性 基于估计的统计 开放科学 革新 replicability false positive estimate-based statistic open science reform
1 引言
可重复性(replicability)是判断科学研究结果是否可靠的重要标准(Schmidt,2009),然而可重复性问题困扰着科学研究的许多领域(Begley & Ellis,2012;Chang & Li,2015;Ioannidis,2005;Tajika,Ogawa,Takeshima,Hayasaka,& Furukawa,2015)。早在2005年,就有研究者指出,大部分研究结果可能都是不可靠的(Ioannidis,2005),有些研究领域的可重复率只有11%(Begley & Ellis,2012)。最近Nature杂志对1500多名研究者的调查也表明,90%接受调查的研究者认为,在科学界存在着可重复危机(Baker,2016)。近年来可重复性问题在心理学中也日益受到关注(Schooler,2014;Spellman,2015)。由于心理学研究对法律和政策的影响(胡传鹏,邓晓红,周治金,邓小刚,2011),可重复性问题对政策甚至是法律产生的影响也受到关注(Chin,2014)。因此,心理学研究者近年来积极地讨论可重复性问题的原因及对策,这些努力的结果不仅正在改变心理学研究的格局,也为其他研究领域应对可重复问题提供良好的借鉴。
Klein,Pichon,& Cleeremans(2012)和Lurquin等(2016),以及PsychFileDrawer:http://psychfiledrawer.org/上的大量报道),使得心理学研究的科学性受到质疑(Pashler & Wagenmakers,2012)。至此,可重复危机(replication crisis)的说法受到广泛关注(Schooler,2014;Yong,2012)。
心理学研究者对可重复性问题的关注始于2011年初,康奈尔大学心理学家Daryl Bem在社会心理领域顶级期刊Journal of Social and Personality Psychology(JPSP)上发表关于预知未来的研究(Bem,2011;Miller,2011),但重复实验却未能得到与其相同的结果(Galak,LeBoeuf,Nelson,& Simmons,2012;Ritchie,Wiseman,& French,2012)。不久,Simmons,Nelson和Simonsohn(2011)在Psychological Science上发表了题为《False Positive Psychology》的论文,揭示心理学研究中假阳性过高的现象及原因,引起广泛重视。同年11月,荷兰心理学家Diederik Stapel数据造假事件被曝光,在心理学研究领域更是投下了重磅炸弹。调查显示,其职业生涯的137篇论文中,有55篇数据均属造假,其中不乏顶级期刊如Science和JPSP发表的论文。调查报告指出,此造假事件除了Stapel个人的原因外,心理学研究方法与审稿标准的严谨性不足也难辞其咎,对心理学研究领域提出了责难(Alberts,2011;Enserink,2012;Ten for 2011)。随后,大量重复实验均未能重复先前研究的结果(如Doyen,面对可重复性问题,心理学研究者积极地分析其原因、探索其对策:不仅在学术期刊中组织专刊对可重复性问题进行讨论(Barch & Yarkoni,2013;Pashler & Wagenmakers,2012;Spellman,2012,2013),也召开关于可重复性问题的专题研讨会(如英国心理学会组织的Open Debate on Replication and Reproducibility in Psychological Science)。这些关于可重复性问题的讨论,可能成为心理学学科发展的重要契机。充分了解这些变化对未来的研究有着重要的参考价值。本文旨在分析可重复性问题的现状,探讨可重复性问题的原因和解决方案,希望能在此基础上,促进学术期刊、一线研究人员以及教学工作者对这一问题的了解与关注,从而能够更好地应对。
2 可重复性问题的现状
精神病领域的83篇高引用率文献进行分析也表明,其中40篇文献未得到任何的重复(Tajika et al.,2015)。正由于重复研究的缺乏,研究者无法准确评估整个心理学领域的可重复性状况。为了解决这一问题,研究者试图采用大规模重复实验直接重复已发表研究,以评估心理学领域的可重复性现状。
虽然早已有研究者指出可重复性标准在心理学研究中的重要性(Schmidt,2009),但重复研究并未受到重视。对心理学文献的分析表明,重复研究仅占全部文献量的1.07%(Makel,Plucker,& Hegarty,2012)。对2000年到2002年在2.1 大规模直接重复实验的努力
开放科学中心(Center of Open Science,COS)。该中心创建了开放科学框架(Open Science Framework,OSF)平台,使得全世界的研究者可以合作进行实验,大规模重复实验也成为可能。作为初步的尝试,COS组织了“多实验室项目”(Many Labs Project,以下称为ML2014)。该项目选取13个经典的社会心理学效应进行重复,由多个实验室的研究者共同完成。该项目共收集到了美国和其他地区的36批数据(25个实验室样本,11个线上样本,共6344名被试),其结果显示,11个效应得以重复(99%置信区间不包括0)(Klein et al.,2014)。
尽管完全精确的重复在哲学上是不可能的(Earp & Trafimow,2015),但是尽可能贴近原实验进行直接重复(direct replication),能够相对直观地对已有研究的可重复性进行评估。然而,要对整个心理学研究领域进行大规模的重复实验,仅靠单个研究团队很难实现。在此背景之下,Nosek等创立了为了对整个心理学研究领域进行有代表性的重复,COS开展了“心理学研究可重复性项目”(Reproducibility Project:Psychology,RPP)。该项目选取2008年发表在Psychological Science、Journal of Personality and Social Psychology和Journal of Experimental Psychology:Learning,Memory,and Cognition三本期刊上的100篇论文,包括社会心理学、认知心理学等众多心理学领域。每个实验由一个参与团队认领后,与原文章作者联系以获取材料,并在OSF上提前注册研究信息。2015年,RPP项目参与者以Open Science Collaboration(OSC)团队作者之名,将RPP的结果发表在Science杂志上,结果显示64个重复实验未能得到显著结果,且得到显著结果的实验也出现平均效应量下降的现象。根据项目团队的评定,重复成功率为39%(Open Science Collaboration,2015)(以下简称OSC2015)。
自我反思,体现了科学研究中的自我纠正。一方面,这种自我纠正受到了广泛的赞扬(Nature News,2015;Science News Staff,2015),但另一方面,关于该项目是否客观准确,还存在着一些争议。
OSC2015的发表,产生了巨大的影响,其试图对心理学研究领域的可重复性问题进行评估的努力,表现出了心理学研究者的