心理学,还延伸到了生物医学(Begley & Ionannidis, 2015),政治学(Esarey, Stevenson, & Wilson, 2014),甚至是计算机科学(LeVeque, Mitchell, & Stodden, 2012)
期刊里有很多关于研究可重复性的文章;博客世界里也充斥着关于可重复性的争论。对研究可靠性的关注不仅局限于但是,只有心理治疗领域的研究人员用一个象征物来比喻这个研究可重复性的问题:渡渡鸟。
几十年来,心理治疗领域的研究者们都很清楚,心理治疗实验常常是无法被重复的。我相信通过一个可再现的镜头和解决根本问题的方式来检视渡渡鸟效应(不同的心理治疗有同样的效果),将会改善心理治疗领域的研究现状,不仅仅是治疗实验,而且我们能得到一些让各方都满意的答案,而不用再去老调重弹那些早已让我们疲倦的争论了。
这篇文章有两个目标:1、让怀疑论者确信我们的确关心心理治疗研究的可重复性问题;2、提出可以用来修正这一问题的行动措施。(本文为上篇,主要谈论第一个问题。)
是的,这的确是个问题
尽管心理治疗研究取得了大量一致的有用发现,但是我相信大部分的心理治疗研究都无法重复(如果它还没有被重复的话)。渡渡鸟效应就是一个无法重复的例子:任何支持一种疗法优于另一种疗法的重要发现,总是很容易被反驳,或者是结论无效,或者是得出完全相反的结论。
哎,等等,渡渡鸟不是已经灭绝了吗?难道不是大卫(David Tolin)用一个元分析之类的东西把它杀了吗(2010,2014)?
是的,有的元分析发现不同疗法有不同的功效,但是另外的元分析却发现不同疗法间没有差别(Hofmann, Asnaani, Vonk, Sawyer, & Fang, 2012)。所以,元分析本身也无法重复,最后还是导致了这种渡渡鸟状况。
我们可以讨论一下为什么会出现我们想要的结果,因为我们会反复考证元分析方法以及通过这些元分析得出的结论。但是抛开我们的立场,我们都会同意确实有证据表明问题存在。几十年来,心理治疗领域的研究产生了大量的文献,但是这些文献非常含糊,聪明人稍微从不同的角度进行解读,就会得出不同的结论。
也许你并不关心效果比较试实验的不可重复。事实上,如果只是效果比较的实验,我也不会担心,我会预期比较心理治疗各个方面的实验都产生变异的结果,下面会讨论其中缘由。因此,许多研究者都认为研究机制、过程、调节变量和个人咨询要素会更富有成效。
然而,我们有足够的理由相信其它类型的心理治疗研究也同样不可重复。
首先,让我们先有节操地假设心理治疗研究和所有的心理学研究(包括其它领域)一样,都存在可重复性的问题。
第二,心理治疗文献里有大量像渡渡鸟一样无法重复的例子。就我自己曾痴迷于文献回顾的经验来说,缺乏可重复性不是特例而是常规。
依恋类型对认知行为疗法和人际互动疗法的功效所起的调节作用(人际心理治疗;Bernecker等,2016)。由于写文章的过程中注意到现存文献很难总结归纳,于是我们对有关人际心理治疗的调节因素的文献做了一个全面回顾。我们发现的一致结论很少,就连经常被引用的结论都与其它的调查研究相矛盾。(Bernecker, Coyne, & Constantino, in preparation).
例如,我被要求写这篇文章是为了配合另外一篇文章,因为我和我的同事在那篇文章中得出的结论无法重复,主要探讨另一个例子来自于近期的一项关于认知偏差矫正(cognitive bias modification,简称CBM)的元分析(CBM; Cristea, Kok, & Cuijpers, 2015)。尽管我支持使用单因素检验作为应对这一危机的改进措施(见下文),但是元分析完美呈现了CBM的积极结果是受发表偏见和方法论问题的驱动,这表明除非我们改进发表要求和研究方法,不然就算是最严格限制的干预也会有可重复性的问题,正如多成分治疗一样。
如果你依然不相信心理治疗研究的可重复性问题的话,我会这样劝你,同那些怀疑气候变化的人争论时,我也是这样说的:鉴于危险的严重性,不怕一万,就怕万一。我不想在这场赌局中失败,最后以物种灭绝以及变为水下城市而告终,这样的结果同样会出现在科学领域。
如果想要我们的工作成果能够影响实践、培训,乃至政策,那么当我们生成一系列研究的时候,我们应该得出合理可信的结论;我们不应该得出那种经不起风吹的结果。
事实上,如果个人发表的论文足够可靠,我们就可以放心地引用,因为它的结果是“真的”,而不是等着更多的研究来验证同一个问题,这样不是更好?
我们应该做些什么