关系,但是实验研究的评估缺乏一个相对完整的体系。本文以应用语言学为背景简要评述了最有代表性的实验研究评估体系——坎贝尔效度框架。坎贝尔效度框架以明确的效度分类体系和各种效度的开放性威胁清单为特色,不失为应用语言学研究者开展和评价实验研究的指导性评估体系。
【摘要】:应用语言学广泛使用实验方法探索变量之间的因果【作者单位】:鲍贵 南京工业大学英语系; 《外语研究》 2015年03期
效度威胁 应用语言学
【关键词】: 坎贝尔 实验 效度框架1. 引言
定量研究质量评估近年来越来越受到学术界的重视,尤其表现在系统评价和元分析中(Lazaraton2000;Plonsky 2014;郑新民 2009;李德俊,洪艳青2012;鲍贵 2014a,2014b)。基于某个研究课题的系统评价和元分析包括两大类。一类是囊括关联性研究和实验研究的系统评价和元分析(Plonsky & Gass2011;Plonsky 2013;何家宁,张文忠 2009);另一类是对实验研究的元分析(Norris & Ortega 2000;Huang etal. 2012)。较为全面的、不限于某个研究课题的实验研究系统评价则很少(吴旭东 2002)。这在一定程度上说明综合评价实验研究难度很大。
系统回顾和元分析的价值取决于各项实验研究的质量。鉴于实验各个环节所包含的要素的复杂性,前期研究评价主要就实验的若干要素进行评估,致使评价难免以偏概全。应用语言学界似乎普遍缺乏实验研究的系统知识,对实验研究的系统评价体系了解或应用不足。本文主要以应用语言学为背景评述 实 验 研 究 最 有 代 表 性 的 评 估 体 系-坎 贝 尔(Campbell)开创的效度框架(validity framework),为全面评估语言学实验研究的质量提供必要的参考依据。
2. 坎贝尔实验研究效度框架
Campbel(l1957)首次在实验研究的评估中引入“效度”的概念,将之二分为内部效度(internalvalidity)和外部效度(external validity)。历经半个多世纪,坎贝尔效度研究传统的发展大致经历了三个阶段,每个阶段的发展集中体现为 Campbell 及其同事的代表作。第一个阶段为上个世纪 60 年代,代表作是 Campbell & Stanley(1966)的实验和准实验设计研究。第二阶段为上个世纪 70、80 年代,代表作是Cook & Campbel(l1979)关于准实验设计的研究,提出了效度四分法,即内部效度、统计结论效度(statistical conclusion validity)、构念效度(constructvalidity)和外部效度。本世纪初为 Campbell 效度研究发展的第三个阶段,代表作是 Shadish et al(。2002)关于广义因果推断的实验和准实验设计研究,继承与发展了前一个阶段的效度理论。坎贝尔效度评估框架以效度分类和效度威胁(threats to validity)清单为特色,注重推广理论的构建。下面以 Shadish et al.(2002)为主评述坎贝尔实验研究效度框架。
2.1 效度类型
效度指推断的近似真实性(Shadish et al. 2002:34)。“近似”这一限制语表明,我们绝不可能知道什么是真实的,充其量只能知道什么还没有作为错误被排除(Cook & Campbell 1979:37)。效度是推断的属性,不是研究设计或方法的属性 (Shadish et al. 2002:34)。在效度分类上,Shadish et al(。2002)沿用了 Cook& Campbell(1979)的效度四分法。
根据 Cook & Campbel(l1979:41),统计结论效度推断在 α 的某个水平上,由方差推定协变异的合理性。Shadish et al。(2002)对 Cook & Campbel(l1979)的统计结论效度的定义做了拓展,包括他们没有给予足够重视的实验效应量(effect size)的大小。
内部效度推断观察到的操纵变量 A(推定的处理)和测量变量 B(推定的结果)之间的协变异是否由A 导致了 B(Shadish et al. 2002:38)。这一定义强调推断处理变量 A 和结果变量 B 之间的因果关系,且在A 和 B 之间加上了限制语“推定的”(presumed)。“推定的”处理和“推定的”结果隐含着实际的研究操作未必就是计划的研究操作,可能还包括外扰因素。
Cook & Campbel(l1979:38)将构念效度的指称范围限制为处理和结果(或结果测量),但是 Shadishet al(。2002:38)扩大了指称范围,将构念效度定义为从研究中对人、场景、处理和结果的操作向这些操作可能代表的构念所做推断的合理性。Shadish et al.(2002:38-39)认为,虽然 Cook & Campbel(l1979)将构念效度的应用范围限制在处理和结果测量有一定的道理,但是这种对因果构念效度的重视有时让人觉得对人和场景总体的概括不重要,构念效度理应包括这两个层面。
Cook & Campbell(1979:38-39)将外部效度的指称范围限制为人、场景和时间。Shadish et al。(2002:38)则不将时间维度单列,将外部效度定义为在人、场景、处理和结果测量发生变化时推断因果关系成立的有效性。Shadish et al。(2002)定义中的外部效度指称范围等同于构念效度的指称范围,包括 Cook &Campbel(l1979)提到的两类推广---向总体的推广和在子总体之间推广。
2.2 效度威胁种类