・174・
问卷的信度与效度评价
刘朝杰
摘要 国内目前虽有不少采用问卷作为测量工具的科学研究,但有关问卷信度和效度评价的文献却极少,忽视信度和效度评价便不能保证调查质量,对此应引起足够的重视。作者广泛研讨了有关文献,结合我国现状,从数理理论、心理测量学概念、至具体的应用,对信度和效度评价作了深入的探讨。
关键词 问卷 信度 效度
TheAssessmentoftheReliabilityandValidityofQuestionnaire LiuChaojie.,WestChinaUniversityofMedicalSci2
ences,Chengdu(610041)
Abstract TherehavealreadybeenmanystudiesusingquestionnaireasstudyinstrumentsinChina.Butunfortunately,fewofthemreportedtheirreliabilityandvalidity.Weshouldpaymuchmoreattentiontothisproblem.Thequalityofasur2veycannotbeguaranteedwithoutenoughreliabilityandvalidityoftheinstruments.Theauthorreviewedabundantlitera2ture,andcompiledthispaperwhichfocusedonthemainprobleminChina.The10thousandswordspapercanbedividedintotwoparts,regardingthereliabilityandvalidityrespectively.ThecontentscoveredtherangfromthestatisticstheoryandtheconceptsofPsychometricstotheirpracticaluse.Theinductionofthemathematicsformulacanbeignoredbythosewholearnlittleinmathematicsandstatistics.
Keywords Questionnaire Reliability Validity
问卷的本质是测量工具,用于测量人们的某些特征(如个性、态度等)。所以,选用问卷进行科学研究必须首先考虑问卷的质量问题。
1 信度(Reliability)
信度指测量工具的稳定性,它代表反复测量结果的接近程度〔1〕。其评价指标是信度
2
)与测量值方系数(R),可以用误差值方差(Ρe差(Ρ2)表达为:R=
1-2
(o≤R≤1)。平行测试模Ρ2
中测量两次,评价两次测量的相关性。两次测
量可以由不同的人进行,也可以由同一人进行,前者称为评价者间信度,误差主要来源于调查员对问卷理解的差异及其对研究对象的影响,信度系数通常在0165至0195之间,一般要求宜高于0185〔4〕。后者称为复测信度,应用最广泛,个体评价对复测信度的要求往往很高,但在比较群体时,要求相对较低。一般而言,复测信度系数能达到0170以上即可〔4〕。重复测量有两个缺陷:首先,研究对象的特征可能随时间发生变化,那么两次测量的差异就不单纯由误差引起;其次,重复测量受前一次测量的影响,不一定能真实反映研究对象的特征。因此,重复测量的间隔时间不宜太长,也不宜太短,多数学者认为以2～4周较为合适。
112 复本测量 设计另外一种与研究问卷在测量内容、应答形式等方面高度类似的问卷,同时测量研究对象。该法最接近平行测试模型,且能避免重复测量的两个缺陷,但要设计并保证真正在复本问卷是非常困难的。113 折半测量 鉴于设计复本问卷非常困
型是估算信度系数的主要模式。按照此模型,如果存在两种形式的测量工具,能够测量同样的值,那么在同一人群中测量结果的差异,就完全由两种工具的误差值引起。通过数学推理可以证明:这样两种测量工具测量结果的相关系数就等于信度系数〔2,3〕。理想的平行测量工具在实际工作中是不存在的。为此,人们提出了四种近似的方法。
111 重复测量 采用一个问卷在同一人群
本题由CMB老年学项目资助
作者单位:四川成都华西医科大学社会医学教研室
(610041)
・175・
问卷的信度系数为:R=
(rij为
1+(k-1)rij
难,可以将一个问卷分拆为两半,分别作为各自的复本。但由于分拆的方法很多,不同分拆方法可能得出不同的信度系烽。两半问卷的相关系数等于半个问卷的信度系数,而一个完整问卷的条目增加了一倍,其信度系数可
=同样道理,以用下式进行换算:Rθ
1+R=长度增至K倍时,Rθ
1+(k-1)R
K条
目间相关系数的平均值)。在这里,R值常被称为CronbachθsΑ系数,代表了问卷条目的内部一致性。它等于所有可能组合的折半法信度系数的平均值〔2〕。值得注意的是,许多问卷测量的内容包括几个领域,宜分别对其估算Α系数,否则整个问卷的内部一致性较低。一般要求问卷的Α系数大于0180。
115 通用理论 通用理论的主要目的在于通过估算测量过程中可能发生的各种变异,提出减少误差的最佳方案,而不是简单回答测量的信度有多高。例如,某研究采用自填和访谈的方式,分别在两月内对20人进行了3次测量,方差分析的结果如下:
均方(MS)
[***********]SDF2SDF2SDF
问卷
114 内部一致性〔7〕 问卷对每个概念的测
量往往都要用一系列的条目,因而根据这些条目之间的相关性也可以评价信度。假如我们将一个条目视为一个初始问卷的话,那么K条目问卷就相当于将K-1个平行问卷与初始问卷相连接,组成了长度为初始问卷K倍的新问卷。根据前面提供的公式,K条目
方 差 来 源
研究对象(S)调查时间(D)填表方式(F)二维交互作用
调查对象×调查时间(S×D)调查对象×填表方式(S×F)调查时间×填表方式(D×F)三维交互作用
(设计水平
2032
表1 方差分析表
期望均方(EMS)
Ρ+2Ρ+3Ρ+6Ρ
2
Ρ+2Ρ+20Ρ+40ΡD
2
Ρ+3Ρ+20Ρ+60ΡF
2SD2SD2SF
2SF2DF2DF
2S
2
Ρ2SDF+2ΡSD22ΡSDF+3ΡSF
2
Ρ2SDF+20ΡDF
方差
70
6010155102按照Glass等人的观点〔6〕,每个因素的均方中,均包含了其自身的方差以及该因素与其他各因素交互作用的方差,因而可以将均方分解成表1中第四栏的形式。等式中的方差需乘以不含该方差来源的其他因素的水平
2
数。例如,ΡD须乘以S和F的水平数(20×2)。据此,得到各因素的方差值(表1第5
的差异较大,宜多重复几次。如果重复测量四次,与时间相关的方差减至原来的1
・174・
问卷的信度与效度评价
刘朝杰
摘要 国内目前虽有不少采用问卷作为测量工具的科学研究,但有关问卷信度和效度评价的文献却极少,忽视信度和效度评价便不能保证调查质量,对此应引起足够的重视。作者广泛研讨了有关文献,结合我国现状,从数理理论、心理测量学概念、至具体的应用,对信度和效度评价作了深入的探讨。
关键词 问卷 信度 效度
TheAssessmentoftheReliabilityandValidityofQuestionnaire LiuChaojie.,WestChinaUniversityofMedicalSci2
ences,Chengdu(610041)
Abstract TherehavealreadybeenmanystudiesusingquestionnaireasstudyinstrumentsinChina.Butunfortunately,fewofthemreportedtheirreliabilityandvalidity.Weshouldpaymuchmoreattentiontothisproblem.Thequalityofasur2veycannotbeguaranteedwithoutenoughreliabilityandvalidityoftheinstruments.Theauthorreviewedabundantlitera2ture,andcompiledthispaperwhichfocusedonthemainprobleminChina.The10thousandswordspapercanbedividedintotwoparts,regardingthereliabilityandvalidityrespectively.ThecontentscoveredtherangfromthestatisticstheoryandtheconceptsofPsychometricstotheirpracticaluse.Theinductionofthemathematicsformulacanbeignoredbythosewholearnlittleinmathematicsandstatistics.
Keywords Questionnaire Reliability Validity
问卷的本质是测量工具,用于测量人们的某些特征(如个性、态度等)。所以,选用问卷进行科学研究必须首先考虑问卷的质量问题。
1 信度(Reliability)
信度指测量工具的稳定性,它代表反复测量结果的接近程度〔1〕。其评价指标是信度
2
)与测量值方系数(R),可以用误差值方差(Ρe差(Ρ2)表达为:R=
1-2
(o≤R≤1)。平行测试模Ρ2
中测量两次,评价两次测量的相关性。两次测
量可以由不同的人进行,也可以由同一人进行,前者称为评价者间信度,误差主要来源于调查员对问卷理解的差异及其对研究对象的影响,信度系数通常在0165至0195之间,一般要求宜高于0185〔4〕。后者称为复测信度,应用最广泛,个体评价对复测信度的要求往往很高,但在比较群体时,要求相对较低。一般而言,复测信度系数能达到0170以上即可〔4〕。重复测量有两个缺陷:首先,研究对象的特征可能随时间发生变化,那么两次测量的差异就不单纯由误差引起;其次,重复测量受前一次测量的影响,不一定能真实反映研究对象的特征。因此,重复测量的间隔时间不宜太长,也不宜太短,多数学者认为以2～4周较为合适。
112 复本测量 设计另外一种与研究问卷在测量内容、应答形式等方面高度类似的问卷,同时测量研究对象。该法最接近平行测试模型,且能避免重复测量的两个缺陷,但要设计并保证真正在复本问卷是非常困难的。113 折半测量 鉴于设计复本问卷非常困
型是估算信度系数的主要模式。按照此模型,如果存在两种形式的测量工具,能够测量同样的值,那么在同一人群中测量结果的差异,就完全由两种工具的误差值引起。通过数学推理可以证明:这样两种测量工具测量结果的相关系数就等于信度系数〔2,3〕。理想的平行测量工具在实际工作中是不存在的。为此,人们提出了四种近似的方法。
111 重复测量 采用一个问卷在同一人群
本题由CMB老年学项目资助
作者单位:四川成都华西医科大学社会医学教研室
(610041)
・175・
问卷的信度系数为:R=
(rij为
1+(k-1)rij
难,可以将一个问卷分拆为两半,分别作为各自的复本。但由于分拆的方法很多,不同分拆方法可能得出不同的信度系烽。两半问卷的相关系数等于半个问卷的信度系数,而一个完整问卷的条目增加了一倍,其信度系数可
=同样道理,以用下式进行换算:Rθ
1+R=长度增至K倍时,Rθ
1+(k-1)R
K条
目间相关系数的平均值)。在这里,R值常被称为CronbachθsΑ系数,代表了问卷条目的内部一致性。它等于所有可能组合的折半法信度系数的平均值〔2〕。值得注意的是,许多问卷测量的内容包括几个领域,宜分别对其估算Α系数,否则整个问卷的内部一致性较低。一般要求问卷的Α系数大于0180。
115 通用理论 通用理论的主要目的在于通过估算测量过程中可能发生的各种变异,提出减少误差的最佳方案,而不是简单回答测量的信度有多高。例如,某研究采用自填和访谈的方式,分别在两月内对20人进行了3次测量,方差分析的结果如下:
均方(MS)
[***********]SDF2SDF2SDF
问卷
114 内部一致性〔7〕 问卷对每个概念的测
量往往都要用一系列的条目,因而根据这些条目之间的相关性也可以评价信度。假如我们将一个条目视为一个初始问卷的话,那么K条目问卷就相当于将K-1个平行问卷与初始问卷相连接,组成了长度为初始问卷K倍的新问卷。根据前面提供的公式,K条目
方 差 来 源
研究对象(S)调查时间(D)填表方式(F)二维交互作用
调查对象×调查时间(S×D)调查对象×填表方式(S×F)调查时间×填表方式(D×F)三维交互作用
(设计水平
2032
表1 方差分析表
期望均方(EMS)
Ρ+2Ρ+3Ρ+6Ρ
2
Ρ+2Ρ+20Ρ+40ΡD
2
Ρ+3Ρ+20Ρ+60ΡF
2SD2SD2SF
2SF2DF2DF
2S
2
Ρ2SDF+2ΡSD22ΡSDF+3ΡSF
2
Ρ2SDF+20ΡDF
方差
70
6010155102按照Glass等人的观点〔6〕,每个因素的均方中,均包含了其自身的方差以及该因素与其他各因素交互作用的方差,因而可以将均方分解成表1中第四栏的形式。等式中的方差需乘以不含该方差来源的其他因素的水平
2
数。例如,ΡD须乘以S和F的水平数(20×2)。据此,得到各因素的方差值(表1第5
的差异较大,宜多重复几次。如果重复测量四次,与时间相关的方差减至原来的1