生国里生缝主j=2啦垩11旦墨!!鲞璺§塑
・计算机应用・
问卷的信度和效度以及如何用SAS软件分析
广东省卫生防疫站(510300)
马文军潘波
问卷就象天平或尺子一样,本质上是一种测量工具,因此必须可信而且有效。测量得到的结果才有意立概念的不同侧面。当一份量表包括几个互不相关的内容.即几个不同的分量表,则应分别计算每个分量表
义。目前国内用问卷进行的流行病学研究很多,但很少有信度和效度分析,使得结果受到质疑,这是一个很大的缺憾。本文介绍问卷的几种信度和效度以及如何用SAS软件进行信度和效度分析。
1.信度(Reliability)
问卷的信度是指问卷的稳定性和可靠性,主要有三种信度:重复信度(test—retestreliability),内部信度(internalreliability)和观察者之间的信度(inter.
rater
reliability)。国外用问卷进行的研究,通常对问卷的重复信度和内部信度分析较多。
(1)重复信度:
用同一问卷对相同对象进行两次测量,如果两次
测量结果的一致性很好。则问卷的重复信度好。两次测量的时间间隔视具体情况而定,一般为2~4周,样本量通常为20~30人。当评估的变量是分类变量.用Kappa系数来评估重复信度.一般来说,Kappa系数大于0.75表示重复信度很好,在0.4~0.75表示较好,而低于0.4表示较差。如果是连续变量或等级变量,则用内部相关系数(icc)来评价,一般来说,ICC大于0.75表示极好,ICC在0.6到0.75表示较好。
在SAS软件中,Kappa系数用PROCFREQ过程计算,只要在“/”,后面加上参数agree即可。假设第一次测量的数据库为test,变量为ID,a1,。2……a。,
第二次测量的数据库为retest,变量名同teat。为了计
算Kappa系数,首先把数据库retest的变量改名为ID,ral,ra2,…,ra。,然后把两个数据库按ID号横向合并成testre,这样就可以调用PROCFREQ过程计算Kappa系数,程序如下:
procfreqdata=testre;tables
a1”ral
a2’ra2
Ⅲf・
如果结果表明某个条目的Kappa系数低于0.4,则要考虑对该条目进行修改或者删除该条目。至于ICC的计算调用PROCCORR过程就行了。
(2)内部信度
内部信度也叫内部一致性(internal万方数据consistency),
反映了条目间相关的程度,这些条目应该反映同一独
的内部信度,否则会降低问卷的内部信度。内部信度
通常用Cronbach’sa系数测量,a表示量表总变异中由不同被试者导致的比例占多少,a越大表示条目间
相关性越好,一般而言.a>0.8表示内部一致性极好,
。在0.6到0.8表示较好。而低于0.6表示内部一致性较差。
在SAS软件中,a系数调用PROCCORR过程计
算,只要在选择项加上参数alpha即可。步骤如下:首
先计算反映某一分量表所有条目的。系数,然后逐一去掉某一条目后再计算a系数,如果a系数值因去掉
该条目而增大.则考虑把该条目从分量表删除。以数
据库test为例,假设41,42,。3,a4,a
5,a6,a
7反映同
一个概念。即同属一个分量表,则分析程序如下:
proc
corr
data2testalpha
Vatal—a7;
,Ⅵn:
在上面程序基础上逐一去掉其中一个变量后再计算a,如果a值增加,则可删除该变量,程序如下:
proc∞rr
data=test
alpha:
,Ⅱn;
对其他条目分析的程序与上面的程序相似。(3)观察者之间的信度
观察者之间的信度是指不同观察者使用同一问卷测量相同对象的一致性水平。测量指标与重复信度的指标相同,为Kappa系数和ICC。评价观察者之间的信度理论上应该是不同观察者完全独立地对相同对象作出评价,但实际工作时很难做到。
2.效度(Validity)
效度是指问卷在多大程度上反映它所测量的理论性概念。这里主要介绍四种效度:表面效度(face一一lidity),内容效度(contentvalidity),准则效度(Crite—
rion—related
validity)和结构效度(constructvalidi—
ty)。
(1)表面效度
表面效度是指条目书面表达的意思是否为真正要测定的内容。这是一个主观指标,常由专家评阅确定。
处妇蚶QH也型韭毖嫩bS望盘i£&鼬£!里匦2螋Q;№l:i!。№:受
蠢时为了避觉应答者回答的“社会期望偏倚”,获得冀
分析的鳓的是想了勰属于某二二缎赣表的条秘是否如预测郛棒集中在一个黼子里。裕嚣子分耩鞋,瑟潴困予的数目莆事先确定,然后再与因平分析的圈子数目比较。一般丽言,如摄表的公网予熊解释50%以上的变算,瑟盈每个条蠹纛耀瘟鳇毽予土蠢足够强发戆受帮(大于等于0.4),捌试为该蠹裘冀有较好弱缝褥效度。
在SAS软件中,因子分析最常用的是燕成分极大
方差旋转圆素分析法,调用PROCFAcToR过程即正静信意,常常需蠢魏镭条譬静真正髫的,逡辩藏要牺牲表面效度丽提高其他效度。
(2)内容效度
蠹饔效发是疆缀蒇量表静条垂蹩孬龟摇了攥簧嚣蟹的离容静各个方蕊,如果包耩了各个方霹,粥内容靛度较好。与表面效度一样,内容效度也是~个主观指
耩。
(3)壤搿羧度
准则效度是指问卷测量结果与“金标礁”测量结果的一致稷发。例如:诊断量表的结果与临床诊断(“金
檬准”)酶一致性永平。准弼敢袭按照窝卷淄爨瓣器酶
分为预测效度(predictivevalidity)、现时效戚(c04,
c“nwl酬谢i毋)和翊测效度(辨s以拈tiw
validity)。
分撬接弼散发瓣遥常作法是对麓卷涮璧缭举每“金标准”测量结果进行相关分析,相荚系数越大袭承问卷酶准则效度越好,一般认为相关系数在0.4~0.8比较理
爨。
在SAS较箨申,准赠效麓分耩霹谰建PRO(:
cORR过程。如果怒连续性变精计算Pearson相关系效,如果为分类变量嬲计算Kendall穗美系数。镁设数据瘁teSl的变量a{~n7是连续性交虽,愆“垒耩撞”
测量相同对象得到的散据库为jtest,变量为血1一如7,
酋先把test和jtest接同卷编号合并成数据库t州,,然鬟调羹jprocCOtl一过程,翟痔螽下:
proc
cor'g
data…testlpearson
Wra1如i;
7氍程;
其他变量的相关系数计算与上面程序桴似。(4)缡构效度
结构散整是撂阉卷是否含有理论上期凝秘特征,毽攮嚣下曩个方嚣:④闻卷谣鬣结果与理论上溺蠡结
果的平行程度;②问卷评价的现象与其他璐象鳓独立
性;③问褥结果是否符台该问豢要评价现象的有荧理
论预铡。万方数据
评价问卷结梅效崖常用的方法是因子分析。因子
可,选择壤ROTATE=VARlMAX。分帮}莎辍是:惫
对要分析的变量调用procp,'incomp过程避行主成分分析,找到几个公嘲子。然后调用procfaaor过程进行援太方差旋转方法分菥戳鬣辩掇敬的公共藩子袄专
业角度解释或命名。
3。小结
僚嶷耱效凄楚鞫卷懿嚣个麓举特徭。僚袭是效囊的前提,信度低的阍卷不可熊霄嵩的效度。艇具有高信度的闷卷并不能保证其薅效魔,因为它可能没有测置它憨测璧静东嚣。在浮徐麟嚣瓣售寝秘效囊戆辩候,拓暴发瑷信凄鞠毅度不亵,剜盛器黠裰藏瓣条嚣遴行修改,然后再进行评估,只有缀过评估证明信度和效度高的阉卷才能进行正式测爨。当然,对菜一闷卷很难进孬掰有痞度程效度译绩,楚予辩阗卷器簧势捶哪些信度和效度,这鬻根据问卷的种类和研究的目的而
定。
参考文黻
1.WcodwardCA.(;hamb㈢∞LWGuide
to
questionnaireconstruction
and
questionwriting{渤w&:Can8di∞PnMicHeeJth^s*酬∞,1986
2.Strainer
DL,NormanGR.Selectingtheitered。in:Health耕e8s口eⅡl托t
S∞l镩!APractiealGu黼e∞ThdrDevelopment8ndUse。Ox{。rd:Oxford
University
Pr苎s.1989.39—52.
3.RobertF
汹;SAGEPublica'tio∞,ineDevellis,so幽Deve|opraeHt:下heo一糌mxd矗蛸e种i∞#,New*
1991.
4.剂朝煮.蔺卷的信窿释靛崖中国侵赣辩预防和控错,1997,s(4>:174
177,
5.卢文爨,编著.sAs,PC统计分析赣件赛耀授术.北京:强辨工韭出版赣.1996,
生国里生缝主j=2啦垩11旦墨!!鲞璺§塑
・计算机应用・
问卷的信度和效度以及如何用SAS软件分析
广东省卫生防疫站(510300)
马文军潘波
问卷就象天平或尺子一样,本质上是一种测量工具,因此必须可信而且有效。测量得到的结果才有意立概念的不同侧面。当一份量表包括几个互不相关的内容.即几个不同的分量表,则应分别计算每个分量表
义。目前国内用问卷进行的流行病学研究很多,但很少有信度和效度分析,使得结果受到质疑,这是一个很大的缺憾。本文介绍问卷的几种信度和效度以及如何用SAS软件进行信度和效度分析。
1.信度(Reliability)
问卷的信度是指问卷的稳定性和可靠性,主要有三种信度:重复信度(test—retestreliability),内部信度(internalreliability)和观察者之间的信度(inter.
rater
reliability)。国外用问卷进行的研究,通常对问卷的重复信度和内部信度分析较多。
(1)重复信度:
用同一问卷对相同对象进行两次测量,如果两次
测量结果的一致性很好。则问卷的重复信度好。两次测量的时间间隔视具体情况而定,一般为2~4周,样本量通常为20~30人。当评估的变量是分类变量.用Kappa系数来评估重复信度.一般来说,Kappa系数大于0.75表示重复信度很好,在0.4~0.75表示较好,而低于0.4表示较差。如果是连续变量或等级变量,则用内部相关系数(icc)来评价,一般来说,ICC大于0.75表示极好,ICC在0.6到0.75表示较好。
在SAS软件中,Kappa系数用PROCFREQ过程计算,只要在“/”,后面加上参数agree即可。假设第一次测量的数据库为test,变量为ID,a1,。2……a。,
第二次测量的数据库为retest,变量名同teat。为了计
算Kappa系数,首先把数据库retest的变量改名为ID,ral,ra2,…,ra。,然后把两个数据库按ID号横向合并成testre,这样就可以调用PROCFREQ过程计算Kappa系数,程序如下:
procfreqdata=testre;tables
a1”ral
a2’ra2
Ⅲf・
如果结果表明某个条目的Kappa系数低于0.4,则要考虑对该条目进行修改或者删除该条目。至于ICC的计算调用PROCCORR过程就行了。
(2)内部信度
内部信度也叫内部一致性(internal万方数据consistency),
反映了条目间相关的程度,这些条目应该反映同一独
的内部信度,否则会降低问卷的内部信度。内部信度
通常用Cronbach’sa系数测量,a表示量表总变异中由不同被试者导致的比例占多少,a越大表示条目间
相关性越好,一般而言.a>0.8表示内部一致性极好,
。在0.6到0.8表示较好。而低于0.6表示内部一致性较差。
在SAS软件中,a系数调用PROCCORR过程计
算,只要在选择项加上参数alpha即可。步骤如下:首
先计算反映某一分量表所有条目的。系数,然后逐一去掉某一条目后再计算a系数,如果a系数值因去掉
该条目而增大.则考虑把该条目从分量表删除。以数
据库test为例,假设41,42,。3,a4,a
5,a6,a
7反映同
一个概念。即同属一个分量表,则分析程序如下:
proc
corr
data2testalpha
Vatal—a7;
,Ⅵn:
在上面程序基础上逐一去掉其中一个变量后再计算a,如果a值增加,则可删除该变量,程序如下:
proc∞rr
data=test
alpha:
,Ⅱn;
对其他条目分析的程序与上面的程序相似。(3)观察者之间的信度
观察者之间的信度是指不同观察者使用同一问卷测量相同对象的一致性水平。测量指标与重复信度的指标相同,为Kappa系数和ICC。评价观察者之间的信度理论上应该是不同观察者完全独立地对相同对象作出评价,但实际工作时很难做到。
2.效度(Validity)
效度是指问卷在多大程度上反映它所测量的理论性概念。这里主要介绍四种效度:表面效度(face一一lidity),内容效度(contentvalidity),准则效度(Crite—
rion—related
validity)和结构效度(constructvalidi—
ty)。
(1)表面效度
表面效度是指条目书面表达的意思是否为真正要测定的内容。这是一个主观指标,常由专家评阅确定。
处妇蚶QH也型韭毖嫩bS望盘i£&鼬£!里匦2螋Q;№l:i!。№:受
蠢时为了避觉应答者回答的“社会期望偏倚”,获得冀
分析的鳓的是想了勰属于某二二缎赣表的条秘是否如预测郛棒集中在一个黼子里。裕嚣子分耩鞋,瑟潴困予的数目莆事先确定,然后再与因平分析的圈子数目比较。一般丽言,如摄表的公网予熊解释50%以上的变算,瑟盈每个条蠹纛耀瘟鳇毽予土蠢足够强发戆受帮(大于等于0.4),捌试为该蠹裘冀有较好弱缝褥效度。
在SAS软件中,因子分析最常用的是燕成分极大
方差旋转圆素分析法,调用PROCFAcToR过程即正静信意,常常需蠢魏镭条譬静真正髫的,逡辩藏要牺牲表面效度丽提高其他效度。
(2)内容效度
蠹饔效发是疆缀蒇量表静条垂蹩孬龟摇了攥簧嚣蟹的离容静各个方蕊,如果包耩了各个方霹,粥内容靛度较好。与表面效度一样,内容效度也是~个主观指
耩。
(3)壤搿羧度
准则效度是指问卷测量结果与“金标礁”测量结果的一致稷发。例如:诊断量表的结果与临床诊断(“金
檬准”)酶一致性永平。准弼敢袭按照窝卷淄爨瓣器酶
分为预测效度(predictivevalidity)、现时效戚(c04,
c“nwl酬谢i毋)和翊测效度(辨s以拈tiw
validity)。
分撬接弼散发瓣遥常作法是对麓卷涮璧缭举每“金标准”测量结果进行相关分析,相荚系数越大袭承问卷酶准则效度越好,一般认为相关系数在0.4~0.8比较理
爨。
在SAS较箨申,准赠效麓分耩霹谰建PRO(:
cORR过程。如果怒连续性变精计算Pearson相关系效,如果为分类变量嬲计算Kendall穗美系数。镁设数据瘁teSl的变量a{~n7是连续性交虽,愆“垒耩撞”
测量相同对象得到的散据库为jtest,变量为血1一如7,
酋先把test和jtest接同卷编号合并成数据库t州,,然鬟调羹jprocCOtl一过程,翟痔螽下:
proc
cor'g
data…testlpearson
Wra1如i;
7氍程;
其他变量的相关系数计算与上面程序桴似。(4)缡构效度
结构散整是撂阉卷是否含有理论上期凝秘特征,毽攮嚣下曩个方嚣:④闻卷谣鬣结果与理论上溺蠡结
果的平行程度;②问卷评价的现象与其他璐象鳓独立
性;③问褥结果是否符台该问豢要评价现象的有荧理
论预铡。万方数据
评价问卷结梅效崖常用的方法是因子分析。因子
可,选择壤ROTATE=VARlMAX。分帮}莎辍是:惫
对要分析的变量调用procp,'incomp过程避行主成分分析,找到几个公嘲子。然后调用procfaaor过程进行援太方差旋转方法分菥戳鬣辩掇敬的公共藩子袄专
业角度解释或命名。
3。小结
僚嶷耱效凄楚鞫卷懿嚣个麓举特徭。僚袭是效囊的前提,信度低的阍卷不可熊霄嵩的效度。艇具有高信度的闷卷并不能保证其薅效魔,因为它可能没有测置它憨测璧静东嚣。在浮徐麟嚣瓣售寝秘效囊戆辩候,拓暴发瑷信凄鞠毅度不亵,剜盛器黠裰藏瓣条嚣遴行修改,然后再进行评估,只有缀过评估证明信度和效度高的阉卷才能进行正式测爨。当然,对菜一闷卷很难进孬掰有痞度程效度译绩,楚予辩阗卷器簧势捶哪些信度和效度,这鬻根据问卷的种类和研究的目的而
定。
参考文黻
1.WcodwardCA.(;hamb㈢∞LWGuide
to
questionnaireconstruction
and
questionwriting{渤w&:Can8di∞PnMicHeeJth^s*酬∞,1986
2.Strainer
DL,NormanGR.Selectingtheitered。in:Health耕e8s口eⅡl托t
S∞l镩!APractiealGu黼e∞ThdrDevelopment8ndUse。Ox{。rd:Oxford
University
Pr苎s.1989.39—52.
3.RobertF
汹;SAGEPublica'tio∞,ineDevellis,so幽Deve|opraeHt:下heo一糌mxd矗蛸e种i∞#,New*
1991.
4.剂朝煮.蔺卷的信窿释靛崖中国侵赣辩预防和控错,1997,s(4>:174
177,
5.卢文爨,编著.sAs,PC统计分析赣件赛耀授术.北京:强辨工韭出版赣.1996,