第２７卷第１期
２０１４年１月
河南广播电视大学学报
ＪｏｕｍａｌｏｆＨｅｎａｎＲａｄｉｏ＆ＴＶＵｎｉｖｅｒｓｉｔｙ
Ｖ０１．２７，Ｎｏ．１
Ｊａｎ．２０１４
基于评估使用论证的ＴＥＭ８内容效度研究
马
燕
（河南广播电视大学，郑州４５００００）
摘
要：评估使用论证理论由应用语言学教授ＬｖｌｅＦ．Ｂａｃｈｍａｎ提出的一种全新的语言测试理
论。对于语言测试的开发和使用全过程的问责具有重要的作用。随着ＴＥＭ８测试的影响度及关注度的提升。对该项测试内容的合理性、科学性及真实性的要求也越来越高。本文拟通过评估使用论证这一理论视野对英语专业八级测试的内容效度进行分析，以期探索该项测试的科学性和真实性。发掘其对教学的正向反驳作用。
关键词：评估使用论证；ＴＥＭ８；内容效度；后效性
中图分类号：Ｈ０８
文献标识码：Ａ文章编号：１６７１—２８６２（２０１４）０１—００６１—０４
一、评估使用论证
平等．因此需要把效度理论和语言测评的后果结合起来，以期更加明确效度的作用和语言测评的公平（徐启龙，２０１２）。也就是说，每完成一项测试，要分析该项测试的后效性和所产生的后果．即该测试的用途和起到的正面反拨作用。通过对ＡＵＡ的后效性分析．可以更好地指导测评开发者有效地完善测评设计与开发全过程，并向利益相关者论证测评的公平性和有用性。
二、ＴＥＭ８及其测试内容简介
英语专业八级考试．简称’Ｉ＇ＥＭ８（Ｔｅｓｔ
ｆｏｒＥｎｇｌｉｓｈ
语言测试是应用语言学的重要组成部分．它是一个包括语言学、认知学、心理测量学和教育学等多方面的综合性学科。是检验学生语言水平的重要手段。评估使用论
证理论（Ａｓｓｅｓｓｍｅｎｔ
ｕｓｅ
ａｒｇｕｍｅｎｔ．简称ＡＵＡ）是由国际
著名的应用语言学教授ＬｙｌｅＦ．Ｂａｃｈｍａｎ于２００３年首
次提出的一种语言测评理论。是测试界的一次理论革新。
评估使用论证理论框架共包含两个部分：评估效度论证（ｖａｌｉｄｉｔｙａｒｇｕｍｅｎｔ）和评估用途论证（ｕｔｉｌｉｚａｔｉｏｎａｒｇｕｍｅｎｔ）。前者是基于考试表现的解释。后者是基于考试解释的使用决定（邹申。２０１２：１７）。Ｂａｃｈｍａｎ和Ｐａｌｍｅｒ在总结前人研究的基础上．提出了一个考试有效性模
型（ｍｏｄｅｌｏｆ
ｔｅｓｔ
Ｍａｊｏｒｓ８）．是我国自主开发的检测英语专业学生语言
水平的考试系列．其考试对象为高校英语专业大四的学生。根据２００５年新修订的ＴＥＭ８考试大纲安排。其测试题型主要分为６大类。分别为听力、阅读、人文知识、改错、翻译、写作。考试实行百分制，各题型所占分值比例如下：
ｔ听力２５分，主观题１０道，客观题各５道；阅读２０分，客观题２０道；人文知识１０分，客观题１０道；改错１０分，共１０题；翻译２０分，中英互译各ｌ题；写作２０分．主观题ｌ道。
本文拟基于评估使用论证这一理论视野．对ＴＥＭ８内容效度进行分析．以期探索该项测试成绩的公平性
ｕｓｅｆｕｌｎｅｓｓ），即考试效度研究框架
（１９９６：１７－４０）。效度是语言测试一个至关重要的属性，大体可分为四大类：内在效度、外在效度、使用效度和超越考试效度。而内容效度属于内在效度的一种．指的是考试自身的效度问题．主要包括考试是否完成考试大纲所规定的测试内容。试题的编排与设计是否有效等。２００７年．在美国应用语言学协会年会上Ｂａｃｈｍａｎ作了《语言测评：机遇与挑战》的报告，他提出用ＡＵＡ框架来指导目前所关注的各种问题．如测评的后果、道德和公
收稿日期：２０１３—１ｌ一２１
基金项目：河南省社科联、河南省经团联项目“基于评估使用论证的ＴＥＭ一８效度研究”（项目编号：ＳＫＬ一
２０１３－１５２５）。
作者简介：马燕，女，河南郑州人，硕士，河南广播电视大学助教，研究方向：翻译理论与实践。
・６１・
万方数据
和真实性．以及根据该测试内容．有效地提高其在教材研发、课程标准开发、专业教学以及学习效果等方面的正向反拨作用。
三、ＴＥＭ８内容效度分析
１．听力理解效度分析。
听力理解能力是外语学习者首先具备的基本的语言表达能力之一．随着ＴＥＭ测试的模式逐步固定．听力的分值比例达到２５％．人们对听力理解部分的重视也越来越高．如何培养学生良好的听力理解能力也是外语教学任务的重中之重。２００５年新修订的《英语专业八级考试大纲》对听力能力的要求也做出了明确规定：（，１）能听懂交际场合中各种英语会话和讲话；（２）能听懂ＶＯＡ、ＢＢＣ和ＣＮＮ等国外传媒的节目中有关政治、经济、文化教育、科技等方面的专题报道；（３）能听懂有关政治、经济、历史、文化教育、语言文学、科普方面的一般讲座及讲座后的答问。关于此部分考试题型的设计，共包括三个项目．其中．ｓｅｃｔｉｏｎＡ部分是一个由９００个单词组成的讲座．要求学生边听边做笔记．然后完成填空；Ｂ部分是会话或新闻采访，约８００个单词；Ｃ部分为新闻广播报道，录音速度为每分钟１５０个单词。
较之其他传统的英语测试仅以会话的形式来考查学生听力理解能力．ＴＥＭ一８的听力测试部分无论是在内容的广度、形式的宽度，还是知识点的深度来看，都无疑是一种更有效的测试方法。近几年的ＴＥＭ听力测试总的特点就是材料贴近生活．真实性高。以２０１０年的专八听力为例．从内容上来看．ｍｉｎｉ—ｌｅｃｔｕｒｅ部分是关于语言特性中的辅助语言学的介绍．ｉｎｔｅｒｖｉｅｗ部分是对美国社会多样性进行讨论．而ｂｒｏａｄｃａｓｔ部分则是对１３本
当下拓展海外市场的情况介绍。由此我们可以看出．
２０１０年专八听力部分考查的知识面不仅涉及语言、文化方面．还包括政治经济方面．紧扣考试大纲要求。其次，从形式上看，讲座、对话、新闻采访等形式都是受试者在１３常学习和生活中经常会遇到的情景．试题以什么样的形式来考查受试者的能力．对考试任务的完成情况有很大影响。口语中往往存在停顿、犹豫、自觉纠错、重复表述、变换主题等现象。交际英语听力测试要反映受试的理解能力，就必须使用尽可能真实的、接近现实生活的听力材料，努力消除试卷用英语（Ｅｎｇｌｉｓｈ
ｕｓｅｄｉｎ
ｔｅｓｔ）与现实生活中实际使用的英语（Ｅｎ娅ｓｈ
ｕｓｅｄｉｎｒｅａｌ
ｌｉｆｅ）的区别。而ＴＥＭ听力测试的这些形式
和话题的选择大大增强了听力材料的真实性．对于提高ＴＥＭ听力试卷的内容效度无疑有极大的辅助作用。
２．阅读理解效度分析。
新《考纲》对于ＴＥＭ阅读理解部分的测试要求为：
・６２・
万方数据
能读懂一般英美报刊杂志上的社论、政治和书评，能读懂一般历史传记及文学作品．能分析上述题材的文章的思想观点，通篇布局，语言技巧和修辞手法；能够在阅读过程中调整自己的阅读速度。２００５年以前此部分还包括快速阅读．后这一题型被取消．这对于考生的阅
读速度能力也就有了更高的要求。
近５年的ＴＥＭ８阅读理解部分的选材多以文化、
社会等方面的议论文和说明文为主。以２０１２年的阅读理解部分为例．第一篇短文主要讲水在日常生活中的过度消耗．第二篇讲的是学生毕业后重聚的现象。第三篇是关于一名晚上散步者日常所遇而感悟到的邻里关系的文章．最后一篇是关于林肯纪念日如何庆祝的今昔对比情况分析。这些阅读材料的选择很好地迎合了《考纲》的要求，囊括了社会文化和日常热点，文章体裁也多样化，包括记叙文、描写文和议论文等，四篇文章２０道问题，阅读总量为３０００字左右，达到了《考纲》对这一部分的检测目的。近５年的ＴＥＭ８阅读理解测试部分的文章基本都是围绕这一特点而命题。从效度理论来看．这些阅读内容是考生所熟悉的．并且语言也和现实生活中用来交际活动的话语相似．文本信息也是及时的．具有时效性，可以说，ＴＥＭ８阅读理解测试项目保证了测试文本的真实性．通过这一部分的测试．可以有效地检测出学生综合语言运用能力的程度。
但笔者认为．阅读理解部分在阅读材料的选取方面仍有不足。比如，除一般社评、文学作品、科技、经济等方面的文章外．还可以涉及一些更实用的文章。以充分保证题材的多样性、广泛性和真实性。在难度的控制方面。可以考虑选用一篇长度较长的文章，这样，更能考察学生对整体文章的把握和理解．．弥补目前试题在结构篇章测试方面的欠缺．同时．也可以进一步满足考纲对阅读速度的要求。
３．人文知识效度分析。
人文知识部分是２００５年修订的《考纲》新增加的测试部分．旨在考查英语专业高年级的学生对英语国家社会和文化知识、文学知识、语言知识的了解。考试形式为选择题．共１０道题．分数比重为１０％。以２０１１、２０１２、２０１３年ＴＥＭ８真题为例，２０１１年１０道选择题中人文地理知识共占３道．文学知识占４道．语言学知识占３道；２０１２年１０道选择题中人文地理知识占４道，文学知识占２道，语言学知识占４道：２０１３年１０道选择题中人文地理知识占４道．文学知识占３道．语言学知识占３道。通过此部分近三年的ＴＥＭ真题可以看出．人文知识、文学知识以及语言学知识这三部分的分值比重并不固定，在内容方面，人文地理主要考查美、
英、澳、加、新等国家概况，文学方面主要考查小说和诗歌，语言学方面题目涉及较多的是语用学和语义学。这些考题的设计，内容广泛，层次多样，满足了《考纲》对此部分考查目的的要求。通过这一部分的测试．能够有效检测出考生的人文知识掌握能力。
４．改错部分效度分析。
根据《考纲》要求，改错部分的考题由一篇２５０个词左右组成的短文。短文中有１０行标有题号。该１０行各有一个语误．要求学生根据自身语言运用和理解能力，增加、删减，或改变其中某一单词或短语，改正语误。语误主要有语法错误、修辞错误、结构错误等方面。此部分主要综合考查应试者的语言能力。以２０１３年的ＴＥＭ８试题为例．语篇结构方面的错误有３题，语法方面的错误有４题，拼写错误有１题，搭配方面的错误有２题。改错部分的内容效度并不体现在对有代表性的语言结构的覆盖．而是对有代表性的语言技能的检验检测。Ｂａｅｈｍａｎ也认为要想设计和使用合适的语言测试。要准确定义所测能力及观察和测量的方法．他建议用交际语言能力作为研究的基础。通过近５年的ＴＥＭ８改错部分真题来看．体现出了对应试者交际语言能力的考查，达到－ｒ（考纲》所要求的运用语法、修辞、结构等语言知识识别短文内的语病并加以改正。但笔者认为。其实这种形式的测试．还处于结构主义理论中的离散点测试．强调应试者对基本语言技能的掌握．在考题的设计当中，应当更进一步地融入语篇、语用能力的考查。
５．翻译部分效度分析。
ＴＥＭ８翻译测试部分主要要求考生运用英译汉、汉译英的相关理论和技巧。翻译我国报纸杂志、英美报纸杂志上有关政治、经济、历史、文化等方面的文章。无论是英译汉。还是汉译英，皆要求翻译速度为每小时２５０～３００字／词．并且要求译文要忠实原意，语言流畅通顺。２０１３年的汉译英部分是一篇关于“生活”的散文体文章．英译汉部分则是关于“联合国代表大会”的说明文；２０１２年的汉译英部分截取自一篇关于人物心理活动描写的文学作品．英译汉部分则是关于“校园暴力”的议论
文：２０１１年的汉译英是一篇关于现代社会矛盾无处不
在的说明文．英译汉部分是一篇关于在尼泊尔旅行的记叙文。通过这三年的考题可以看出，翻译部分的内容包括了社会文化、文学、政治等方面，文体也多种多样，基本涵盖了Ｅｔ常报刊上常见的几种文体。语言测试本身就是一种考生在特定测试情景下语言的输入与输出的交互过程．国际语言测试领域把语言测试的真实性分解为情景、任务、文本、输出、参与者之间互动等方面（徐启龙，２０１２）。ＴＥＭ８翻译部分的文章基本反映了该
万方数据
项测试的真实性。无论是文本的内容．还是语言的风格，都能还原日常报刊阅读的情景，符合《考纲》要求。
６．写作部分效度分析。
新《考纲》要求学生能根据所给题目和要求撰写一篇４００词左右的说明文或议论文。要求文章语言通顺．用词得体，结构合理，问题恰当。考试时间为４５分钟。所占分数比重为２０％。该规定清楚地告诉我们，ＩＥＭ８写作考查的重点是考生的英语语言水平．而不是思辨创新能力。这就对学生实际的写作水平提出了一定的挑战。我们来看一下近几年的八级写作考试题目：
年份
体裁话题内容
观点型议论文
社会焦点
对贵州小山区创新设
２０１０
计的看法
对旅游高峰期在历史
２０１ｌ
观点型议论文
社会焦点
名胜景区收取高价的看法
２０１２
观点型议论文社会焦点对使用手机的看法
良好的社会风气对人２０１３
观点型议论文社会焦点
们日常做好事影响的
看法
通过上表可以看出。２０１０年以来．ＴＥＭ８写作部分的题目均为当下热点问题．并且体裁均是观点型议论文。此类文体属于开放性题型，考生论述自己的观点。只要论据充分，文体得当，都符合题目要求。另外所选话题集中于社会焦点类．与学生的学习或日常生活话题密切相关．既考查了学生对社会事实的关注度与敏锐度，同时又考查了学生分析问题、论述问题的能力．以此培养学生多思维、多视角的写作辨析能力。但同时上表也反映出一个问题．即近四年的文体均为议论文．对说明文的写作考查有所忽略。
四、ＴＥＭ８测试的后效性分析１．ＴＥＭ８成绩的影响。
自１９９１年开考以来．，ＩＥＭ８测试已走过２２年．测试影响日益扩大．参加人数逐年递增．测试成绩的权威性也被社会普遍接受和认可。参加考试的学生数由最初的４０００余人增长到现在的近２０万人．参加测试的高校数由最初的８０余所增长到现在的近８００所．考生遍布沿海发达地区、内陆省市以及边疆地区等．高校类别有综合性大学、理工科大学、师范类院校以及外语类院校。ＴＥＭ８成绩按分数段划分为三个等级．８０。１００分为优秀，７０＾，８０为良好，６０。７０为及格。就全国而言，每年的ＴＥＭ８通过率不超过５０％．近三年的通过率依次为３８．０８％、４１．４９％、４０．０８％。可以说，无论是考试规模，还是考试的影响．抑或是考试成绩的社会认可度．都有
・６３・
了质的飞越和提高。用人单位在招聘英语人才时．对英语专业的毕业生是否持有ＴＥＭ８证书、证书级别是什么等级要求越来越严格．已逐渐成为应聘者的必备条件之一。而很多高校也将此项测试成绩作为衡量教师工作的标尺，每年ＴＥＭ８测试成绩出来后，相关院校管理人员都积极计算过关率与优秀率．并将相关教学人员的绩效工资与之挂钩。上述种种现象不仅加大了教师、教学管理人员的压力．同时。也极大地加重了考生的个人压力，甚至会影响考生的一生。
然而需要指出的是．社会接受度和认可度高的专强调考试的成绩。会把测试的最初目的引入歧途。并引发一系列的连环副作用。近几年．由于学校和考生过分看重ＴＥＭ８成绩，作弊和替考现象屡屡发生。因此．学确认识考试的目的和意义．正确对待考试最终成绩。同时，如何将环境、心理、社会、人为等外在影响因素降到映考生的综合语言运用能力．也是该项测试组织者应２．ＴＥＭ８成绩的反拔作用．
随着ＴＥＭ８考试权威性和科学性的日益凸现．在
一定程度上已逐渐成为反应英语教学的一面镜子。立的现象，而是指该项考试对全社会、教育体系以及处于这些体系中的每个个体（包括教师、学生、教育管理人员）所产生的影响（１９９６，Ｐ２９—３５）。
ＴＥＭ８的反拨作用是一种动态、持续的过程，并且该作用本身也会因为各种内在或外在因素的改变而不断变化。总体来说．目前我们对７ＩＥＭ８此项测试的反拨作用研究主要集中在三个方面：一是对教学的影响，二是对当前考试相关人员的影响。三是对社会的影响。首先在教学方面．，ＩＥＭ８的反拨作用主要体现在对教材的选取、教学目标的规划、相关课程的设置、教学内容的安排、教学方法的改进、应试策略的指导等方面。根据《考纲》的要求，针对考试分值比重大的部分以及考生薄弱环节有重点的进行倾斜．综合提高英语专业的学生实际管理人员、用人单位等）的影响和作用，主要体现在对于考试最终成绩的认识．虽然ＴＥＭ８测试的真实性和科学性在逐渐完善和提高，但由于受试者的心理、环境、社会压力等方面的影响．其考试成绩与日常语言运用能力肯定存在或多或少的偏差．一次测试成绩并不能百分之百
・６４・
万方数据
地检测出该生的实际语言表达和运用能力。另外。由于一些不良考风的存在，考试舞弊现象屡有发生，用人单位也不应仅凭一纸证书就判定应聘者英语能力的高低．教育管理人员更不能一味追求合格率而打乱正常的教学秩序，甚至压缩、剔除部分课程。其结果反而使学生丧失本应掌握的语言和文学运用技能．以至于偏离了教学大纲的目标和要求。与此同时．ＴＥＭ８考试命题人员对考试的内容编排、组织形式以及技术运用等方面都在不断地研究和开发。以期在考试的信度、构念效度、真实性、交互性、影响度和可行性等方面都能日臻完善。
五、结语
虽然ＴＥＭ８是一项权威性高的测试．但测试只是检测教与学的手段和方法．而不是目的。考试值得参考的方面是为教学带来的反馈信息和起到的反拨作用。ＡＵＡ测试理论对于语言测试的开发和使用全过程的问责具有重要的作用。它使考试的设计、开发以及使用都更加的科学。体现了以人为本的原则。并且。ＡＵＡ框架的构建将指导测评开发者有效地向利益相关者论证该项考试的公平性和有用性。如何以ＡＵＡ理论为基础，根据测试所体现出的问题和现象．找出影响教学的问题和解决这些问题的有效方法．使ＴＥＭ８测试更加科学、更加完善。是考试命题组成员所应重视的问题。参考文献：
［１］邹申．基于语料库的写作测试效度研究——以《英
语专业写作教学语料库》为例［Ｊ］．外语电化教学，
２０１２，（０１）．
［２］ＢａｃｈｍａｎＬＦ，ＰａｌｍｅｒＡＳ．ＬａｎｇｕａｇｅＴｅｓｔｉｎｇｉｎＰｒａｃｔｉｃｅ
［Ｍ１．Ｏｘｆｏｒｄ：ＯｘｆｏｒｄＵｎｉｖｅｒｓｉｔｙ
Ｐｒｅｓｓ，１９９６：１７．
［３］徐启龙．ＡＵＡ框架——语言测评理论的新发展［Ｊ］．
外语电化教学，２０１２，（０１）：３９．
［４］邹申，陈炜．回顾与展望一写在英语专业四、八级考
试开考２０周年之际［Ｊ］．ＦｏｒｅｉｇｎＬａｎｇｕａｇｅＷｏｒｌｄ，
２０１０，（６）．
［５］邹申，张艳莉，周越美．阅读测试中题目类型、策略
与分数的关系—娟Ｍ４考试阅读项目的答题效
度研究［Ｊ］．夕ｈ语与外语教学，２００２，（０５）．
［６］黄家．英语专业四级、八级测试为教学带来的反馈
信息［Ｊ］．中山大学学报论丛，２０００，（０６）．
［７］卢晓仙．ＴＥＭ８阅读理解测试内容效度分析［Ｊ］．三峡
大学学报，２００８，（０１）．
［８］党争胜．ＴＥＭ考试听力试题分析与建议［Ｊ］．夕｝语电
化教学，２００４．（０２）．
项测试既有其积极的一面．也有其消极的一面。过分地校、教师和学生都必须摆正考试与教学的相互关系，准最低。进一步提高考试的准确性和真实性．使其如实反继续考虑的重要方面。
Ｂａｃｈｍａｎ和Ｐａｌｍｅｒ认为考试的反拨作用不是一种孤语言运用的能力。其次，对于考试相关人员（考生、教育
基于评估使用论证的TEM8内容效度研究
作者：作者单位：刊名：英文刊名：年，卷(期)：
马燕
河南广播电视大学,郑州,450000
河南广播电视大学学报
Journal of Henan Radio & TV University2014,27(1)
本文链接：http://d.g.wanfangdata.com.cn/Periodical_hengbdsdxxb201401018.aspx
第２７卷第１期
２０１４年１月
河南广播电视大学学报
ＪｏｕｍａｌｏｆＨｅｎａｎＲａｄｉｏ＆ＴＶＵｎｉｖｅｒｓｉｔｙ
Ｖ０１．２７，Ｎｏ．１
Ｊａｎ．２０１４
基于评估使用论证的ＴＥＭ８内容效度研究
马
燕
（河南广播电视大学，郑州４５００００）
摘
要：评估使用论证理论由应用语言学教授ＬｖｌｅＦ．Ｂａｃｈｍａｎ提出的一种全新的语言测试理
论。对于语言测试的开发和使用全过程的问责具有重要的作用。随着ＴＥＭ８测试的影响度及关注度的提升。对该项测试内容的合理性、科学性及真实性的要求也越来越高。本文拟通过评估使用论证这一理论视野对英语专业八级测试的内容效度进行分析，以期探索该项测试的科学性和真实性。发掘其对教学的正向反驳作用。
关键词：评估使用论证；ＴＥＭ８；内容效度；后效性
中图分类号：Ｈ０８
文献标识码：Ａ文章编号：１６７１—２８６２（２０１４）０１—００６１—０４
一、评估使用论证
平等．因此需要把效度理论和语言测评的后果结合起来，以期更加明确效度的作用和语言测评的公平（徐启龙，２０１２）。也就是说，每完成一项测试，要分析该项测试的后效性和所产生的后果．即该测试的用途和起到的正面反拨作用。通过对ＡＵＡ的后效性分析．可以更好地指导测评开发者有效地完善测评设计与开发全过程，并向利益相关者论证测评的公平性和有用性。
二、ＴＥＭ８及其测试内容简介
英语专业八级考试．简称’Ｉ＇ＥＭ８（Ｔｅｓｔ
ｆｏｒＥｎｇｌｉｓｈ
语言测试是应用语言学的重要组成部分．它是一个包括语言学、认知学、心理测量学和教育学等多方面的综合性学科。是检验学生语言水平的重要手段。评估使用论
证理论（Ａｓｓｅｓｓｍｅｎｔ
ｕｓｅ
ａｒｇｕｍｅｎｔ．简称ＡＵＡ）是由国际
著名的应用语言学教授ＬｙｌｅＦ．Ｂａｃｈｍａｎ于２００３年首
次提出的一种语言测评理论。是测试界的一次理论革新。
评估使用论证理论框架共包含两个部分：评估效度论证（ｖａｌｉｄｉｔｙａｒｇｕｍｅｎｔ）和评估用途论证（ｕｔｉｌｉｚａｔｉｏｎａｒｇｕｍｅｎｔ）。前者是基于考试表现的解释。后者是基于考试解释的使用决定（邹申。２０１２：１７）。Ｂａｃｈｍａｎ和Ｐａｌｍｅｒ在总结前人研究的基础上．提出了一个考试有效性模
型（ｍｏｄｅｌｏｆ
ｔｅｓｔ
Ｍａｊｏｒｓ８）．是我国自主开发的检测英语专业学生语言
水平的考试系列．其考试对象为高校英语专业大四的学生。根据２００５年新修订的ＴＥＭ８考试大纲安排。其测试题型主要分为６大类。分别为听力、阅读、人文知识、改错、翻译、写作。考试实行百分制，各题型所占分值比例如下：
ｔ听力２５分，主观题１０道，客观题各５道；阅读２０分，客观题２０道；人文知识１０分，客观题１０道；改错１０分，共１０题；翻译２０分，中英互译各ｌ题；写作２０分．主观题ｌ道。
本文拟基于评估使用论证这一理论视野．对ＴＥＭ８内容效度进行分析．以期探索该项测试成绩的公平性
ｕｓｅｆｕｌｎｅｓｓ），即考试效度研究框架
（１９９６：１７－４０）。效度是语言测试一个至关重要的属性，大体可分为四大类：内在效度、外在效度、使用效度和超越考试效度。而内容效度属于内在效度的一种．指的是考试自身的效度问题．主要包括考试是否完成考试大纲所规定的测试内容。试题的编排与设计是否有效等。２００７年．在美国应用语言学协会年会上Ｂａｃｈｍａｎ作了《语言测评：机遇与挑战》的报告，他提出用ＡＵＡ框架来指导目前所关注的各种问题．如测评的后果、道德和公
收稿日期：２０１３—１ｌ一２１
基金项目：河南省社科联、河南省经团联项目“基于评估使用论证的ＴＥＭ一８效度研究”（项目编号：ＳＫＬ一
２０１３－１５２５）。
作者简介：马燕，女，河南郑州人，硕士，河南广播电视大学助教，研究方向：翻译理论与实践。
・６１・
万方数据
和真实性．以及根据该测试内容．有效地提高其在教材研发、课程标准开发、专业教学以及学习效果等方面的正向反拨作用。
三、ＴＥＭ８内容效度分析
１．听力理解效度分析。
听力理解能力是外语学习者首先具备的基本的语言表达能力之一．随着ＴＥＭ测试的模式逐步固定．听力的分值比例达到２５％．人们对听力理解部分的重视也越来越高．如何培养学生良好的听力理解能力也是外语教学任务的重中之重。２００５年新修订的《英语专业八级考试大纲》对听力能力的要求也做出了明确规定：（，１）能听懂交际场合中各种英语会话和讲话；（２）能听懂ＶＯＡ、ＢＢＣ和ＣＮＮ等国外传媒的节目中有关政治、经济、文化教育、科技等方面的专题报道；（３）能听懂有关政治、经济、历史、文化教育、语言文学、科普方面的一般讲座及讲座后的答问。关于此部分考试题型的设计，共包括三个项目．其中．ｓｅｃｔｉｏｎＡ部分是一个由９００个单词组成的讲座．要求学生边听边做笔记．然后完成填空；Ｂ部分是会话或新闻采访，约８００个单词；Ｃ部分为新闻广播报道，录音速度为每分钟１５０个单词。
较之其他传统的英语测试仅以会话的形式来考查学生听力理解能力．ＴＥＭ一８的听力测试部分无论是在内容的广度、形式的宽度，还是知识点的深度来看，都无疑是一种更有效的测试方法。近几年的ＴＥＭ听力测试总的特点就是材料贴近生活．真实性高。以２０１０年的专八听力为例．从内容上来看．ｍｉｎｉ—ｌｅｃｔｕｒｅ部分是关于语言特性中的辅助语言学的介绍．ｉｎｔｅｒｖｉｅｗ部分是对美国社会多样性进行讨论．而ｂｒｏａｄｃａｓｔ部分则是对１３本
当下拓展海外市场的情况介绍。由此我们可以看出．
２０１０年专八听力部分考查的知识面不仅涉及语言、文化方面．还包括政治经济方面．紧扣考试大纲要求。其次，从形式上看，讲座、对话、新闻采访等形式都是受试者在１３常学习和生活中经常会遇到的情景．试题以什么样的形式来考查受试者的能力．对考试任务的完成情况有很大影响。口语中往往存在停顿、犹豫、自觉纠错、重复表述、变换主题等现象。交际英语听力测试要反映受试的理解能力，就必须使用尽可能真实的、接近现实生活的听力材料，努力消除试卷用英语（Ｅｎｇｌｉｓｈ
ｕｓｅｄｉｎ
ｔｅｓｔ）与现实生活中实际使用的英语（Ｅｎ娅ｓｈ
ｕｓｅｄｉｎｒｅａｌ
ｌｉｆｅ）的区别。而ＴＥＭ听力测试的这些形式
和话题的选择大大增强了听力材料的真实性．对于提高ＴＥＭ听力试卷的内容效度无疑有极大的辅助作用。
２．阅读理解效度分析。
新《考纲》对于ＴＥＭ阅读理解部分的测试要求为：
・６２・
万方数据
能读懂一般英美报刊杂志上的社论、政治和书评，能读懂一般历史传记及文学作品．能分析上述题材的文章的思想观点，通篇布局，语言技巧和修辞手法；能够在阅读过程中调整自己的阅读速度。２００５年以前此部分还包括快速阅读．后这一题型被取消．这对于考生的阅
读速度能力也就有了更高的要求。
近５年的ＴＥＭ８阅读理解部分的选材多以文化、
社会等方面的议论文和说明文为主。以２０１２年的阅读理解部分为例．第一篇短文主要讲水在日常生活中的过度消耗．第二篇讲的是学生毕业后重聚的现象。第三篇是关于一名晚上散步者日常所遇而感悟到的邻里关系的文章．最后一篇是关于林肯纪念日如何庆祝的今昔对比情况分析。这些阅读材料的选择很好地迎合了《考纲》的要求，囊括了社会文化和日常热点，文章体裁也多样化，包括记叙文、描写文和议论文等，四篇文章２０道问题，阅读总量为３０００字左右，达到了《考纲》对这一部分的检测目的。近５年的ＴＥＭ８阅读理解测试部分的文章基本都是围绕这一特点而命题。从效度理论来看．这些阅读内容是考生所熟悉的．并且语言也和现实生活中用来交际活动的话语相似．文本信息也是及时的．具有时效性，可以说，ＴＥＭ８阅读理解测试项目保证了测试文本的真实性．通过这一部分的测试．可以有效地检测出学生综合语言运用能力的程度。
但笔者认为．阅读理解部分在阅读材料的选取方面仍有不足。比如，除一般社评、文学作品、科技、经济等方面的文章外．还可以涉及一些更实用的文章。以充分保证题材的多样性、广泛性和真实性。在难度的控制方面。可以考虑选用一篇长度较长的文章，这样，更能考察学生对整体文章的把握和理解．．弥补目前试题在结构篇章测试方面的欠缺．同时．也可以进一步满足考纲对阅读速度的要求。
３．人文知识效度分析。
人文知识部分是２００５年修订的《考纲》新增加的测试部分．旨在考查英语专业高年级的学生对英语国家社会和文化知识、文学知识、语言知识的了解。考试形式为选择题．共１０道题．分数比重为１０％。以２０１１、２０１２、２０１３年ＴＥＭ８真题为例，２０１１年１０道选择题中人文地理知识共占３道．文学知识占４道．语言学知识占３道；２０１２年１０道选择题中人文地理知识占４道，文学知识占２道，语言学知识占４道：２０１３年１０道选择题中人文地理知识占４道．文学知识占３道．语言学知识占３道。通过此部分近三年的ＴＥＭ真题可以看出．人文知识、文学知识以及语言学知识这三部分的分值比重并不固定，在内容方面，人文地理主要考查美、
英、澳、加、新等国家概况，文学方面主要考查小说和诗歌，语言学方面题目涉及较多的是语用学和语义学。这些考题的设计，内容广泛，层次多样，满足了《考纲》对此部分考查目的的要求。通过这一部分的测试．能够有效检测出考生的人文知识掌握能力。
４．改错部分效度分析。
根据《考纲》要求，改错部分的考题由一篇２５０个词左右组成的短文。短文中有１０行标有题号。该１０行各有一个语误．要求学生根据自身语言运用和理解能力，增加、删减，或改变其中某一单词或短语，改正语误。语误主要有语法错误、修辞错误、结构错误等方面。此部分主要综合考查应试者的语言能力。以２０１３年的ＴＥＭ８试题为例．语篇结构方面的错误有３题，语法方面的错误有４题，拼写错误有１题，搭配方面的错误有２题。改错部分的内容效度并不体现在对有代表性的语言结构的覆盖．而是对有代表性的语言技能的检验检测。Ｂａｅｈｍａｎ也认为要想设计和使用合适的语言测试。要准确定义所测能力及观察和测量的方法．他建议用交际语言能力作为研究的基础。通过近５年的ＴＥＭ８改错部分真题来看．体现出了对应试者交际语言能力的考查，达到－ｒ（考纲》所要求的运用语法、修辞、结构等语言知识识别短文内的语病并加以改正。但笔者认为。其实这种形式的测试．还处于结构主义理论中的离散点测试．强调应试者对基本语言技能的掌握．在考题的设计当中，应当更进一步地融入语篇、语用能力的考查。
５．翻译部分效度分析。
ＴＥＭ８翻译测试部分主要要求考生运用英译汉、汉译英的相关理论和技巧。翻译我国报纸杂志、英美报纸杂志上有关政治、经济、历史、文化等方面的文章。无论是英译汉。还是汉译英，皆要求翻译速度为每小时２５０～３００字／词．并且要求译文要忠实原意，语言流畅通顺。２０１３年的汉译英部分是一篇关于“生活”的散文体文章．英译汉部分则是关于“联合国代表大会”的说明文；２０１２年的汉译英部分截取自一篇关于人物心理活动描写的文学作品．英译汉部分则是关于“校园暴力”的议论
文：２０１１年的汉译英是一篇关于现代社会矛盾无处不
在的说明文．英译汉部分是一篇关于在尼泊尔旅行的记叙文。通过这三年的考题可以看出，翻译部分的内容包括了社会文化、文学、政治等方面，文体也多种多样，基本涵盖了Ｅｔ常报刊上常见的几种文体。语言测试本身就是一种考生在特定测试情景下语言的输入与输出的交互过程．国际语言测试领域把语言测试的真实性分解为情景、任务、文本、输出、参与者之间互动等方面（徐启龙，２０１２）。ＴＥＭ８翻译部分的文章基本反映了该
万方数据
项测试的真实性。无论是文本的内容．还是语言的风格，都能还原日常报刊阅读的情景，符合《考纲》要求。
６．写作部分效度分析。
新《考纲》要求学生能根据所给题目和要求撰写一篇４００词左右的说明文或议论文。要求文章语言通顺．用词得体，结构合理，问题恰当。考试时间为４５分钟。所占分数比重为２０％。该规定清楚地告诉我们，ＩＥＭ８写作考查的重点是考生的英语语言水平．而不是思辨创新能力。这就对学生实际的写作水平提出了一定的挑战。我们来看一下近几年的八级写作考试题目：
年份
体裁话题内容
观点型议论文
社会焦点
对贵州小山区创新设
２０１０
计的看法
对旅游高峰期在历史
２０１ｌ
观点型议论文
社会焦点
名胜景区收取高价的看法
２０１２
观点型议论文社会焦点对使用手机的看法
良好的社会风气对人２０１３
观点型议论文社会焦点
们日常做好事影响的
看法
通过上表可以看出。２０１０年以来．ＴＥＭ８写作部分的题目均为当下热点问题．并且体裁均是观点型议论文。此类文体属于开放性题型，考生论述自己的观点。只要论据充分，文体得当，都符合题目要求。另外所选话题集中于社会焦点类．与学生的学习或日常生活话题密切相关．既考查了学生对社会事实的关注度与敏锐度，同时又考查了学生分析问题、论述问题的能力．以此培养学生多思维、多视角的写作辨析能力。但同时上表也反映出一个问题．即近四年的文体均为议论文．对说明文的写作考查有所忽略。
四、ＴＥＭ８测试的后效性分析１．ＴＥＭ８成绩的影响。
自１９９１年开考以来．，ＩＥＭ８测试已走过２２年．测试影响日益扩大．参加人数逐年递增．测试成绩的权威性也被社会普遍接受和认可。参加考试的学生数由最初的４０００余人增长到现在的近２０万人．参加测试的高校数由最初的８０余所增长到现在的近８００所．考生遍布沿海发达地区、内陆省市以及边疆地区等．高校类别有综合性大学、理工科大学、师范类院校以及外语类院校。ＴＥＭ８成绩按分数段划分为三个等级．８０。１００分为优秀，７０＾，８０为良好，６０。７０为及格。就全国而言，每年的ＴＥＭ８通过率不超过５０％．近三年的通过率依次为３８．０８％、４１．４９％、４０．０８％。可以说，无论是考试规模，还是考试的影响．抑或是考试成绩的社会认可度．都有
・６３・
了质的飞越和提高。用人单位在招聘英语人才时．对英语专业的毕业生是否持有ＴＥＭ８证书、证书级别是什么等级要求越来越严格．已逐渐成为应聘者的必备条件之一。而很多高校也将此项测试成绩作为衡量教师工作的标尺，每年ＴＥＭ８测试成绩出来后，相关院校管理人员都积极计算过关率与优秀率．并将相关教学人员的绩效工资与之挂钩。上述种种现象不仅加大了教师、教学管理人员的压力．同时。也极大地加重了考生的个人压力，甚至会影响考生的一生。
然而需要指出的是．社会接受度和认可度高的专强调考试的成绩。会把测试的最初目的引入歧途。并引发一系列的连环副作用。近几年．由于学校和考生过分看重ＴＥＭ８成绩，作弊和替考现象屡屡发生。因此．学确认识考试的目的和意义．正确对待考试最终成绩。同时，如何将环境、心理、社会、人为等外在影响因素降到映考生的综合语言运用能力．也是该项测试组织者应２．ＴＥＭ８成绩的反拔作用．
随着ＴＥＭ８考试权威性和科学性的日益凸现．在
一定程度上已逐渐成为反应英语教学的一面镜子。立的现象，而是指该项考试对全社会、教育体系以及处于这些体系中的每个个体（包括教师、学生、教育管理人员）所产生的影响（１９９６，Ｐ２９—３５）。
ＴＥＭ８的反拨作用是一种动态、持续的过程，并且该作用本身也会因为各种内在或外在因素的改变而不断变化。总体来说．目前我们对７ＩＥＭ８此项测试的反拨作用研究主要集中在三个方面：一是对教学的影响，二是对当前考试相关人员的影响。三是对社会的影响。首先在教学方面．，ＩＥＭ８的反拨作用主要体现在对教材的选取、教学目标的规划、相关课程的设置、教学内容的安排、教学方法的改进、应试策略的指导等方面。根据《考纲》的要求，针对考试分值比重大的部分以及考生薄弱环节有重点的进行倾斜．综合提高英语专业的学生实际管理人员、用人单位等）的影响和作用，主要体现在对于考试最终成绩的认识．虽然ＴＥＭ８测试的真实性和科学性在逐渐完善和提高，但由于受试者的心理、环境、社会压力等方面的影响．其考试成绩与日常语言运用能力肯定存在或多或少的偏差．一次测试成绩并不能百分之百
・６４・
万方数据
地检测出该生的实际语言表达和运用能力。另外。由于一些不良考风的存在，考试舞弊现象屡有发生，用人单位也不应仅凭一纸证书就判定应聘者英语能力的高低．教育管理人员更不能一味追求合格率而打乱正常的教学秩序，甚至压缩、剔除部分课程。其结果反而使学生丧失本应掌握的语言和文学运用技能．以至于偏离了教学大纲的目标和要求。与此同时．ＴＥＭ８考试命题人员对考试的内容编排、组织形式以及技术运用等方面都在不断地研究和开发。以期在考试的信度、构念效度、真实性、交互性、影响度和可行性等方面都能日臻完善。
五、结语
虽然ＴＥＭ８是一项权威性高的测试．但测试只是检测教与学的手段和方法．而不是目的。考试值得参考的方面是为教学带来的反馈信息和起到的反拨作用。ＡＵＡ测试理论对于语言测试的开发和使用全过程的问责具有重要的作用。它使考试的设计、开发以及使用都更加的科学。体现了以人为本的原则。并且。ＡＵＡ框架的构建将指导测评开发者有效地向利益相关者论证该项考试的公平性和有用性。如何以ＡＵＡ理论为基础，根据测试所体现出的问题和现象．找出影响教学的问题和解决这些问题的有效方法．使ＴＥＭ８测试更加科学、更加完善。是考试命题组成员所应重视的问题。参考文献：
［１］邹申．基于语料库的写作测试效度研究——以《英
语专业写作教学语料库》为例［Ｊ］．外语电化教学，
２０１２，（０１）．
［２］ＢａｃｈｍａｎＬＦ，ＰａｌｍｅｒＡＳ．ＬａｎｇｕａｇｅＴｅｓｔｉｎｇｉｎＰｒａｃｔｉｃｅ
［Ｍ１．Ｏｘｆｏｒｄ：ＯｘｆｏｒｄＵｎｉｖｅｒｓｉｔｙ
Ｐｒｅｓｓ，１９９６：１７．
［３］徐启龙．ＡＵＡ框架——语言测评理论的新发展［Ｊ］．
外语电化教学，２０１２，（０１）：３９．
［４］邹申，陈炜．回顾与展望一写在英语专业四、八级考
试开考２０周年之际［Ｊ］．ＦｏｒｅｉｇｎＬａｎｇｕａｇｅＷｏｒｌｄ，
２０１０，（６）．
［５］邹申，张艳莉，周越美．阅读测试中题目类型、策略
与分数的关系—娟Ｍ４考试阅读项目的答题效
度研究［Ｊ］．夕ｈ语与外语教学，２００２，（０５）．
［６］黄家．英语专业四级、八级测试为教学带来的反馈
信息［Ｊ］．中山大学学报论丛，２０００，（０６）．
［７］卢晓仙．ＴＥＭ８阅读理解测试内容效度分析［Ｊ］．三峡
大学学报，２００８，（０１）．
［８］党争胜．ＴＥＭ考试听力试题分析与建议［Ｊ］．夕｝语电
化教学，２００４．（０２）．
项测试既有其积极的一面．也有其消极的一面。过分地校、教师和学生都必须摆正考试与教学的相互关系，准最低。进一步提高考试的准确性和真实性．使其如实反继续考虑的重要方面。
Ｂａｃｈｍａｎ和Ｐａｌｍｅｒ认为考试的反拨作用不是一种孤语言运用的能力。其次，对于考试相关人员（考生、教育
基于评估使用论证的TEM8内容效度研究
作者：作者单位：刊名：英文刊名：年，卷(期)：
马燕
河南广播电视大学,郑州,450000
河南广播电视大学学报
Journal of Henan Radio & TV University2014,27(1)
本文链接：http://d.g.wanfangdata.com.cn/Periodical_hengbdsdxxb201401018.aspx