【教育求索】
··总第４７１期
关于英语作文智能评阅系统的介绍及启迪
□吴
（南京工业大学
方
南京
210000）
外语学院，江苏
摘要：本文评述近年来国内外作文自动评分系统中的关键技术，依据其英语作文测试中的效用和其可操作性对其进行分析。并结合自身所使用的句酷批改网英语作文自动评阅系统的经验，探讨其中的优点的同时，也将指出这些评分系统在评分信度和效度等方面存在的问题，以期为我国未来的英语作文自动评阅系统研发提供借鉴和启迪。
关键词：作文自动评阅系统；效用；可操作性〔中图分类号〕G360．0一、研究背景
2012年3月16日，教育部发布了《教育部关于全面提高高等教学质量的若干意见》。这一重要文件，是根据胡总主
席清华百年校庆讲话精神和《国家中长期教育改革和发展
规划纲要（2010－2020年）》内容制定的，计有30条，十分强调了信息技术在管理与教学层面上会得到更为广泛的应用。
具体，都是围绕着提升高等教育质量主旋律展开的。其中，
为了顺时应势，本文将探讨数字化写作方式与智能化尤其是近年来计算机科学技术的突飞猛进让我们看到了作文智能评阅系统的设计与开发已经获得很大发展，但从相关文献研究发现，目前与作文智能评阅系统相关的研究主要集中在计算机评阅系统的研究与开发方面，而有关作文智能评阅系统在大学英语教学中的实证性研究还很匮乏。
写作测评系统对于教学质量的提升作用。科学技术的进步，
作文智能评阅系统在大学英语写作课程中深入应用的
优势还在于它完全符合当今的《大学英语课程教学要求》，顺应了“以现代信息技术，特别是网络技术为支撑，使英学习方向发展”的潮流。
语教学不受时间和地点的限制，朝着个性化学习、自主式
二、国内外研究的现状和趋势１．国外AES技术发展近况
作文自动评分（AES，Automated
定义为“给作文自动评价和评分的计算机技术”，是作文智能评阅系统中的关键技术。其实早在40多年前国外就有人1966，1968），至今此技术还有很多方面要完善，但电脑辅
设想以计算机技术为基础的作文评分系统。（Page，助的作文评分系统已成为老师批改作文方式中的一个可行
网gr改o.批ia酷g句.pi
www
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷gi句.pwww
〔文献标识码〕A
〔文章编号〕1003－6547（2012）11－0189－02系统的不足，勇于面临挑战，提高其信度和效度。借鉴（梁茂成，文秋芳，2009）。“In
a1．，1998b）；第二个模块为句法多样性（syntactic
Essay
Scoring）被
al．，2001
＆
Valenti
et
外，尤其是美国，得到了长足的发展，并已付诸应用
（Elliot，2003）。然而，研究人员仍需要更好地了解自动评分
国外最具代表性的三种作文自动评分系统（PEG、IEA
和E－rater），认为这些评分系统在训练及作文的人工评分方法和机器评分效度等方面存在一些问题，不可否认的是这些作文自动评分系统为我国自主开发作文自动评分系统提供了
PEG分析重点是语言层面，长处是能合理客观地分析语
言的质量，不足表现在两方面，一是对文章内容不作分析；二是只对文本的表层特征进行分析。IEA分析重点是文章的内容，长处是能合理客观地分析作文内容的质量，不足一是对作文的语言质量不分析，二是对文章的篇章结构不作分析。而E－rater对文章的语言，内容和篇章结构三个方面都作分析。Burstein等人把这三个方面称作为模块（Burstein
＆
Marcu，2000）。E－rater的第一个模块为话语篇章结构
conclusion”等总结词的方法得以实现（Bursteine
et
（discourse）分析模块，主要靠在文本中搜索“Insummary”，
variety）
分析模块，根据作文中多样性的句子结构和语言质量来进行评分；第三个模块为文本内容（content）分析模块。在这一
模块中，E－rater通过矢量空间模型和提取变量，统计作文中是否具有与作文题目相关的主题词。将这三个系统进行比
较，可以看出E－rater在写作智能评分过程中力求兼顾作文的内容和语言形式，是一种较为全面的写作智能评分系统。E－rater与人工评分之间的一致性一直高于97％（Burstein
et
a1．，2003）。长处在于三个模块
与人工评分要素更为一致。不足在于，一是对语言质量的分析不够全面；二是对文章的内容质量分析不力；三是对篇章
的选择（Page＆Peterson，1995）。自动作文评分研究在国
（项目号：2012SJD740002）的阶段性成果。
［收稿日期］2012－08－13
基金项目：本文为江苏省教育厅高哲社科研究项目“英语作文智能评阅系统在二语写作教学中的应用研究”
［作者简介］吴方（1979－），女，江西九江人，南京工业大学外语学院讲师，硕士，研究方向：语言学及应用语言学。
理论界２０１２第１１期
189
··总第４７１期
结构的分析拘泥于文本的表层特征。
虽然有人对自动写作评分系统的前景持怀疑态度，但很多观点还是对此持肯定态度的（Wresch，1993）。自动作文系统的评价强调了语言规则和语法约定等方面，而牺牲了一些无形的写作要素：如文章的思想内容，流利度和连贯性。根据这种观点，电脑能够对作文中特定的词语或结构给出分析，但不能像人类读者那样去真正理解和欣赏作家在文章中所传递的情感和信息。甚至智能写作系统的开发者也承认，虽然自动写作评分系统是教学和评估的有用的工具，但他们不可能取代写作老师。（Rich11－27）。
Swartz，个人通信，2000－
【教育求索】
成192个子维度进行测量，进行加权平均之后会形成总分和词汇、句子、篇章和内容四个维度的得分；同时，还可以根据比对语料库生成评写错误、语法错误、中式英语、高分句型和易混词汇等反馈。学生可以根据反馈进行自助作文修改，在不断修改的过程中提高自己的作文水平。
四、研究本课题的意义和价值
从相关文献研究可以发现，目前国内与作文智能评阅系统相关的研究主要集中在系统的设计与开发方面，有关作文智能评阅系统在二语写作教学中的应用研究基本上是空白的。
2011年9月我们南工大外语学院与句酷批改网合作，让老师试使用批改网的智能写作批改系统批改学生的作文，智能写作评阅平台辅助老师批改作文同时也提高学生的英语写作能力。经过半年的亲身体验，体会到了智能写作评阅系统带来的好处，如它可以极大地降低教师的批改作文的工作量，教师可以把充足的时间和精力放在教学组织和讲解上；同时学生可以写出更多的文章，写作能力会提高得更快。同时在使用此系统的过程中也发现了一些问题。例如智能系统只能针对学生的语法，词汇难度及句法进行评价考核，而对学生的语义，内容是否与主题相连是无法判断的。因此，在智能写作批改平台使用半年后，学院对大外教研室的全体教师进行了问卷调查，是否愿意下学期继续使用此写作平台。大概有52％的老师觉得这个平台利大于弊，仍然想继续使用。
本人将在下学期，针对将教的2012级的六个班级的学生
三、国内AES技术发展近况
我国在英语作文自动评分技术方面的研究近年来也取得了一些进步。由于开发成本等原因，我国的科技工作者对AES技术的研发工作尽管倾注了很多心血，但其研究和开发速度仍然缓慢。系统”
１．梁茂成等开发的“大规模考试英语作文自动评分
2005年，梁茂成教授主持开发“大规模考试英语作文自动评分系统”，该项研究成果可实现对中国学生英语作文的大规模机器评分，具有极大的实用价值。该系统的工作原理：提取浅层文本特征，对内容的潜在语义进行分析，再运用线性回归，进而得出评分。虽然实验结果与人工评分相比
较达到了较高的相关度，但“由于以浅层特征的统计分析为尚有一定的距离”。
主，以及样本数量、范围的局限性，其评分模型与实用系统
２．冰果英语智能作文评阅系统
2009年，浙江大学外语学院与杭州增慧网络科技有限公
司联合开发出一款“冰果英语智能作文评阅系统”。消息传出，顿时在报刊网络上引起热议。据新华报业网报道，开发商称：人工智能抓取准确率95％；英语老师说：电脑打分与电脑无法指出错误所在；专家指出：有些活是电脑代替不
人工有出入（教师称15分制作文，有2分误差）；学生反映：了。该系统的工作原理和其他参数未见有说明。该系统针对日常作文训练，而非大规模考试。另外，该系统未能指出作文中的句子语法结构和单词拼写的错误。可见，此系统还要加大投入。
３．句酷批改网的英语智能作文评阅系统
句酷批改网（www．pigai．org）是一款基于语料库和云计
算的英语作文自动批改在线服务，旨在提高老师批改网英语作文的工作效率，提高学生的英语写作能力。批改网的原理是比较学生作文和标准语料库之间的距离，并通过一定的算
法将距离映射成分数、总评和按句点评。每篇作文都会分解
网gr改o.批ia酷g句.pi
www
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷gi句.pwww
显著性。
另外48％的老师认为批改网对学生的写作能力帮助不大。就使用智能写作评阅系统的体验进行问卷调查，并进行对比试验，把使用智能写作平台的班级和使用常规写作教学的班级的作文得分加以分析，并用SPSS系统分析其差异是否具有
目前大多数高校的大学英语写作教学仍然停留在写作技
巧的讲解、写作训练严重匮乏的阶段，随着计算机的普及，
尤其是网络教学的推广，作文智能评阅系统在大学英语教与学各个环节中的涉足一定能够提高大学英语教学水平。■
参考文献：
［1］Attali，Y．andBurstein，J．AutomatedessayscoringwithE－raterV－2，0［A］．PaperoftheInternationalAssociationforEducationalAssessment（IAEA），Philadephia．June13－18，2004．
［2］Ben－Simon，A．＆Bennett，R．E．TowardMoreSubstantivelyMeaningfulAutomatedEssayScoring［J］．JournalofTechnology，LearningandAssessment，2007，（1）．
［3］葛诗利，陈潇潇．国外自动作文评分技术研究［J］．外语电化教学，2007（5）．
［4］梁茂成，文秋芳．国外作文自动评分系统评述及启示［J］．外语电化教学，2007（10）．
责任编辑：邱枫
190
２０１２第１１期理论界
【教育求索】
··总第４７１期
关于英语作文智能评阅系统的介绍及启迪
□吴
（南京工业大学
方
南京
210000）
外语学院，江苏
摘要：本文评述近年来国内外作文自动评分系统中的关键技术，依据其英语作文测试中的效用和其可操作性对其进行分析。并结合自身所使用的句酷批改网英语作文自动评阅系统的经验，探讨其中的优点的同时，也将指出这些评分系统在评分信度和效度等方面存在的问题，以期为我国未来的英语作文自动评阅系统研发提供借鉴和启迪。
关键词：作文自动评阅系统；效用；可操作性〔中图分类号〕G360．0一、研究背景
2012年3月16日，教育部发布了《教育部关于全面提高高等教学质量的若干意见》。这一重要文件，是根据胡总主
席清华百年校庆讲话精神和《国家中长期教育改革和发展
规划纲要（2010－2020年）》内容制定的，计有30条，十分强调了信息技术在管理与教学层面上会得到更为广泛的应用。
具体，都是围绕着提升高等教育质量主旋律展开的。其中，
为了顺时应势，本文将探讨数字化写作方式与智能化尤其是近年来计算机科学技术的突飞猛进让我们看到了作文智能评阅系统的设计与开发已经获得很大发展，但从相关文献研究发现，目前与作文智能评阅系统相关的研究主要集中在计算机评阅系统的研究与开发方面，而有关作文智能评阅系统在大学英语教学中的实证性研究还很匮乏。
写作测评系统对于教学质量的提升作用。科学技术的进步，
作文智能评阅系统在大学英语写作课程中深入应用的
优势还在于它完全符合当今的《大学英语课程教学要求》，顺应了“以现代信息技术，特别是网络技术为支撑，使英学习方向发展”的潮流。
语教学不受时间和地点的限制，朝着个性化学习、自主式
二、国内外研究的现状和趋势１．国外AES技术发展近况
作文自动评分（AES，Automated
定义为“给作文自动评价和评分的计算机技术”，是作文智能评阅系统中的关键技术。其实早在40多年前国外就有人1966，1968），至今此技术还有很多方面要完善，但电脑辅
设想以计算机技术为基础的作文评分系统。（Page，助的作文评分系统已成为老师批改作文方式中的一个可行
网gr改o.批ia酷g句.pi
www
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷gi句.pwww
〔文献标识码〕A
〔文章编号〕1003－6547（2012）11－0189－02系统的不足，勇于面临挑战，提高其信度和效度。借鉴（梁茂成，文秋芳，2009）。“In
a1．，1998b）；第二个模块为句法多样性（syntactic
Essay
Scoring）被
al．，2001
＆
Valenti
et
外，尤其是美国，得到了长足的发展，并已付诸应用
（Elliot，2003）。然而，研究人员仍需要更好地了解自动评分
国外最具代表性的三种作文自动评分系统（PEG、IEA
和E－rater），认为这些评分系统在训练及作文的人工评分方法和机器评分效度等方面存在一些问题，不可否认的是这些作文自动评分系统为我国自主开发作文自动评分系统提供了
PEG分析重点是语言层面，长处是能合理客观地分析语
言的质量，不足表现在两方面，一是对文章内容不作分析；二是只对文本的表层特征进行分析。IEA分析重点是文章的内容，长处是能合理客观地分析作文内容的质量，不足一是对作文的语言质量不分析，二是对文章的篇章结构不作分析。而E－rater对文章的语言，内容和篇章结构三个方面都作分析。Burstein等人把这三个方面称作为模块（Burstein
＆
Marcu，2000）。E－rater的第一个模块为话语篇章结构
conclusion”等总结词的方法得以实现（Bursteine
et
（discourse）分析模块，主要靠在文本中搜索“Insummary”，
variety）
分析模块，根据作文中多样性的句子结构和语言质量来进行评分；第三个模块为文本内容（content）分析模块。在这一
模块中，E－rater通过矢量空间模型和提取变量，统计作文中是否具有与作文题目相关的主题词。将这三个系统进行比
较，可以看出E－rater在写作智能评分过程中力求兼顾作文的内容和语言形式，是一种较为全面的写作智能评分系统。E－rater与人工评分之间的一致性一直高于97％（Burstein
et
a1．，2003）。长处在于三个模块
与人工评分要素更为一致。不足在于，一是对语言质量的分析不够全面；二是对文章的内容质量分析不力；三是对篇章
的选择（Page＆Peterson，1995）。自动作文评分研究在国
（项目号：2012SJD740002）的阶段性成果。
［收稿日期］2012－08－13
基金项目：本文为江苏省教育厅高哲社科研究项目“英语作文智能评阅系统在二语写作教学中的应用研究”
［作者简介］吴方（1979－），女，江西九江人，南京工业大学外语学院讲师，硕士，研究方向：语言学及应用语言学。
理论界２０１２第１１期
189
··总第４７１期
结构的分析拘泥于文本的表层特征。
虽然有人对自动写作评分系统的前景持怀疑态度，但很多观点还是对此持肯定态度的（Wresch，1993）。自动作文系统的评价强调了语言规则和语法约定等方面，而牺牲了一些无形的写作要素：如文章的思想内容，流利度和连贯性。根据这种观点，电脑能够对作文中特定的词语或结构给出分析，但不能像人类读者那样去真正理解和欣赏作家在文章中所传递的情感和信息。甚至智能写作系统的开发者也承认，虽然自动写作评分系统是教学和评估的有用的工具，但他们不可能取代写作老师。（Rich11－27）。
Swartz，个人通信，2000－
【教育求索】
成192个子维度进行测量，进行加权平均之后会形成总分和词汇、句子、篇章和内容四个维度的得分；同时，还可以根据比对语料库生成评写错误、语法错误、中式英语、高分句型和易混词汇等反馈。学生可以根据反馈进行自助作文修改，在不断修改的过程中提高自己的作文水平。
四、研究本课题的意义和价值
从相关文献研究可以发现，目前国内与作文智能评阅系统相关的研究主要集中在系统的设计与开发方面，有关作文智能评阅系统在二语写作教学中的应用研究基本上是空白的。
2011年9月我们南工大外语学院与句酷批改网合作，让老师试使用批改网的智能写作批改系统批改学生的作文，智能写作评阅平台辅助老师批改作文同时也提高学生的英语写作能力。经过半年的亲身体验，体会到了智能写作评阅系统带来的好处，如它可以极大地降低教师的批改作文的工作量，教师可以把充足的时间和精力放在教学组织和讲解上；同时学生可以写出更多的文章，写作能力会提高得更快。同时在使用此系统的过程中也发现了一些问题。例如智能系统只能针对学生的语法，词汇难度及句法进行评价考核，而对学生的语义，内容是否与主题相连是无法判断的。因此，在智能写作批改平台使用半年后，学院对大外教研室的全体教师进行了问卷调查，是否愿意下学期继续使用此写作平台。大概有52％的老师觉得这个平台利大于弊，仍然想继续使用。
本人将在下学期，针对将教的2012级的六个班级的学生
三、国内AES技术发展近况
我国在英语作文自动评分技术方面的研究近年来也取得了一些进步。由于开发成本等原因，我国的科技工作者对AES技术的研发工作尽管倾注了很多心血，但其研究和开发速度仍然缓慢。系统”
１．梁茂成等开发的“大规模考试英语作文自动评分
2005年，梁茂成教授主持开发“大规模考试英语作文自动评分系统”，该项研究成果可实现对中国学生英语作文的大规模机器评分，具有极大的实用价值。该系统的工作原理：提取浅层文本特征，对内容的潜在语义进行分析，再运用线性回归，进而得出评分。虽然实验结果与人工评分相比
较达到了较高的相关度，但“由于以浅层特征的统计分析为尚有一定的距离”。
主，以及样本数量、范围的局限性，其评分模型与实用系统
２．冰果英语智能作文评阅系统
2009年，浙江大学外语学院与杭州增慧网络科技有限公
司联合开发出一款“冰果英语智能作文评阅系统”。消息传出，顿时在报刊网络上引起热议。据新华报业网报道，开发商称：人工智能抓取准确率95％；英语老师说：电脑打分与电脑无法指出错误所在；专家指出：有些活是电脑代替不
人工有出入（教师称15分制作文，有2分误差）；学生反映：了。该系统的工作原理和其他参数未见有说明。该系统针对日常作文训练，而非大规模考试。另外，该系统未能指出作文中的句子语法结构和单词拼写的错误。可见，此系统还要加大投入。
３．句酷批改网的英语智能作文评阅系统
句酷批改网（www．pigai．org）是一款基于语料库和云计
算的英语作文自动批改在线服务，旨在提高老师批改网英语作文的工作效率，提高学生的英语写作能力。批改网的原理是比较学生作文和标准语料库之间的距离，并通过一定的算
法将距离映射成分数、总评和按句点评。每篇作文都会分解
网gr改o.批ia酷g句.pi
www
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷g句.piwww
网gr改o. 批ia酷gi句.pwww
显著性。
另外48％的老师认为批改网对学生的写作能力帮助不大。就使用智能写作评阅系统的体验进行问卷调查，并进行对比试验，把使用智能写作平台的班级和使用常规写作教学的班级的作文得分加以分析，并用SPSS系统分析其差异是否具有
目前大多数高校的大学英语写作教学仍然停留在写作技
巧的讲解、写作训练严重匮乏的阶段，随着计算机的普及，
尤其是网络教学的推广，作文智能评阅系统在大学英语教与学各个环节中的涉足一定能够提高大学英语教学水平。■
参考文献：
［1］Attali，Y．andBurstein，J．AutomatedessayscoringwithE－raterV－2，0［A］．PaperoftheInternationalAssociationforEducationalAssessment（IAEA），Philadephia．June13－18，2004．
［2］Ben－Simon，A．＆Bennett，R．E．TowardMoreSubstantivelyMeaningfulAutomatedEssayScoring［J］．JournalofTechnology，LearningandAssessment，2007，（1）．
［3］葛诗利，陈潇潇．国外自动作文评分技术研究［J］．外语电化教学，2007（5）．
［4］梁茂成，文秋芳．国外作文自动评分系统评述及启示［J］．外语电化教学，2007（10）．
责任编辑：邱枫
190
２０１２第１１期理论界