iWrite 2.0在线英语作文评分信度研究

李艳玲1 田夏春2

【摘 要】摘要：随着国内自动评分技术的飞速发展，写作自动评分方法不断涌现，iWrite英语写作教学与评阅系统2.0应运而生。该系统拥有包含写作教学系统、智能批改引擎和自动评分引擎在内的多项自主知识产权技术，能够实现对英语作文的语言、内容、篇章结构和技术规范四个维度的机器智能评阅。文章从真实语言测试中获取了大量英语作文语料，充分利用一致性和一致率算法，将作文的人工评分与iWrite 2.0的机器评分做了多角度对比，并对iWrite 2.0在线英语作文评分的信度进行了实证研究。

【期刊名称】现代教育技术

【年(卷),期】2018(028)002

【总页数】6

【关键词】英语写作自动评价系统；iWrite 2.0；信度；一致性；一致率

现代社会的进步和学生数量的大幅度增加，让英语教学和考试中的作文判卷工作成为目前教育系统亟须解决的难题。如何将英语作文的批阅工作即时化、标准化，使之既具有科学性、严谨性，又具有适应性和灵活性，帮助广大教师降低劳动强度、提高工作效率，使学生得到的评分更公平、更公正，是教育工作者需要攻克的难题。

一写作自动评价系统发展历程及研究现状

写作自动评价系统（Automated Essay Scoring，AES）被定义为“给作文评价和评分的计算机技术”[1]，它的诞生为上述问题提供了解决方案，其发展大致可分三个阶段：第一阶段是在20世纪60年代，美国杜克大学的Page教授等应美国大学委员会请求研制出Project Essay Grade（PEG），它可以基于一篇文章表面语言特征的分析来评估作文的水平[2]。第二阶段是在20世纪90年代，美国的ETS和Vantage Learning分别开发了E-rater、Intellimetric，它们包含更多有关词法、句法、语篇内容和结构的元素，分析更加复杂；智能论文评估（Intelligent Essay Assessor，IEA）是美国科罗拉多大学的Landauer等研发的成果，是一种基于潜在语义分析（Latent Semantic Analysis）的作文自动评分系统[3]。第三阶段是在21世纪初，由以上评分引擎衍生的自动评价系统，如My Access!、Criterion、Holt Online Essay Scoring和Writing Roadmap等。