大规模考试英语作文自动评分系统的研制

出版时间：2012-7  出版社：高等教育出版社  作者：梁茂成  页数：136  字数：175000  

内容概要

　　《外语考试自动评分研究系列丛书：大规模考试英语作文自动评分系统的研制》在梁茂成（2005）的基础上，挖掘新的文本特征变量，设计英语作文自动评分系统，并对该评分系统的评分信度、最低训练集样本量、适用文体类型、信度影响因素等问题进行探讨。
　　《外语考试自动评分研究系列丛书：大规模考试英语作文自动评分系统的研制》收集了5个不同题目共1067篇大学生英语命题作文，其中4个题目为议论文，1个为说明文。首先组织多名人工评分员对以上作文进行分析型人工评分，分析其评分信度，然后对这些作文进行多轮、多次抽样，组建训练集，对自行设计的作文评分系统的性能进行较大规模的验证。此外，研究中还对自动评分系统的构架、变量类型、汇编语言等进行了介绍，并就几个有代表性的变量进行了研究，对这些变量在自动评分系统中的应用进行了描述。

书籍目录

第1部分 绪论及相关研究回顾
第一章 绪论
1.1 本研究的背景
1.2 研究目的及研究问题
1.3 本研究报告的结构
第二章 国外作文自动评分系统评述
2.1 引言
2.2 二语及外语作文评分要素
2.3 国外现有作文自动评分系统述评
2.4 国外作文自动评分系统的启示
第2部分 研究方法
第三章 数据准备
3.1 本研究中使用的语料
3.2 文本转换、清理与预处理
3.3 人工评分
3.4 人工评分信度报告
第四章 系统构架及研究的操作步骤
4.1 引言及系统概要
4.2 研究工具
4.3 变量类型
4.4 多元回归
4.5 汇编语言
4.6 研究的操作步骤
第3部分 学习者作文的三项分析
第五章 学习者作文中的连贯性分析
5.1 话语的连贯性
5.2 相关文献回顾
5.3 研究方法
5.4 结果与讨沦
5.5 小结及本研究在英语作文自动评分系统中的应用
第六章 潜在语义分析在学生作文内容分析中的应用
6.1 引言
6.2 潜在语义分析与学习者作文内容的自动评价
6.3 研究方法及程序没计
6.4 研究结果及其在英语作文自动评分系统中的应用
第七章 学习者作文中的情态序列分析
7.1 情态动词、情态序列与情态意义
7.2 对二语学习者情态动词习得情况的研究
7.3 研究设计
7.4 研究结果与讨沦
7.5 小结及本研究在英语作文自动评分系统中的应用
第4部分 系统的评分信度和系统的应用
第八章 作文自动评分信度分析
8.1 引言
8.2 自动评分信度的影响因素
8.3 机器评分与人工评分之间的相关性分析
8.4 吻合率分析
8.5 白动评分系统对不同文体学生作文的适应能力
8.6 小结
第九章 作文自动评分系统的应用
9.1 适用丈体
……
第5部分 结论
参考文献
附录

章节摘录

版权页：   插图：   在语言质量方面，建议从流利度、准确度和复杂度三个主要方面进行评分。流利度主要考虑的因素包括作文的长短；准确度主要考虑作文中是否包含较多的语言错误。在评判错误时，建议采用减分的方法，对严重错误和小错赋以不同的分值。复杂度又细分为词汇复杂度和句法复杂度两个方面。在对每个分项进行评分时，建议给予评分员适当的自由度。 在内容评判方面，建议首先从总体中抽取一部分样本进行阅读，归纳作文中可能出现的多种论点，然后就各种论点的切题度进行讨论，并制定评分标准。内容的评分按照本报告第三章的方法，从三个主要方面进行评判。 篇章结构质量的评判标准与作文的内容无关，因此完全可以采用本报告第三章的方法进行。 建议组织评分员对语言、内容和篇章结构分别进行三轮评分，即第一轮只对语言质量进行评分，第二轮只对内容质量进行评分，而第三轮只对篇章结构质量进行评分。评分时，每个单项记分50或100分，这样便于评分员评分，使他们不至于在分数换算环节上花费过多的精力，而是把精力集中在评分上。分数的计算和权重由专人负责，在评分完成后进行。 语言、内容和篇章结构建议参照Jacobs et al.（1981）的评分方案，适当提高语言的权重，按照40％、30％、30％的比例权重进行。最后可以换算成百分制，需要换算成5、10或20分制的，可以在机器评分完成之后进行。在低风险考试中，出于特定的需要，也可以改动这一权重方案，机器评分系统在训练的过程中会进行自动调整。 9.2.3评分员培训 由于不少评分员并不适应分析型评分方法，评分员培训显得尤其必要。培训可以与讨论同时进行，这样便于汲取大家的意见，制订出更加合理、容易执行的评分标准。 在培训过程中，可以先抽取一部分样品作文进行试评分，试评分与讨论同时进行，力求使得所有评分员接受评分标准，这样有利于提高评分信度。试评一份作文后，交流每名评分员的打分情况，如果某评分员打分未能按照标准进行，应该予以提醒。

编辑推荐

《中国外语教育研究中心•外语考试自动评分研究系列丛书:大规模考试英语作文自动评分系统的研制》由高等教育出版社出版。

用户评论 (总计2条)

•   梁教授最关键的光盘，没有收入，是漏发了，还是本身没有，实在不知
•   书浏览了，书中确实提到有光盘，但亚马逊却不发，所带的光盘是非常有价值，强烈要求补发光盘！