PTEAI评分机制大揭秘,告诉你为什么爱

北京白癜风能治么 http://m.39.net/pf/a_4785559.html

继全球最为权威的两大英语测评考试雅思和托福后,近年来,PTE考试悄悄兴起。对于这个“稚嫩”的考试,大家知之甚少。PTEAcademic将全机器评分首次引入到高风险标准化英语测试领域,实现了全程机考、自动评分的考试和测评方式。那么PTE考试和托福、雅思的区别在哪里?AI评分真的如PTE官方宣传的那样公平吗?

01一、PTE考试是什么

PTEAcademic全称为PearsonTestofEnglishAcademic,即培生学术英语考试。PTE学术英语考试是一个较为“稚嫩”的英语语言能力考试,由英国培生教育集团于年10月推出。PTE学术英语考试为全程机考,与托福(TOEFLiBT)、雅思(IELTS)等全球权威英语测评考试一样,同样考察的是“听、说、读、写”四项英语技能。

PTE与托福、雅思考试的两点不同:

PTEAcademic为人工智能评分,而托福和雅思考试的口语与写作单项评分中,都有引入人工评分。PTEAcademic含有大声朗读文章和重复句子等题型,但托福与雅思并不包含类似题型,而对于该题型的考察并不能有效地反映考生的实际沟通能力(Wang,Choi,Schmidgall,Bachman,)。

02二、AI评分有哪些弊端

1.无法准确评估能力

PTE考试的写作部分使用的是IntelligentEssayAssessor(IEA)自动评分工具,口语部分是利用培生的OrdinateTechnology实现人工智能评分(PearsonPTEAcademicScoreGuide,)。两者的本质都是将段落长度、词汇量、名词动词一致性等“预测因子”量化,来模拟人工对考生的口语和写作进行评分。

最新的人工智能技术能够超越简单的关键词匹配,实现对机器训练内容和考生测试内容之间相似性的衡量,但是只要考生给出的回答与机器训练内容有差异,对机器而言,这个回答就“超纲”了,考生也就难以获得满意的分数。

另外人工智能评分仍然受制于机器训练内容,过于依赖有限范围的“预测因子”,完全无法理解和评估考生答案所想表达的复杂语义和逻辑,例如对于口语和写作主观题,考生回答的逻辑是否连贯、论证是否充分、内容是否切题的等关键评价指标,机器都无法做出准确的判断。

目前,PTE发表的学术研究文献中,并没有详细地说明系统如何处理具有“创造性”答案,何种情况会引入人工评分,以及评分人员培训及监控的标准。

2.诱导考生错误备考

“备考”是指对考试中所抽样的知识或技能进行审查的各种活动(AldersonHamp-Lyons,),包括参加课程、从朋友或家人那里获得帮助、测试练习或其他形式的自学,或是为了提升考试成绩而进行的针对性语言练习。

但是,很多教师和学生没有意识到,应试性的备考可能是一把双刃剑。从“好”的方面来讲,考生可以通过提前熟悉考试形式、工具、流程等,避免因为这些客观因素影响现场发挥;从“不好”的方面来看,错误或者过于狭隘的备考,要么对提升分数毫无帮助,要么虽然会提升分数,但是对提升目标能力无关(如英语沟通能力等)(MaCheng,)。PTE学术英语考试正是如此。

据澳大利亚墨尔本大学博士UteKnoch今年发表的针对复考者备考策略与其考试分数关系的研究(KnochU,),PTE学术英语考试采用AI评分,使得考生将大量的时间耗费在“如何击败机器”,即增加对机器容易测试的特征的


转载请注明:http://www.aierlanlan.com/rzgz/3182.html