考试前沿 人工智能年代下的托福新一代口语查验体系会有多智能

  • A+
所属分类:商务英语

2006年进入我国的TOEFL- iBT考试(Internet Based Test)到上一年末刚好10周年。

换句?怠?

托其之福……

“托福”现已浪费了咱们我国留学生……整整10年了。

但还没完……

因为备考君传闻托福考试体系要晋级……

合理国内孩子经过10年的时刻现已根柢习气和掌控了其学习办法而欢欣煽动之时……

ETS( ETS, Educational Testing Service)却紧跟人工智能的大方向,揭露方案着如何晋级体系,持续浪费广大考生,并振振有词的发布了托福口语查验新研讨方向的一些资讯。致使了业界对考试即将改版的猜测,也引发了英孚留学备考教研组关于口语查验在人工智能年代的走向分析。

别急,人家晋级防火墙,咱们就不能持续研讨怎么翻墙了?那么备考君就企图在这篇文章中联系咱们教研组给到的许多干货和近一年阅览的ETS Research Report和其他学术文献,对口语查验的变革方向给各位家长和还未脱离苦海的孩子先预热下,打一针避免针。

英孚留学备考中心教研组干货分析ing:

当前标准化言语考试的口语查验有两种方法:

托福的机考答题方法

雅思的真人对话方法

托福机考答题方法的缺陷很显着:

即它不是interactive(互动式)的,标题不会跟着考生的答复内容而发生改动。

真实言语使用场景包括学术场景如课堂问答中,口语的呈现方法更多的是对话互动。

因而现有的托福口语查验方法与实践言语使用才能仍然有必定程度的脱节。

雅思口语查验则以真人interlocutor(俗称考官)和考生之间的对话打开

考官根据考生的答复内容做恰当回答和引领。

形似完满,但仍然存在两个疑问:

首要是这种方法很难规划化

其次是研讨标明此方法下评分因为遭到考官个别要素的影响而可靠度欠安(Brown, 2005)。(换句?担俣脊僮蛉崭毡蝗伺龋蛐硎歉毡挥率宽》钠锸慷忧蛎浴?

面临现状,ETS在研发下一代口语查验体系(Multimodal Dialog System-多方法对话体系)的作业中有必要做到:

可规划化;

对话互动进行;

可验证身份的单个考生参加(避免作弊和替考);

无真人考官参加;以及

评分可靠。

从当前ETS揭露发布的材料闪现,Multimodal Dialog System的技能规划现已建立结束。

该规划根据叫做HALEF(Help Assistant – Language-Enabled and Free)的规划体系,由数个开源的模块构成(Ramanarayanan et al., 2017)。

简略示意图如下:

ETS当前现已运用此规划创建了数个互动的口语task,其间既有电脑建议的使命,也有考生建议的使命(Ramanarayanan et al., 2015)。

以下是一个考生建议的使命的流程图,

在该使命中考生被需求问询并承受“顾客”的披萨订单:

若你无法看懂或许跟上上图的节奏,请乖乖在谈论区给给备考君留言寻求协助。

鄙人一代口语查验中,ETS企图做到实时主动评分。

当前的研讨方向首要是对一套称为SpeechRaterSM Automated Scoring判分体系做出改进,新体系会包括三个有些:

言语辨识单元

言语特征核算模型

评分模型

这儿所谓的言语特征包括:发音、流利度、语调、节奏、词汇运用和语法。

一切的标准与真人rater(判分员)的标准坚持共同,以此来保证明时主动评分的可信度,并避免考生讨巧地展示某些与得分点有关却不能反映真实才能水平的的言语特征。

一起,ETS亦在分析是不是可以包括更多方法的信息进入评分或协助评分,

这些信息可所以头部方位、目光、脸部表情和肢体言语(看到脸部表情时提示各位爱漂亮的小姐姐考生们留心微整形和化浓妆的成果)

(Chen, Leong, Feng, Lee & Somasundaran, 2015)。

从可得的研讨陈述中可以晓得:

MultimodalDialogue System的研发作业现已进入最终的体系集成验证的期间。

截止2016年9月,ETS现已进行了跨越2万次的对话实验(Ramanarayananet al., 2016),言语辨识、考生身份验证、评分等模块在单独运转时皆体现杰出。

接下去的作业是集成整个体系,搜集数据,去掉bug,使整套体系抵达可运营的状况。

看到这儿,我想各位可以松了一口气了,人工智能年代ETS也是期望能给咱们的考生们供给跟好的效能和更公正,精确的评测标准,尽管当前的信息还缺乏以辅导教育的改造,但英孚留学备考教研组会持续坚持跟踪,为任何考试变革做好学术上的预备。

不管“防火墙”怎么晋级,咱们的英语学术才能预备的够早、够厚实、备考技可以瓷实才是托福110以上的王道。

俗?担慌峦茄О裕团卵О怨罴伲共怀米攀罴倮从㈡诹粞П缚贾行模桨赶履愕耐懈Tけ钢贰?

参阅文献:

Brown, A. (2005). Interviewer variability inoral proficiency interviews, Frankfurt am Main, Germany: Peter Lang.

Chen, L., Feng, G., Joe, J., Leong, C., Kitchen,C., & Lee, C. (2014). Towards automated assessment of public speakingskills using multimodal cues. In Proceedings of the 16th InternationalConference on Multimodal Interaction (pp. 200–203). New York, NY: ACM.

Chen, L., Leong, C. W., Feng, G., Lee, C. M.,& Somasundaran, S. (2015). Utilizing multimodal cues to automaticallyevaluate public speaking performance. In 2015 International Conference onAffective Computing and Intelligent I
考试前沿 人工智能年代下的托福新一代口语查验体系会有多智能插图
nteraction (ACII) (pp. 394–400). Piscataway, NJ: IEEE.

Dehak, N.,Kenny, P.,Dehak,R., Ouellet,P.,&Dumouchel, P. (2011). Front end factor analysis for speakerverification. IEEE Transactions on Audio, Speech and Language Processing,19(4), 788–798.

Lei, Y., Scheffer,M., Ferrer, L., &McLaren,M.(2014). A novel scheme for speaker recognition using a phonetically-aware deepneural network. In 2014 IEEE International Conference on Acoustics, Speechand Signal Processing (ICASSP) (pp. 1695–1699). Piscataway, NJ: IEEE.

Minessale, A., & Schreiber, D. (2012). FreeSWITCHcookbook. Birmingham, England: Packt. Qian, Y., Tao, J., Suendermann-Oeft,D., Evanini, K., Ivanov, A., & Ramanarayanan, V. (2016).Metadatasensitive bottleneck features for speaker recognition with non-nativespontaneous speech. Unpublished manu.

Ramanarayanan, V., Chen, L., Leong, C., Feng, G.,& Suendermann-Oeft, D. (2015). Evaluating speech, face, emotion and bodymovement time-series features for automated multimodal presentation scoring. InProceedings of the 2015 ACM International Conference on MultimodalInteraction (pp. 23–30). New York, NY: ACM.

Ramanarayanan, V., Suendermann-Oeft, D., Ivanov,A., & Evanini, K. (2015). A distributed cloud-based dialog system forconversational application development. In Proceedings of the 16th annualmeeting of the Special Interest Group on Discourse and Dialogue (pp. 432–434). Stroudsburg, PA: Association forComputational Linguistics.

Ramanarayanan, V., Suendermann-Oeft, D., Lange,P., Ivanov, A., Evanini, K., Yu, Z., … Qian, Y. (2016). Bootstrapping development of a cloud-based spokendialog system from scratch using crowdsourced data (Research ReportNo.RR-16-16). Princeton, NJ: Educational Testing Service.

Ramanarayanan, V., Suendermann-Oeft, D., Lange,P., Mundkowsky, R., Ivanou, A., Yu, Z., Evanini, K. (2017). Assembling the jigsaw:How multipleW3C standards are synergistically combined in the HALEF multimodaldialog system. In D. Dahl (Ed.), Multimodal interaction withW3C standards:Toward natural interfaces for everything (pp. 295–310). New York, NY: Springer.

Richardson, F., Reynolds, D., & Dehak, N.(2015). A unified deep neural network for speaker and language recognition. In Interspeech2015: 16th annual conference of the International Speech CommunicationAssociation (pp. 1146–1150). Baixas, France: International Speech Communication Association.

Varges, S., Riccardi, G., & Quarteroni, S.(2008). Persistent information state in a data-centric architecture. In Proceedingsof the 9th SIGdialWorkshop on Discourse and Dialogue (pp. 68–71). Stroudsburg, PA: Association for ComputationalLinguistics.

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: