400-808-1701
首页 期刊 中文信息学报 训练语料的不同利用方式对神经机器翻译模型的影响(非官网)

训练语料的不同利用方式对神经机器翻译模型的影响

摘要:神经机器翻译(NMT)是近两年刚出现的一种新型机器翻译方法,是一种端到端的翻译模型。目前,影响NMT模型效果的因素有很多,其一,当训练语料规模较大时,梯度下降更新方法会对机器的内存要求很高,因此大多研究工作中采用随机梯度下降(SGD)的方法来更新模型的训练参数,即每输入一定数量(批:batch)的训练样例,就利用局部的训练样例更新一次模型参数;其二,参数dropout可以防止系统训练时出现过拟合,提高系统泛化能力;其三,数据打乱(shuffle)也对翻译结果有着重要影响。因此,该文的研究内容主要是探索批、dropout和打乱这三个因素在训练神经机器翻译模型中对模型翻译质量的影响,并得出以下三条结论:一是批的大小将影响神经机器翻译(NMT)模型的收敛速度,二是dropout可以提升神经机器翻译模型的性能,三是数据打乱可以在一定程度上提升神经机器翻译(NMT)系统的翻译质量。

分类:期刊> 自然科学与工程技术> 信息科技> 计算机软件及计算机应用

收录:北大期刊(中国人文社会科学期刊) > CSCD 中国科学引文数据库来源期刊(含扩展版) > 统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > JST 日本科学技术振兴机构数据库(日) > 国家图书馆馆藏 > 上海图书馆馆藏

关键词:神经机器翻译 批 dropout 数据打乱 

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社