摘要:N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.
分类:期刊> 自然科学与工程技术> 信息科技> 计算机软件及计算机应用
收录:统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > 哥白尼索引(波兰) > 国家图书馆馆藏 > 上海图书馆馆藏
关键词:拉普拉斯平滑 卡茨回退 困惑度
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社