摘要:倒排索引是大多数大型文本搜索系统的核心数据结构,索引压缩可以有效地减少倒排索引的空间占用,提升检索效率。针对倒排索引压缩算法中的字节对齐编码进行研究,对于其压缩率不够优秀的问题,提出了分区可变单位编码(PVU编码)。算法以可变单位方式代替固定字节存储,使实际存储空间更加贴合原码长度,从而提高压缩效果。针对序列均匀分区并非最优分区的问题,提出将最优分区问题转化为图论中最短路径问题的方法,使用Dijkstra算法求解序列的最优编码分区。通过对比实验验证了改进优化的PVU编码相较于传统的字节对齐编码能够更好地压缩倒排索引序列。
分类:期刊> 自然科学与工程技术> 信息科技> 电子信息科学综合
收录:北大期刊(中国人文社会科学期刊) > CSCD 中国科学引文数据库来源期刊(含扩展版) > 统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > SA 科学文摘(英) > JST 日本科学技术振兴机构数据库(日) > Pж(AJ) 文摘杂志(俄) > 哥白尼索引(波兰) > 剑桥科学文摘 > 国家图书馆馆藏 > 上海图书馆馆藏
关键词:倒排索引 索引压缩 可变单位 分区优化
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社