摘要：针对传统k-nearest neighbor algorithm（K-NN）分类算法计算量大、高维度海量数据集处理效率低的缺点,本文基于Hadoop平台依托MapReduce分布式编程模型改写Map和Reduce函数,并针对传统K-NN提出数据集主成分分析和临界区域数据预测时距离加权的方法.首先,对高维度数据进行主成分分析达到降维的目的,从而提高运行效率;其次,在预测分类阶段加入完全区域和临界区域的概念,临界区域对k个值n种类别进行距离加权,提高准确率;最后,在Hadoop集群环境下的算法运行,针对海量数据进一步提高其运行效率.实验结果表明：该算法在处理海量数据时极大地提高了计算效率和准确率.
分类：期刊> 自然科学与工程技术> 信息科技> 电子信息科学综合
收录：统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > JST 日本科学技术振兴机构数据库(日) > 国家图书馆馆藏 > 上海图书馆馆藏 > 文摘与引文数据库
关键词：大数据 mapreduce 临界区域 主成分分析 距离加权
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
