摘要：在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架MapReduce的局限日益显现：数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限.基于内存计算的Spark成为当前重点,对比MapReduce性能可提升10-100倍,但内存使用的成本依旧高昂.采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升.
分类：期刊> 自然科学与工程技术> 工程科技II> 水利水电工程
收录：知网收录(中) > 维普收录(中) > 万方收录(中) > 国家图书馆馆藏 > 上海图书馆馆藏
关键词：大数据 hadoop spark ssd 行列混合式存储
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
