摘要：EAST装置产生的实验数据规模日益变大，对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理，设计一个MDSplus日志离线和实时分析系统。MDSplus日志分析系统采用的大数据处理框架是Hadoop生态圈的MapReduce离线计算模型和Spark生态圈中的Spark Streaming实时数据计算模型。系统还使用Flume、Kafka的日志监测、聚合、分发等关键性技术，使得MDSplus海量日志数据的处理能力变为可能,且能够在秒级别处理千万条未处理的MDSplus日志信息，离线和实时处理后展现在Web端。测试表明，系统工作能够满足设计需求，对聚变实验数据的管理具有重要的应用价值。
分类：期刊> 自然科学与工程技术> 信息科技> 计算机软件及计算机应用
收录：北大期刊(中国人文社会科学期刊) > 统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > 剑桥科学文摘 > 国家图书馆馆藏 > 上海图书馆馆藏
关键词：mdsplus日志 hadoopmr模型 spark streaming flume kafka
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
