摘要：随着数据仓库规模越来越大,ETL任务也不断增多,单机调度ETL任务导致多数ETL任务不能按时运行或者不能运行情况时常发生。对基于Kettle的ETL任务调度方法进行了研究,根据这种ETL任务特性,ETL任务调度方法作用的对象是一批相互没有制约的任务。把ETL任务调度分为两个阶段:任务分配与任务执行。为了避免集群负载的不均衡,根据ETL任务的关键特性数据源的数据量,使用贪婪调度算法进行ETL任务分配。为了避免一些ETL任务获取不到机会执行,采用动态调整任务优先级的方法,使用高响应比优先调度算法执行ETL任务。通过ETL任务测试该集群调度方法的效率,主要比较ETL任务执行时所消耗的CPU、内存,以及一次全部的ETL任务执行完成后使用的总时间,并与轮转调度算法进行对比,结果表明效率高于轮转算法。
分类：期刊> 自然科学与工程技术> 信息科技> 电子信息科学综合
收录：统计源期刊(中国科技论文优秀期刊) > 知网收录(中) > 维普收录(中) > 万方收录(中) > 国家图书馆馆藏 > 上海图书馆馆藏
关键词：数据仓库 quartz集群调度 贪婪调度算法 kettle
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
