海量气象数据实时解析与存储系统的设计与实现
【出 处】:
多维数据
气象数据
分布式
解析
存储
MICAPS
multi-dimension d
【作 者】:
王若曈
[1] ;
黄向东
[2] ;
张博
[2] ;
王建民
[2] ;
罗兵
[1]
【摘 要】
气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key—Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型Key—Value数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。
相关热词搜索:
上一篇:基于Spark Streaming的视频/图像流处理与新的性能评估方法
下一篇:数据流Eager传输:一种分布式流体系结构中的性能优化技术