基于Redis的海量小文件分布式存储方法研究
【出 处】:
【作 者】:
刘高军
[1] ;
王帝澳
[1]
【摘 要】
小文件作为信息传输、存储的重要方式,使用相当广泛,用户对其可靠性和速度的要求也在不断提高.针对目前小文件存储效率较低的问题,首先结合分布式存储系统HDFS的大文件存储优势和Redis缓存技术,提出快速合并小文件的存储方案.把小文件合并为Sequence File存储到HDFS上,采用多元线性回归分析确定负载系数进行负载均衡调节,并在获取文件时使用缓存保证效率.在实验上,搭建相应的文件平台,分别对上传、获取、删除以及内存占用和传统直接上传的方式进行对比分析.可以看出,与传统的直接上传文件到HDFS的方式相比,经过改进的小文件处理方式可以在保证文件可靠性的同时,更快速地处理小文件.
相关热词搜索: HDFS 小文件 文件缓存 分布式文件系统 HDFS small file file cache distributed file system
上一篇:ECLHadoop:基于Hadoop的有效电子商务物流大数据处理策略
下一篇:基于块嵌套循环的海洋大数据质量检验方案选择算法