集成I/O硬件压缩加速器的Hadoop系统结构
【出 处】:
【作 者】:
雷力
[1] ;
钱斌海
[1] ;
郭俊
[1] ;
顾雄礼
[2] ;
刘鹏
[1]
【摘 要】
随着大数据的发展,Hadoop系统成为了大数据处理中的重要工具之一。在实际应用中,Hadoop的I/O操作制约系统性能的提升。通常Hadoop系统通过软件压缩数据来减少I/O操作,但是软件压缩速度较慢,因此使用硬件压缩加速器来替换软件压缩。Hadoop运行在Java虚拟机上,无法直接调用底层I/O硬件压缩加速器。通过实现Hadoop压缩器/解压缩器类和设计C++动态链接库来解决从Hadoop系统中获得压缩数据和将数据流向I/O硬件压缩加速器两个关键技术,从而将I/O硬件压缩加速器集成到Hadoop系统框架。实验结果表明,I/O硬件压缩加速器的每赫兹压缩速度为15.9Byte/s/Hz,集成I/O硬件压缩加速器提升Hadoop系统性能2倍。
相关热词搜索: HADOOP I O 硬件压缩加速器 Hadoop I O hardware compression accelerator
上一篇:二元域大型稀疏矩阵向量乘的FPGA设计与实现
下一篇:高阶路由器结构研究综述