基于Hadoop平台的LDA算法的并行化实现
【出 处】:《
计算机工程与科学
》
CSCD
2016年第38卷第2期 231-239页,共9页
【作 者】:
张钊
[1,2,3] ;
张新峰
[1,2,3] ;
郑楠
[1,2,3] ;
贵明俊
[1,2,3]
【摘 要】
随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。
相关热词搜索: Hadoop MapReduce LDA主题模型 Gibbs 中文分词 并行计算 Hadoop MapReduce LDA topic model Gibbs Chinese word segmentation parallel computing
上一篇:一种新的基于预约的拥塞避免机制
下一篇:栅元有效共振积分的CUDA算法设计与实现