基于Isolation Forest的并行化异常探测设计
【出 处】:
【作 者】:
侯泳旭
段磊
秦江龙
秦攀
唐常杰
四川大学计算机学院
四川成都610065
四川大学华西公共卫生学院
四川成都610041
云南大学软件学院
云南昆明650091
【摘 要】异常探测具有广泛的应用,受到了工业界和学术界的共同关注。在众多异常探测方法中,I—solation Forest算法具有执行效率高、探测准确度好的特点,获得了众多应用。但是,传统Isolation Forest算法难以处理大规模数据。为解决此问题,设计了一种基于云计算平台的算法。具体地,使用Ha—doop分布式存储系统和Map Reduce分布式计算框架设计并实现了基于Isolation Forest的并行化异常探测算法PIFH。通过将探测模型构建和数据异常评价的过程并行化,提升了PIFH算法探测异常的执行效率,扩展了其应用范围。利用真实世界数据集验证了所提算法的执行效率和可扩展性。
上一篇:一种多级无缓存高阶路由器的设计与实现
下一篇:Spark下的并行多标签最近邻算法