对于大规模系统日志的日志模式提炼算法的优化
【出 处】:
【作 者】:
赵一宁
肖海力
中国科学院计算机网络信息中心
北京100190
【摘 要】LARGE框架是部署在中国科学院超级计算环境中的日志分析系统,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中,系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明,当输入文件较多时,该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少运行时间。此外,还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证。
相关热词搜索: 日志处理 MapReduce机制 大数据分析 网格环境
上一篇:面向ARM64架构多核微处理器的模板计算性能优化研究
下一篇:声明:本网电子邮箱被不法分子盗用,收取审稿费或版面费