Heka配置讲解

日期:2019-12-09编辑作者:操作系统

Heka篇

基于Heka,ElasticSearch和Kibana的分布式后端日志架构

目前主流的后端日志都采用的标准的elk模式(Elasticsearch,Logstash,Kinaba),分别负责日志存储,收集和日志可视化。

不过介于我们的日志文件多样,分布在各个不同的服务器,各种不同的日志,为了日后方便二次开发定制。所以采用了Mozilla仿照Logstash使用golang开源实现的Heka。

简介

Heka对日志的处理流程为输入 分割 解码 过滤 编码 输出。单个Heka服务内部的数据流了通过Heka定义的Message数据模型在各个模块内进行流转。

heka内置了常用的大多数模块插件,比如

  • 输入插件有Logstreamer Input可以将日志文件作为输入源,

  • 解码插件Nginx Access Log Decoder可以将nginx访问日志解码为标准的键值对数据交给后边的模块插件进行处理。

得益于输入输出的灵活配置,可以将分散各地的Heka收集到的日志数据加工后统一输出到日志中心的Heka进行统一编码后交给ElasticSearch存储。

使用说明 点击这里 wuguiyunwei.com

整体架构图

采用Heka,ElasticSearch和Kibana后的整体架构如下图所示
图片 1

安装

源码安装的方式较为繁琐这里就不再介绍,有需要可以参考官网文档。http://hekad.readthedocs.io/en/v0.10.0/installing.html

这里我们的linux发行版用的centos所以使用rpm包的安装方式。

下载rpm安装包

 

1

wget https://github.com/mozilla-services/heka/releases/download/v0.10.0/heka-0_10_0-linux-amd64.rpm

使用rpm -i heka-0_10_0-linux-amd64.rpm进行安装。

安装后执行 hekad -version输出版本号即安装成功。

本文由www.129028.com金沙发布于操作系统,转载请注明出处:Heka配置讲解

关键词:

linux的文件打包与压缩

简介 Linux 上常用的压缩/解压工具,介绍了zip、rar、tar的使用。 文件打包和压缩 Linux 上的压缩包文件格式,除了 ...

详细>>

网络组Network Teaming

Connection 'team0' successfully deactivated (D-Bus active path:/org/freedesktop/NetworkManager/ActiveConnection/7) [root@centos7 www.129028.com金沙,...

详细>>

Vim常用命令及配置方案www.129028.com金沙

与系统剪切板交互 这里还要重点提一下vim与系统之间如何进行粘贴复制,我们知道,上面的粘贴复制命令只能在vim里...

详细>>

www.129028.com金沙django 简易博客开发 1 安装、创建、配置、admin使

16、模板中的过滤器 在mysite/blog/templates目录里创建base.html的模板: 5、设置数据库 python 2.7   ;) 在templates下新建base....

详细>>