首页 存档 技术 查看内容

ELK 日志分析系统

2018-3-30 13:00 |来自: 互联网 392 0

摘要: 大纲: 一、简介 二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式 ...

大纲:

一、简介

二、Logstash

三、Redis

四、Elasticsearch

五、Kinaba



一、简介

1、核心组成

ELKElasticsearchLogstashKibana三部分组件组成;

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用

kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

2、四大组件

Logstash: logstash server端用来搜集日志;

Elasticsearch: 存储各类日志;

Kibana: web化接口用作查寻和可视化日志;

Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;

3、ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

4、ELK的帮助手册

ELK官网:https://www.elastic.co/

ELK官网文档:https://www.elastic.co/guide/index.html

ELK中文手册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html


注释

ELK有两种安装方式

(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。

(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)

本实验也以第二种方式独立环境来进行演示;单机版主机地址为:192.168.1.104


二、Logstash

1、安装jdk

1
2
3
4
5
6
Logstash的运行依赖于Java运行环境。
#yum-yinstalljava-1.8.0
#java-version
openjdkversion"1.8.0_51"
OpenJDKRuntimeEnvironment(build1.8.0_51-b16)
OpenJDK64-BitServerVM(build25.51-b03,mixedmode)

2、安装logstash

1
2
3
4
5
6
#wgethttps://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
#tarzxflogstash-1.5.4.tar.gz-C/usr/local/
配置logstash的环境变量
#echo"exportPATH=\$PATH:/usr/local/logstash-1.5.4/bin"
声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类