一、部署規(guī)劃

1、源日志服務(wù)器Logstash收集日志，然后存儲(chǔ)在Redis的list中，接收日志服務(wù)器LogStash從Redis的list中讀取日志，存儲(chǔ)在日志存儲(chǔ)分析服務(wù)器elasticsearch中，然后用戶在日志查詢服務(wù)器kibana連接elasticsearch，查詢相關(guān)日志。

【源日志服務(wù)器Logstash】->【Redis服務(wù)器】->【接收日志服務(wù)器LogStash】->【日志存儲(chǔ)分析服務(wù)器elasticsearch】->【日志查詢服務(wù)器kibana】

這種適合稍大一點(diǎn)的服務(wù)器集群，簡單的可以直接源日志服務(wù)器Logstash存儲(chǔ)在日志存儲(chǔ)分析服務(wù)器elasticsearch中。

2、由于kibana中采用utf8編碼作為默認(rèn)編碼，所以日志格式最好為utf8編碼，如果不是可以最好做編碼轉(zhuǎn)換。

3、為了提升elasticsearch的處理效率，日志格式為Json格式，如果不是用進(jìn)行日志格式

二、各工具的安裝部署

大部分工具的下載地址：https://www.elastic.co/downloads，工具統(tǒng)一安裝在/data目錄.

1、安裝JDK

1.7%20JDK下載地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

下載后安裝

[plain] view%20plain copy rpm -ivh jdk-7u80-linux-x64.rpm  設(shè)置JDK環(huán)境變量

修改/etc/PRofile或者.bash_profile，在其中增加幾行：

[plain] view%20plain copy export JAVA_HOME=/usr/java/jdk1.7.0_80  export CLASSPATH=$JAVA_HOME/lib/tools.jar  export PATH=$JAVA_HOME/bin:$PATH  

2、安裝LogStash

[plain] view%20plain copy wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz  tar zxvf logstash-2.3.4.tar.gz  測試

[plain] view%20plain copy /data/logstash-2.3.4/bin/logstash -e 'input { stdin { }}  output { stdout {}}'<pre name="code" class="plain"><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">輸出輸入的內(nèi)容即為正確</span>  

運(yùn)行

[plain] view%20plain copy /data/logstash-2.3.4/bin/logstash -f <span style="font-family: Arial, Helvetica, sans-serif;">logstash</span>.conf &  

3、安裝elasticsearch[plain] view%20plain copy wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3.5.tar.gz  tar zxvf elasticsearch-2.3.5.tar.gz  /data/elasticsearch-2.3.5/bin/elasticsearch &  安裝后進(jìn)行測試。安裝文件管理插件elasticsearch-head，方便管理文件。

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/plugin install mobz/elasticsearch-head  安裝后可以用

[plain] view%20plain copy curl -XGet http://localhost:19200/_plugin/head/  

檢驗(yàn)結(jié)果是否正確。

文件管理時(shí)，直接用瀏覽器打開網(wǎng)址http://localhost:19200/_plugin/head/ 進(jìn)行文件管理。

4、安裝kibana

[plain] view%20plain copy wget https://download.elastic.co/kibana/kibana/kibana-4.5.4-linux-x64.tar.gz  tar zxvf kibana-4.5.4-linux-x64.tar.gz  /data/kibana-4.5.4-linux-x64/bin/kibana &  安裝完執(zhí)行進(jìn)行測試。

[plain] view%20plain copy curl -XGet localhost:15601  用瀏覽器打開http://localhost:15601進(jìn)行查詢操作。

5、安裝Redis

[plain] view%20plain copy mkdir /data/redis/  cp redis-3.2.1.tar.gz /data/redis/redis-3.2.1.tar.gz  cd /data/redis/  tar xzvf redis-3.2.1.tar.gz  cd /data/redis/redis-3.2.1  make  make install  sysctl vm.overcommit_memory=1    /data/redis/redis-3.2.1/src/redis-server /data/redis/redis-3.2.1/redis.conf &  ln -s /data/redis/redis-3.2.1/src/redis-cli /bin/redis-cli  

6、安裝驗(yàn)證插件shield1）此插件有30天的有效期，有效期過了打不開kibana頁面，謹(jǐn)慎安裝。

[sql] view%20plain copy #安裝驗(yàn)證插件shield  /data/elasticsearch-2.3.5/bin/plugin install license  /data/elasticsearch-2.3.5/bin/plugin install shield  http://localhost:19200/_shield/user  http://localhost:19200/_shield/role  

增加賬號(hào)格式如下：

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd 用戶名 -r 權(quán)限組 -p 密碼  

安裝后增加賬號(hào)es_admin作為管理員權(quán)限，密碼123456

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd es_admin -r admin -p 123456  

2）LogStash必須增加相應(yīng)的賬號(hào)

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd logstashserver -r logstash -p 123456  然后修改logstash.conf的配置，增加相應(yīng)的賬號(hào)和密碼。3）kibana必須增加相應(yīng)的權(quán)限才能使用

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd kibanaserver -r kibana4_server -p 123456  修改配置/data/kibana-4.5.4-linux-x64/config/kibana.yml

[plain] view%20plain copy elasticsearch.username: "kibanaserver"  elasticsearch.passWord: "123456"  4)%20后期增加賬號(hào)權(quán)限，都要把kibana4組的權(quán)限給增加上去，不然打不開kibana界面

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd test -r usergroup -p 123456  /data/elasticsearch-2.3.5/bin/shield/esusers roles test -a kibana4_server  

5)%20license%20過期后執(zhí)行刪除shield命令

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/plugin remove shield