非常感謝http://blog.csdn.net/xyang81/article/details/52554398
一、簡介
Keepalived是一個免費(fèi)開源的,用C編寫的類似于layer3, 4 & 7交換機(jī)制軟件,具備我們平時(shí)說的第3層、第4層和第7層交換機(jī)的功能。主要提供loadbalancing(負(fù)載均衡)和 high-availability(高可用)功能,負(fù)載均衡實(shí)現(xiàn)需要依賴linux的虛擬服務(wù)內(nèi)核模塊(ipvs),而高可用是通過VRRP協(xié)議實(shí)現(xiàn)多臺機(jī)器之間的故障轉(zhuǎn)移服務(wù)。
上圖是Keepalived的功能體系結(jié)構(gòu),大致分兩層:用戶空間(user space)和內(nèi)核空間(kernel space)。 內(nèi)核空間:主要包括IPVS(IP虛擬服務(wù)器,用于實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)的負(fù)載均衡)和NETLINK(提供高級路由及其他相關(guān)的網(wǎng)絡(luò)功能)兩個部份。 用戶空間:
WatchDog:負(fù)載監(jiān)控checkers和VRRP進(jìn)程的狀況VRRP Stack:負(fù)載負(fù)載均衡器之間的失敗切換FailOver,如果只用一個負(fù)載均稀器,則VRRP不是必須的。Checkers:負(fù)責(zé)真實(shí)服務(wù)器的健康檢查healthchecking,是keepalived最主要的功能。換言之,可以沒有VRRP Stack,但健康檢查healthchecking是一定要有的。IPVS wrapper:用戶發(fā)送設(shè)定的規(guī)則到內(nèi)核ipvs代碼Netlink Reflector:用來設(shè)定vrrp的vip地址等。Keepalived的所有功能是配置keepalived.conf文件來實(shí)現(xiàn)的。
二、安裝與配置
從官網(wǎng)下載keepalived的最新版本,本文以當(dāng)前最新版本1.2.24為例。
2.1 安裝
shell> cd /usr/local/srcshell> wget http://www.keepalived.org/software/keepalived-1.2.24.tar.gzshell> tar -zxvf keepalived-1.2.24.tar.gzshell> cd keepalived-1.2.24shell> ./configure --PRefix=/usr/local/keepalivedshell> make && make install1234561234562.2 配置
安裝完成后,進(jìn)入安裝目錄的etc目錄下,將keepalived相應(yīng)的配置文件拷貝到系統(tǒng)相應(yīng)的目錄當(dāng)中。keepalived啟動時(shí)會從/etc/keepalived目錄下查找keepalived.conf配置文件,如果沒有找到則使用默認(rèn)的配置。/etc/keepalived目錄安裝時(shí)默認(rèn)是沒有安裝的,需要手動創(chuàng)建。配置文件目錄結(jié)構(gòu)如下所示:
shell> tree -l /usr/local/keepalived/etc-- keepalived| |-- keepalived.conf| `-- samples| |-- keepalived.conf.status_code| |-- keepalived.conf.track_interface| |-- keepalived.conf.vrrp| |-- 。。。|-- rc.d| `-- init.d| `-- keepalived`-- sysconfig `-- keepalived1234567891011121312345678910111213分別對應(yīng)系統(tǒng)目錄(忽略samples目錄):
/etc/keepalived/keepalived.conf/etc/rc.d/init.d/keepalived/etc/sysconfig/keepalived123123將配置文件拷貝到系統(tǒng)對應(yīng)的目錄下:
shell> mkdir /etc/keepalivedshell> cp /usr/local/keepalived/etc/keepalived.conf /etc/keepalived/keepalived.confshell> cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/keepalivedshell> cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
12341234設(shè)置keepalived服務(wù)開機(jī)啟動:
shell> chkconfig keepalived onshell> service keepalived start #啟動服務(wù)shell> service keepalived stop #停止服務(wù)shell> service keepalived restart #重啟服務(wù)
12341234另外需要注意的一點(diǎn)是,keepalived啟動時(shí)不會檢查配置文件的語法是否正確,所以我們在編寫配置文件時(shí)要特別小心,別寫錯了,否則會出現(xiàn)一些意想不到的現(xiàn)象。
使用service keepalived start
命令啟動服務(wù)時(shí),默認(rèn)會將/etc/sysconfig/keepalived
文件中KEEPALIVED_OPTIONS
參數(shù)作為keepalived
服務(wù)啟動時(shí)的參數(shù),并從/etc/keepalived/
目錄下加載keepalived.conf配置文件,或用-f參數(shù)指定配置文件的位置。
# Options for keepalived. See `keepalived --help' output and keepalived(8) and# keepalived.conf(5) man pages for a list of all options. Here are the most# common ones :## --vrrp -P Only run with VRRP subsystem.# --check -C Only run with Health-checker subsystem.# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop.# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop.# --dump-conf -d Dump the configuration data.# --log-detail -D Detailed log messages.日志默認(rèn)輸出在/var/log/message文件中# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON)#KEEPALIVED_OPTIONS="-D"
1234567891011121312345678910111213運(yùn)行keepalived --help
可以查看啟動時(shí)的可選參數(shù),這些可選參數(shù)都可以配置在/etc/sysconfig/keepalived
文件中的KEEPALIVED_OPTIONS
選項(xiàng)中,作為服務(wù)啟動時(shí)的參數(shù)。
keepalived正常運(yùn)行后,會啟動3個進(jìn)程,其中一個是父進(jìn)程,負(fù)責(zé)監(jiān)控其子進(jìn)程。一個是vrrp子進(jìn)程,另外一個是checkers子進(jìn)程。
shell> ps -ef | grep keepalivedroot 831 1 0 11:22 ? 00:00:00 keepalived -Droot 840 831 0 11:22 ? 00:00:00 keepalived -Droot 841 831 0 11:22 ? 00:00:00 keepalived -D
12341234到此keepalived就安裝完成了。
三、keepalived.conf配置文件說明
keepalived服務(wù)安裝完成之后,后面的主要工作就是在keepalived.conf文件中配置HA和負(fù)載均衡。一個功能比較完整的常用的keepalived配置文件,主要包含三塊:全局定義塊、VRRP實(shí)例定義塊和虛擬服務(wù)器定義塊。全局定義塊是必須的,如果keepalived只用來做ha,虛擬服務(wù)器是可選的。下面是一個功能比較完整的配置文件模板:
#全局定義塊global_defs { # 郵件通知配置 notification_email { email1 email2 } notification_email_from email smtp_server host smtp_connect_timeout num lvs_id string router_id string ## 標(biāo)識本節(jié)點(diǎn)的字條串,通常為hostname}#VRRP 實(shí)例定義塊vrrp_sync_group string { group { string string }}vrrp_instance string { state MASTER|BACKUP virtual_router_id num interface string mcast_src_ip @IP priority num advert_int num nopreempt smtp_alert lvs_sync_daemon_interface string authentication { auth_type PASS|AH auth_pass string } virtual_ipaddress { # Block limited to 20 IP addresses @IP @IP @IP }}#虛擬服務(wù)器定義塊virtual_server (@IP PORT)|(fwmark num) { delay_loop num lb_algo rr|wrr|lc|wlc|sh|dh|lblc lb_kind NAT|DR|TUN persistence_timeout num protocol TCP|UDP real_server @IP PORT { weight num notify_down /path/script.sh TCP_CHECK { connect_port num connect_timeout num } } real_server @IP PORT { weight num MISC_CHECK { misc_path /path_to_script/script.sh(or misc_path “/path_to_script/script.sh <arg_list>”) } } real_server @IP PORT { weight num HTTP_GET|SSL_GET { url { # You can add multiple url block path alphanum digest alphanum } connect_port num connect_timeout num nb_get_retry num delay_before_retry num } }}
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081全局定義塊
1、email通知(notification_email、smtp_server、smtp_connect_timeout):用于服務(wù)有故障時(shí)發(fā)送郵件報(bào)警,可選項(xiàng),不建議用。需要系統(tǒng)開啟sendmail服務(wù),建議用第三獨(dú)立監(jiān)控服務(wù),如用nagios全面監(jiān)控代替。 2、lvs_id:lvs負(fù)載均衡器標(biāo)識,在一個網(wǎng)絡(luò)內(nèi),它的值應(yīng)該是唯一的。 3、router_id:用戶標(biāo)識本節(jié)點(diǎn)的名稱,通常為hostname 4、花括號{}:用來分隔定義塊,必須成對出現(xiàn)。如果寫漏了,keepalived運(yùn)行時(shí)不會得到預(yù)期的結(jié)果。由于定義塊存在嵌套關(guān)系,因此很容易遺漏結(jié)尾處的花括號,這點(diǎn)需要特別注意。
VRRP實(shí)例定義塊
vrrp_sync_group:同步vrrp級,用于確定失敗切換(FailOver)包含的路由實(shí)例個數(shù)。即在有2個負(fù)載均衡器的場景,一旦某個負(fù)載均衡器失效,需要自動切換到另外一個負(fù)載均衡器的實(shí)例是哪group:至少要包含一個vrrp實(shí)例,vrrp實(shí)例名稱必須和vrrp_instance定義的一致vrrp_instance:vrrp實(shí)例名 1> state:實(shí)例狀態(tài),只有MASTER 和 BACKUP兩種狀態(tài),并且需要全部大寫。搶占模式下,其中MASTER為工作狀態(tài),BACKUP為備用狀態(tài)。當(dāng)MASTER所在的服務(wù)器失效時(shí),BACKUP所在的服務(wù)會自動把它的狀態(tài)由BACKUP切換到MASTER狀態(tài)。當(dāng)失效的MASTER所在的服務(wù)恢復(fù)時(shí),BACKUP從MASTER恢復(fù)到BACKUP狀態(tài)。 2> interface:對外提供服務(wù)的網(wǎng)卡接口,即VIP綁定的網(wǎng)卡接口。如:eth0,eth1。當(dāng)前主流的服務(wù)器都有2個或2個以上的接口(分別對應(yīng)外網(wǎng)和內(nèi)網(wǎng)),在選擇網(wǎng)卡接口時(shí),一定要核實(shí)清楚。 3> mcast_src_ip:本機(jī)IP地址 4> virtual_router_id:虛擬路由的ID號,每個節(jié)點(diǎn)設(shè)置必須一樣,可選擇IP最后一段使用,相同的 VRID 為一個組,他將決定多播的 MAC 地址。 5> priority:節(jié)點(diǎn)優(yōu)先級,取值范圍0~254,MASTER要比BACKUP高 6> advert_int:MASTER與BACKUP節(jié)點(diǎn)間同步檢查的時(shí)間間隔,單位為秒 7> lvs_sync_daemon_inteface:負(fù)載均衡器之間的監(jiān)控接口,類似于 HA HeartBeat 的心跳線。但它的機(jī)制優(yōu)于 Heartbeat,因?yàn)樗鼪]有“裂腦”這個問題,它是以優(yōu)先級這個機(jī)制來規(guī)避這個麻煩的。在 DR 模式中,lvs_sync_daemon_inteface與服務(wù)接口interface使用同一個網(wǎng)絡(luò)接口 8> authentication:驗(yàn)證類型和驗(yàn)證密碼。類型主要有 PASS、AH 兩種,通常使用PASS類型,據(jù)說AH使用時(shí)有問題。驗(yàn)證密碼為明文,同一vrrp 實(shí)例MASTER與BACKUP使用相同的密碼才能正常通信。 9> smtp_alert:有故障時(shí)是否激活郵件通知 10> nopreempt:禁止搶占服務(wù)。默認(rèn)情況,當(dāng)MASTER服務(wù)掛掉之后,BACKUP自動升級為MASTER并接替它的任務(wù),當(dāng)MASTER服務(wù)恢復(fù)后,升級為MASTER的BACKUP服務(wù)又自動降為BACKUP,把工作權(quán)交給原MASTER。當(dāng)配置了nopreempt,MASTER從掛掉到恢復(fù),不再將服務(wù)搶占過來。 11> virtual_ipaddress:虛擬IP地址池,可以有多個IP,每個IP占一行,不需要指定子網(wǎng)掩碼。注意:這個IP必須與我們的設(shè)定的vip保持一致。虛擬服務(wù)器virtual_server定義塊
virtual_server:定義一個虛擬服務(wù)器,這個ip是virtual_ipaddress中定義的其中一個,后面一個空格,然后加上虛擬服務(wù)的端口號。 1> delay_loop:健康檢查時(shí)間間隔,單位:秒 2> lb_algo:負(fù)載均衡調(diào)度算法,互聯(lián)網(wǎng)應(yīng)用常用方式為wlc或rr 3> lb_kind:負(fù)載均衡轉(zhuǎn)發(fā)規(guī)則。包括DR、NAT、TUN 3種,一般使用路由(DR)轉(zhuǎn)發(fā)規(guī)則。 4> persistence_timeout:http服務(wù)會話保持時(shí)間,單位:秒 5> protocol:轉(zhuǎn)發(fā)協(xié)議,分為TCP和UDP兩種real_server:真實(shí)服務(wù)器IP和端口,可以定義多個 1> weight:負(fù)載權(quán)重,值越大,轉(zhuǎn)發(fā)的優(yōu)先級越高 2> notify_down:服務(wù)停止后執(zhí)行的腳本 3> TCP_CHECK:服務(wù)有效性檢測 * connect_port:服務(wù)連接端口 * connect_timeout:服務(wù)連接超時(shí)時(shí)長,單位:秒 * nb_get_retry:服務(wù)連接失敗重試次數(shù) * delay_before_retry:重試連接間隔,單位:秒
相關(guān)技術(shù)文章推薦: LVS + Keepalived Chinese application doc Keepalived User Guide
Linux服務(wù)器集群系統(tǒng)(一) – LVS項(xiàng)目介紹 Linux服務(wù)器集群系統(tǒng)(二)–LVS集群的體系結(jié)構(gòu) Linux服務(wù)器集群系統(tǒng)(三)–LVS集群中的IP負(fù)載均衡技術(shù) Linux服務(wù)器集群系統(tǒng)(四) – LVS集群的負(fù)載調(diào)度
LVS原理詳解及部署之一:ARP原理準(zhǔn)備 LVS原理詳解及部署之二:LVS原理詳解(3種工作方式8種調(diào)度算法) LVS原理詳解及部署之三:手動部署LVS LVS原理詳解及部署之四:keepalived介紹