Keepalived+Nginx实现高可用

一、背景

本文主要介绍使用 keepalived 实现 nginx 的主备高可用

实验环境：Vmware CentOS 7 64 位

机器A Master 192.168.26.129
机器B Slave 192.168.26.130
VIP 192.168.26.128

二、实验步骤

1. 安装 Nginx 和 Keepalive 软件

两台机器一致，设置开机启动

1
2
3
4
5
6
7


sudo yum install -y nginx
sudo systemctl start nginx.service
sudo systemctl enable nginx.service

sudo yum install keepalived -y
sudo systemctl start keepalived.service
sudo systemctl enable keepalived.service

2. 编写 nginx 服务存活检测脚本

两台机器一致

sudo vi /etc/keepalived/chk_nginx.sh

1
2
3
4
5
6
7
8
9


#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then
    systemctl start nginx
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        systemctl stop keepalived.service
    fi
fi

给脚本执行权限 sudo chmod +x /etc/keepalived/nginx_check.sh

3. 配置 keepalived

机器A Master

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


global_defs {
    ## keepalived 自带的邮件提醒需要开启 sendmail 服务。 建议用独立的监控或第三方 SMTP

    ## 设置lvs的id，在一个网络内唯一
    router_id LVS_DEVEL
} 

## keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。如果脚本执行结果为 0，并且 weight 配置的值大于 0，则优先级相应的增加。如果脚本执行结果非 0，并且 weight配置的值小于 0，则优先级相应的减少。其他情况，维持原本配置的优先级，即配置文件中 priority 对应的值。
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" ## 检测 nginx 状态的脚本路径
    interval 2 ## 检测时间间隔
    weight -20 ## 如果条件成立，权重-20
}

## 定义虚拟路由， VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state MASTER ## 主节点为 MASTER， 对应的备份节点为 BACKUP
    interface esn33 ## 绑定虚拟 IP 的网络接口，与本机 IP 地址所在的网络接口相同， 我的是 esn33
    virtual_router_id 33 ## 虚拟路由的 ID 号， 两个节点设置必须一样， 可选 IP 最后一段使用, 相同的 VRID 为一个组，他将决定多播的 MAC 地址
    ## 权重值,值越大，优先级越高，backup设置比master小,这样就能在master宕机后讲backup变为master,而master回复后就可以恢复
    priority 100 ## 节点优先级， 值范围 0-254， MASTER 要比 BACKUP 高
    nopreempt ## 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 ## 组播信息发送间隔，两个节点设置必须一样， 默认 1s
    
    ## 设置验证信息，两个节点必须一致
    authentication {
        auth_type PASS
        auth_pass 1111 ## 真实生产，按需求对应该过来
    }
    
    ## 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx ## 执行 Nginx 监控的服务
    }
    
    ## 虚拟 IP 池, 两个节点设置必须一样
    virtual_ipaddress {
        192.168.26.128 ## 虚拟 ip，可以定义多个
    }
}

机器B Slave，主要修改下 state、 priority

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


global_defs {
    ...
} 

vrrp_script chk_nginx {
    ...
}

vrrp_instance VI_1 {
    state BACKUP
    ...
    priority 80
    ...
    
    ...
}

4. 修改 Nginx 主页，便于追溯主机

非必需，两台主机不同

机器A Master

1
2
3


$ sudo vi /usr/share/nginx/html/index.html

<h1>Hi, No 1.</h1>

机器B Slave

1
2
3


$ sudo vi /usr/share/nginx/html/index.html

<h1>Hi, No 2.</h1>

两台机重启keepalived systemctl restart keepalived

5. 测试验证

VIP 访问

机器A 访问

机器B 访问

关闭机器A的 Keepalived 和 Nginx, 在使用 VIP(192.168.26.128) 访问

1
2


systemctl stop keepalived.service 
systemctl stop nginx

三、问题总结

发现 keepalived 并没有定时检查 vrrp_script，当 Nginx 服务停止后不会拉起，卸载 yum 安装的版本，重新编译安装最新版 2.2.7，下载地址 https://www.keepalived.org/download.html，安装配置完后解决。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


global_defs {
   router_id haproxy
}
vrrp_script chk_haproxy {
    script "/etc/keepalived/chk_nginx.sh"
    interval 2
    weight 2
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 55
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.26.128
    }
    track_script {
        chk_haproxy
    }
}

文章目录