安装keepalived+nginx做为公司服务器前端高可用反向代理
安装nginx
1、yum install -y pcre pcre-devel gcc-c++ zlib zlib-devel openssl openssl-devel
2、cd /usr/local/soft
3、wget http://nginx.org/download/nginx-1.12.2.tar.gz
4、tar -zxvf nginx-1.12.2.tar.gz
5、cd nginx-1.12.2
6、./configure --with-http_stub_status_module #这个模块获取nginx的一些状态,以后zabbix会用到,其他的参数(nginx做反向代理)暂时不需要。具体的参数设置可以看 Nginx编译参数详细介绍
7、make
8、make install
9、firewall-cmd --zone=public --add-port=80/tcp --permanent
10、systemctl restart firewalld.service
安装完成后添加到开机启动
echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
检查是否启动成功:
netstat -ano|grep 80 有结果输入说明启动成功
nginx的一些命令和详细参数
nginx -s reload|reopen|stop|quit #重新加载配置|重启|停止|退出 nginx
nginx -t #测试配置是否有语法错误
nginx [-?hvVtq] [-s signal] [-c filename] [-p prefix] [-g directives]
-?,-h : 打开帮助信息
-v : 显示版本信息并退出
-V : 显示版本和配置选项信息,然后退出
-t : 检测配置文件是否有语法错误,然后退出
-q : 在检测配置文件期间屏蔽非错误信息
-s signal : 给一个 nginx 主进程发送信号:stop(停止), quit(退出), reopen(重启), reload(重新加载配置文件)
-p prefix : 设置前缀路径(默认是:/usr/local/Cellar/nginx/1.2.6/)
-c filename : 设置配置文件(默认是:/usr/local/etc/nginx/nginx.conf)
-g directives : 设置配置文件外的全局指令
安装keepalived
1、yum -y install libnl libnl-devel libnfnetlink-devel
2、tar -zxvf keepalived-1.3.9.tar.gz
3、cd keepalived-1.3.9
4、./configure --prefix=/usr/local/keepalived
5、make && make install
安装完成后添加到开机启动
echo "/usr/local/keepalived/sbin/keepalived –f /usr/local/keepalived/etc/ keepalived/ keepalived.conf " >> /etc/rc.local
keepalived的VIP基本设置
vrrp_instance VI_1 {
state MASTER #指定A节点为主节点 备用节点上设置为BACKUP即可
interface eth0 #绑定虚拟IP的网络接口
virtual_router_id 51 #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
priority 100 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低
advert_int 1 #组播信息发送间隔,两个节点设置必须一样
authentication { #设置验证信息,两个节点必须一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
192.168.200.16/24
192.168.200.17 /24
192.168.200.18 /24
}
}
按同样的方法配置节点B并修改配置文件,可将A节点的配置文件复制到B节点,并修改以下几项:
router_id NodeB
state BACKUP
priority 99
其它项不必修改。
测试及验证:
执行命令 ip a (注意ifconfig命令无法查看到配置的虚拟IP),可以看到节点A已经绑定了16/17/18的ip,此时,拔掉节点A的网线,在节点B上上执行ip a就发现虚拟IP已经绑定到节点B上,再恢复A节点的网线,虚拟IP又绑定回节点A之上。
(主从模式)脑裂问题
上述主从配置方式存在脑裂的可能,即两个节点实际都处于正常工作状态,但是无法接收到彼此的组播通知,这时两个节点均强行绑定虚拟IP,导致不可预料的后果。
这时就需要设置仲裁,即每个节点必须判断自身的状态(应用服务状态及自身网络状态),要实现这两点可使用自定义shell脚本实现,通过周期性地检查自身应用服务状态,并不断ping网关(或其它可靠的参考IP)均可。当自身服务异常、或无法ping通网关,则认为自身出现故障,就应该移除掉虚拟IP(停止keepalived服务即可)。主要借助keepalived提供的vrrp_script及track_script实现:
在keepalived的配置文件最前面加入以下代码,定义一个跟踪脚本:
vrrp_script check_local { #定义一个名称为check_local的检查脚本
script "/usr/local/keepalived/bin/check_local.sh" #shell脚本的路径
interval 5 #运行间隔
}
再在vrrp_instance配置中加入以下代码使用上面定义的检测脚本:
track_script {
check_local
}
我们在/usr/local/keepalived/bin/check_local.sh定义的检测规则可以是:
a.自身web服务故障(超时,http返回状态不是200)
b.无法ping通网关
c.产生以上任何一个问题,均应该移除本机的虚拟IP(停止keepalived实例即可)
但这里有个小问题,如果本机或是网关偶尔出现一次故障,那么我们不能认为是服务故障。更好的做法是如果连续N次检测本机服务不正常或连接N次无法ping通网关,才认为是故障产生,才需要进行故障转移。另一方面,如果脚本检测到故障产生,并停止掉了keepalived服务,那么当故障恢复后,keepalived是无法自动恢复的。我觉得利用独立的脚本以秒级的间隔检查自身服务及网关连接性,再根据故障情况控制keepalived的运行或是停止。
这里提供一个思路,具体脚本内容请大家根据自己的需要编写即可。
(示例)nginx + keepalived 实现HA 主从模式
vi /etc/keepalived/keepalived.conf
编辑文件(主):
global_defs {
router_id nginx_master
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
script "/usr/local/nginx/check_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 101
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
track_script {
chk_nginx #检测脚本 上面配置的
}
}
vi /etc/keepalived/keepalived.conf
编辑文件(从):
global_defs {
router_id nginx_backup
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
script "/usr/local/nginx/check_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
track_script {
chk_nginx #检测脚本 上面配置的
}
}
脚本/usr/local/nginx/check_nginx.sh"内容:
#!/bin/bash
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
/usr/local/nginx/sbin/nginx
sleep 5
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
killall keepalived
fi
fi
启动并测试:
1.启动两台机器上的nginx
2.启动两台机器上的keepalived
此时使用命令 ip addr 查看虚拟IP绑定 可以看到主 有,从没有,将主机的keepalived关掉,可以看到vip绑定到了从的上面
使用其他机器访问进行访问
查看是否能够访问,然后让本机的nginx关掉,继续看是否能够访问,如果能够访问则HA配置成功。