rabbitmq3.6.5鏡像集群搭建以及haproxy負載均衡


一、集群架構

后端75、103、69分別是3台rabbitmq節點做鏡像集群,前端103用haproxy作為負載均衡器

二、安裝rabbitmq節點

參照

https://www.cnblogs.com/sky-cheng/p/10709104.html

三、配置hosts文件

vim /etc/hosts

172.28.18.75 node1
172.28.18.103 node2
172.28.18.69 node3

四、設置erlang cookie

RabbitMQ節點之間和命令行工具 (e.g. rabbitmqctl)是使用Cookie互通的,Cookie是一組隨機的數字+字母的字符串。當RabbitMQ服務器啟動的時候,Erlang VM會自動創建一個隨機內容的Cookie文件。如果是通過源安裝RabbitMQ的話,Erlang Cookie 文件在/var/lib/rabbitmq/.erlang.cookie。如果是通過源碼安裝的RabbitMQ,Erlang Cookie文件$HOME/.erlang.cookie。

首先需要將3個節點的cookie進行統一,將75的.erlang.cookie覆蓋到103和69的cookie

.erlang.cookie文件權限默認是400

[root@zabbix_server src]# ll -a /var/lib/rabbitmq/
總用量 16
drwxr-xr-x   3 rabbitmq rabbitmq 4096 3月  29 05:48 .
drwxr-xr-x. 34 root     root     4096 4月  15 10:13 ..
-r--------   1 rabbitmq rabbitmq   20 4月  15 00:00 .erlang.cookie
drwxr-x---   4 rabbitmq rabbitmq 4096 4月  18 09:12 mnesia

修改權限為777

chmod 777 /var/lib/rabbitmq/.erlang.cookie
[root@zabbix_server src]# ll -a /var/lib/rabbitmq/.erlang.cookie
-rwxrwxrwx 1 rabbitmq rabbitmq 20 4月 15 00:00 /var/lib/rabbitmq/.erlang.cookie

復制文件

[root@zabbix_server src]# scp -P25601 /var/lib/rabbitmq/.erlang.cookie root@172.28.18.103:/var/lib/rabbitmq/
root@172.28.18.103's password: 
.erlang.cookie                                                        100%   20     0.0KB/s   00:00  
[root@zabbix_server src]# scp -P25601 /var/lib/rabbitmq/.erlang.cookie root@172.28.18.69:/var/lib/rabbitmq/
root@172.28.18.69's password: 
.erlang.cookie                                                        100%   20     0.0KB/s   00:00 

驗證三個節點文件內容是否相同

[root@zabbix_server src]# cat /var/lib/rabbitmq/.erlang.cookie
ATHUHJDWKYXPPLSHYCED
[root@localhost src]# cat /var/lib/rabbitmq/.erlang.cookie
ATHUHJDWKYXPPLSHYCED
[root@localhost ~]# cat /var/lib/rabbitmq/.erlang.cookie
ATHUHJDWKYXPPLSHYCED

 再將node1、node2、node3將權限恢復為400

[root@zabbix_server src]# chmod 400 /var/lib/rabbitmq/.erlang.cookie
[root@localhost src]# chmod 400 /var/lib/rabbitmq/.erlang.cookie
[root@localhost ~]# chmod 400 /var/lib/rabbitmq/.erlang.cookie

五、使用detached參數,啟動rabbitmq 節點

先停止3個rabbitmq節點

[root@zabbix_server /]# rabbitmqctl stop
Stopping and halting node rabbit@zabbix_server ...
[root@zabbix_server /]# 

注意修改3個服務器的主機名

[root@localhost src]# hostname
localhost.localdomain
[root@localhost src]# hostname node2.jinglong
[root@localhost src]# hostname node2.jinglong

重啟ssh登錄

[root@node2 ~]# hostname
node2.jinglong

顯示@ node2了

 

啟動3個節點 ,帶detached參數

[root@zabbix_server /]# rabbitmq-server -detached
Warning: PID file not written; -detached was passed.

六、查看3個節點狀態

[root@zabbix_server src]# rabbitmqctl cluster_status
Cluster status of node rabbit@zabbix_server ...
[{nodes,[{disc,[rabbit@zabbix_server]}]},
 {running_nodes,[rabbit@zabbix_server]},
 {cluster_name,<<"rabbit@zabbix_server">>},
 {partitions,[]},
 {alarms,[{rabbit@zabbix_server,[]}]}]
[root@node2 ~]# rabbitmqctl  cluster_status
Cluster status of node rabbit@node2 ...
[{nodes,[{disc,[rabbit@node2]}]},
 {running_nodes,[rabbit@node2]},
 {cluster_name,<<"rabbit@node2">>},
 {partitions,[]},
 {alarms,[{rabbit@node2,[]}]}]
[root@node3 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@node3 ...
[{nodes,[{disc,[rabbit@node3]}]},
 {running_nodes,[rabbit@node3]},
 {cluster_name,<<"rabbit@node3">>},
 {partitions,[]},
 {alarms,[{rabbit@node3,[]}]}]

七、將node2、node3節點加入集群

3個節點啟動后,節點和應用同時啟動,應用默認是standalone模式,即單機模式,所以需要先停掉需要加入集群的node2、node3節點的應用,然后將節點進行加入集群設置:

在node2服務器上操作

[root@node2 ~]# rabbitmqctl stop_app
Stopping node rabbit@node2 ...

注意,這里不能使用 rabbitmqctl stop,這樣會將節點也停掉,就不能進行后續節點加入集群操作了,只能使用stop_app參數停掉應用。

將node2加入集群

[root@node2 ~]# rabbitmqctl join_cluster rabbit@zabbix_server
Clustering node rabbit@node2 with rabbit@zabbix_server ...
Error: unable to connect to nodes [rabbit@zabbix_server]: nodedown

DIAGNOSTICS
===========

attempted to contact: [rabbit@zabbix_server]

rabbit@zabbix_server:
  * unable to connect to epmd (port 4369) on zabbix_server: nxdomain (non-existing domain)


current node details:
- node name: 'rabbitmq-cli-76@node2'
- home dir: /var/lib/rabbitmq
- cookie hash: W3bZoV8WKKWsCgfh3FFkzw==

報錯,(non-existing domain),此時排查3台服務器的/etc/hosts文件內容,保證和hostname名稱一致

vim /etc/hosts

172.28.18.75 zabbix_server
172.28.18.103 node2
172.28.18.69 node3

 再次加入集群

[root@node2 ~]# rabbitmqctl join_cluster rabbit@zabbix_server
Clustering node rabbit@node2 with rabbit@zabbix_server ...
[root@node2 ~]# 

 查看集群狀態

[root@node2 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@node2 ...
[{nodes,[{disc,[rabbit@node2,rabbit@zabbix_server]}]},
 {alarms,[{rabbit@zabbix_server,[]}]}]

此時可以看到nodes里已經有2個節點了node2和zabbix_server,說明集群加入成功

在75上查看集群狀態

[root@zabbix_server src]# rabbitmqctl  cluster_status
Cluster status of node rabbit@zabbix_server ...
[{nodes,[{disc,[rabbit@node2,rabbit@zabbix_server]}]},
 {running_nodes,[rabbit@zabbix_server]},
 {cluster_name,<<"rabbit@zabbix_server">>},
 {partitions,[]},
 {alarms,[{rabbit@zabbix_server,[]}]}]

也能看到有2個節點了,我們再把node3節點也加入集群

[root@node3 ~]# rabbitmqctl join_cluster rabbit@zabbix_server
Clustering node rabbit@node3 with rabbit@zabbix_server ...
[root@node3 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@node3 ...
[{nodes,[{disc,[rabbit@node2,rabbit@node3,rabbit@zabbix_server]}]},
 {alarms,[{rabbit@zabbix_server,[]}]}]

此時,可以看到nodes里出現了node3節點,加入集群成功。我們再把node2和node3節點的應用啟動

我們打開75的管控台

此時節點信息里,已經出現了node2和node3,但是目前的狀態的未運行,所以我們需要把node2和node3的應用啟動

 

[root@node2 ~]# rabbitmqctl start_app
Starting node rabbit@node2 ...
[root@node3 ~]# rabbitmqctl start_app
Starting node rabbit@node3 ...

此時刷新75的管控台

集群中的3個節點都已經正常了

修改下集群名稱便於記憶

rabbitmqctl set_cluster_name rabbitmq_cluster

八、配置鏡像隊列

 在任意一個節點執行設置鏡像隊列策略

[root@zabbix_server src]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' 
Setting policy "ha-all" for pattern "^" to "{\"ha-mode\":\"all\"}" with priority "0" ...
[root@zabbix_server src]# 

九、驗證鏡像隊列

在任意一個節點管控台新建一個隊列,新建完畢后,立刻在其余2個節點都可以看到這個隊列

利用java 編寫一個生產者測試客戶端向其中一個節點隊列發送消息,其余2個節點都可以在管控台看到消息的同步

package com.hl95.rabbitmq.demo;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;


public class Producer {
    public static void main(String[]args) throws IOException,TimeoutException{
        ConnectionFactory factory=new ConnectionFactory();
        //配置連接屬性
        factory.setHost("172.28.18.69");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("admin");
        factory.setPassword("xxxxxx");
        
        //得到連接
        Connection connection=factory.newConnection();
        //創建通道
        Channel channel=connection.createChannel();
        //聲明(創建)隊列
        String queueName="test001";
        channel.queueDeclare(queueName, true, false, false, null);
        //發送消息
        String message="你好, RabbitMQ";
        for(int i=0;i<200;i++){
            channel.basicPublish("",queueName, null, message.getBytes("UTF-8"));
            try {
                Thread.sleep(500);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        channel.close();
        connection.close();
    }
}

 

 

 

 

 十、在172.28.18.104上安裝haproxy

1、下載

cd /usr/local/src
wget https://github.com/haproxy/haproxy/archive/v1.5-dev20.tar.gz

2、安裝

tar -zxvf v1.5-dev20.tar.gz
cd haproxy-1.5-dev20/
make TARGET=linux26 prefix=/usr/local/haproxy
make install prefix=/usr/local/haproxy

3、新建配置文件

mkdir /etc/haproxy
touch /etc/haproxy/haproxy.conf
vim /etc/haproxy/haproxy.conf
global
  2    log 127.0.0.1 local2
  3    chroot /usr/local/haproxy
  4    pidfile /var/run/haproxy.pid ###haproxy的pid存放路徑,啟動進程的用戶必須有權限訪問此文件
  5    maxconn 65535 ###最大連接數,默認4000
  6    daemon
  7 
  8 defaults
  9    mode tcp
 10    option tcplog
 11    log global
 12    timeout connect 20s
 13    timeout server 60s
 14    timeout client 60s
 15    retries 3
 16 
 17 listen stats
 18    bind 0.0.0.0:8888 #監聽端口
 19    mode http
 20    option httplog
 21    stats refresh 5s #統計頁面自動刷新時間
 22    stats uri /rabbitmq-stats #統計頁面url
 23    stats realm Haproxy Manager #統計頁面密碼框上提示文本
 24    stats auth admin:xxxxxx #統計頁面用戶名和密碼設置
 25    stats hide-version #隱藏統計頁面上HAProxy的版本信息
 26 
 27 listen rabbitmq_cluster
 28    bind 172.28.18.104:5672     #監聽端口
 29    mode tcp
 30    balance roundrobin
 31    server zabbix_server 172.28.18.75:5672 check inter 5000 rise 2 fall 2
 32    server node1         172.28.18.103:5672 check inter 5000 rise 2 fall 2
 33    server node2         172.28.18.69:5672 check inter 5000 rise 2 fall 2

退出保存,並重啟haproxy

[root@localhost haproxy-1.5-dev20]# ps -ef|grep haproxy
root     23157     1  0 08:49 ?        00:00:00 haproxy -f /etc/haproxy/haproxy.conf
root     23446 20907  0 08:59 pts/2    00:00:00 grep haproxy
[root@localhost haproxy-1.5-dev20]# kill -9 23157
[root@localhost haproxy-1.5-dev20]# haproxy -f /etc/haproxy/haproxy.conf 

4、打開管控台

此時顯示3個rabbitmq節點信息

利用下面java代碼測試負載均衡代理

package com.hl95.rabbitmq.demo;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;


public class Producer {
    public static void main(String[]args) throws IOException,TimeoutException{
        ConnectionFactory factory=new ConnectionFactory();
        //配置連接屬性
        factory.setHost("172.28.18.104");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("admin");
        factory.setPassword("xxxxxxxx");
        
        //得到連接
        Connection connection=factory.newConnection();
        //創建通道
        Channel channel=connection.createChannel();
        //聲明(創建)隊列
        String queueName="test001";
        channel.queueDeclare(queueName, true, false, false, null);
        //發送消息
        String message="你好, RabbitMQ";
        for(int i=0;i<200;i++){
            channel.basicPublish("",queueName, null, message.getBytes("UTF-8"));
            try {
                Thread.sleep(500);
                System.out.println("Consumer: "+message+"---"+i);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        channel.close();
        connection.close();
    }
}

此時我們將客戶端連接改為172.28.18.104的前端haproxy負載均衡服務器的IP和端口,測試發送消息,后端集群節點都能同步到消息

首先執行第一次消息投遞,同時觀察104上haproxy管控台后端連接到哪個rabbitmq節點

上圖可以看到第一次消息投遞是被haproxy分配到了node1節點來接收。

繼續第二次消息投遞

 

 上圖可以看到第二次消息投遞是被haproxy分配到了node1節點來接收。

繼續第三次

第三次消息投遞是被haproxy分配到了zabbix_server節點來接收。

繼續第四次

第四次消息投遞是被haproxy重啟分配回了node1節點來接收。驗證了負載均衡是輪詢的策略。

總共進行了4次投遞,每次200個消息,目前隊列里有800條消息待消費,3個節點的管控台隊列消息是一致的,完全復制的

 

 

至此集群搭建和負載均衡策略配置成功。

 


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com