首页 > 末学者笔记--openstack共享组件：rabbitmq(3)

末学者笔记--openstack共享组件：rabbitmq(3)

 

openstack共享组件：消息队列rabbitmq

一、MQ 全称为 Message Queue, 消息队列（ MQ ）                      

 

是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。

 

消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

 

排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

 

二、AMQP  即 Advanced Message Queuing Protocol                     

 

高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。

 

AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

 

三、 Rabbitmq概念：                                                              

       属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准，为面向消息的中间件设计。用于在分布式系统中存储转发消息，在 易用性、扩展性、高可用性等方面表现不俗。

       消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。

       AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

 

       RabbitMQ特点：

  　　使用Erlang编写

  　　支持持久化

  　　支持HA

  　　提供C# , erlang，java，perl，python，ruby等的client开发端

 

四、什么是耦合、解耦合                                                         

 

（一）、耦合

1、耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。

 

2、在软件工程中，对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高，维护成本越高，因此对象的设计应使类和构件之间的耦合最小。

 

3、分类：有软硬件之间的耦合，还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息通过接口。

 

（二）、解耦

1、解耦，字面意思就是解除耦合关系。

 

2、在软件工程中，降低耦合度即可以理解为解耦，模块间有依赖关系必然存在耦合，理论上的绝对零耦合是做不到的，但可以通过一些现有的方法将耦合度降至最低。

 

3、设计的核心思想：尽可能减少代码耦合，如果发现代码耦合，就要采取解耦技术。让数据模型，业务逻辑和视图显示三层之间彼此降低耦合，把关联依赖降到最低，而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中，如果两者之间需要交互，可以通过接口，通过消息，甚至可以引入框架，但总之就是不要直接交叉写。

 

五、RabbitMQ中的概念名词                                                         

 

Broker：简单来说就是消息队列服务器实体。

Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。

Queue：消息队列载体，每个消息都会被投入到一个或多个队列。

Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。

Routing Key：路由关键字， exchange根据这个关键字进行消息投递。

vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。

producer：消息生产者，就是投递消息的程序。

consumer：消息消费者，就是接受消息的程序。

channel：消息通道，在客户端的每个连接里，可建立多个channel，每个

channel代表一个会话任务。

 

六、RabbitMQ工作原理                                                    

 

    MQ 是消费 - 生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。

 

 

（ 1）客户端连接到消息队列服务器，打开一个channel。

（ 2）客户端声明一个exchange，并设置相关属性。

（ 3）客户端声明一个queue，并设置相关属性。

（ 4）客户端使用routing key，在exchange和queue之间建立好绑定关系。

（ 5）客户端投递消息到exchange。

（ 6） exchange接收到消息后，就根据消息的key和已经设置的binding，进

行消息路由，将消息投递到一个或多个队列里

 

 

 

七、Rabbitmq 的 metadata                                                   

 

      元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node.

       RAM Node 只会将元数据存放在RAM

       Disk node 会将元数据持久化到磁盘。 

   单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node.在集群中声明(declare) 创建 exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 : 

       如果是内存节点就要修改内存数据 , 

       如果是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 .

    有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC（ RPC :Remote Procedure Call—远程过程调用）,  RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。

 

    只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAM node. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。

    如果集群中 disk node 都宕掉 , 就不要变动集群的元数据 . 声明 exchange queue 修改用户权限 , 添加用户等等这些变动在节点重启之后无法恢复 。

 

    有一种情况要求所有的 disk node 都要在线情况在才能操作 , 那就是增加或者移除节点 .RAM node 启动的时候会连接到预设的 disk node 下载最新的集群元数据 . 如果你有两个 disk node(d1 d2), 一个 RAM node 加入的时候你只告诉 d1, 而恰好这个 RAM node 重启的时候 d1 并没有启动 , 重启就会失败 . 所以加入 RAM 节点的时候 , 把所有的disk node 信息都告诉它 ,RAM node 会把 disk node 的信息持久化到磁盘以便后续启动可以按图索骥 .

 

八、Rabbitmq 集群部署                                                       

 

（一）、前期准备

 

（1）条件:准备3台linux系统，确保配置好源，及epel源

 

这里请自寻可提供服务的源做实验；

本次实验使用的是一个企业内部源，配置源的方法可能不同：

 

 

——# yum install wget

——# wget http://download2.yunwei.edu/shell/yum-repo.sh

如果解析出错，可能是域名解析的问题，需改网卡配置将dns1改为企业源的域名解析服务器：

——# vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

 

 

——#systemctl restart network

如果还不行，查看域名配置文件：

——#vim /etc/resolv.conf

 

保证你想用的dns服务器id在首位。

 

再下载：

——# wget http://download2.yunwei.edu/shell/yum-repo.sh

——#ls

anaconda-ks.cfg  yum-repo.sh

——# sh  yum-repo.sh

 

 

（2）三台机器能够静态解析彼此

 

在每台主机上：

——#vim /etc/hosts

 

 

 

【注】：一定要注意解析的是三台主机的hostname

 

（3）设置可以无密钥登陆

 

在node1上：

——#ssh-keygen

。。。。。。

——#ssh-copy-id  node2

——#ssh-copy-id  node3

 

 

（二）、安装过程：

 

（1）所有node安装rabbtimq和erlang软件包：

 

——#yum install -y erlang rabbitmq-server.noarch

——#systemctl enable rabbitmq-server.service   #自启动

——#systemctl start rabbitmq-server.service    #启动

——#systemctl status rabbitmq-server.service    #查看状态

 

查看监听端口：

——#netstat -lantp | grep 5672

 

 

配置文件：

——#vim /etc/rabbitmq/rabbitmq.config

  

（2）node1：编辑rabbittmq变量文件

 

——#vim /etc/rabbitmq/rabbitmq-env.conf  

 

RABBITMQ_NODE_PORT=5672

ulimit -S -n 4096

RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"

RABBITMQ_NODE_IP_ADDRESS=192.168.249.30

 

 

（3）node1：将rabbittmq变量文件拷贝到其他两节点，之后并修改相应节点的ip

——#scp /etc/rabbitmq/rabbitmq-env.conf  node2:/etc/rabbitmq/

——#scp /etc/rabbitmq/rabbitmq-env.conf  node3:/etc/rabbitmq/

 

查看rabbitmq插件：

 

——#/usr/lib/rabbitmq/bin/rabbitmq-plugins list

 

 

（4）所有node 开启rabbitmq的web管理页面

 

/usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management mochiweb webmachine rabbitmq_web_dispatch amqp_client rabbitmq_management_agent

或者：——#rabbitmq-plugins enable rabbitmq_management

 

 

 

——#systemctl restart rabbitmq-server.service

查看是否开启：

——#/usr/lib/rabbitmq/bin/rabbitmq-plugins list

 

 

——#systemctl status rabbitmq-server.service

 

网页登陆：192.168.249.30:15672

 

 

输入用户：guest，密码：guest ，进入界面：

 

 

（5）node1：可修改guest密码为admin（默认用户为：guest 密码为：guest)

——#rabbitmqctl change_password guest admin

 

（6）node1：添加一个openstack的用户，并设密码为admin。并设置权限和成为管理员

【可以等实验做完了再添加】

node1：

——#rabbitmqctl add_user openstack admin

 

——#rabbitmqctl set_permissions openstack ".*" ".*" ".*"

 

 

——#rabbitmqctl set_user_tags openstack administrator

 

 

 

（7）node1发送.erlang.cookie(隐藏文件)到其他节点配置集群

——# rabbitmqctl cluster_status

 

 

#scp /var/lib/rabbitmq/.erlang.cookie node2:/var/lib/rabbitmq/.erlang.cookie

#scp /var/lib/rabbitmq/.erlang.cookie node3:/var/lib/rabbitmq/.erlang.cookie

 

 

 

（8）node2和node3停止应用，并以ram的方式加入node1节点，之后重启应用

——#systemctl restart rabbitmq-server.service

——#rabbitmqctl stop_app

——#rabbitmqctl join_cluster --ram rabbit@node1   #这里要写node1的名字

——#rabbitmqctl start_app

 

（9）node1检查集群状态

——# rabbitmqctl cluster_status

 

（10）登陆验证：http://192.168.249.30:15672         guest/admin

 

 

 

 

 

其他命令：

（1）添加管理员：

rabbitmqctl add_user mqadmin mqadmin

rabbitmqctl set_user_tags mqadmin administrator

rabbitmqctl set_permissions -p / mqadmin ".*" ".*" ".*"

 

（2）更改节点类型（内存型或磁盘型）

——#rabbitmqctl stop_app

——#rabbitmqctl change_cluster_node_type disc

或 rabbitmqctl change_cluster_node_type ram

——#rabbitmqctl start_app

 

（3）从集群移除节点（或者重置节点）

——#rabbitmqctl stop_app

——#rabbitmqctl reset

——#rabbitmqctl start_app

——#rabbitmqctl cluster_status

 

（4）从某个节点移除集群中其他节点

 

首先请确保node3节点是stop的；

在node1上：

——#rabbitmqctl forget_cluster_node rabbit@node3

在node3上：

——#rabbitmqctl reset

——#rabbitmqctl start_app

——#rabbitmqctl cluster_status

 

 

【note】：

1. 保证集群中至少有一个磁盘类型的节点以防数据丢失，在更改节点类型时尤其要注意。

2. 若整个集群被停掉了，应保证最后一个 down 掉的节点被最先启动，若不能则要使用 forget_cluster_node 命令将其移出集群

3. 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用force_boot 命令重启节点

 

 

转载于:https://www.cnblogs.com/feige2L/p/11089032.html

更多相关：

  • 微擎url模式解读_微擎开发文档之微擎执行主流程介绍

    首先对微擎的工作原理做简单描述, 微擎使用规则和模块的机制来处理公众平台的请求数据并返回响应的结果.执行流程描述为: 粉丝用户与公众号码进行对话或交互, 而后公众平台将粉丝用户的请求消息(当前包括: 文本, 图片, 位置, 链接, 事件. 请参阅消息类型)传递给微擎系统, 微擎系统按照消息类型和对应的公众号所设定的规则列表匹配到合适的...

  • websphere mq 查看队列中是否有数据_全网最全的 “消息队列”

    消息队列的使用场景以下介绍消息队列在实际应用常用的使用场景。异步处理、应用解耦、流量削锋和消息通讯四个场景。1】异步处理：场景说明：用户注册后，需要发注册邮件和注册短信。引入消息队列后架构如下：用户的响应时间=注册信息写入数据库的时间，例如50毫秒。发注册邮箱、发注册短信写入消息队列后，直接返回客户端，因写入消息队列的速度很快，基...

  • 中体骏彩C++面试题

    下面是我凭记忆想到的几个题目,有需要的同学就拿去吧,我也算做了点善事. 中体骏彩C++笔试题 2013-11-18 1.指针的含义是:B A.名字 B.地址 C.名称 D.符号 2.给出下面的程序输出: #include #include #include ...

  • linux进程间通信：消息队列实现双端通信

    双端通信描述 利用消息队列针对发送接受消息的类型唯一性 进行多个客户端之间消息传递，而不需要server端进行消息转发。 同时消息队列的读阻塞和写阻塞特性（消息队列中已经写入数据，如果再不读出来，则无法再次写入）让消息队列的实现过程只能如下： 客户端1的父进程用来处理类型1的消息写，子进程处理类型2的消息读客户端2的父进程处理类型...

  • linux进程间通信：system V消息队列

    文章目录基本介绍编程接口代码实例消息队列的发送和接收消息队列中的消息对象的属性控制 基本介绍 支持不同进程之间以消息（messages）的形式进行数据交换，消息能够拥有自己的标识，且内核使用链表方式进行消息管理。进程之间的通信角色为：发送者和接受者 发送者： a. 获取消息队列的ID(key或者msgid) b. 将数据放入...

  • 边缘计算架构_Openshift为边缘计算提供三节点架构部署

    当一个IT组织开始走到需要实施网络边缘的旅程时，他们很快意识到面对的挑战与他们在传统数据中心内所经历的挑战不同。 第一个挑战是空间。与更大的核心或区域数据中心同类产品相比，许多边缘站点的物理尺寸更小，因此，需要仔细计划好，尝试在未为其专门设计的空间中安装硬件。  第二个挑战是运行环境。还必须解决的可能面对的冷热温度变化 ，天气，无...

  • node 获取表单数据 为空_数据结构与算法(python)单向循环链表

    单向循环链表单链表的一个变形是单向循环链表, 链表的最后一个节点的next域不再为None, 而是指向链表的头节点.单向循环链表如图所示:单向循环链表同样单向循环链表也是要使用python来对它的基本功能进行一个封装. 总体大致的功能如下:is_empty() 判断链表是否为空length() 返回链表的长度travel() 遍历ad...

  • 剑指offer：面试题36. 二叉搜索树与双向链表

    题目： 二叉搜索树与双向链表 输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的循环双向链表。要求不能创建任何新的节点，只能调整树中节点指针的指向。 为了让您更好地理解问题，以下面的二叉搜索树为例： 我们希望将这个二叉搜索树转化为双向循环链表。链表中的每个节点都有一个前驱和后继指针。对于双向循环链表，第一个节点的前驱是最后一...

  • 剑指offer：面试题18. 删除链表的节点

    题目：删除链表的节点 给定单向链表的头指针和一个要删除的节点的值，定义一个函数删除该节点。 返回删除后的链表的头节点。 注意：此题对比原题有改动 示例 1: 输入: head = [4,5,1,9], val = 5 输出: [4,1,9] 解释: 给定你链表中值为 5 的第二个节点，那么在调用了你的函数之后，该链表应变为...

  • 从零开始的ROS四轴机械臂控制-目录

    【从零开始的ROS四轴机械臂控制】（一）- 实际模型制作、Solidworks文件转urdf与rviz仿真 一、模型制作 1.实际模型制作 2.Solidworks模型制作 二、Solidworks文件转urdf 1.sw_urdf_exporter插件 2.添加坐标系和转轴 3.导出urdf文件 三、rivz仿真...

  • 二叉树：二叉搜索树的编码和解码

    二叉搜索树的编码和解码描述： 编码：即将一个二叉搜索树编码，节点数值转换为字符串 解码：即将一个字符串解码，数值转换为对应的二叉搜索树的节点 过程导图如下： 针对性编码实现如下: /*数字转字符串*/ void change_num_to_string(int val, string &tmp) {string buf;whil...

  • 二叉树：二叉搜索树的创建和插入

    二叉搜索树又名二叉排序树。 大概简略的思维导图如下，方便记忆特性 基本二叉搜索树创建过程如下 /*数据结构如下*/ typedef struct tree {int data;struct tree *left = NULL;struct tree *right = NULL; }Tree,*TreeNode;/*Node 为二...

  • Linux安装Nodejs

    Linux安装Nodejs 　　 　　　阿里云镜像： https://npm.taobao.org/mirrors/node/ 选择所需版本，进行下载。 　　　我这边下载的是：https://npm.taobao.org/mirrors/node/v8.2.1/node-v8.2.1-linux-x64.tar.gz  　　　 　　　...

  • Hadoop自学笔记（二）HDFS简单介绍

    1. HDFS Architecture 一种Master-Slave结构。包括Name Node, Secondary Name Node,Data Node Job Tracker, Task Tracker。JobTrackers: 控制全部的Task Trackers 。这两个Tracker将会在MapReduce课程里...

  • Sublime Text3配置Node.js开发环境

    下载Nodejs插件，下载zip压缩包后解压链接: http://pan.baidu.com/s/1hsBk60k 密码: jrcv打开Sublime Text3，点击菜单“首选项（N）” =>“浏览插件（B）”打开“Packages”文件夹，并将第1部的Nodejs文件夹剪切进来打开文件“Nodejs.sublime-build”，...

©2024 11GX.COM