ZooKeeper详解

作者:三坛海会大神555日期:9/30/2025

文章目录

  • 一、Zookeeper是什么
  • 二、Zookeeper的原理
  • 三、Zookeeper的数据结构
  • 四、Zookeeper应用场景
  • 五、Zookeeper的选举机制
    • 5.1 第一次启动选举机制
    • 5.2 非第一次启动选举机制
  • 六、部署 Zookeeper 集群
    • 6.1环境布置
    • 6.2 安装前准备
    • 6.3 Zookeeper安装与部署

一、Zookeeper是什么

Zookeeper 是一个分布式协调服务,专门为分布式应用提供高效可靠的协调、同步、配置管理和故障恢复等功能。它的设计目的是简化分布式系统的管理,保证多个节点之间的数据一致性和协调工作。Zookeeper 提供了类似文件系统的层次化命名空间,用来存储和管理元数据,确保分布式应用的高可用性和强一致性。

二、Zookeeper的原理

在这里插入图片描述

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制

三、Zookeeper的数据结构

Zookeeper 的数据结构类似于一个层次化的文件系统:

  • ZNode:是 Zookeeper 中存储数据的基本单元,每个 ZNode 都可以存储少量的数据,并且可以有子节点,形成树状结构。
  • 持久节点:该类型的 ZNode 会一直存在,直到手动删除。
  • 临时节点:客户端会话断开时,临时节点会自动删除,适用于实现分布式锁等功能。
  • 顺序节点:在创建 ZNode 时,Zookeeper 可以自动为其添加递增的编号,常用于实现分布式队列或顺序任务处理。

ZooKeeper数据模型的结构与Linux文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
在这里插入图片描述

四、Zookeeper应用场景

提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等

  • 统一命名服务
    在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如:IP不容易记住,而域名容易记住。
  • 统一配置管理
    (1)分布式环境下,配置文件同步非常常见。一般要求一个集群中,所有节点的配置信息是一致的,比如Kafka集群。对配置文件修改后,希望能够快速同步到各个节点上。
    (2)配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦 Znode中的数据被修改,ZooKeeper将通知各个客户端服务器。
  • 统一集群管理
    (1)分布式环境中,实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。
    (2)ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。
  • 服务器动态上下线
    客户端能实时洞察到服务器上下线的变化。
  • 软负载均衡
    在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求。

五、Zookeeper的选举机制

5.1 第一次启动选举机制

Zookeeper 的选举机制确保集群中的所有节点对外表现为一个统一的服务。选举机制分为两个阶段:Leader 选举投票确认

  1. 服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
  2. 服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
  3. 服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
  4. 服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态FOLLOWING;
  5. 服务器5启动,同4一样当小弟。

5.2 非第一次启动选举机制

  1. 当ZooKeeper 集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
    1)服务器初始化启动。
    2)服务器运行期间无法和Leader保持连接。
  2. 而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态
    1)集群中本来就已经存在一个Leader
    对于已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和 Leader机器建立连接,并进行状态同步即可。
    2)集群中确实不存在Leader
    假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。
    选举Leader规则:
    ① EPOCH大的直接胜出 任期,Epoch大的获选
    ② EPOCH相同,事务id大的胜出 数据最接近leader的,事务id越大,ZXID大的获选
    ③ 事务id相同,服务器id大的胜出 myid大的获选

SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。
ZXID:事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。
Epoch:每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加,其实任期就是投票次数

六、部署 Zookeeper 集群

6.1环境布置

在这里插入图片描述

6.2 安装前准备

  1. 关闭防火墙和selinux
1systemctl stop firewalld
2systemctl disable firewalld
3setenforce 0
4
  1. 安装JDK
1yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
2java -version
3

6.3 Zookeeper安装与部署

  1. 下载Zookeeper安装包
    官方下载地址:https://archive.apache.org/dist/zookeeper/
1tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/
2mv /opt/apache-zookeeper-3.5.7-bin /usr/local/zookeeper-3.5.7
3
  1. 修改Zookeeper配置文件
1cd /usr/local/zookeeper-3.5.7/conf/
2cp zoo_sample.cfg zoo.cfg
3vim zoo.cfg
4
1tickTime=2000   #通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
2initLimit=10    #Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量),这里表示为10*2s
3syncLimit=5     #Leader和Follower之间同步通信的超时时间,这里表示如果超过5*2s,Leader认为Follwer死掉,并从服务器列表中删除Follwer
4dataDir=/usr/local/zookeeper-3.5.7/data      ●修改,指定保存Zookeeper中的数据的目录,目录需要单独创建
5dataLogDir=/usr/local/zookeeper-3.5.7/logs   ●添加,指定存放日志的目录,目录需要单独创建
6clientPort=2181   #客户端连:接端口
7#添加集群信息
8server.1=192.168.10.123:3188:3288
9server.2=192.168.10.124:3188:3288
10server.3=192.168.10.125:3188:3288
11

server.A=B:C:D

  • A是一个数字,表示这个是第几号服务器。集群模式下需要在zoo.cfg中dataDir指定的目录下创建一个文件myid,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
  • B是这个服务器的地址。
  • C是这个服务器Follower与集群中的Leader服务器交换信息的端口。
  • D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
  1. 每个节点创建各自的Zookeeper的data和logs目录
1mkdir /usr/local/zookeeper-3.5.7/data
2mkdir /usr/local/zookeeper-3.5.7/logs
3
  1. 配置Zookeeper启动脚本
1vim /etc/init.d/zookeeper
2
3#!/bin/bash
4#chkconfig:2345 20 90
5#description:Zookeeper Service Control Script
6ZK_HOME='/usr/local/zookeeper-3.5.7'
7case $1 in
8start)
9	echo "---------- zookeeper 启动 ------------"
10	$ZK_HOME/bin/zkServer.sh start
11;;
12stop)
13	echo "---------- zookeeper 停止 ------------"
14	$ZK_HOME/bin/zkServer.sh stop
15;;
16restart)
17	echo "---------- zookeeper 重启 ------------"
18	$ZK_HOME/bin/zkServer.sh restart
19;;
20status)
21	echo "---------- zookeeper 状态 ------------"
22	$ZK_HOME/bin/zkServer.sh status
23;;
24*)
25    echo "Usage: $0 {start|stop|restart|status}"
26esac
27
  1. 设置开机自启
1chmod +x /etc/init.d/zookeeper
2chkconfig --add zookeeper
3
  1. 启动并查看Zookeeper的状态
1service zookeeper start
2service zookeeper status
3

在这里插入图片描述


ZooKeeper详解》 是转载文章,点击查看原文


相关推荐


JavaScript中国手机号校验
蜚鸣9/30/2025

中国手机号校验方法摘要:中国手机号为11位数字,常见号段包括移动(134-139等)、联通(130-132等)、电信(133等)和虚拟运营商(170/171)。校验方法包括:1)基础正则校验(/^1[3-9]\d{9}$/);2)精确号段校验;3)号段数组比对法。建议采用前端简单校验+后端严格验证+短信验证的完整流程。国际号码可使用/^+?[1-9]\d{1,14}$/进行通用校验。(150字)


【mdBook】7.2 替代后端
liuyuan7710/2/2025

如果我们不需要指定字数统计后端的完整名称/路径,是因为 mdbook 会尝试按照约定推断程序的名称。foo后端的可执行文件通常称为mdbook-foo,并在book.toml中有相关的条目。要明确告诉 mdbook 调用什么命令,可以使用command虽然这个示例是人为设计的,但希望它能足够展示如何为 mdbook 创建替代后端。本章开头提到的现有后端应该作为实际如何完成的良好示例,因此请随时浏览源代码或提出问题。


《Local_Pdf_Chat_RAG 深度学习笔记:PDF 本地化对话的 RAG 原理与实践》
Bug Spray2025/10/2

在处理本地 PDF 文档的智能对话需求时,很多人会面临 “云端依赖泄露隐私”“开源项目部署门槛高” 的问题 —— 而 GitHub 上的 Local_Pdf_Chat_RAG 项目,恰好以 “本地化部署 + RAG 技术” 为核心,解决了 PDF 文档的高效检索与自然语言对话难题。近期我系统学习了这个项目,从环境搭建、代码核心模块拆解,到实际场景测试与调优,踩过不少新手常见的坑,也总结了一套可复用的实践经验。因此整理这份学习笔记,一方面记录自己的技术成长,另一方面希望能帮到同样想入门 “本地 P


神经网络中的损失函数:常见类型与应用场景(代码演示)
fyakm2025/10/2

在神经网络的世界里,损失函数是一个非常重要的概念。它就像是一个“裁判”,能够衡量模型预测结果与真实结果之间的差距。通过了解损失函数的常见类型和应用场景,我们可以根据不同的需求选择合适的损失函数,从而避免因损失函数选择不合理导致的模型性能不佳问题。接下来,我们就一起深入了解一下损失函数的相关知识,并通过Python代码来演示不同损失函数的计算和效果。 目录 损失函数的类型和应用场景均方误差损失函数(Mean Squared Error, MSE)交叉熵损失函数(Cross - Entro


vue2动态实现多Y轴echarts图表,及节点点击事件
四月_h2025/10/3

父组件 <template> <div class="app-container"> <div class="content"> <el-form :model="echartsqueryParams" ref="echartsqueryForm" :inline="true" > <el-form-item label="号" prop="furnaceNumber"> <e


豆包怎么部署到本地?一文读懂AI工具的本地化安装全流程
Nightowls__2025/10/4

在数据自主性与即时响应需求的双重推动下,AI 模型的本地部署成为众多企业和个人用户的追求,豆包作为热门 AI 模型,其本地部署也备受关注。豆包本地部署在哪里?又该如何实现高效且安全的本地化运行呢? 一、为什么要本地部署豆包? 在数据自主性与即时响应需求的双重推动下,AI模型的本地部署逐渐成为企业及个人用户优化服务、保障隐私的关键策略。对于豆包这一主流AI模型而言,本地部署具有显著的优势: 满足多元场景需求:不同行业和领域对AI模型的应用需求千差万别,本地部署豆包能够确保模型在复杂网


QPS和TPS的区别,在实际项目中,如何准确测量和监控QPS和TPS?
IT橘子皮2025/10/5

QPS(Queries Per Second,每秒查询率)和TPS(Transactions Per Second,每秒事务数)是衡量系统性能的两个关键指标,虽然常被混淆,但存在以下核心区别: 1. ​定义与范围​ ​QPS​:表示服务器每秒能响应的查询次数,通常用于衡量特定查询服务器(如DNS、数据库)的处理能力。例如,一次页面加载可能触发多次查询(如HTML、CSS、JS请求),每个查询均计入QPS。 ​TPS​:表示每秒完成的事务数量。一个事务涵盖客户端请求、服务器内部处理及响应的完整流


Python 的 UDP 编程
hubenchang05152025/10/6

#Python 的 UDP 编程 用户数据报协议(User Datagram Protocol) 是一个 无连接、非可靠 的传输层协议,和 TCP 并列,是互联网中最常见的协议之一。 UDP 程序不存在连接,只需要绑定自身地址并收发数据即可。下面是一个示例,它创建了两个 socket,从一个向另一个发送数据。 import socket # 创建 UDP socket sock1 = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) sock2


一个基于 ASP.NET Core 的开源、模块化、多租户应用框架和内容管理系统
追逐时光者2025/10/8

前言 今天大姚给大家分享一个基于 ASP.NET Core 的开源、模块化、多租户应用框架和内容管理系统:OrchardCore。 项目介绍 OrchardCore 是一个开源的(BSD-3-Clause license)、模块化的、支持多租户的应用程序框架,使用 ASP.NET Core 构建。同时,它也是一个基于该框架的内容管理系统(CMS)。 DotNetGuide编程学院 DotNetGuide编程学院是一个专注于C#/.NET/.NET Core学习、工作、面试干货和实战教程分享的知识


JDK8 新特性 - Stream 流详解
chirrupy_hamal2025/10/9

文章目录 一、认识 Stream二、Stream 的常用方法1、如何获取 Stream 流2、Stream 流常见的中间方法2.3、Stream 流常见的终结方法 一、认识 Stream 二、Stream 的常用方法 1、如何获取 Stream 流 2、Stream 流常见的中间方法 代码简化 s -> s.getName() Studet::getName 代码简化 2.3、Stream 流常见的终结方法 报错

首页编辑器站点地图

Copyright © 2025 聚合阅读

License: CC BY-SA 4.0