Zookeeper务的区别解析-Zookeeper-集群中大多数的机器得到响应并接受选出的Leader

Zookeeper和YARN：两大服务的区别解析

Zookeeper和YARN是两个在分布式系统中非常重要的服务，它们各有特点和作用。下面，我们就来聊聊它们的主要区别。

一、定位不同

YARN（Yet Another Resource Negotiator）是一个分布式资源管理器，它的主要任务是提高资源利用率，也就是多类程序的资源分配。而Zookeeper是一个分布式协调服务，可以说是为某一类程序提供服务的。

YARN就像一个“总管家”，它可以在一个集群上部署多个计算框架，比如Hadoop、Spark等，并为这些框架提供资源调度管理服务。

Zookeeper则更像是一个“指挥官”，它通过一个leader和多个follower组成的集群，为用户的分布式应用程序提供协调服务。

二、作用不同

YARN的主要作用是统筹资源调度，确保任务顺利执行。它可以调度磁盘空间、内存和通讯带宽等资源，实现集群资源共享和弹性收缩。

ZooKeeper的价值在于实现基于分布式的统一化配置管理、命名服务、状态同步等。它通过树状的文件存储系统，保证各个子节点在操作时的同步。

延伸阅读

一、ZooKeeper的基本运转流程：

1. 选举Leader。
2. 同步数据。
3. Leader要具有较高的执行ID，类似root权限。
4. 集群中大多数的机器得到响应并接受选出的Leader。

二、YARN的工作流程：

1. 用户向YARN中提交应用程序。
2. ResourceManager为该应用程序找到一个可用的NodeManager并分配一个Container，然后在这个Container中启动应用程序的ApplicationMaster。
3. ApplicationMaster向ResourceManager进行注册，用户可以通过ResourceManager查看应用程序的运行状态并对任务进行监控。
4. ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
5. ApplicationMaster申请到资源后与对应的NodeManager通信，要求它启动Container并为任务设置好运行环境。
6. 应用程序的任务开始在启动的Container中运行，各个任务向ApplicationMaster汇报自己的状态和进度。
7. 应用在运行的过程中，客户端通过轮询的方式主动与ApplicationMaster通信以获得应用的运行状态、执行进度等信息。
8. 应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。

Zookeeper和YARN在分布式系统中各有其独特的价值，它们共同为我们的应用程序提供稳定的运行环境。

工具推荐

Worktile：50万+团队都在用的项目协作工具。一个工具满足团队所需：任务、项目、文档、IM、目标、日历、甘特图、工时、审批以及更多，让工作更简单。