概述
Pulsar 是一个多租户、高性能的服务器到服务器消息传递解决方案。Pulsar 最初由 Yahoo 开发，由 Apache 软件基金会管理。
特点
Pulsar 的主要功能如下：
- 原生支持 Pulsar 实例中的多个集群，可跨集群无缝地复制消息。
- 非常低的发布和端到端延迟。
- 无缝扩展到超过一百万个主题。
- 一个简单的客户端 API，具有 Java、Go、Python 和 C++ 的绑定。
- 主题的多种订阅类型（独占、共享和故障转移）。
- 使用 Apache BookKeeper 提供的持久消息存储保证消息传递。 Pulsar Functions 是一个无服务器的轻量级计算框架，提供流原生数据处理能力。
- 基于 Pulsar Functions 构建的无服务器连接器框架 Pulsar IO 可以更轻松地将数据移入和移出 Apache Pulsar。
- 当数据老化时，分层存储将数据从热/热存储卸载到冷/长期存储（例如 S3 和 GCS）。
消息
Pulsar 建立在 publish-subscribe 模式（通常缩写为 pub-sub）之上。在此模式中，生产者将消息发布到主题;使用者订阅这些主题，处理传入的消息，并在处理完成后向代理发送确认。
创建订阅时，Pulsar 会保留所有消息，即使使用者已断开连接。只有当使用者确认所有这些消息都已成功处理时，才会丢弃保留的消息。
如果消息的使用失败，并且您希望再次使用此消息，那么可以启用消息重新传递机制以请求代理重新发送此消息。
主题
Pulsar 主题是一种存储单元，用于将消息组织到流中。与其他 pub-sub 系统一样，Pulsar 中的主题是命名通道，用于将消息从生产者传递给消费者。
不需要在 Pulsar 中显式创建主题。如果客户端尝试向尚不存在的主题写入或接收消息，Pulsar 会自动在主题名称中提供的命名空间下创建该主题。
命名空间
Pulsar 命名空间是主题的逻辑分组，也是租户中的逻辑命名法。租户通过管理 API 创建命名空间。
订阅
Pulsar 订阅是一个命名的配置规则，用于确定消息如何传递给消费者。这是由一群消费者建立的主题的租约。Pulsar 中有四种订阅类型：
- exclusive：独占类型是仅允许单个使用者附加到订阅的订阅类型。如果多个消费者使用同一个订阅订阅一个主题，则会发生错误。请注意，如果主题已分区，则所有分区将由允许连接到订阅的单个使用者使用。
- shared：Pulsar 中的共享订阅类型允许多个消费者附加到同一个订阅。消息在使用者之间以循环分布方式传递，并且任何给定的消息都只传递给一个使用者。当使用者断开连接时，将重新安排发送给它但未确认的所有消息，以发送给其余使用者。
- failover：故障转移类型是多个使用者可以附加到同一订阅的订阅类型。为非分区主题或分区主题的每个分区选取主使用者并接收消息。当主使用者断开连接时，所有（未确认和后续）消息都将传递给下一个使用者。
- key_shared：Pulsar 中的Key_Shared订阅类型允许多个消费者附加到同一个订阅。但与 Shared 类型不同的是，Key_Shared类型的消息在使用者之间分发，并且具有相同键或相同排序键的消息仅传递给一个使用者。无论消息被重新传递多少次，它都会传递给同一个使用者。
架构
Pulsar 集群主要由三个核心组件构成，它们分别是：
-
ZooKeeper 集群：负责元数据存储、集群配置和协调工作。Pulsar 使用 Apache Zookeeper 来保存租户、命名空间以及其他全局一致的配置项。每个 Pulsar 集群通常都会有自己独立的 ZooKeeper 集群来保持内部配置和协调信息，如归属信息、Broker 负载报告以及 BookKeeper ledger 信息等。
-
Bookkeeper 集群（也称为 Bookie 集群）：提供持久化消息存储机制，确保消息的可靠传递。BookKeeper 是 Pulsar 用来持久化消息的核心组件，它通过 ledger 信息来跟踪消息的存储状态。
-
Broker 集群：由 Pulsar 节点组成，是 Pulsar 系统的自身实例。Broker 负责处理客户端的连接请求，执行消息的发布和订阅操作。在 Pulsar 架构中，Broker 承担着消息路由和分发的关键角色。
元数据存储
Pulsar 元数据存储用于维护 Pulsar 集群的所有元数据，例如主题元数据、schema、broker 加载数据等。Pulsar 使用 Apache ZooKeeper 进行元数据存储、集群配置和协调。
配置存储
配置存储是一个 ZooKeeper 仲裁，用于特定于配置的任务，它维护 Pulsar 实例的所有配置，例如集群、租户、命名空间、分区主题相关配置等。
持久性存储
Pulsar 通过Apache BookKeeper提供的持久化消息存储机制来保证消息传递。这种机制确保了未确认的消息能够持久化存储，直至它们被消费者确认。
在 Pulsar 中，所有消息都有 N 个副本存储在磁盘上并且进行同步，以确保消息的持久性和可靠性。这样的设计使得 Pulsar 能够在发生故障时仍然保持数据的完整性和一致性。
此外，Pulsar 还引入了 Retention 机制，允许用户配置消息持久化的策略，从而避免消息无限期地占用存储空间。这些策略可以根据业务需求进行调整，以实现成本和性能之间的平衡。
部署Pulsar服务
1.版本依赖jdk版本要求
- pulsar 版本 > 2.10
| 组件 | Java 版本 |
|---|---|
| Broker | 17 |
| Functions / IO | 17 |
| CLI | 17 |
| Java Client | 8 or 11 or 17 |
- 2.8 <= pulsar 版本 <= 2.10
| 组件 | Java 版本 |
|---|---|
| Broker | 11 |
| Functions / IO | 11 |
| CLI | 8 or 11 |
| Java Client | 8 or 11 |
- pulsar 版本 < 2.8
| 组件 | Java 版本 |
|---|---|
| All | 8 or 11 |
2.下载安装包
下载安装包，可直接复制地址下载，命令如下：
wget https://archive.apache.org/dist/pulsar/pulsar-3.2.0/apache-pulsar-3.2.0-bin.tar.gz
上传到服务器，并解压，命令如下：
tar xvfz apache-pulsar-3.2.0-bin.tar.gz
进入pulsar文件夹：
cd apache-pulsar-3.2.0
目录如下：
| 目录名 | 介绍 |
|---|---|
| bin | 启动脚本和许多其他命令行工具 |
| conf | 配置文件，包括broker.conf |
| lib | Pulsar 使用的 JAR |
| examples | 示例 |
| instances | Pulsar函数 |
3.启动 Pulsar 独立集群
运行以下命令以启动独立的 Pulsar 集群：
bin/pulsar standalone
当 Pulsar 集群启动时，会创建以下目录：
| 目录 | 描述 |
|---|---|
| data | BookKeeper 和 RocksDB 创建的所有数据 |
| logs | 所有服务器端日志 |
4.创建主题
要创建新主题，请运行以下命令：
bin/pulsar-admin topics create persistent://public/default/my-topic
5.写入消息
运行以下命令以生成消息：
bin/pulsar-client produce my-topic --messages 'Hello Pulsar!'
6.消费消息
运行以下命令以启动使用者并读回这些消息：
bin/pulsar-client consume my-topic -s 'my-subscription' -p Earliest -n 0
Earliest：意味着从最早的未使用消息开始使用。
-n 0:表示永久消耗
