衡水做网站报价5000做网站

衡水做网站报价,5000做网站,网站的空间怎么查,信息化网站建设的请示kafka简介#xff1a; Kafka是由Apache软件基金会开发的一个开源流处理平台#xff0c;由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统#xff0c;它可以处理消费者在网站中的所有动作流数据。 这种动作#xff08;网页浏览#xff0c;搜索和其他用户的…kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统它可以处理消费者在网站中的所有动作流数据。 这种动作网页浏览搜索和其他用户的行动是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统但又要求实时处理的限制这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理也是为了通过集群来提供实时的消息。口头说法kafka就是消息传递系统 将需要使用消息的服务作为消费组 将产生消息的服务作为生产者 本身也能存在若干个消息存储个人疑问什么是消息哪些服务需要这些消息怎么拉取和存放消息和zookeeper如何配合解答第一个问题什么是消息kafka里面的消息就是apache kafka中传输的数据单元。由两部分 键 和 值 组成键Key键是一个可选项它用于标识要发送的消息。如果提供了键则 Kafka 将根据键使用哈希函数将消息路由到特定的分区中。如果未提供键则会随机选择一个分区。值Value值是消息的主体内容可以是任何类型的二进制数据。也就是用键来标识对应的值 多个消息被组织成topic美其名曰主题第二个问题 消息是如何存放的kafka消息是通过分布式存储的方式进行持久化存储的 每个主题被分为多个分区 每个分区都有自己的一个或者多个副本 kafka的消息其实是被写入到分区中 保存到一个或者多个日志片段文件里重点Kafka 将消息以追加方式写入到日志片段文件Log Segment File中。当一个日志片段文件大小达到预先配置的阈值问题来了如何设置阈值有什么影响后续补上时它将会被关闭并且不再接受新的消息同时一个新的日志片段文件将被创建用于存储后续的消息。当所有的副本都确认了消息已经被写入到磁盘时生产者才认为消息发送成功。总的来说Kafka 的消息存放位置可以简单地概括为主题 - 分区 - 日志片段文件。第三个问题如何拉取消息消费者从特定的分区中读取消息每个消费者维护自己的消费偏移量Consumer Offset-问题来了在那哪里记录什么形式记录来记录已经读取的消息位置。消费者可以按照任何顺序读取消息并且可以在任何时间停止和重新开始消费。如果一个消费者组内的某个消费者故障退出则其余的消费者将会重新平衡分区以确保每个分区都被恰好一个消费者处理。第四个补充问题 消息文件的类型kafka的消息文件的类型通过公司文档发现 kafka消息存放在kafkalogs目录不要被log迷惑 就是消息 不是目录索引文件index File 每个日志片段文件都有一个对应的索引文件 用来快速查找消息 用 .index ” 为后缀名并且存储着消息偏移量和物理位置的映射关系位置索引文件offset index File每个分区都有一个位移索引文件 用于记录消费者/组的消费偏移量信息。用 “ .timeindex” 为后缀 并且包含了时间戳二号物理位置之间的关系。被删除文件Delete File当消息过期或者删除时kafka会将其标记 并写入到删除文件中以“ .delete ”为后缀文件锁File Lock 在进行读写操作时kafka会使用文件锁确保线程安全性 以“.lock”为后缀 通常时空文件快照Snapshot 一种用于备份和恢复kafka消息的文件格式 覆盖面是很广的 比如快照存储文件就是存储了一个主题下所有分区的消费偏移量和消息检查点信息。进行消费组恢复时可以使用这个快照快速恢复消费组状态。还有一个快照索引文件 记录了分区的起始位置信息。 注意两种快照恢复时主题和分区不能发生变化最后一个问题如何和zk打配合 为什么和zk打配合Kafka 在2.8.0 版本之前完全依赖 ZooKeeper简称 ZK实现分布式协调ZK 是 Kafka 集群的 “大脑中枢”2.8.0 版本后推出了 KRaft 模式Kafka Raft可替代 ZK 实现元数据管理但传统架构中 ZK 与 Kafka 的搭配仍是核心知识点。总结起来ZK 核心特性具体含义对 Kafka 的价值树形 ZNode 目录结构数据以类似文件系统的树形节点ZNode存储分为持久节点/临时节点/有序节点为 Kafka 的元数据提供结构化存储如按 broker、topic、consumer 分组存储临时节点Ephemeral ZNode节点与客户端会话绑定会话失效如进程宕机、网络断开则节点自动删除实现 Kafka 的故障检测如 Broker 宕机后自动注销Watcher 监听机制客户端可监听 ZNode 的变化创建 / 删除 / 数据修改变化时 ZK 主动推送通知让 Kafka 组件Producer/Consumer/Broker实时感知集群状态变化如新增 Broker、主题分区变化ZAB 一致性协议保证 ZK 集群中所有节点的数据一致主从复制 崩溃恢复确保 Kafka 的元数据在分布式环境下不丢失、不冲突有序节点Sequential ZNode创建节点时 ZK 自动为节点添加递增序号如 /leader/0000000001实现 Kafka 的选主逻辑如 Controller 节点选举Kafka 与 ZooKeeper 搭配的核心原理数据存储与交互逻辑Kafka 将非业务数据元数据 全部存储在 ZK 中而业务数据消息 存储在本地磁盘日志文件中。简单来说ZK 是 Kafka 的 “元数据中心”Kafka 通过操作 ZK 的 ZNode 实现分布式协调。Kafka 如何利用 ZK 的特性工作Kafka 的各个组件Broker、Producer、Consumer启动后会与 ZK 建立会话通过创建 / 读取 / 监听 ZNode实现协同工作核心逻辑如下注册与发现Broker 启动时在/* by yours.tools - online tools website : yours.tools/zh/blood.html */ /brokers/ids/{broker.id}创建临时节点并写入自身的地址、端口等信息Producer/Consumer 通过读取/* by yours.tools - online tools website : yours.tools/zh/blood.html */ /brokers/ids节点获取所有在线 Broker 的列表实现集群发现。故障检测若 Broker 宕机与 ZK 的会话断开/brokers/ids/{broker.id}临时节点被自动删除Producer/Consumer 通过监听该节点实时感知 Broker 下线从而切换到其他 Broker 进行生产 / 消费。选主逻辑Kafka 的 Controller 节点集群的管理节点选举通过在/controller节点创建临时有序节点实现 —— 第一个创建节点的 Broker 成为 Controller其他 Broker 监听该节点若 Controller 宕机节点删除触发重新选举。事件通知当 Topic 被创建 / 删除、分区副本被重新分配时ZK 的对应 ZNode 发生变化监听该节点的 Broker/Producer/Consumer 会收到通知从而更新本地缓存的元数据无需轮询。1. Kafka 集群启动流程所有 Broker 启动向 ZK 的/brokers/ids创建临时节点注册自身信息。所有 Broker 尝试创建 ZK 的/controller节点第一个成功的 Broker 成为 Controller。Controller 读取 ZK 中所有 Topic 的元数据为每个分区分配 leader 副本并将状态写入 ZK。Producer 连接 ZK读取/brokers/ids和 Topic 元数据确定生产消息的 Broker 和分区。Consumer 连接 ZK读取 Broker 列表和 Topic 元数据加入消费组并获取分区分配。2. 消费者消费流程消费者启动连接 ZK读取/brokers/ids获取在线 Broker 列表。消费者加入消费组在 ZK 的/consumers/{groupName}/ids创建临时节点。消费组协调者为消费者分配分区消费者向对应 Broker 的分区发起消费请求。消费者消费消息后将 offset 写入 ZK 的/consumers/{groupName}/offsets节点。若消费者宕机ZK 节点删除协调者重新分配分区其他消费者接管消费。特性Kafka https://kafka.apache.org/是一种高吞吐量(https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines)的分布式发布订阅https://baike.baidu.com/item/%E5%8F%91%E5%B8%83%E8%AE%A2%E9%98%85/22695073?fromModulelemma_inlink消息系统有如下特性通过O(1)的磁盘数据结构提供消息的持久化这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载相关术语Broker Kafka集群包含一个或多个服务器这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别这个类别被称为Topic。物理上不同Topic的消息分开存储逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处Partition Partition是物理上的概念每个Topic包含一个或多个Partition.Producer 负责发布消息到Kafka brokerConsumer 消息消费者向Kafka broker读取消息的客户端。Consumer Group 每个Consumer属于一个特定的Consumer Group可为每个Consumer指定group name若不指定group name则属于默认的group。