Kafka学习笔记一:基本术语与概念

内容预览:
  • 3. Kafka 的结构与基本概念 3.1 Kafka 的拓扑结构 如下图所示,为一个典...~
  • 对于生产者,broker 接收来自生产者的消息,为消息设置 offset,并提交...~
  • Comsumer Group 若干 Comsumer 组成的一个消费者集合,与传统的发布-订...~

1. Kafka 简介

Kafka是一种分布式的,基于发布/订阅的消息系统,起源于 LinkedIn,用作 LinkedIn 的活动流和运营数据处理管道的基础。它有以下一些性能特性:

  • 能够以 O(1) 的时间复杂度提供消息持久化能力,即使对 TB 级以上的数据也能保证常熟时间复杂度的访问性能;
  • 高吞吐量,即使在非常廉价的商用机器上也能做到单机支持每秒 100k 条以上消息的传输;
  • 支持 kafka Server 间的消息分区及分布式消费,同时能保证每个 partition 内的消息顺序传输;
  • 支持离线数据处理和实时数据处理;
  • Scale out : 支持在线水平扩展;

2. Kafka 的应用场景

  • 消息队列

    kafka 可以用作消息中间件来代替传统的消息系统。Kafka能提供较高的吞吐量,较低的端到端延迟,多副本,容错功能以及强大的持久性保证。

  • 日志聚合

    日志搜集通常从服务器收集物理日志文件,并将它们集中放置(可能是文件服务器或HDFS)以便后续处理。kafka抽象出文件的细节,并将日志或事件数据作为消息流清晰地抽象出来。这可以为更低处理延迟提供支持,多数据源和分布式数据消费更容易支持。与以日志为中心的系统(如Scribe或Flume)相比,Kafka性能同样出色,由于副本机制确保了更强的耐用性保,并且端到端延迟更低。

  • 监控测量

    kafka经常用于运行监控数据。这涉及汇总分布式应用程序的统计数据,以产生操作运营数据的汇总数据。

  • 网站行为跟踪

    Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到Hadoop、数据仓库中做离线分析和挖掘

  • 流处理

    spark streaming和storm。保存收集流数据,以提供之后对接的Storm或其他流式计算框架进行处理。很多用户会将那些从原始 topic 来的数据进行阶段性处理,汇总,扩充或者以其他的方式转换到新的 topic 下再继续后面的处理。例如一个文章推荐的处理流程,可能是先从RSS数据源中抓取文章的内容,然后将其丢入一个叫做“文章”的topic中;后续操作可能是需要对这个内容进行清理,比如回复正常数据或者删除重复数据,最后再将内容匹配的结果返还给用户。这就在一个独立的topic之外,产生了一系列的实时数据处理的流程。Strom和Samza是非常著名的实现这种类型数据转换的框架。

  • 事件源

    事件源是一种应用程序设计的方式,该方式的状态转移被记录为按时间顺序排序的记录序列。Kafka可以存储大量的日志数据,这使得它成为一个对这种方式的应用来说绝佳的后台。比如动态汇总(News feed)。

  • 提交日志

    Kafka可以为一种外部的持久性日志的分布式系统提供服务。这种日志可以在节点间备份数据,并为故障节点数据回复提供一种重新同步的机制。具体来讲,我们可以将数据库的更新发布到 Kafka 上,应用程序通过监控事件流来接收数据库的实时更新。这种变更日志也可以用于把数据库的更新复制到远程系统上,或者合并多个应用程序的更新到一个单独的数据库视图上。数据持久化为变更日志提供了缓冲区,如果消费者应用程序发生故障,可以通过重放这些日志来恢复系统状态。

3. Kafka 的结构与基本概念

3.1 Kafka 的拓扑结构

如下图所示,为一个典型的kafka集群

一个kafka集群包含以下几个部分:

  • 若干生产者 Producer
  • 若干用来存放消息的kafka服务器 Broker
  • 若干消费者群组 Consumer Group,Consumer Group中由一个或多个 Consumer 组成
  • 管理集群配置的 zookeeper

整个kafka集群工作模式为:Producer 使用 push 模式将消息发布到 broker,comsumer 使用 pull 模式从 broker 订阅并消费消息,整个集群基于 zookeeper 来进行集群管理,负载均衡等。这里面涉及到这样一些术语:

  • Broker

    kafka 集群包含一个或多个服务器,每个独立的 kafka 服务器被称为 broker。对于生产者,broker 接收来自生产者的消息,为消息设置 offset,并提交消息到磁盘保存。对于消费者,broker 为消费者读取分区的请求作出响应,返回分区上的消息。

  • Producer

    负责发布消息到 broker 上的对象。

  • Comsumer

    消息消费者,从 broker 上订阅消息并处理这些消息 。

  • Comsumer Group

    若干 Comsumer 组成的一个消费者集合,与传统的发布-订阅消息系统不同,kafka 是将消息广播到各个 Comsumer Group 上,而不是单个的 Comsumer 上。

  • Topic

    kafka 为消息做的逻辑归类,一个消息类别就是一个 topic。可以认为 topic 是一个逻辑上 queue,每条消息都必须制定它的 topic,生产者与消费者也要通过 topic name 来 push 或者 pull 消息。

  • Partition

    topic 是一个逻辑上的抽象概念,它具体是由 partition 作物理呈现。一个 topic 被分成多个 partition 存放在不同的服务器上,一个 partition 在服务器上对应的是一个具体的文件目录,目录下存放的是消息文件和索引文件。

  • Segment

    kafka 还将 partition 进一步分割成多个段(segment),一个段对应一个服务器上的log文件。这样分割好处之一就是在清理过期的消息时,可以对整个段的文件作删除操作,从而避免对文件的随机写操作,提高吞吐量。

3.2 Topic、Partition、Segment 的关系

Kafka 中的消息是以 topic 来进行分类的,一个 topic 又被分成多个 partition,而 partition 还可以被进一步细分为若干个 segment。那么这三者具体的呈现是什么呢?下面是这三者之间的一个示意图:

  • Topic

    Topic是一个消息投递目标的名称,它是一个逻辑上的概念。生产者通过 topic 向 broker 发送消息,消费者通过订阅相应的 topic, 读取特定一类的消息。

  • Partition

    Partition 是 topic 的物理层面上的具体分组,每个 partition 为一个目录,其命名规范为 topicName + 有序序号,序号从 0 开始。每个 partition 都是一个顺序的、不可变的消息队列,每发布到该 partition 一条消息就追加到其 log 文件的尾部。并且,partition 中的每条消息都被分了一个序列号,这个序列号称之为偏移量(offset)。offset 是一个 long 型的数字,它唯一标记一条消息。消费者通过控制 offset 来定位读取 partition 中所要消息。

    Kafka 将 topic 拆分成多个 partition 主要有两个目的:

    • 支持水平扩展,可以将不同的 partition 放在不同的服务器上,这样的话,消息文件的体积将不再受限于单个服务器的磁盘容量,一个topic可以处理任意数量的数据。
    • partition 可以作为并行单元,使得消息可以被多个 comsumer 并行处理(只要将comsumer分布于不同的 group),可以系统效率。
  • Segment

    Segment 是对 partition 的进一步细分,它物理上对应到 partition 目录下的具体 log 文件,以 19 位数字命名规则为:第一个 segment 命名为全0,后续的 segment 文件名为最后一条消息的 offset 值(位数不足左补0)。每个 segment 文件最大存储量是固定的,可以在配置文件中进行配置。当一个 segment 文件超出设定最大存储量时,就会创建下一个 segment 文件来存放下一条消息。每个 segment 由两部分组成: 消息数据文件(.log) 和 索引(.index) 。将 partition 分割成多个 segment 文件可以很方便的清理过期的消息(直接删除过期的segment文件,而不用再去随机写磁盘上的log文件)。

3.3 Comsumer 与 Comsumer Group

传统的消息有两种模式:队列和发布订阅。

  • 队列模式:消费者池从服务器读取消息(每个消息只被其中一个读取)。
  • 发布-订阅模式:消息广播给所有的消费者。

这两种模式都有优缺点,队列的优点是允许多个消费者瓜分处理数据,这样可以扩展处理。但是,队列不像多个订阅者,一旦消息者进程读取后故障了,那么消息就丢了。而发布和订阅允许你广播数据到多个消费者,由于每个订阅者都订阅了消息,所以没办法缩放处理。

kafka 将这两者做了结合与抽象,提出了消费者组(Comsumer Group)的概念。每个 comsumer 都有一个自己的消费者组名标识,因此多个相同标识的 comsumer 就组成了一个 comsumer group。一个 partition 和一个消费组中一个消费者绑定(保证partition 内消息的有序性),每一条该 partition 上消息是被投递到订阅了该 topic 的 comsumer group 上,交由组内的这个 comsumer 实例进行消费。当所有的 comsumer 都在同一个 group中时,这就变成了”队列模式“,而当每个 comsumer group 中都只有一个 comsumer 时,这就又变成了”发布-订阅模式“。实际上, kafka 这种消费者组的模式仍然属于发布-订阅模式范畴,只是订阅者由单个的消费者实例变成了消费者组。

Kafka的设计理念之一就是同时提供离线处理和实时处理,而 comsumer group 的这种设计就能够满足这种特性,为消息的多元化处理提供了支持。它既能够提供以分区为粒度的并行能力,同时又能保证消息在分区内的有序性。比如,我们可以使用Storm这种实时流处理系统对消息进行实时在线处理,同时使用Hadoop这种批处理系统进行离线处理,还可以同时将数据实时备份到另一 个数据中心,只需要保证这三个操作所使用的consumer在不同的consumer group即可。

以上就是:Kafka学习笔记一:基本术语与概念 的全部内容。

本站部分内容来源于互联网和用户投稿,如有侵权请联系我们删除,谢谢。
Email:[email protected]


0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论