08 最最最重要的集群参数配置（下）今天我们继续来聊那些重要的Kafka集群配置，下半部分主要是Topic级别参数、JVM参数以及操作系统参数的设置。 在上一期中，我们讨论了Broker端参数设置的一些法则，但其实Kafka也支持为不同的Topic设...

05 聊聊Kafka的版本号你好，我是胡夕。今天我想和你聊聊如何选择Kafka版本号这个话题。今天要讨论的内容实在是太重要了，我觉得它甚至是你日后能否用好Kafka的关键。 上一期我介绍了目前流行的几种Kafka发行版，其实不论是哪种Kafka，本质...

03 Kafka只是消息引擎系统吗？你好，我是胡夕。今天我们来聊一个老生常谈的话题：Kafka只是消息引擎系统吗？ 要搞清楚这个问题，我们不可避免地要了解一下Apache Kafka的发展历程。有的时候我们会觉得说了解一个系统或框架的前世今生似乎没什...

04 我应该选择哪种Kafka？在专栏上一期中，我们谈了Kafka当前的定位问题，Kafka不再是一个单纯的消息引擎系统，而是能够实现精确一次（Exactly-once）处理语义的实时流处理平台。 你可能听说过Apache Storm、Apache ...

10 生产者压缩算法面面观你好，我是胡夕。今天我要和你分享的内容是：生产者压缩算法面面观。 说起压缩（compression），我相信你一定不会感到陌生。它秉承了用时间去换空间的经典trade-off思想，具体来说就是用CPU时间去换磁盘空间或网络I...

12 客户端都有哪些不常见但是很高级的功能？你好，我是胡夕。今天我要和你分享的主题是：客户端都有哪些不常见但是很高级的功能。 既然是不常见，那就说明在实际场景中并没有太高的出场率，但它们依然是很高级很实用的。下面就有请今天的主角登场：Kafka拦截器...

11 无消息丢失配置怎么实现？你好，我是胡夕。今天我要和你分享的主题是：如何配置Kafka无消息丢失。 一直以来，很多人对于Kafka丢失消息这件事情都有着自己的理解，因而也就有着自己的解决之道。在讨论具体的应对方法之前，我觉得我们首先要明确，在Ka...

13 Java生产者是如何管理TCP连接的？13 Java生产者是如何管理TCP连接的？ 你好，我是胡夕。今天我要和你分享的主题是：Kafka的Java生产者是如何管理TCP连接的。 为何采用TCP？Apache Kafka的所有通信都是基于TCP的...

14 幂等生产者和事务生产者是一回事吗？你好，我是胡夕。今天我要和你分享的主题是：Kafka消息交付可靠性保障以及精确处理一次语义的实现。 所谓的消息交付可靠性保障，是指Kafka对Producer和Consumer要处理的消息提供什么样的承诺。常见...

18 Kafka中位移提交那些事儿你好，我是胡夕。今天我们来聊聊Kafka中位移提交的那些事儿。 之前我们说过，Consumer端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是Offset。今天我们要聊的位移是Consumer...