1970-01-01
19 CommitFailedException异常怎么处理?你好,我是胡夕。今天我来跟你聊聊CommitFailedException异常的处理。 说起这个异常,我相信用过Kafka Java Consumer客户端API的你一定不会感到陌生。 所...
19 CommitFailedException异常怎么处理?你好,我是胡夕。今天我来跟你聊聊CommitFailedException异常的处理。 说起这个异常,我相信用过Kafka Java Consumer客户端API的你一定不会感到陌生。 所...
20 多线程开发消费者实例你好,我是胡夕。今天我们来聊聊Kafka Java Consumer端多线程消费的实现方案。 目前,计算机的硬件条件已经大大改善,即使是在普通的笔记本电脑上,多核都已经是标配了,更不用说专业的服务器了。如果跑在强劲服务器机器...
21 Java 消费者是如何管理TCP连接的_你好,我是胡夕。今天我要和你分享的主题是:Kafka的Java消费者是如何管理TCP连接的。 在专栏第13讲中,我们专门聊过“Java 生产者 是如何管理TCP连接资源的”这个话题,你应该还有印象吧?今天...
22 消费者组消费进度监控都怎么实现?你好,我是胡夕。今天我要跟你分享的主题是:消费者组消费进度监控如何实现。 对于Kafka消费者来说,最重要的事情就是监控它们的消费进度了,或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称:消费者Lag或...
23 Kafka副本机制详解你好,我是胡夕。今天我要和你分享的主题是:Apache Kafka的副本机制。 所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好...
24 请求是怎么被处理的?你好,我是胡夕。今天我要和你分享的主题是:Kafka请求是怎么被处理的。 无论是Kafka客户端还是Broker端,它们之间的交互都是通过“请求/响应”的方式完成的。比如,客户端会通过网络发送消息生产请求给Brok...
16 揭开神秘的“位移主题”面纱你好,我是胡夕。今天我要和你分享的内容是:Kafka中神秘的内部主题(Internal Topic)__consumer_offsets。 consumer_offsets在Kafka源码中有个更为正式的名字,叫 位移...
25 消费者组重平衡全流程解析你好,我是胡夕。今天我要和你分享的主题是:消费者组重平衡全流程解析。 之前我们聊到过消费者组的重平衡流程,它的作用是让组内所有的消费者实例就消费哪些主题分区达成一致。重平衡需要借助Kafka Broker端的Coordi...
17 消费者组重平衡能避免吗?你好,我是胡夕。今天我要和你分享的内容是:消费者组重平衡能避免吗? 其实在专栏第15期中,我们讲过重平衡,也就是Rebalance,现在先来回顾一下这个概念的原理和用途。Rebalance就是让一个Consumer Gr...
26 你一定不能错过的Kafka控制器你好,我是胡夕。今天我要和你分享的主题是:Kafka中的控制器组件。 控制器组件(Controller),是Apache Kafka的核心组件。它的主要作用是在Apache ZooKeeper的帮助下管理和协调整...