1970-01-01

15 消费者组到底是什么?你好,我是胡夕。今天我要和你分享的主题是:Kafka的消费者组。 消费者组,即Consumer Group,应该算是Kafka比较有亮点的设计了。那么何谓Consumer Group呢?用一句话概括就是: Consumer ...

1970-01-01

27 关于高水位和Leader Epoch的讨论你好,我是胡夕。今天我要和你分享的主题是:Kafka中的高水位和Leader Epoch机制。 你可能听说过高水位(High Watermark),但不一定耳闻过Leader Epoch。前者是Kafk...

1970-01-01

28 主题管理知多少_你好,我是胡夕。今天我想和你讨论一下Kafka中的主题管理,包括日常的主题管理、特殊主题的管理与运维以及常见的主题错误处理。 主题日常管理所谓的日常管理,无非就是主题的增删改查。你可能会觉得,这有什么好讨论的,官网上不都有命令吗...

1970-01-01

29 Kafka动态配置了解下?你好,我是胡夕。今天我要和你讨论的主题是:Kafka的动态Broker参数配置。 什么是动态Broker参数配置?在开始今天的分享之前,我们先来复习一下设置Kafka参数,特别是Broker端参数的方法。 在Kafka...

1970-01-01

32 KafkaAdminClient:Kafka的运维利器你好,我是胡夕。今天我要和你分享的主题是:Kafka的运维利器KafkaAdminClient。 引入原因在上一讲中,我向你介绍了Kafka自带的各种命令行脚本,这些脚本使用起来虽然方便,却...

1970-01-01

33 Kafka认证机制用哪家?你好,我是胡夕。今天我要和你分享的主题是:Kafka的认证机制。 什么是认证机制?所谓认证,又称“验证”“鉴权”,英文是authentication,是指通过一定的手段,完成对用户身份的确认。认证的主要目的是确认当前声...

1970-01-01

34 云环境下的授权该怎么做?你好,我是胡夕。今天我要分享的主题是:Kafka的授权机制。 什么是授权机制?我们在上一讲中花了不少时间讨论Kafka的认证机制,今天我们来看看Kafka的授权机制(Authorization)。所谓授权,一般是指对与信...

1970-01-01

35 跨集群备份解决方案MirrorMaker你好,我是胡夕。今天我要和你分享的主题是:Kafka的跨集群数据镜像工具MirrorMaker。 一般情况下,我们会使用一套Kafka集群来完成业务,但有些场景确实会需要多套Kafka集群同时工作,比如为...

1970-01-01

30 怎么重设消费者组位移?你好,我是胡夕。今天我要跟你分享的主题是:如何重设消费者组位移。 为什么要重设消费者组位移?我们知道,Kafka和传统的消息引擎在设计上是有很大区别的,其中一个比较显著的区别就是,Kafka的消费者读取消息是可以重演的(r...

1970-01-01

36 你应该怎么监控Kafka?你好,我是胡夕。今天我要和你分享的主题是:如何监控Kafka。 监控Kafka,历来都是个老大难的问题。无论是在我维护的微信公众号,还是Kafka QQ群里面,大家问得最多的问题,一定是Kafka的监控。大家提问的内容...

1323334353666