首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

全网最通俗易懂的Kafka入门

2019-12-17

经过这篇文章,文章最初那几个问题估量多多少少都懂一些啦。我来扼要答复一下:

运用音讯行列不或许是单机的

Kafka天然是分布式的,往一个topic丢数据,实际上便是往多个broker的partition存储数据

数据写到音讯行列,或许会存在数据丢掉问题,数据在音讯行列需求 耐久化

Kafka会将partition以音讯日志的方法存储起来,经过 次序拜访IO和缓存才真实把数据写到磁盘上,来进步速度。

想要确保音讯是有序的,怎么做?

Kafka会将数据写到partition,单个partition的写入是有次序的。假如要确保大局有序,那只能写入一个partition中。假如要消费也有序,顾客也只能有一个。

为什么在音讯行列中重复消费了数据

但凡分布式就无法防止网络颤动/机器宕机等问题的发作,很有或许顾客A读取了数据,还没来得及消费,就挂掉了。Zookeeper发现顾客A挂了,让顾客B去消费本来顾客A的分区,等顾客A重连的时分,发现现已重复消费同一条数据了。

假如事务上不允许重复消费的问题,最好顾客那端做事务上的校验

这篇文章主要是Kafka入门,Kafka还涉及到其他概念,以及还有其他东西。在我感觉中,许多的面试题都跟装备有关,所以在处理某些问题的时分, 先看看能不能经过现有装备处理掉

热门文章

随机推荐

推荐文章