gydtep

从去年底开始，关于边缘集群的工单数量逐渐开始上升，增长幅度较大。其中涉及问题的边缘集群，

gydtep

.Worker节点通过List-Watch机制与Matser节点通信，实现该节点的上Kuberbets资源的同步，但是当出现边缘和中心的网络瓶颈时候，Worker节点是无自治能力，无法进行自我决策。

gydtep

在认识流计算系统一致性之前，我们需要精确定义流计算。流（Streaming）计算是一种在无边界数据（unbounded data）上进行低延迟计算的数据处理过程。

gydtep

则流计算中的数据一致性同关系型数据库事务 ACID 理论中的 Consistency 有异曲同工之妙，后者指的是在事务开始或结束时，数据库中的记录应该在一致状态，相应地，流计算中的一致性可以定义为：

gydtep

在存在不确定性计算的流计算中，不确定性计算的（中间）结果可视为流计算引擎状态的一部分。

gydtep

因此，在仅有确定性计算的流计算系统中，实现端到端的充分必要条件可退化为：在流计算过程中，需要外部的最终结果接受端实现幂等，

gydtep

Kafka Streams 是 Apache Kafka 0.10.0版本中包含的一个Java库，严格来讲并不算一个完整的流处理引擎

gydtep

上面我们简述了目前主流的几种流计算引擎的一致性实现机制。从整体来看，如果实现端到端的一致性，

gydtep

运维成本高：完整的质量系统需要数个甚至十多个软件的协同，从而也带了极高的运维成本。

gydtep

回顾过往的双11，在我脑海中回旋的就是“商业”和“技术”这两个粒子，在回旋加速区到处碰撞，