gydtep

最主要的一点是，既满足了业务场景，又兼容了以往的网络架构。

gydtep

开发了一个简单的sflow Collecter, 服务器收到sflow的数据包进行解析，筛选出关键数据，然后进行汇总分析，得到所需要的监控数据。

gydtep

这些简单类型数据只需要进行set、get、delete操作，不需要在缓存端做计算操作，最适合以memcached作为缓存组件。

gydtep

因为在流计算中，为了保证状态（State）的一致性，需要将状态数据存储在状态后端（StateBackend），由框架来做分布式快照。

gydtep

当数据的 key 的重复率越大，攒批的大小越大，那么对状态的访问会越少，得到的吞吐量越高。

gydtep

处理微批时会一段时间不消费网络数据，导致上游很容易被反压。

gydtep

用 watermark 作为特殊事件插入数据流**数据流切分成相等时间间隔的一个个批次。

gydtep

这样批次的触发会从上游到下游逐级触发。

gydtep

由于 MicroBatch 的批次触发是靠事件的，当上游触发时，下游不会同时触发，所以不像 MiniBatch 那么容易引起反压。

gydtep

MicroBatch 在内存维度目前仍然与 MiniBatch 一样，使用 size 参数来控制条数。