gydtep

2018年7月，上海首度宣布将RISC-V列入政府产业扶持对象，成为国内第一个发力RISC-V的城市。同年10月和11月，中国 RISC-V产业联盟与中国开放指令生态（RISC-V）联盟相继成立

gydtep

免费使用RISC-V架构，并在其基础上进行改动，被广泛看好成为下一代广泛应用的CPU架构。
      RISC-V架构具有开放、灵活、低功耗等特点，基础指令不到50条，

gydtep

这正好为近几年国内新成立的一批国内EDA公司带来市场机会。基于RISC-V的开源特性，对应的EDA工具也有可能走向开源，国内EDA厂商如果要找到一条自己的发展路径，开源是一个机会。

gydtep

相应的，批计算更准确的说法是有界数据（bounded data）的处理，亦即有明确边界的数据处理，流和批只是两种不同数据集的传统数据计算方法，

gydtep

相应地，流计算中的一致性可以定义为：流计算系统在计算过程中，或是出现故障恢复计算后，流系统的内部状态和外部输出的数据应该处在一致的状态。

gydtep

前者的语义约束弱于后者。Exactly-once State Consistency 只是表达了：流计算要求对状态的更新只提交一次到持久后端存储，

gydtep

R(E(t), O(t)) = O'(t+1)，且 O'(t+1) = O(t+1)

我们在这里将引擎状态作为一种特殊输出的考虑有两点。其一，引擎的状态一般也是输出到外部存储如 RocksDB/HDFS，这和计算下游的输出别无二致。其二，通过屏蔽引擎内部的容错机制实现，简化端到端一致性问题的抽象过程，便于更好地理解问题本身。

gydtep

如果我们的计算过程都是确定性的，那么上述的充分必要条件会有什么变化呢？在确定性计算的前提下，如果引擎输出结果的接受端是可以实现为幂等，则很多约束条件会有所简化。

gydtep

MillWheel 作为一个内部系统可以存储每一个中间结果，但是对于开源系统的 Apache Flink 来说，毕竟不是每一个公司都有这么完备的技术基建。Flink 会定期把结果以事务的方式进行批量存储，

gydtep

容错机制上和 Flink 一样也使用了Chandy-Lamport 算法，Structured Stream 目前还不成熟，暂时还不能完全支持 Exactly-Once-Processing，因此这里着重对比 Spark Streaming。