[国内信息] 免费领取阿里云服务器2000元代金券！ [复制链接]
查看:710406 | 回复:5841

gydtep · 发表于 2020-9-4 10:32:18

安全保障：Conduit构建之初就考虑了云原生环境的安全性，包括Rust语言内存安全性、默认TLS加密等。

gydtep · 发表于 2020-9-4 11:47:39

针对目前公司传统解决方案的痛点，我们提出基于 Flink 的实时解决方案，将 MQ 的数据实时写入到 Hive，并支持事件时间以及 Exactly Once 语义。

gydtep · 发表于 2020-9-4 14:12:57

Checkpoint Recover 阶段，加载最新一次成功的 Checkpoint 目录并恢复 State 信息，其中 Source 端将 State 中保存的 MQ Offset 作为起始位置；

gydtep · 发表于 2020-9-4 14:34:47

Sink 端恢复最新一次成功的 Checkpoint ID，并将临时目录的数据移动到正式目录下

gydtep · 发表于 2020-9-4 16:09:16

Hive 支持 Parquet、Orc、Text 等多种存储格式，不同的存储格式数据写入过程不太一样，具体可以分为两大类：

gydtep · 发表于 2020-9-4 17:35:19

大数据时代，数据的准确性和实时性显得尤为重要。本文提供多机房部署及**容灾解决方案，当主机房因为断网、断电、地震、火灾等原因暂时无法对外提供服务时，能快速将服务切换到备灾机房，并同时保障 Exactly Once 语义。

gydtep · 发表于 2020-9-4 17:38:59

整体解决方案需要多个容灾组件一起配合实现，容灾组件如下图所示，主要包括 MQ、YARN、HDFS

gydtep · 发表于 2020-9-5 21:00:16

曾经被认为理所当然的巨无霸单体应用，被拥抱了微服务的架构师们精心拆分成了一个又一个小而独立的微服务，接着再被拥抱了容器化的工程师们打包成了自带依赖的Docker镜像，

gydtep · 发表于 2020-9-6 13:58:36

至于第2个问题，那就该看本文的主角 —— Service Mesh（服务网格），是如何力挽狂澜，近乎完美地解决微服务之间的通讯问题了。

gydtep · 发表于 2020-9-6 14:23:28

时间回到2016年9&#*****29&#*****，那是一个即将放假迎来普天同庆的日子（是说我们）。