gydtep

DevOps 就是为了提高软件研发效率，快速应对变化，持续交付价值的的一系列理念和实践，其基本思想就是 持续部署（CD)，让软件的构建、测试、发布能够更加快捷可靠，以尽量缩短系统变更从提交到最后安全部署到生产 系统的时间。

gydtep

DevOps 理念从提出到现在，已经深刻影响了软件开发过程。DevOps 提倡打破开发、测试和运维之间的壁垒，利用技术手段实现各个软件开发环节的自动化甚至智能化，被证实对提高软件生产质量、安全，缩短软件发布周期等都有非常明显的促进作用，也推动了 IT 技术的发展。

gydtep

Serverless 容器技术逐渐成为市场主流
Serverless 和 容 器 技 术 也 开 始 融 合 得 到 了 快 速 的 发 展。通 过 Serverless 容 器， 一 方 面 根 本 性 解 决 Kubernetes 自身复杂性问题，让用户无需受困于 Kubernetes 集群容量规划、安全维护、故障诊断等运维工作；一方面进一步释放云计算能力，将安全、可用性、可伸缩性等需求下沉到基础设施实现。

gydtep

这个方向需要探索和结合场景实践，低代码开发需要根据场景选择产品，有些场景适合使用纪元，有些场景适合使用 Astore ，有些场景适合使用类似斑马产品，有些场景适合使用宜搭 Pro/ 宜搭，我们需要有一个底座，需要和云原生的技术体系结合，然后更好更多的整合产品进来形成一个场景系列解决方案。低代码开发的思考，我将在另外一篇文章中进行总结和思考。

gydtep

针对这种场景平台提供了流式数据通道服务，通过流式数据上来可以写得特别碎，一行写一次也可以，不需要担心小文件的问题，也不用担心并发的问题，并发可以无限多。流式数据通道是不限并发的，但是批量是限并发的。

gydtep

避免产生覆盖。Upload session也是有状态的，没有commit就不可见； 如果commit成功了，这个session就结束了，暂时就不能再去open writer。Writer的实现原理是open一个writer请求，系统会发一个HTP请求到服务端，然后保持这个长链接，写数据时平台会实时地把数据写到服务端，writer是写一个临时目录。

gydtep

流式上传也会有一些限制。首先在写的时候，系统会对这个表加锁，流式写的时候其他的操作是不能写的，比如InsertInto和Insert Overwrite是会失败的，要把流式停掉之后才能正常写。另外，DDL有一些延迟，如果要drop table或者rename table的话，可能drop完还能成功写几条数据，会有最多60秒的延迟。如果有这种场景，建议先把流式停掉再去drop或者rename。

gydtep

API 优先的应用架构设计
在面向对象的软件架构中，最重要的是定义对象以及对象的接口契约。SOLID 原则是最被人广为熟知的设计原则。

Single responsibility principle - 单一职责原则

gydtep

互操作性。在现实世界中，事件无处不在，然而不同生产者对事件的描述却不尽相同。开发者希望无论事件是从哪里发出，都能够以一致的方式构建事件驱动的应用程序。

gydtep

同时在新的微服务架构中已经内置了可观测探针，比如在 SpringBoot 的 2.3 发布了两个新的 actuator 地址，/actuator/health/liveness 和 /actuator/health/readiness ，前者用作存活探针，后者用作就绪探针。业务应用可以通过Spring系统事件机制来读取、订阅、修改 Liveness State 和 Readiness State ，这样可以让 Kubernetes 平台可以做更加准确的自愈和流量管理。