gydtep

OCI（Open Container Initiative）标准的出现，使不同技术采用一致的方式进行容器生命周期管理，进一步促进了容器引擎技术的持续创新。其中，我们可以预见以下几个细分方向的未来趋势：

gydtep

服务化能力：商业能力API，商业能力二次开发SDK
弹性能力：站点PaaS部署发布规划建设中
自动化水平：一键拉起环境，一键部署平台应用
可观测性：一键日志查询和监控运维

gydtep

由于目标的场景是一个大数据量的查询，比如说十亿条这种量级的，这是一个规模比较大的操作，如果在这个场景下想做数据的同步，就不能像MySQL传统输入一样通过insert into，因为insert into走控制集群这个链路是非常浪费资源的，同时也会有一些限制。一次一行的效率特别低，因此设计了分开的控制流和数据流。

gydtep

官方的SDK有Java SDK和Python SDK。
另外，官方还提供了三种工具。MaxCompute客户端是一个命令行工具，在数据同步这方面支持用户把一个本地文件上传到MaxCompute里面，也可以通过下载一张表到一个本地文件上。MaxCompute Studio是一个idea插件，它也支持文件上传下载这样的方式。

gydtep

流式上传在架构上做了升级，有一个异步处理的机制，会把用户写进来的数据在后台进行加工，所以后面会支持Hash Clustered表。

gydtep

Transactional表是说，MaxCompute的普通表是不支持update或者delete的，系统最近在SQL上支持了这个语法，就是用户可以update，也可以delete，也可以支持transaction。批量上传的API现在是支持Transactional表，但是只支持append，也称为insert into，它是不能从Tunnel的API上去update的。流式的也正在规划中，后续可能会连update也一起完成。批量的可能不会做update这个功能，但是批量的现在就可以append这种Transactional表。

gydtep

总结一下，基本的功能点有：
批量上传是有状态并发；
commit成功后数据才可见；
支持insertOverwrite, 也支持InsertInto语义。

gydtep

Insert overwrite指commit的时候支持使用某个upload session的数据直接overwrite掉一整个分区或者一张表，类似SQL的Insert和Overwrite的功能。

gydtep

使用限制方面，和批量上传类似，DownloadSession限制也是24小时，因为它也有临时文件。同样空闲链接120秒超时，另外还有Project级别并发限流，性能受碎片文件影响。

gydtep

“Software architecture refers to the fundamental structures of a software system and the discipline of creating such structures and systems. ” - 维基百科。