[国内信息] 阿里云2000元专属红包领取及使用说明 [复制链接]
查看:692251 | 回复:7675

gydtep · 发表于 2022-9-21 18:52:20

本文阐述了IMCI背后技术路线的思考和具体方案的取舍。PolarDB MySQL 列存分析功能即将在阿里云上线，敬请期待。

一 MySQL生态HTAP数据库解决方案
MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理的能力

gydtep · 发表于 2022-9-22 10:02:22

来服务不同的查询负载是一个易于实施的方案。典型的如TiDB，其从TiDB4.0开始，在一个Raft Group中的其中一个副本上，使用列式存储(TiFlash)来响应AP型负载, 并通过TiDB的智能路由功能来自动选取数据来源。

gydtep · 发表于 2022-9-22 17:24:48

PolarDB MySQL能力栈与开源MySQL类似，长于TP但AP能力较弱。由于PolarDB提供了最大单实例100TB的存储能力，同时其事务处理能力远超用户自建MySQL。

gydtep · 发表于 2022-9-23 10:24:47

但这种抽象会同时带来性能上的损耗，因为在迭代器进行迭代的过程中，每一行数据的获取都会引发多层的函数调用，同时逐行地获取数据会带来过多的 I/O，对缓存也不友好。

gydtep · 发表于 2022-9-23 18:23:10

其在大数据量上运行复杂查询的性能可以与Oracle/SQL Server等业界最顶尖的商用数据库系统处在同一水平。

gydtep · 发表于 2022-9-24 19:31:53

传统的行格式依然保存在BufferPool中供OLTP性负载使用。
所有事务的增删改操作都会实时反应到列存存储上，保证事务级别的数据一致性。

gydtep · 发表于 2022-9-25 08:59:24

采用了与Postgres类似表达式实现方法：在SQL编译及优化阶段，IMCI的表达式以一个树形结构来存储(与现有行式迭代器模型的表现方法类似)，但是在执行之前会对该表达式树进行一个后序遍历，将其转换为一维数组来存储

gydtep · 发表于 2022-9-25 12:32:22

事务型应用和分析型应用对存储引擎有着截然不同的要求，前者要求索引可以精确定位到每一行并支持高效的增删改，而后者则需要支持高效批量扫描处理，这两个场景对存储引擎的设计要求完全不同，有时甚至是矛盾的。

gydtep · 发表于 2022-9-25 13:58:53

因此设计一个一体化的存储引擎能同时服务OLTP型和OLAP型负载非常具有挑战性。目前市场上HTAP存储引擎做的比较好的只有几家有几十年研发积累的大厂

gydtep · 发表于 2022-9-25 13:59:13

因此设计一个一体化的存储引擎能同时服务OLTP型和OLAP型负载非常具有挑战性。目前市场上HTAP存储引擎做的比较好的只有几家有几十年研发积累的大厂