gydtep 发表于 2021-12-21 15:37:38

MySQL的SQL执行引擎基于流式迭代器模型(Volcano Iterator)实现, 这个架构在工程实现上依赖大量深层次的函数嵌套及虚函数调用,在处理海量数据时,这种架构会影响现代CPU流水线的pipline效率,导致CPU Cache效率低下。同时Iterator执行模型也无法充分发挥现代CPU提供的SIMD指令来做执行加速。

gydtep 发表于 2021-12-22 07:52:30

在PolarDB的存储引擎(InnoDB)上新增对列式索引(Columnar Index)的支持,用户可以选择通过DDL将一张表的全部列或者部分列创建为列索引,列索引采用列压缩存储,其存储空间消耗会远小于行存格式。默认列索引会全部常驻内存以实现最大化分析性能,但是当内存不够时也支持将其持久化到共享存储上。

gydtep 发表于 2021-12-22 10:46:18

在PolarDB中除了有原生MySQL的行存串行执行,还有能够发挥多核计算能力的基于行存的Paralle Query功能。因此实际优化器会在1)行存串行执行,2)行存Paralle Query 3)IMCI 三个选项之中选择。在目前的迭代阶段,优化器按如下的流程操作:

gydtep 发表于 2021-12-23 08:15:55

实现一个行列混合的存储引擎技术上非常困难,但是在InnoDB这样一个成熟的面向OLTP负载优化的存储引擎中增加列存支持,又面临不同的情况:

gydtep 发表于 2021-12-23 14:58:13

列索引粗糙索引

由前述列的存储格式可以看出, IMCI中所有的Datapack都采用无序且追加写的方式, 因此无法像InnoDB的普通有序索引那样的可以精准的过滤掉不符合要求的数据。在IMCI中,我们借助统计信息来进行数据块过滤,以此来达到降低数据访问单价的目的。

gydtep 发表于 2021-12-24 09:39:40

在下图场景中,两个牌匾的整体布局以及颜色都非常相似,但是其中POI名称发生了变化。而在该场景下,我们希望两个牌匾不要匹配,这就需要引入文本特征来增强特征区分性。

gydtep 发表于 2021-12-24 13:35:07

对齐操作如下图9所示,首先将特征图进行垂直池化,得到分块的局部特征图,再计算两张图局部特征之间的相似度矩阵,然后根据公式1找到最短距离将两张图像进行对齐,其中,i,j分别表示两张图中的第i块特征和第j块特征,dij表示两张图中第i块和第j块特征的欧式距离。

gydtep 发表于 2021-12-24 18:36:10

此外,Transformer的输入较为灵活,可以方便地将其他模态信息进行编码,并和图像特征一起输入到模型中,因此其在多模特征融合上也有较大的优势。综上来看,Transformer可以通过对图像Patch的相关性建模来解决POI牌匾在遮挡/截断场景下的匹配效果,并且可以通过对文本特征编码来实现多模特征的融合。

gydtep 发表于 2021-12-25 11:41:39

平头哥此次开源的玄铁RISC-V系列处理器,使用业界广泛使用的Verilog开发语言,在产品化能力和技术成熟度上表现卓越。玄铁RISC-V系列处理器,经过多年的市场检验和日趋完善的软件及工具开发,具备软硬件一体的全栈能力。开源后,开发者可基于此实现开源EDA协同,创新硬件架构,丰富软件应用生态。

gydtep 发表于 2021-12-26 19:03:17

流计算中的确定性指的是,给定相同的一组数据,重复运行多次或者打乱数据进入引擎的顺序,计算完成后将会输出相同的结果,否则就是非确定性计算。常见的非确定性计算包括使用了随机数、使用系统时间、字符串拼接等。如果流计算中存在非确定性的计算,则会给端到端一致性的实现造成很多困难,部分引擎并不能很好地支持此类场景。
页: 8 9 10 11 12 13 14 15 16 17 [18] 19 20 21 22 23 24 25 26 27
查看完整版本: 阿里云服务器优惠价格表公布