gydtep

目前，针对图像和文本的多模态预训练模型主要可以分为单流模型和双流模型两种架构。VideoBERT，B2T2， VisualBERT， Unicoder-VL ， VL-BERT和UNITER使用了单流架构，即利用单个Transformer的self-attention机制同时建模图像和文本信息。

gydtep

模态缺失和模态噪声是两个挑战（主要是文本和图片的缺失和噪声），这将严重降低多模态信息学习的性能。在真实的电子商务场景中，

gydtep

有的卖家提供的商品图片(或标题)没有正确的主题或语义。图 2中的Item-2和Item-3分别显示了阿里场景中的模态噪声和模态缺失的例子。

gydtep

modal-task layer。图像模态、文本模态和知识模态的预训练任务分别为掩码对象模型、掩码语言模型和链接预测模型。

gydtep

图3显示了各种模型对商品分类的结果，可以观察到: (1)当模态缺失或模态噪声存在时，基线模型严重缺乏鲁棒性。当TMR增加到20%、50%、80%和100%时，“ViLBERT”、

gydtep

(4)K3M达到了最先进的性能。它将 “ViLBERT+PKG”、“LXMERT+PKG”和“VLBERT+PKG”在各种模态缺失和模态噪声设置下的结果提高了0.6%到4.5%。

gydtep

本节重点介绍特征提取的通常方法，当前阶段，我们是以数据库的全量数据作为特征提取的来源，当然不少团队也在尝试使用接口调用过程中的全量入参数据。具体为：

gydtep

可以被后续事务复用的Update类型Undo Segment;对应的，Insert List和Insert Cache List分别是正在使用中的Insert类型Undo Segment，和空间空间较多，可以被后续复用的Insert类型Undo Segment。

gydtep

这里会优先复用trx_rseg_t上Cached List中的trx_undo_t，也就是已经分配出来但没有被正在使用的Undo Segment，如果没有才调用trx_undo_create创建新的Undo Segment，

gydtep

事务R开始需要查询表t上的id为1的记录，R开始时事务I已经提交，事务J还在运行，事务K还没开始，这些信息都被记录在了事务R的ReadView中。