gydtep

通常对于检索任务来说，使用深度学习模型提取到的全局特征更为鲁棒，可以适应牌匾视角、颜色、光照变化等不同场景。为了进一步提升全局特征的鲁棒性，我们主要从以下两方面进行了优化：1）采用Attention机制，加强对重要特征的关注；2）网络backbone的改进，以关注到更多细粒度特征。

gydtep

两者区别在于是否需要部分人工标注，半监督学习是完全由模型自身产生标签，但是可能导致模型效果存在上限，而主动学习则可以一定程度可提高该上限，因此未来需要深入研究两者的结合，从而更好的补充训练数据，解决Corner case。

gydtep

据了解，此前也有一些研究机构的开源，比如包云岗的香山RISC-V处理器开源等等。此次平头哥玄铁RISC-V系列开源，与他们有什么不同？

gydtep

RISC-V架构具有开放、灵活、低功耗等特点，基础指令不到50条，并以模块化的方式提供了不少扩展指令集，尤其适合为智慧城市、工业互联网、智能家居等碎片化的AIoT场景提供定制芯片。

gydtep

因此，我们将条件退化为可以通过事务的方式进行批量存储，这是因为事务的 ACID 特性能保证结果能以原子提交的方式作用于下游算子或者是外部的消息系统/数据库，在保证了结果（状态）一致性的前提下，能达到较高的吞吐率。

gydtep

基于统一的存储，我们可以构建统一的查询和分析语法，从而一套语法适配不同的数据，并且让不同的数据之间进行联合查询也变成了可能。如下图所示，我们以标准 SQL 为基础，进行了部分 DSL 扩展和 SQL 函数扩展，并融合了 PromQL，从而让不同类型的数据查询和分析变得统一。

gydtep

多模态商品知识图谱的应用场景十分广泛，多模态结构数据虽然在底层表征上是异构的，但是相同实体的不同模态数据在高层语义上是统一的，所以多种模态数据的融合有利于充分表达商品信息。

gydtep

图3显示了各种模型对商品分类的结果，可以观察到: (1)当模态缺失或模态噪声存在时，基线模型严重缺乏鲁棒性。当TMR增加到20%、50%、80%和100%时，“ViLBERT”、“LXMERT”和“VLBERT”的性能从TMR=0%平均下降10.2%、24.4%、33.1%和40.2%。

gydtep

左图来自低质量相机，并且是前向拍摄；右图来自高质量相机，并且是侧向拍摄；因为相机拍摄质量以及拍摄视角不同，这就导致POI牌匾的亮度、形状、清晰度等都存在非常大的差异。而如何在差异较大的异源数据中实现POI牌匾检索，是一个非常具有挑战性的问题。

gydtep

因此，在这种多种挑战下，我们尝试了基于线上海量数据模型构建全行经模型，同时用场景驱动自动化执行的方案。

3 场景模型驱动自动化的思考
回到本文初心，我们希望通过线上场景来驱动自动化测试的方式进行测试场景的全量覆盖。思路如下：