gydtep

左图来自低质量相机，并且是前向拍摄；右图来自高质量相机，并且是侧向拍摄；因为相机拍摄质量以及拍摄视角不同，这就导致POI牌匾的亮度、形状、清晰度等都存在非常大的差异。

gydtep

而如何在差异较大的异源数据中实现POI牌匾检索，是一个非常具有挑战性的问题。

遮挡严重

在道路场景中，经常存在树木以及车辆等干扰信息，并且由于拍摄视角原因，拍摄到的POI牌匾经常会面临严重的遮挡问题

gydtep

POI牌匾还有一个独有特性就是对文本强依赖，主要是对POI名称文本的依赖。在下图场景中，两个牌匾的整体布局以及颜色都非常相似，但是其中POI名称发生了变化。

gydtep

在我们的业务场景中，存在一些外观相似而细节有一定差异的牌匾，如图8 (c) 所示，在这种情况下，我们希望模型可以关注到牌匾中的细粒度信息，比如牌匾中文字的字体、文字排版或者是文字内容本身。

gydtep

而注意力机制则可以帮助模型在大量信息中准确地关注到能够区分不同牌匾更为关键的部分。因此，我们在网络中引入了注意力模块，让模型学习关键信息，以提升全局特征的辨别能力。

gydtep

我们采用了空间注意力机制SGE（Spatial Group-wise Enhance）[4]，SGE通过对特征图上的每个空间位置生成一个注意力因子来调整每个空间位置处特征的重要性。

gydtep

，使用语义特征向量和特征图进行position-wise点乘，得到注意力图，然后将注意力图与特征图进行position-wise点乘，以此来增强特征，从而获得在空间上分布更好的语义特征。

gydtep

为了减少局部特征的损失，我们对网络backbone进行了改进，取消了ResNet网络最后一个block中的下采样，使得最终的特征图中包含更多的局部信息。

gydtep

除此之外，我们使用GeM[3]池化层替代了最后一个global average pooling，GeM是一种可学习的特征聚合方法，global max pooling和global average pooling都是它的特殊情况，使用GeM池化可以进一步提升全局特征鲁棒性。

gydtep

在针对全局特征进行优化以后，现有模型仍然在以下三个方面表现不够好：1）牌匾截断的情况，特征学习质量差，如图8(a)；2）遮挡的牌匾，特征中引入一些无关的上下文信息