一种基于多角度的深度卷积神经网络的车辆再识别方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110399828 A(43)申请公布日 2019.11.01

(21)申请号 201910665065.0(22)申请日 2019.07.23

(71)申请人 吉林大学

地址 130011 吉林春市前进大街2699

号(72)发明人 梁艳花　秦贵和　邹密　晏婕　

赵睿　许骞艺　张钟翰　成一铭　(74)专利代理机构 吉林长春新纪元专利代理有

限责任公司 22100

代理人 陈宏伟(51)Int.Cl.

G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书2页 说明书6页 附图2页

(54)发明名称

一种基于多角度的深度卷积神经网络的车辆再识别方法(57)摘要

本发明公开了一种基于多角度的深度卷积神经网络的车辆再识别方法，所述方法包括将车辆图像数据集作为输入通过共享层输出处理后特征图集；所述特征图集经过三个不同的流，分别从度量、视觉、属性三个角度进行分类；将三个分类结果进行联合学习实现车辆再识别。其中所述三个不同的流为基于簇的三元组流、基于互补学习的外观流和基于车辆属性的属性流。本发明纠正了随机三元组采样带来的冗余性和误导性问题，有效地缓解了现有方法不能很好区分相似图像或网络不收敛的问题，降低了训练时间成CN 110399828 A本，能够获得更准确的车辆再识别结果。

CN 110399828 A

权　利　要　求　书

1/2页

1.一种基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于包括以下步骤：

将车辆图像数据集作为输入数据，通过共享层输出处理后的特征图集；所述特征图集经过三个不同的流，分别从度量、视觉、属性三个角度进行分类；将三个分类结果进行联合学习实现车辆再识别；其中，所述特征图集经过三个不同的流，分别从度量、视觉、属性三个角度进行分类具体为：

基于簇的三元组流分类：从度量的角度，将所述特征图集映射到欧几里德空间形成簇，进行边界参数设置和在线三元组采样，基于设置后的边界参数和三元损失函数学习，进行分类；

基于互补学习的外观流分类：从视觉的角度，对所述特征图集提取全局特征，通过两个分支来学习互补，以得到对车辆再识别有用的区域信息，进行分类；

以及基于车辆属性的属性流分类：从属性的角度，对所述特征图集提取车辆的属性，进行分类。

2.根据权利要求1所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

所述作为输入数据的车辆图像数据集是将在城市中真实的监控场景中捕获的同一辆车的多张图像作为正集，其他不同车辆的图像作为负集；将正集和负集作为所述共享层的输入。

3.根据权利要求2所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

定义三元损失函数：

设{Xi}为一系列三元组单元，中，

为所述三元组单元中给定的三个样本点，其

为属于不

为正集中同一车辆的正例对图像，即它们具有相同的车辆ID，

同车辆的负例对图像，即它们具有不同的车辆ID；

f(xi)表示被查询图像的特征表示；

表示所述正例图像的特征表示；为所述负例图像的特征表示；

所述三元损失函数具体表示为：

其中，W表示深度卷积神经网络模型的参数，α为边界参数。

4.根据权利要求3所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

2

CN 110399828 A

权　利　要　求　书

2/2页

所述边界参数设置为对正例对和负例对之间的最小边界α进行设置，具体为：对映射到欧几里德空间中的点采用k均值聚类算法进行聚类，形成k个簇，其中，k为所述特征图集中车辆ID的数量；

根据任意两个簇的簇中心点之间的距离与这两个簇的“半径”的差确定三元损失函数中的边界参数α，其中，所述参数α随着网络迭代次数而动态变化；

其中，所述簇的“半径”为该簇中心点到该簇中最远的点的距离。

5.根据权利要求3所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

所述在线三元组采样的具体方法为：首先采样两个聚好的簇，在这两个簇中各采样一个点，定义其中一个点为anchor，另一个点为负例，然后在所述anchor所在的簇中再采样一个点作为正例，所述anchor、所述正例和所述负例形成了一个三元组；

固定所述anchor和所述负例不变，从所述anchor所在的簇中随机选择一个点作为所述正例，这样就形成了多个三元组；

通过三元损失函数，判断所述三元组是否为正确的三元组，即判断所述三元组是否对反向传播中参数的调整有贡献。

6.根据权利要求1所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

所述两个不同的分支，其中，一个分支通过一个池化Pooling层和两个全连接FC层进行车辆分类，鼓励网络定位和集中在具有判别性的一些区域；另一个分支通过一个批处理归一化BN层，一个池化Pooling层，一个全连接FC层进行车辆分类，增加和上一分支不同的区域的可见性，增加分类效果，防止过拟合；

所述两个分支产生全局特征很好的互补，有效降低分类损失，对基于簇的三元组流能够起到补充作用，提高识别准确率。

7.根据权利要求1所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

所述基于车辆属性的属性流分类具体为：

是对所述特征图集通过深度神经网络模型进行属性特征提取，所述属性流为其余两个流的补充，使识别准确率最大化。

8.根据权利要求7所述的基于多角度的深度卷积神经网络的车辆再识别方法，其特征在于：

所述深度神经网络模型是通过一个池化Pooling层，一个全局平均池化GAP层对车辆进行分类。

3

CN 110399828 A

说　明　书

1/6页

一种基于多角度的深度卷积神经网络的车辆再识别方法

技术领域

[0001]本发明涉及一种在数据库中搜索包含由多个摄像机捕获的同一车辆的图像， 尤其是提供了一种基于多角度的深度卷积神经网络的车辆再识别方法；属于在公 共安全、大规模监控图像和视频数据库中的车辆搜索和再识别技术领域。

背景技术

[0002]监控摄像头在公共安全领域的使用呈爆炸式增长，而车辆作为城市监控中的 重要对象，在检测、跟踪、分类、验证等大量与车辆相关的任务中引起了广泛的 关注。车辆再识别是找出与查询图像包含同一车辆的其他摄像机所捕获的图像或 同一摄像头下不同光照、视角等情况下的车辆。通过车辆再识别，目标车辆可以 跨多个摄像头自动发现、定位和跟踪，在日益增多的城市监控视频自动分析中起 着重要作用，对于智能交通和智慧城市的应用也至关重要。它不仅面临着多摄像 头下车辆之间巨大的类内差异和类间细微差异的挑战，而且也存在着由车辆的各 种姿态、多样的光照、复杂的环境等因素造成的困难。因此，车辆再识别问题一 直受到国内外研究学者的关注。[0003]传统上，通过多个线索和/或传感器数据的组合来解决车辆再识别问题，例 如通过时间和无线磁传感器。但是，这些方法要么需要额外的硬件成本，要么对 变幻无常的环境敏感。此外，包含车辆唯一ID的车牌是一条重要线索，因此对 车牌相关技术进行了深入研究。但是，特别是在犯罪情况下，车牌可能被故意遮 挡、摘除甚至伪造。因此，纯粹基于外观的车辆再识别方法具有实用价值和研究 意义。常用的目标再识别特征包括颜色或纹理直方图、局部二值模式(LBP)、 尺度不变特征变换(SIFT)等，并且其在人脸或人的再识别问题中已经取得很好 的效果。在车辆再识别问题中，提取对不同车辆具有区分性和对视角、光照具有 鲁棒性的描述特征，利用这些提取的特征来直接或间接度量车辆图像之间的相似 度。例如将HSV颜色直方图、RGB颜色直方图和LBP特征进行组合；或提取 图像的HSV、RGB、YCbCr颜色直方图和Schinidt、Gabor纹理特征进行识别等。 目标特征匹配法原理较为简单，但对光照、视角的变化没有很好的鲁棒性。

[0004]车辆再识别问题也可以被转化为计算目标图像和候选图像之间的距离度量 问题。度量常用的距离包括欧式距离、马氏距离、余弦距离等。近两年，深度学 习也是车辆再识别问题中常用的方法。例如训练一种多层的卷积神经网络同时提 取车辆图像的特征和相应的相似性度量函数学习。基于深度学习的车辆再识别不 需要人工提取车辆的特征，而是运用神经网络模型对大量车辆图像进行训练。但 训练的复杂度较大，如果样本数量较少又会存在过拟合问题。

发明内容

[0005]为解决以上问题，本发明的目的在于提供一种基于多角度的深度卷积神经网 络的车辆再识别方法，该方法采用基于聚类的动态参数来改进三元损失函数，利 用提出的基于簇的三元采样方法在线筛选三元组，形成基于簇的三元组流；同时， 实现外观流和属性

4

CN 110399828 A

说　明　书

2/6页

流的特征学习；最后联合三种流进行融合，完成车辆再识别。 本发明最大化地提高了车辆再识别的准确率。

[0006]本发明提供的一种基于多角度的深度卷积神经网络的车辆再识别方法，技术 方案如下：

[0007]将车辆图像数据集作为输入通过共享层输出处理后特征图集；所述特征图集 经过三个不同的流，分别从度量、视觉、属性三个角度进行分类；将三个分类结 果进行联合学习实现车辆再识别。

[0008]所述输入是将在城市中真实的监控场景中捕获的同一车辆的多张图像作为 正集，其他不同车辆的图像作为负集，将正集和负集作为所述共享层的输入；其 中，车辆图像具有车辆ID、颜色、类型、边界框注释。[0009]其中，所述特征图集经过三个不同的流，分别从度量、视觉、属性三个角度 进行分类具体为：基于簇的三元组流分类：从度量的角度，将所述特征图集映射 到欧几里德空间形成簇，进行边界参数设置和在线三元组采样，基于设置的边界 参数和三元损失函数学习进行分类；基于互补学习的外观流分类：从视觉的角度， 对所述特征图集提取全局特征，通过两个分支来学习互补，以得到对车辆再识别 有用的区域信息，进行分类；以及基于车辆属性的属性流分类：从属性的角度， 对所述特征图集提取车辆的属性，进行分类。

[0010]

定义三元损失函数：设{Xi}为一系列三元组单元，为所述三元组 单元

中给定的三个样本点，其中车辆ID，

为正集中同一车辆的正例对图像，即它 们具有相同的

为属于不同车辆的负例对图像，即它们具有不同 的车辆ID；f(xi)表示被

表示所述正例图像的特征 表示，

为所述负例图像的

查询图像的特征表示，

特征表示。

[0011]所述三元损失函数具体表示为：

[0012]

其中，W表示深度卷积神经网络模型的参数，α表示边界参数。

[0014]所述边界参数设置为对正例对和负例对之间的最小边界α进行设置，具体 为：对映射到欧几里德空间中的点采用k均值聚类算法进行聚类，形成k个簇， 每个车辆ID作为一个类，其中，k为所述正集和负集图像中车辆ID的数量；根 据任意两个簇的簇中心点之间的距离与这两个簇的“半径”的差确定三元损失函 数中的参数α，所述α表示所述正例对和所述负例对之间的边界，即衡量车辆ID 相同的图像对与车辆ID不同的图像对之间差距的大小，其中所述参数α是一个 动态值，随着网络迭代次数而动态变化。[0015]其中，所述簇的“半径”为该簇中心点到该簇中最远的点的距离。[0016]所述在线三元组采样的具体方法为：首先采样两个聚好的簇，在这两个簇中 各采样一个点，定义其中一个点为anchor，另一个点为负例，然后在所述anchor 所在的簇中再采样一个点作为正例，这样就形成了一个三元组；固定所述anchor 和所述负例不变，从所

5

[0013]

CN 110399828 A

说　明　书

3/6页

述anchor所在的簇中随机选择一个点作为所述正例，这 样就形成了多个三元组；当采样的簇中有一个簇中只有一个孤立点时，该点作为 负例，当采样的两个簇均为孤立点时，舍弃；通过三元损失函数，判断所生成的 三元组是否为正确的三元组，即判断该三元组是否对反向传播中参数的调整有贡 献。

[0017]基于簇的动态距离来进行三元组采样，以消除传统三元损失存在的冗余性和 误导性问题，同时解决区分不同车辆类的问题，可以有效地对网络进行迭代训练， 提高车辆再识别的准确率。

[0018]本发明的积极效果在于：

[0019]在三元损失函数衡量相似度重要指标的设定中，提出了一种动态的方式来合 理的设置边界参数α，而非像已有方法一样将该参数预定义为常数。在网络训练 过程中，提出基于聚类的三元组生成方法代替了三元组的随机采样方法，同时， 设计了互补学习的外观流分类模型和基于车辆属性的属性流分类模型。本发明既 很好的区分了不同车辆模型之间的差异(即类间差异)，又保证了相同车辆模型 中不同车辆之间的区分(即类内差异)。使用批处理模式对网络进行训练。在每 次迭代中，只生成一小部分三元组，利用这些三元组计算梯度，然后更新深度神 经网络模型的参数。本发明中特征提取组件和距离度量组件都包含在深度卷积网 络中，从互补学习的全局特征、车辆属性和基于簇的三元采样得到的三元组中学 习图像的表示。本发明纠正了随机三元组采样带来的冗余性和误导性问题，有效 地缓解了现有方法不能很好区分相似图像或网络不收敛的问题，在缩减运算时间 的同时，也显著地提高了识别率，获得更准确的车辆再识别结果。附图说明

[0020]图1为车辆再识别任务的示意图；

[0021]图2为车辆再识别数据集VeRi的图像展示，其中，(a)是训练集中车辆图 像数据的示例；(b)是测试集中车辆图像数据的示例；

[0022]图3为本发明基于多角度的深度卷积神经网络的车辆再识别的框架图；[0023]图4为本发明中基于簇的三元组采样与三元损失学习示意图。

具体实施方式

[0024]下面将结合附图对本发明的具体实施方式作更详细地描述，以使本发明技 术方案更易于理解和掌握，以下内容仅为本发明较好的具体实施方法，但本发明 的保护范围并不局限于此，本发明还可以有其他多种具体实施方式，任何熟悉本 技术领域的技术人员在本发明揭露的同等替换或等效变换，均涵盖在本发明要求 保护的范围之内。[0025]实施例1

[0026]如附图1所示直观地表示了车辆再识别任务的含义，车辆再识别的本质是 目标的再识别，是从一个数据集中查找出与指定的目标图像属于同一目标的图像 样本。即车辆再识别是对指定的某个车辆图像，在多个监控视频帧画面中匹配并 查找出与该车辆为同一车辆的过程。它能很好地区分在人类视觉看来，可能会由 于光照、角度等问题感觉上并非同一辆车，但实际上为同一辆车。

[0027]本发明在VeRi数据集下进行车辆再识别，将本实例下的样本尺寸调整为大 小为

6

CN 110399828 A

说　明　书

4/6页

128×128像素。[0028]数据集：如附图2所示，需要训练数据和测试数据来进行车辆再识别，如图 2(a)给出了训练集中的一些示例，图2(b)所示为测试集中的一些示例。用 于车辆再识别的车辆图像来源于VeRi数据集，该数据集是从现实世界城市监控 场景中收集的，是一个大规模的车辆再识别基准数据集。为了方便，从中选取正 例的图像数、负例的图像数均为5张，Batch-size设置为8，所以在每一次迭代 训练时，需要输入8×(5+5)＝80张图像。[0029]车辆再识别的框架模型如附图3所示，包括输入层、共享层、三个不同的流 三大部分。基于多角度的深度卷积神经网络的车辆再识别方法的框架模型由在城 市中真实的监控场景中捕获的正、负集车辆图像作为输入。共享层包含5层，其 中，第一层和第二层为Conv+ReLU+LRN+Pooling(Conv表示卷积层，ReLU为 激活函数，LRN是局部响应归一化层)；第三、四、五层为Conv+ReLU。三个 不同的流分别为基于簇的三元组流、基于互补学习的外观流和基于车辆属性的属 性流。

[0030]基于簇的三元组流将通过共享层得到的特征图经过L2正则化和一个全连接 FC层，期望学习从车辆图像到欧几里德空间的映射，所提出的基于聚类的三元 组采样和动态边界距离学习计算距离和提供三元组损失约束以优化网络。基于互 补学习的外观流将通过共享层得到的特征图分别馈给两个不同的分支来学习互 补的全局特征。基于车辆属性的属性流将通过共享层得到的特征图再经过池化、 全局平均池化GAP操作来实现。[0031]外观流具有两个分支，一个分支通过一个池化Pooling层，两个全连接FC 层使用车辆ID进行训练，鼓励网络定位和集中在具有判别性的一些区域；另一 个分支通过一个批处理归一化BN层，一个池化Pooling层，一个全连接FC层 进行特征学习，激活与上一分支不同的车辆区域。两个分支形成互补全局特征， 综合对车辆进行识别，增加其他区域的可见性，增加分类效果，防止过拟合，有 效降低分类损失，对基于簇的三元组流能够起到补充作用，提高识别准确率。其 中，批处理归一化BN层的插入一方面对网络初始化要求不那么敏感，可以提高 网络的泛化能力，另一方面使网络训练速度快，收敛过程加快。[0032]属性流通过一个池化Pooling层，一个全局平均池化GAP层，使用车辆属 性标签对网络进行优化。这里用全局平均池化GAP层来代替全连接FC层，不 仅可以减少参数量，防止过拟合，而且可以精确定位车辆的判别区域，作为其他 两个流的补充。因为现有的数据集中均带有颜色、类型、模型等注释，而这些车 辆固有的属性对视点、光照、背景等复杂变化具有很强的鲁棒性。[0033]其中，共享层、外观流和属性流中的池化Pooling层均采用最大池化下采样。[0034]三个不同的流都受到单个分类任务的训练，之后度量、视觉、属性三个角度 的联合学习实现车辆再识别。其中，联合学习是通过将三个流的FC输出堆叠连 接，然后通过两个全连接FC层实现的。在这三个不同的任务中对网络进行优化， 总体目标函数可以表示为：

[0035]L(W)＝λλλ1lc_tri+2lapp+3latt，[0036]其中，W表示深度神经网络模型参数。λλλ 三元组c_tri、app和att分别表示基于簇的流、基于互补学习的外观流和基于车辆属性的属性流的损失函数。λλλ1、2和3表示相对于损失的权重。

[0037]其中，基于簇的三元组流的损失函数与所述三元损失函数表达形式相同。基 于互

7

CN 110399828 A

说　明　书

5/6页

补学习的外观流和基于车辆属性的属性流的损失函数均采用交叉熵损失，其 具体表示为：

[0038][0039]

其中，n表示训练集中一个batch中的样本数量。y(i)为样本的真实标签值， 

为

深度神经网络输出的预测概率值。

[0040]附图4直观地显示了三元组的一次采样过程，并给出三元损失学习过程。一 个三元组由anchor、正例、负例三个样本组成。利用动态距离学习的三元损失函 数判断所生成的三元组是否为正确的三元组。其中，如果anchor与正例之间的 距离加上边界参数距离α大于anchor与负例之间的距离时，三元损失函数可以 很容易地检测到异常的距离关系，因此，这个卷积神经网络在反向传播学习阶段， 会通过梯度下降法修正网络参数，属于正确的三元组。如果anchor与正例之间 的距离加上边界参数距离α小于等于anchor与负例之间的距离时，三元损失函 数为零，因此，卷积神经网络在反向传播学习阶段，会忽视这个三元组，即该三 元组为不正确的三元组。固定anchor和负例不变，从anchor所在的簇中随机采 样一个点作为正例，这样就可以形成多个三元组，然后利用动态距离学习的三元 损失函数进行距离比较。根据上述步骤，可以得到多组满足要求的三元组。

[0041]本发明中基于簇的三元组采样方法可以取得多组正确的三元组，这样损失函 数就由多个样本来定义，而不止传统的三个。在三元损失函数反向传播中，anchor 和正例之间的距离被越拉越近，而anchor与负例之间的距离被越推越远。[0042]测试例1

[0043]本发明通过深度卷积神经网络进行基于聚类的动态距离驱动特征学习框架， 用于车辆再识别。为了避免三元组损失较易趋于零导致不能很好的区分相似图 像，或三元组损失很难趋于零导致网络不收敛，采用动态的方式合理的设置三元 组损失参数，而非像已有方法始终将其预定义为常数。为了纠正随机三元组采样 带来的负例误导性问题，设计了一种基于簇的在线三元组采样方法。为了最大化 车辆再识别准确率，设计了互补学习的外观流和具有强鲁棒性的属性流。本发明 提出的的车辆再识别方式在减少运算时间的同时，匹配率也显著提高。

[0044]为了说明本发明的技术效果，采用VeRi数据集中的测试子集(image_train) 和查询集(image_query)来验证本发明的有效性。其中，查询集表示待识别车 辆的集合，测试子集为图库集。VeRi数据集中的测试子集包含200个不同车辆 ID的11579张图像，查询集包含167个不同车辆ID的1678张图像。[0045]共享层包含5层，其中，第一层和第二层中的Conv层的滤波器大小为5×5， 步长为2。第三、四、五层的滤波器大小为3×3，步长为1。Conv后跟的激活函 数均使用ReLU。基于簇的三元组流中的FC层的长度为1024。外观流中第一个 分支中的两个FC层的长度均为1024，第二个分支中的FC层的长度为1024。三 个不同流的损失权重均设置为1。[0046]利用模式识别领域，如人脸识别、行人识别等任务中广泛使用的平均精度 (mean average precision，mAP)、Top-1和Top-5来作为评估本发明的性能指标。[0047]其中，平均精度(mAP)是综合衡量准确率(Precision)和召回率(Recall) 的指标。这里举例说明其计算过程。假设待识别车辆A在图库集中出现了5次， 即有5个同一辆车的

8

CN 110399828 A

说　明　书

6/6页

样本，且与车辆A属于同一辆车的样本图像分别排在第1、 2、5、8位。对于车辆A来说，平均准确率AP为：

[0048]AP＝(1/1+2/2+3/5+4/8)/4＝0.77，[0049]待识别车辆B在图库集中出现了3次，即有3个同一辆车的样本，与车辆B 属于同一辆车的样本图像分别排在第2、4、9位。对于车辆B来说，平均准确 率AP为：[0050]AP＝(1/2+2/4+3/9)/3＝0.44，[0051]则，mAP＝(0.77+0.44)/2＝0.61。[0052]Top-1表示返回来的结果中，第一张图片即为正确答案的比率。[0053]Top-5表示返回来的结果中，前五张图片中包含正确答案的比率。[0054]表1为在VeRi数据集上，基于VGG模型的基准方法、基于VGG模型而使 用随机三元组采样的标准三元组损失(Triplet loss)和本发明中三个不同的流渐 进式加入对同一组车辆图片的识别结果。其中，Share、T、Ap、At分别代表本 发明中的共享层、所提出的基于簇的三元组流、外观流和属性流。

[0055]

从表1中可以看出，本发明有助于实现比随机三元组采样的标准三元组损失 更大的改进。总体而言，使用本发明的车辆再识别方法获得的图像mAP和Top-1、 Top-5均高于使用标准三元组损失算法的结果。本发明提出的在线三元组采样方 法有助于实现比随机采样方法更好的效果，并且仅使用改进的三元组损失，即仅 有基于簇的三元组流(Share+T)已经优于VGG+Triplet Loss，并且三个不同流 的组合(Share+T+Ap+At)取得的效果更好。这些结果证明了本发明在车辆再识 别中的有效性。

[0056]

9

CN 110399828 A

说　明　书　附　图

1/2页

图1

图2(a)

10

CN 110399828 A

说　明　书　附　图

2/2页

图2(b)

图3

图4

11