WO2018196396A1 - 基于一致性约束特征学习的行人再识别方法 - Google Patents
基于一致性约束特征学习的行人再识别方法 Download PDFInfo
- Publication number
- WO2018196396A1 WO2018196396A1 PCT/CN2017/115769 CN2017115769W WO2018196396A1 WO 2018196396 A1 WO2018196396 A1 WO 2018196396A1 CN 2017115769 W CN2017115769 W CN 2017115769W WO 2018196396 A1 WO2018196396 A1 WO 2018196396A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pedestrian
- pedestrians
- camera
- matrix
- person
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Definitions
- the invention relates to the technical field of digital image processing, and in particular to a pedestrian re-identification method based on consistency constraint feature learning.
- Person Re-Identification is to match the collected pedestrians from the perspective of different cameras to determine whether different pictures belong to the same person.
- Pedestrian re-identification has a wide range of applications and broad prospects in the field of surveillance security, but because the collected pedestrian pictures have great changes in size, illumination, perspective, posture, etc., although many researchers have participated in recent years. It has not been well solved in related research.
- the pedestrian re-identification method is mainly based on pairwise re-identification, that is, whether only two pictures taken at the same time are considered to belong to the same person, and a similarity value is obtained.
- Current methods can be divided into two main categories: image-based pedestrian re-identification and video-based pedestrian re-identification.
- the image-based approach focuses on finding a feature with sufficient resolution and a better metric to improve the performance of the pedestrian recognition system.
- Commonly used features for pedestrian recognition include color histogram features, color descriptors, local binary mode (LBP), size invariant feature transformation, and dimensional invariant local ternary mode. These features have improved accuracy in recognition. Very important role.
- metric learning is also an important part of enhancing system performance, including local adaptive decision function (LADF), cross-view squared discriminant analysis (XQDA), probability-dependent distance comparison (PRDC), local fisher discrimination analysis (LFDA) and its Methods such as nuclear function transformation (k-LFDA).
- LADF local adaptive decision function
- XQDA cross-view squared discriminant analysis
- PRDC probability-dependent distance comparison
- LFDA local fisher discrimination analysis
- k-LFDA nuclear function transformation
- the video-based pedestrian re-identification method focuses on how to effectively model pedestrian video sequences, and proposes new matching techniques to reduce the effects of camera lens distortion and illumination changes. Representative methods are conditional random fields, spatiotemporal feature descriptors, video sorting functions, and push-pull restricted matching.
- a cross-input neighborhood difference method is used to extract the feature relationship across the camera view;
- a depth filter matching neural network (FPNN) is used to simultaneously solve the alignment error, luminosity and photographic geometric transformation, camera distortion and background region interference, etc. problem;
- a structure including a shared network and two non-shared sub-networks, which can simultaneously extract features of a single picture and feature representations across pictures;
- the above methods are based on a pair of cameras for matching, which is quite different from the camera network environment composed of hundreds of cameras in real life.
- all methods use the pairwise comparison method, only consider two pictures at a time, so that the structural features under the camera are not well utilized to help the matching, there will be conflicting matching situations, such as an example in Figure 1.
- pedestrians P1 and P2, P1 and P3 are considered to be the same person, and P2 and P3 are considered to be different people, resulting in low accuracy of pedestrian recognition.
- the first object of the present invention is to propose a pedestrian re-identification method based on consistency constraint feature learning with high accuracy of pedestrian recognition, adapting to the application scenario of matching under a large camera network, and eliminating contradictory matching errors. .
- a pedestrian re-identification method based on consistency constraint feature learning includes the following steps: S1: acquiring a pedestrian picture through a camera network, and marking a training set; setting parameters, and initializing a convolutional neural network, wherein the camera network is constructed a plurality of camera pairs; S2: sampling a subset of pictures from the database, extracting feature information using the convolutional neural network, and calculating a similarity matrix of all pedestrians according to the feature information; S3: according to a preset objective function and The preset gradient descent method solves the optimal match of the relationship matrix of all the pedestrians, wherein the relationship matrix of all the pedestrians is represented by the binary value as the same pedestrian, and the preset gradient descent algorithm adopts the binary constraint and the row and column constraint And a triangular constraint to obtain an optimal matching of the relationship matrix of all the pedestrians; S4: obtaining a gradient according to the deviation between the optimal matching of the relationship matrix of all the pedestrians and the relationship matrix of all the pedestrians obtained according to the actual situation Back
- the step S3 further includes: introducing a preset loss function to shorten an optimal match between the relationship matrix of all the pedestrians and a deviation between the relationship matrices of all the pedestrians obtained according to actual conditions.
- step S3 further includes:
- C is the similarity matrix and H is the relationship matrix.
- C is the similarity matrix and H is the relationship matrix.
- the preset loss function is used as the supervised signal, and the back propagation is performed, and the gradient descent method is used to solve the specific direct derivative as follows:
- the pedestrian re-identification method based on consistency constraint feature learning according to the present invention has the following advantages:
- the pedestrian re-recognition method based on consistency constraint feature learning first obtains a picture taken by a camera, and then frames the pedestrian by the existing method.
- the neural network is used to extract the feature of the pedestrian image, and the similarity matrix is established for all the pedestrians between the two cameras, and then the gradient descent algorithm of the present invention is used to solve the optimal non-rushing. Sudden match. Experimental results show that this method greatly improves performance.
- a second object of the present invention is to provide a device that can adapt to a matching application scenario under a large camera network and eliminate conflicting matching errors.
- An apparatus comprising: one or more processors; a memory; one or more programs, the one or more programs being stored in the memory, when executed by the one or more processors, performing the above The pedestrian re-identification method based on consistency constraint feature learning described in the embodiment.
- the device and the pedestrian re-identification method based on the consistency constraint feature learning described above have the same advantages as the prior art, and are not described herein again.
- a third object of the present invention is to provide a non-volatile computer storage medium that can accommodate application scenarios for matching under a large camera network and eliminate conflicting matching errors.
- a non-volatile computer storage medium storing one or more programs that, when executed by a device, cause the device to perform a consensus based on the above-described embodiments of the present invention Pedestrian re-identification method for sexual constraint feature learning.
- the non-volatile computer storage medium has the same advantages as the prior art based on the consistency-restricted feature learning-based pedestrian re-identification method, and details are not described herein again.
- FIG. 1 is a schematic diagram of pedestrian recognition in the related art
- FIG. 2 is a flowchart of a pedestrian re-identification method based on consistency constraint feature learning according to an embodiment of the present invention
- FIG. 3 is a flow chart of an example of a pedestrian re-identification method based on consistency constraint feature learning of the present invention.
- the pedestrian re-identification method based on consistency constraint feature learning according to an embodiment of the present invention includes the following steps:
- S1 Obtain a pedestrian picture through the camera network, and mark the training set; set parameters, and initialize the convolutional neural network Network, where the camera network builds multiple camera pairs.
- pedestrian information will be obtained from the pedestrian picture using DPM.
- S2 A subset of pictures is sampled from the database, and the feature information is extracted by using a convolutional neural network, and the similarity matrix of all pedestrians is calculated according to the feature information.
- S3 Solving the optimal matching of the relationship matrix of all pedestrians according to the preset objective function and the preset gradient descent method, wherein the relationship matrix of all the pedestrians is represented by the binary value as the same pedestrian, and the preset gradient descent algorithm passes the binary value. Constraints, row and column constraints, and triangular constraints obtain the optimal match of the relationship matrix of all pedestrians;
- step S3 further includes:
- a preset loss function is introduced to shorten the deviation between the optimal matching of the relationship matrix of all pedestrians and the relationship matrix of all pedestrians obtained according to the actual situation.
- step S3 further includes:
- C is the similarity matrix and H is the relationship matrix.
- C is the similarity matrix and H is the relationship matrix.
- the preset loss function is used as the supervised signal, and the back propagation is performed.
- the gradient descent method is used to solve the problem.
- the specific direct derivative is as follows:
- Steps S2-S4 are repeated until the user's needs are met.
- FIG. 3 is a flow chart of an example of a pedestrian re-identification method based on consistency constraint feature learning of the present invention.
- a network with m cameras there are a total of m(m-1)/2 possible camera pairs, and two matrices are constructed for each camera pair: a similarity matrix C and a relationship matrix H.
- Each element of the similarity matrix C records the similarity of two people in the corresponding camera pair, and the similarity is a value between 0-1.
- each element of the relationship matrix H is 1 or 0, representing whether or not the same person, To record whether the i-th person in camera a and the j-th person in camera b are the same person.
- the present invention cannot consider the similarity between two pictures as in other methods, but needs to consider the global similarity at the same time, and hopes to maximize the global similarity.
- the H matrix needs to have some constraints, such as each element of H can only be 0 or 1, and each row, each column has only one, and the rest are 0, also consider the constraints of a loop.
- the present invention proposes a method of solving the optimal matching matrix H using the gradient descent method.
- H is binary, for the gradient descent solution, it is first continuous, and each element is initialized to 1/n (n is the number of people), and then the following objective function is applied to converge to the optimal matching result.
- the first item is a binary constraint. I hope that the H matrix is as binary as possible, as follows:
- the second term is the row and column constraint. I hope that each row and column of H has only one and the rest is 0. Therefore, the following objective function is proposed to ensure that the sum of each row is 1:
- embodiments of the present invention disclose an apparatus comprising: one or more processors; a memory; one or more programs, one or more programs stored in the memory, when processed by one or more
- the pedestrian re-identification method based on the consistency constraint feature learning of the above embodiment is executed.
- the device of the present invention first obtains a picture taken by the camera, and then frames the pedestrian by the existing method. Using neural networks for pedestrians The image is feature extracted, a similarity matrix is established for all pedestrians between the two cameras, and then the gradient descent algorithm of the present invention is used to solve the optimal collision-free matching. Experimental results show that this method greatly improves performance.
- embodiments of the present invention disclose a non-volatile computer storage medium storing one or more programs that cause a device when one or more programs are executed by one device
- a pedestrian re-identification method based on consistency constraint feature learning of the above embodiment of the present invention is performed.
- the device of the present invention first obtains a picture taken by the camera, and then frames the pedestrian by the existing method.
- the neural network is used to extract the feature of the pedestrian image, and the similarity matrix is established for all the pedestrians between the two cameras, and then the gradient descent algorithm of the present invention is used to solve the optimal conflict-free matching. Experimental results show that this method greatly improves performance.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种基于一致性约束特征学习的行人再识别方法，包括：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，所述摄像头网络构建多个相机对（S1）；从数据库当中采样出一个图片子集，使用卷积神经网络提取特征信息，根据特征信息计算得到所有行人的相似度矩阵（S2）；根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配；根据所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差求出梯度反传，来根据梯度反转训练卷积神经网络（S4）；重复步骤S2-S4，直至满足用户需求（S5）。所述方法能够适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。
Description
相关申请的交叉引用
本申请要求清华大学于2017年04月24日提交的、发明名称为“基于一致性约束特征学习的行人再识别方法”的、中国专利申请号“201710272142.7”的优先权。
本发明涉及数字图像处理技术领域，具体涉及一种基于一致性约束特征学习的行人再识别方法。
行人再识别(Person Re-Identification)就是在不同的摄像机的视角下对采集的行人进行匹配，判断不同的图片是否属于同一个人。行人再识别在监控安防等领域有广泛的应用和广阔的前景，但是由于采集到的行人图片在尺寸、光照、视角、姿态等方面都有很大的变化，所以尽管近几年很多研究者参与到相关的研究当中，也一直没有被很好地解决。
现阶段的行人再识别方式主要都是基于对对匹配(pairwise re-identification)，也就是每次只考虑两张采集的图片是否属于同一个人，得到一个相似度的数值。当前的方法主要可以分为两类：基于图片的行人再识别和基于视频的行人再识别。基于图片的方法着重于寻找一种有足够分辨能力的特征和一种更优的度量方式来提升行人再识别系统的性能。行人再识别常用的特征有颜色直方图特征，颜色描述子，局部二值模式(LBP)，尺寸不变性特征变换和尺寸不变局部三值模式等等，这些特征在提升识别的准确率方面有着非常重要的作用。另一方面，度量学习也是增强系统性能的重要部分，包括局部自适应决策函数(LADF)，跨视角平方辨别分析(XQDA)，概率相关距离比较(PRDC)，局部fisher辨别分析(LFDA)及其核函数变换(k-LFDA)等方法。基于视频的行人再识别方法主要关注怎样对行人视频序列进行有效的建模，并且提出新的匹配技巧来减小摄像机镜头畸变和光照变化带来的影响。代表性的方法有条件随机场、时空特征描述子，视频排序函数和顶推受限匹配等等。
近年来深度学习在很多计算机视觉领域都取得了重大的突破，比如图片分类、物体检测、人脸识别等方向，并且也有越来越多的方法将深度学习应用到行人再识别当中，取得了很好的结果。相关技术中提出了以下方式：
一种孪生神经网络来进行行人再识别，使用了三组孪生卷积神经网络(S-CNN)来进
行深度特征学习；
一种基于交叉输入邻域差值的方法来提取跨摄像机视角的特征关系；一种深度滤波匹配神经网络(FPNN)来同时解决对齐误差、光度和摄影几何变换、摄像机畸变和背景区域干扰等等问题；
一种同时包含共享网络和两个非共享子网络的结构，可以同时提取单张图片的特征和跨图片的特征表达；
一种带阀门的孪生卷积升级网络结构，通过比较不同图片对之间的中层特征来选择性地对某些公共局部特征进行着重比较。
以上的方法都是基于一对摄像机进行匹配，这和现实生活当中由几百个摄像机组成的摄像机网络环境相比有比较大的不符。同时所有的方法都采用了pairwise的比较方式，每次只考虑两张图片，这样没有很好地利用摄像机下的结构特征来帮助匹配，会出现互相冲突的匹配情况，比如图1当中就是一个例子，其中行人P1与P2、P1和P3被认为是同一个人，而P2和P3被认为是不同的人，导致行人识别精度低。
发明内容
有鉴于此，本发明的第一个目的旨在提出一种行人识别精度高的基于一致性约束特征学习的行人再识别方法，适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于一致性约束特征学习的行人再识别方法，包括以下步骤：S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，其中，所述摄像头网络构建多个相机对；S2：从数据库当中采样出一个图片子集，使用所述卷积神经网络提取特征信息，根据所述特征信息计算得到所有行人的相似度矩阵；S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所述所有行人的关系矩阵通过二值表示是否为同一个行人，所述预设梯度下降算法中通过二值约束、行列约束和三角约束得到所述所有行人的关系矩阵的最优匹配；S4：根据所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差求出梯度反传，来根据所述梯度反转训练所述卷积神经网络；S5：重复步骤S2-S4，直至满足用户需求。
进一步地，使用DPM(Deformable Part Model，可变部件模型)从所述行人图片中将得到行人信息。
可选地，步骤S3中还包括：引入预设损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差。
进一步地，步骤S3进一步包括：
提供全局最优匹配目标和约束条件，得到以下公式：
其中，C表示相似度矩阵，H表示关系矩阵，
表示摄像头a中第i个人和摄像机b中第j个人的相似度，
表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人；
关系矩阵H的二值约束如下：
关系矩阵H的行列约束如下：
其中
三角约束如下：
后将全局最大目标函数和约束函数结合得到以下公式：
引入损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差：
以所述预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：
其中x代表提取的特征。
相对于现有技术，本发明所述的基于一致性约束特征学习的行人再识别方法具有以下优势：
本发明所述的基于一致性约束特征学习的行人再识别方法，首先获得摄像头拍摄到的图片，然后用现有的方法将行人框出。使用神经网络对行人图片进行特征提取，对两个摄像头之间的所有行人建立相似度矩阵，然后再使用本发明中的梯度下降算法求解最优无冲
突匹配。实验结果证明，该方法极大得提高了性能。
本发明的第二个目的在于提出一种设备，该设备可以适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。
为达到上述目的，本发明的技术方案是这样实现的：
一种设备，包括：一个或者多个处理器；存储器；一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述实施例所述的基于一致性约束特征学习的行人再识别方法。
所述的设备与上述的基于一致性约束特征学习的行人再识别方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的第三个目的在于提出一种非易失性计算机存储介质，该非易失性计算机存储介质可以适应大型摄像机网络下进行匹配的应用场景，消除互相矛盾的匹配误差。
为达到上述目的，本发明的技术方案是这样实现的：
一种非易失性计算机存储介质，所述计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行本发明上述实施例的基于一致性约束特征学习的行人再识别方法。
所述的非易失性计算机存储介质与上述的基于一致性约束特征学习的行人再识别方法相对于现有技术所具有的优势相同，在此不再赘述。
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术中行人再识别的示意图；
图2是本发明实施例的基于一致性约束特征学习的行人再识别方法的流程图；
图3是本发明基于一致性约束特征学习的行人再识别方法一个示例的流程图。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
图2是本发明一个实施例的基于一致性约束特征学习的行人再识别方法。如图2所示，本发明实施例的基于一致性约束特征学习的行人再识别方法，包括以下步骤：
S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网
络，其中，摄像头网络构建多个相机对。
在本发明的一个实施例中，使用DPM从行人图片中将得到行人信息。
S2：从数据库当中采样出一个图片子集，使用卷积神经网络提取特征信息，根据特征信息计算得到所有行人的相似度矩阵。
S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所有行人的关系矩阵通过二值表示是否为同一个行人，预设梯度下降算法中通过二值约束、行列约束和三角约束得到所有行人的关系矩阵的最优匹配；
在本发明的一个实施例中，步骤S3中还包括：
引入预设损失函数，以缩短所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差。
在本发明的一个实施例中，步骤S3进一步包括：
提供全局最优匹配目标和约束条件，得到以下公式：
其中，C表示相似度矩阵，H表示关系矩阵，
表示摄像头a中第i个人和摄像机b中第j个人的相似度，
表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人；
关系矩阵H的二值约束如下：
关系矩阵H的行列约束如下：
其中
三角约束如下：
后将全局最大目标函数和约束函数结合得到以下公式：
引入损失函数，以缩短所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差：
以预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：
其中x代表提取的特征。
S4：根据所有行人的关系矩阵的最优匹配和根据实际情况得到的所有行人的关系矩阵之间的偏差求出梯度反传，来根据梯度反转训练卷积神经网络；
S5：重复步骤S2-S4，直至满足用户需求。
为使本领域人员进一步理解本发明，将通过以下实施例进行详细说明。
图3是本发明基于一致性约束特征学习的行人再识别方法一个示例的流程图。如图3所示，对于一个有m个摄像头的网络，一共有m(m-1)/2个可能的相机对，对于每个相机对构建两个矩阵：相似度矩阵C和关系矩阵H。相似度矩阵C的每一个元素记录了相应摄像机对内两个人的相似度，相似度为一个0-1之间的数值，用
来记录摄像机a中第i个人和摄像机b中第j个人的相似度；关系矩阵H的每一个元素是1或者0，代表是或者不是同一个人，用
来记录摄像头a中第i个人和摄像头b中第j个人是否是同一个人。
为了达到整体最优的匹配效果，本发明不能像其他的方法一样仅仅考虑两个图片之间的相似度，而需要同时考虑全局的相似度，希望让全局的相似度最大。显示场景中的行人匹配时，通常不同摄像头会采集到不同的人，对于同一个人的采集仅有一部分相同。假设每个相机内的行人都是相同的。在这种情况下，为了保持结果的一致性，H矩阵需要有一些约束条件，比如H的每一个元素只能是0或者1，并且每一行、每一列有且仅有一个1，其余都为0，同时还要考虑一个环路的约束。如果认为P1和P2、P2和P3、P3和P4、P4和P5都是同一个人，为了保持识别的一致性，也应该认为P1和P5是同一个人。这样的环路约束可以分解为若干个三角形的约束，并且很容易证明只要所有的三角形约束满足，那么这样的环路约束也便满足。总结以上的全局最优匹配目标和约束条件，得到以下公式：
在给定C矩阵的情况下来求解H矩阵的方法有很多，比如采用的二值规划方法。但是这样的方法是NP难的，当摄像头数目和人数上升之后，复杂度很快过于高而不可解。为
了解决这个问题，本发明提出了一种使用梯度下降法来求解最优匹配矩阵H的方法。虽然H是二值的，但是为了梯度下降求解，首先将其连续化，并将每一个元素初始化为1/n(n为人数)，再施加以下目标函数使之收敛到最优匹配结果。
第一项是二值约束，希望H矩阵尽量是二值的，如下：
第二项是行列约束，希望H的每一行和每一列均只有一个1，其余是0，于是提出以下目标函数来保证每一个行的和为1：
其中
二值约束和行列约束一起保证了H的每一行和每一列均只有一个1，其余为0。
为了保证环路约束，将环路拆解为三角形，提出三角约束：
最后将全局最大目标函数和约束函数结合得到以下公式：
然后希望求解得到的最优匹配H和真正的结果H*尽量接近，引入损失函数：
以此作为监督信号，进行反向传播，使用梯度下降方法求解。具体的直接导数如下：
其中x代表了提取的特征。
对于不是所有人都出现在所有摄像头下的情况，对目标函数进行一些修改，如下：
此处省略梯度的求解。
进一步地，本发明的实施例公开了一种设备，该设备包括：一个或者多个处理器；存储器；一个或者多个程序，一个或者多个程序存储在存储器中，当被一个或者多个处理器执行时，执行上述实施例的基于一致性约束特征学习的行人再识别方法。本发明所述的设备，首先获得摄像头拍摄到的图片，然后用现有的方法将行人框出。使用神经网络对行人
图片进行特征提取，对两个摄像头之间的所有行人建立相似度矩阵，然后再使用本发明中的梯度下降算法求解最优无冲突匹配。实验结果证明，该方法极大得提高了性能。
进一步地，本发明的实施例公开了一种非易失性计算机存储介质，该非易失性计算机存储介质存储有一个或者多个程序，当一个或者多个程序被一个设备执行时，使得设备执行本发明上述实施例的基于一致性约束特征学习的行人再识别方法。本发明所述的设备，首先获得摄像头拍摄到的图片，然后用现有的方法将行人框出。使用神经网络对行人图片进行特征提取，对两个摄像头之间的所有行人建立相似度矩阵，然后再使用本发明中的梯度下降算法求解最优无冲突匹配。实验结果证明，该方法极大得提高了性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
- 一种基于一致性约束特征学习的行人再识别方法，其特征在于，包括以下步骤：S1：通过摄像头网络获取行人图片，并标注训练集；设定参数，并初始化卷积神经网络，其中，所述摄像头网络构建多个相机对；S2：从数据库当中采样出一个图片子集，使用所述卷积神经网络提取特征信息，根据所述特征信息计算得到所有行人的相似度矩阵；S3：根据预设目标函数和预设梯度下降方法求解所有行人的关系矩阵的最优匹配，其中，所述所有行人的关系矩阵通过二值表示是否为同一个行人，所述预设梯度下降算法中通过二值约束、行列约束和三角约束得到所述所有行人的关系矩阵的最优匹配；S4：根据所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差求出梯度反传，来根据所述梯度反转训练所述卷积神经网络；S5：重复步骤S2-S4，直至满足用户需求。
- 根据权利要求1所述的基于一致性约束特征学习的行人再识别方法，其特征在于，使用DPM(Deformable Part Model，可变部件模型)从所述行人图片中将得到行人信息。
- 根据权利要求1所述的基于一致性约束特征学习的行人再识别方法，其特征在于，步骤S3中还包括：引入预设损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差。
- 根据权利要求3所述的基于一致性约束特征学习的行人再识别方法，其特征在于，步骤S3进一步包括：提供全局最优匹配目标和约束条件，得到以下公式：
subject to：
其中，C表示相似度矩阵，H表示关系矩阵，表示摄像头a中第i个人和摄像机b中第j个人的相似度，
表示摄像头a中第i个人和摄像头b中第j个人是否是同一个人，1或者0表示是或者不是同一个人；
关系矩阵H的二值约束如下：
关系矩阵H的行列约束如下：
其中e＝[1,1,…，1]T三角约束如下：
后将全局最大目标函数和约束函数结合得到以下公式：
引入损失函数，以缩短所述所有行人的关系矩阵的最优匹配和根据实际情况得到的所述所有行人的关系矩阵之间的偏差：
以所述预设损失函数作为监督信号，进行反向传播，使用梯度下降方法求解，具体的直接导数如下：
其中x代表提取的特征。 - 一种设备，其特征在于，包括：一个或者多个处理器；存储器；一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时，执行如权利要求1-4任一项所述的基于一致性约束特征学习的行人再识别方法。
- 一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行如权利要求1-5任一项所述的基于一致性约束特征学习的行人再识别方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710272142.7 | 2017-04-24 | ||
| CN201710272142.7A CN107145900B (zh) | 2017-04-24 | 2017-04-24 | 基于一致性约束特征学习的行人再识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018196396A1 true WO2018196396A1 (zh) | 2018-11-01 |
Family
ID=59775351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2017/115769 WO2018196396A1 (zh) | 2017-04-24 | 2017-12-13 | 基于一致性约束特征学习的行人再识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107145900B (zh) |
| WO (1) | WO2018196396A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097032A (zh) * | 2019-05-15 | 2019-08-06 | 成都电科智达科技有限公司 | 一种基于深度学习的行人重识别方法 |
| CN110516787A (zh) * | 2019-07-15 | 2019-11-29 | 杭州电子科技大学 | 基于易分特征丢弃策略的深度学习网络正则化约束方法 |
| CN110728216A (zh) * | 2019-09-27 | 2020-01-24 | 西北工业大学 | 一种基于行人属性自适应学习的无监督行人再识别方法 |
| CN111079585A (zh) * | 2019-12-03 | 2020-04-28 | 浙江工商大学 | 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法 |
| CN111476189A (zh) * | 2020-04-14 | 2020-07-31 | 北京爱笔科技有限公司 | 一种身份识别方法和相关装置 |
| CN111506691A (zh) * | 2020-04-20 | 2020-08-07 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111695460A (zh) * | 2020-05-29 | 2020-09-22 | 天津师范大学 | 一种基于局部图卷积网络的行人再识别方法 |
| CN111814854A (zh) * | 2020-06-28 | 2020-10-23 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
| WO2021017316A1 (zh) * | 2019-07-30 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于残差网络的信息识别方法、装置和计算机设备 |
| CN113221671A (zh) * | 2021-04-22 | 2021-08-06 | 浙江大学 | 一种基于梯度和无线信号的环境无关的动作识别方法及系统 |
| CN113627497B (zh) * | 2021-07-27 | 2024-03-12 | 武汉大学 | 一种基于时空约束的跨摄像头行人轨迹匹配方法 |
| CN111506691B (zh) * | 2020-04-20 | 2024-05-31 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145900B (zh) * | 2017-04-24 | 2019-07-26 | 清华大学 | 基于一致性约束特征学习的行人再识别方法 |
| CN108268855B (zh) * | 2018-02-05 | 2020-09-22 | 北京信息科技大学 | 一种面向行人再识别的函数模型的优化方法及装置 |
| CN108388927B (zh) * | 2018-03-26 | 2021-10-29 | 西安电子科技大学 | 基于深度卷积孪生网络的小样本极化sar地物分类方法 |
| CN108764065B (zh) * | 2018-05-04 | 2020-12-08 | 华中科技大学 | 一种行人重识别特征融合辅助学习的方法 |
| CN108830236A (zh) * | 2018-06-21 | 2018-11-16 | 电子科技大学 | 一种基于深度特征的行人重识别方法 |
| CN109146058B (zh) * | 2018-07-27 | 2022-03-01 | 中国科学技术大学 | 具有变换不变能力且表达一致的卷积神经网络 |
| CN109190475B (zh) * | 2018-08-01 | 2021-09-14 | 中国计量大学 | 一种人脸识别网络与行人再识别网络协同训练方法 |
| CN109063649B (zh) * | 2018-08-03 | 2021-05-14 | 中国矿业大学 | 基于孪生行人对齐残差网络的行人重识别方法 |
| CN109117888A (zh) * | 2018-08-20 | 2019-01-01 | 北京旷视科技有限公司 | 目标对象识别方法及其神经网络生成方法以及装置 |
| CN109508787A (zh) * | 2018-10-16 | 2019-03-22 | 深圳大学 | 用于超声位移估计的神经网络模型训练方法及系统 |
| CN109977787B (zh) * | 2019-03-01 | 2021-03-02 | 北京工业大学 | 一种多视角的人体行为识别方法 |
| CN109948561B (zh) * | 2019-03-25 | 2019-11-08 | 广东石油化工学院 | 基于迁移网络的无监督图像视频行人重识别的方法及系统 |
| CN110427317A (zh) * | 2019-07-05 | 2019-11-08 | 深圳壹账通智能科技有限公司 | 一种相关值确定方法及装置 |
| US20210182663A1 (en) * | 2019-12-17 | 2021-06-17 | Sony Interactive Entertainment LLC | Methods and systems for defining emotional machines |
| CN111553474A (zh) * | 2019-12-19 | 2020-08-18 | 珠海大横琴科技发展有限公司 | 船只检测模型训练方法及基于无人机视频的船只跟踪方法 |
| CN111522988B (zh) * | 2020-05-29 | 2022-07-15 | 深圳市商汤科技有限公司 | 图像定位模型获取方法及相关装置 |
| CN111862216B (zh) * | 2020-07-29 | 2023-05-26 | 上海高仙自动化科技发展有限公司 | 计算机设备定位方法、装置、计算机设备和存储介质 |
| CN112132059B (zh) * | 2020-09-25 | 2021-04-20 | 中南民族大学 | 一种基于深度条件随机场的行人重识别方法和系统 |
| CN112784772B (zh) * | 2021-01-27 | 2022-05-27 | 浙江大学 | 一种基于对比学习的相机内有监督跨相机行人重识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
| CN106096568A (zh) * | 2016-06-21 | 2016-11-09 | 同济大学 | 一种基于cnn和卷积lstm网络的行人再识别方法 |
| CN107145900A (zh) * | 2017-04-24 | 2017-09-08 | 清华大学 | 基于一致性约束特征学习的行人再识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022237B (zh) * | 2016-05-13 | 2019-07-12 | 电子科技大学 | 一种端到端的卷积神经网络的行人检测方法 |
| CN106529442B (zh) * | 2016-10-26 | 2019-10-18 | 清华大学 | 一种行人识别方法和装置 |
-
2017
- 2017-04-24 CN CN201710272142.7A patent/CN107145900B/zh active Active
- 2017-12-13 WO PCT/CN2017/115769 patent/WO2018196396A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
| CN106096568A (zh) * | 2016-06-21 | 2016-11-09 | 同济大学 | 一种基于cnn和卷积lstm网络的行人再识别方法 |
| CN107145900A (zh) * | 2017-04-24 | 2017-09-08 | 清华大学 | 基于一致性约束特征学习的行人再识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| DAS, ABIR: "Consistent Re-identification in a Camera Network", ECCV, 31 December 2014 (2014-12-31), XP055527874 * |
| LIN, JI.: "Consistent-Aware Deep Learning for Person Re-identification in a Camera Network", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 9 November 2017 (2017-11-09), XP033249688, ISSN: 1063-6919 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097032A (zh) * | 2019-05-15 | 2019-08-06 | 成都电科智达科技有限公司 | 一种基于深度学习的行人重识别方法 |
| CN110097032B (zh) * | 2019-05-15 | 2023-09-08 | 成都电科智达科技有限公司 | 一种基于深度学习的行人重识别方法 |
| CN110516787A (zh) * | 2019-07-15 | 2019-11-29 | 杭州电子科技大学 | 基于易分特征丢弃策略的深度学习网络正则化约束方法 |
| CN110516787B (zh) * | 2019-07-15 | 2021-04-09 | 杭州电子科技大学 | 基于易分特征丢弃的网络正则化约束的行人重识别方法 |
| WO2021017316A1 (zh) * | 2019-07-30 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于残差网络的信息识别方法、装置和计算机设备 |
| CN110728216A (zh) * | 2019-09-27 | 2020-01-24 | 西北工业大学 | 一种基于行人属性自适应学习的无监督行人再识别方法 |
| CN111079585A (zh) * | 2019-12-03 | 2020-04-28 | 浙江工商大学 | 基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法 |
| CN111079585B (zh) * | 2019-12-03 | 2023-08-15 | 浙江工商大学 | 图像增强结合伪孪生卷积神经网络的行人再识别方法 |
| CN111476189A (zh) * | 2020-04-14 | 2020-07-31 | 北京爱笔科技有限公司 | 一种身份识别方法和相关装置 |
| CN111476189B (zh) * | 2020-04-14 | 2023-10-13 | 北京爱笔科技有限公司 | 一种身份识别方法和相关装置 |
| CN111506691A (zh) * | 2020-04-20 | 2020-08-07 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111506691B (zh) * | 2020-04-20 | 2024-05-31 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111695460B (zh) * | 2020-05-29 | 2023-04-21 | 天津师范大学 | 一种基于局部图卷积网络的行人再识别方法 |
| CN111695460A (zh) * | 2020-05-29 | 2020-09-22 | 天津师范大学 | 一种基于局部图卷积网络的行人再识别方法 |
| CN111814854B (zh) * | 2020-06-28 | 2023-07-28 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN111814854A (zh) * | 2020-06-28 | 2020-10-23 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
| CN113221671A (zh) * | 2021-04-22 | 2021-08-06 | 浙江大学 | 一种基于梯度和无线信号的环境无关的动作识别方法及系统 |
| CN113627497B (zh) * | 2021-07-27 | 2024-03-12 | 武汉大学 | 一种基于时空约束的跨摄像头行人轨迹匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107145900B (zh) | 2019-07-26 |
| CN107145900A (zh) | 2017-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018196396A1 (zh) | 基于一致性约束特征学习的行人再识别方法 | |
| WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| WO2022027986A1 (zh) | 基于跨模态行人重识别方法及装置 | |
| WO2017096753A1 (zh) | 人脸关键点跟踪方法、终端和非易失性计算机可读存储介质 | |
| Tu et al. | Deep transfer across domains for face antispoofing | |
| Chen et al. | Shape-Former: Bridging CNN and Transformer via ShapeConv for multimodal image matching | |
| KR20160101973A (ko) | 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법 | |
| US10331968B2 (en) | One shot color calibrated metric learning for object re-identification | |
| Puthea et al. | A review paper on attendance marking system based on face recognition | |
| CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
| Parde et al. | Face and image representation in deep CNN features | |
| WO2023123923A1 (zh) | 人体重识别方法、人体重识别装置、计算机设备及介质 | |
| Lan et al. | Robust multi-modality anchor graph-based label prediction for RGB-infrared tracking | |
| CN112686258A (zh) | 体检报告信息结构化方法、装置、可读存储介质和终端 | |
| Kucer et al. | Deeppatent: Large scale patent drawing recognition and retrieval | |
| CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
| Martinel et al. | Person re-identification via unsupervised transfer of learned visual representations | |
| Xia et al. | Face recognition and application of film and television actors based on Dlib | |
| Han et al. | Multiple human association between top and horizontal views by matching subjects' spatial distributions | |
| Zhao et al. | Neighbor similarity and soft-label adaptation for unsupervised cross-dataset person re-identification | |
| Zhang et al. | A deep neural network-based vehicle re-identification method for bridge load monitoring | |
| Fan et al. | Siamese graph convolution network for face sketch recognition: An application using graph structure for face photo-sketch recognition | |
| Jain et al. | A Feature-Based kinship verification technique using convolutional neural network | |
| Wang et al. | Semantic feature based multi-spectral saliency detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17906868 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17906868 Country of ref document: EP Kind code of ref document: A1 |