WO2019007004A1 - 用于行人重识别的图像特征提取方法 - Google Patents

用于行人重识别的图像特征提取方法 Download PDF

Info

Publication number
WO2019007004A1
WO2019007004A1 PCT/CN2017/118794 CN2017118794W WO2019007004A1 WO 2019007004 A1 WO2019007004 A1 WO 2019007004A1 CN 2017118794 W CN2017118794 W CN 2017118794W WO 2019007004 A1 WO2019007004 A1 WO 2019007004A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
feature extraction
pedestrian
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/118794
Other languages
English (en)
French (fr)
Inventor
王文敏
张奕豪
王荣刚
李革
董胜富
王振宇
李英
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to US16/622,586 priority Critical patent/US11238274B2/en
Publication of WO2019007004A1 publication Critical patent/WO2019007004A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the invention relates to computer vision and image processing technology, in particular to a method for extracting image robustness features for pedestrian recognition.
  • the existing traditional pedestrian recognition framework mainly consists of two parts: feature extraction and metric learning.
  • feature extraction and metric learning most of the current methods in the process of extracting image features ignore the influence of irrelevant background information, so that the extracted image features have more noise; secondly, in order to solve the change due to different shooting angles and pedestrian attitude
  • most of the methods adopt a non-exact matching strategy, using a specific way to fuse the features between different image blocks, the effect is quite significant, but also lose some of the spatial information inside the image, so that some of the On the image of relative position difference, the ability is greatly reduced.
  • the present invention provides a method for extracting image features for pedestrian recognition. Based on image color and texture features, a new aligned local descriptor is proposed and designed under an exact matching strategy.
  • the hierarchical global features complement each other to solve the problem of feature misalignment caused by pedestrian attitude changes, etc., and improve the accuracy of pedestrian recognition.
  • the principle of the present invention is to propose an aligned local descriptor and a hierarchical global feature extraction algorithm for pedestrian recognition.
  • the invention aims at the defects caused by the inexact matching strategy in the existing feature extraction method, proposes the alignment local descriptor based on the exact matching strategy, and proposes the hierarchical global feature in order to eliminate the influence of the irrelevant background, by aligning the local descriptors with Grading global feature extraction to improve the performance of pedestrian recognition.
  • the alignment local descriptor preserves the spatial information between the block and the block inside the image.
  • the affine transformation is used to process the original image, and the horizontal flip and cut including the original image are obtained.
  • the four images are changed, and by superimposing, only the image block features of the adjacent regions are subjected to a pooling operation to obtain an aligned local descriptor.
  • the global contour features of the pedestrian's overall contour region and its head, upper body and lower body are calculated respectively, and finally the component-level global features are integrated.
  • aligning local descriptors and hierarchical global features can help to solve the problem of attitude change and weakening the background.
  • the retained internal spatial information of the image also contributes to the improvement of pedestrian matching accuracy.
  • Aligning local descriptors is a feature proposed based on the exact matching strategy, that is, for the blocks inside the image, the corresponding color and texture features are extracted, the position information of the image block is retained, and the features of other blocks in the image are not merged. .
  • the original image is processed by affine transformation method, such as horizontal flip and horizontal shear, to obtain images of four different angles of the same image. expansion. Then, the four images are spatially superimposed together, and based on the features of the image block, the image block features of the same image region are subjected to a pooling operation as the final descriptor of the image block.
  • Hierarchical global features are proposed based on the complementary roles of local features.
  • the traditional global feature is to count the corresponding color and texture information for the whole image.
  • the extracted global features often contain a large amount of background information, and the spatial information is disordered. For images with large structural differences but statistical information, it is easy to cause errors.
  • the hierarchical global feature not only considers the influence of the background, but also groups the image blocks belonging to the pedestrian area according to the human body structure of the head, the upper body and the lower body, and further groups the upper body covering the important information, and the total three levels are divided, which enhances the overall situation.
  • the identification of features are proposed based on the complementary roles of local features.
  • An image feature extraction method performs pedestrian recognition by aligning local descriptor extraction and hierarchical global feature extraction; the alignment local descriptor extraction uses affine transformation to process the original image, and only image features of adjacent regions are processed. Performing a pooling operation to obtain an aligned local descriptor; the aligned local descriptor retains spatial information between the internal block and the block of the image; and the hierarchical global feature extraction classifies the positioned pedestrian region block by obtaining corresponding
  • the feature mean gets the global feature; it includes the following steps:
  • the present invention adopts a multi-scale Retinex algorithm to preprocess the image; when removing the background information, the foreground extraction method for performing saliency detection by the cellular automaton is used;
  • the color information uses three color space histograms of nRGB, Lab, and HSV, and the texture information uses a scale-invariant local three-valued mode (SILTP) statistical histogram.
  • SILTP scale-invariant local three-valued mode
  • Extracting the aligned local descriptors mainly includes the following steps:
  • the image blocks belonging to the pedestrian are classified according to three different levels;
  • step 4 according to the aligned local descriptor extracted in step 2) and the hierarchical global feature extracted in step 3), using the existing XQDA (Cross-view Quadratic Discriminant Analysis) method as the metric learning method, The similarity of the images is calculated, thereby performing pedestrian recognition.
  • XQDA Cross-view Quadratic Discriminant Analysis
  • the invention provides a pedestrian recognition method. By aligning the extraction of local descriptors, the spatial information between the partial blocks of the image is preserved, and the feature misalignment problem caused by the change of the pedestrian posture is solved; and the hierarchical global feature extraction is performed. Eliminate the influence of irrelevant background; improve the accuracy and robustness of pedestrian recognition by combining the extracted aligned local descriptors and hierarchical global features. Specifically, the present invention has the following advantages:
  • the method of the present invention preserves relative positional information of unrelated image blocks.
  • the existing pedestrian re-identification method is often ignored in the feature extraction process, and the present invention can increase the accuracy of subsequent matching by increasing the relative position information of the unrelated image blocks;
  • the method of the present invention processes the input picture by using affine transformation, and can solve the feature misalignment problem caused by the change of the pedestrian posture or the shooting angle to some extent;
  • the method of the present invention extracts global features using multiple levels of pedestrian area image blocks, which can improve the robustness of global features.
  • 1 is a schematic diagram of an alignment local descriptor extraction process
  • (a) is an affine transformation (horizontal shearing and horizontal inversion) of the original image, respectively obtaining four transformed images; (b) performing a feature extraction process of the image block for each image separately; c) in order to superimpose the four feature images spatially; (d) to perform a pooling operation on the features of the adjacent image blocks to obtain a plurality of local descriptors; (e) to map each of the localities The description subvectors are concatenated to obtain the final aligned local descriptor.
  • FIG. 2 is a schematic diagram of a hierarchical global feature extraction process
  • FIG. 4 is a CMC result on a VIPeR data set in accordance with an embodiment of the present invention.
  • FIG. 5 is a comparison of the matching effect with the LOMO feature on the QMUL GRID data set in the embodiment of the present invention.
  • FIG. 6 is a CMC result on a QMUL GRID data set in accordance with an embodiment of the present invention.
  • the invention aims at the defects caused by the inexact matching strategy in the existing image feature extraction method, and proposes the alignment local descriptor and the hierarchical global feature based on the exact matching strategy.
  • the alignment local descriptor preserves the spatial information between the block and the block inside the image.
  • the affine transformation is used to process the original image, and the horizontal flip and cut including the original image are obtained.
  • the four images are changed, and by superimposing, the image block features of the same region are subjected to a pooling operation to obtain an aligned local descriptor.
  • the global contour features of the pedestrian's overall contour region and its head, upper body and lower body are calculated respectively, and finally the component-level global features are integrated.
  • aligning local descriptors and hierarchical global features can help solve the problem of attitude change, and the retained internal spatial information of the image can help the accuracy of pedestrian matching.
  • Figure 1 shows the extraction process of the aligned local descriptors, first the affine transformation, then the feature extraction of the image block, then the eigenvectors of the adjacent image blocks are summed, and finally the different local descriptors are connected.
  • the process of extracting the aligned local descriptors includes the following steps:
  • the image enhancement effect can be achieved by removing the luminance component L to obtain the reflection component R.
  • the luminance component can be obtained by Gaussian convolution of the image, and ⁇ is a scale parameter of the Gaussian function. If a single scale is used, when the value is large, the color distortion is small but the detail recovery is poor; when the value is small, the detail is restored but the color distortion is large. Therefore, weighted summation is performed using a variety of scale parameters.
  • the pre-processed picture I is horizontally flipped to obtain picture II, and the horizontal cut transformation is performed on the pictures I and II respectively, and the corresponding pictures III and IV are generated, and the horizontal cut transformation is specifically as shown in the formula 1:
  • the sliding window method is used to extract 8*8*8-dimensional nRGB and HSV color histograms, 32-dimensional Lab color histograms, and two scale-invariant local three-valued modes (SILTP) with a threshold of 0.3.
  • the comparison radius R of the two SILTPs is 3 and 5 pixels respectively, wherein the sliding window size is 8*8 and the step size is 4*4, and each image can obtain N through the sliding window in the same horizontal direction.
  • M image blocks are obtained in the same vertical direction, and corresponding features are extracted to obtain a feature map, wherein there are M*N points, and each point corresponds to a feature vector of one image block, which is recorded as
  • nRGB is to change the pixel value (originally 0-255) of each channel in the original RGB three-channel color picture to the specified range of 0-8, and 8*8*8 is for each
  • the channels are scaled to between 0-8 and further the corresponding color histogram.
  • the comparison radius R refers to the comparison of the target element point with the pixel farther away from its own R pixels.
  • Figure 2 illustrates the extraction process of hierarchical global features. Firstly, the image is detected for significance, then the contrast is enhanced for the element values in the same horizontal direction, then the image is binarized, and the pedestrian region block is located by sliding the window. The pedestrian area block is graded to obtain the corresponding feature mean.
  • the process of extracting hierarchical global features specifically includes the following steps:
  • the numerator p r,i is the element value of the ith column of the rth row, and the denominator is the extreme difference of the row element. After obtaining the p' r,i value of each column element of the row, the row element is uniformly updated.
  • the image block of the obtained pedestrian area can be divided into three levels.
  • the first level is the whole person (ie all the image blocks)
  • the second level is according to the head, upper body and lower body of the human body
  • the third level is divided into three according to the importance of the upper body of the human body.
  • the level 1 is all the pedestrian area image blocks; the level 2 is divided into the head area, the upper body and the lower body area according to the position in the vertical direction of the image block, wherein the number of lines is less than or equal to 15 for the head area, The number is greater than or equal to 60 for the lower body region and the middle for the upper body region; the level 3 is subdivided into three regions according to the vertical position of the upper body image block, and the boundary condition is: the image block belongs to a region between 15 and 30 rows, at There is a zone between 30 and 45 rows, and a zone between 15 and 60.
  • the averaging pooling operations are performed on the image block features in different levels, and seven eigenvectors are obtained respectively, and then connected together as the final hierarchical global feature.
  • Equation 4 the similarity between the two images is calculated by Equation 4. The smaller the value, the smaller the distance between the features, and the more similar the two images are:
  • the method of the present invention is compared with other existing methods to verify the effectiveness of the method of the present invention.
  • LOMO Local Maximum Occurrence
  • SCNCD SCNCD (Salient Color Names based Color Descriptor, based on the color name of the significant color name) in the literature (Y.Yang, Salient) Color names for person re-identification, "in European Conference on Computer Vision (ECCV), 2014, pp.
  • kBiCov Covariance descriptor based on bio-inspired features
  • B.Ma, Y.Su, and F.Jurie Covariance descriptor based on bio-inspired features for person re-identification And face verification, "Image & Vision Computing, vol. 32, no. 6-7, pp. 379-390, 2014.
  • LDFV Local descriptors encoded by fisher vectors, local descriptors using Fisher vector coding
  • B. Ma, Y. Su, and F. Jurie Local descriptors encoded by fisher vectors for personre-identification, "in European Conference on Computer Vision (ECCV), 2012, pp. 413-422.).
  • SCSP Spatial Constrained Similarity function on Polynomial feature map
  • SCSP Spatial Constrained Similarity function on Polynomial feature map
  • D. Chen, Z. Yuan, B. Chen, and N. Zheng Similarity learning with spatial constraints for person re- Identification, "In Computer Vision and Pattern Recognition (CVPR), 2016, pp. 1268-1277.
  • DR-KISS dual-regularized kiss, double regularized KISS algorithm
  • D.Tao, Y.Guo, M. Song, and Y. Li Person re-identification by dual-regularized kiss metric learning, "IEEE Transactions on Image Processing, vol. 25, no. 6, pp. 2726-2738, 2016.).
  • SSDAL semi-supervised deep attribute learning
  • NLML Nonlinear local metric learning in the literature (S. Huang, J. Lu, J. Zhou)
  • AKJain Nonlinear local metric learning for person re-identification, "arXiv preprint arXiv: 1511.05169v1, 2015.).
  • LOMO Local Maximum Occurrence
  • S. Liao, Y. Hu, X. Zhu, and SZLi ⁇ Person re-identi_cation by local maximal occurrence representation and metric learning, "in Computer Vision And PatternRecognition (CVPR), 2015, pp. 2197-2206.
  • Figures 3 and 5 compare the performance of the proposed method and the LOMO feature on the VIPeR and QMUL GRID data sets, respectively. It can be seen that our methods have achieved good results.
  • Fig. 4 and Fig. 6 compare the experiments of the present invention in different cases, using a complete method combining the aligned local descriptors and hierarchical global features, using only the aligned local descriptors as features, and only using Hierarchical global features are used as features and methods of combining local descriptors and hierarchical global features without affine transformation. The results show the different representations of local descriptors and global features on different datasets, and the combined effects are the most Excellent, indicating the effectiveness of the method proposed in this patent.
  • Table 1 lists the CMC (Cumulative Match Characteristic) results of other methods on the VIPeR data. In contrast, the recognition performance of the method of the present invention is improved.
  • Table 2 lists the CMC results of other methods on the QMUL GRID data. In contrast, the method of the present invention has the highest accuracy, indicating the effectiveness of the method of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

一种用于行人重识别的图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；对齐局部描述子提取采用仿射变换对原图像进行处理，对相同区域的图像块特征进行求和池化操作而得到对齐局部描述子；对齐局部描述子保留图像内部块与块之间的空间信息；分级全局特征提取通过对定位的行人区域块进行分级，求取相应特征均值而得到全局特征。该方法能够解决行人重识别中由于行人姿态变化等带来的特征不对齐问题，消除无关背景对重识别带来的影响，由此提高行人重识别的精度和鲁棒性。

Description

用于行人重识别的图像特征提取方法 技术领域
本发明涉及计算机视觉与图像处理技术，尤其涉及一种用于行人重识别的图像鲁棒性特征的提取方法。
背景技术
近年来，随着人们对社会公共安全的要求日渐提升，视频监控系统大量普及，如何利用计算机视觉分析技术，自动化监控及分析视频信息，成为关注的热点。行人重识别是计算机视觉研究中关键的任务。一般来说，给定关于行人的一张图片或者一段视频，行人重识别就是在其它不重合拍摄场景下的图片或者视频中，将同一个人识别出来的过程。尽管相关的研究越来越受到重视，行人重识别的准确率也已经提高了不少，但仍有许多困难需要解决，比如姿态的变化、光照和无关背景的影响等等。
现有传统的行人重识别框架主要由特征提取和度量学习两部分构成。不过，目前大多数方法在提取图像特征的过程中，都忽略了无关背景信息的影响，使得提取好的图像特征带有较多的噪声；其次，为了解决由于拍摄角度不一以及行人姿态的变化问题，大多数方法采取了非精确匹配的策略，使用特定的方式将不同图像块之间的特征进行融合，效果颇为显著，但同时也损失了一部分图像内部的空间信息，使得在分辨一些具有相对位置差异的图像上，能力大大降低。
发明内容
为了克服上述现有技术的不足，本发明提供一种用于行人重识别的图像特征的提取方法，，基于图像颜色和纹理特征，在精确匹配的策略下提出新的对齐局部描述子，并设计分级全局特征与之互补，解决由于行人姿态变化等带来的特征不对齐等问题，提高行人重识别的精确度。
本发明的原理是：提出了应用于行人重识别的对齐局部描述子和分级全局特征提取算法。本发明针对现有特征提取方法中非精确匹配策略带来的缺陷，提出基于精确匹配策略下的对齐局部描述子，以及为了消除无关背景的影响，提出了分级全局特征，通过对齐局部描述子与分级全局特征提取，提高行人重识别的性能。对齐局部描述子保留了图像内部块与块之间的空间信息，同时为了解决图像之间的不对齐问题，采用了仿射变换对原图像进行处理，得 到包括原图在内的水平翻转和切变的四张图像，通过叠加，仅对相邻区域的图像块特征进行求和池化操作，得到对齐局部描述子。为了丰富图像特征的表达以及消除背景信息的影响，对原图像中行人的整体轮廓区域及其头部、上半身和下半身分别计算全局特征，最后整合成分级全局特征。实验证明，对齐局部描述子和分级全局特征有助于解决姿态变化问题和弱化背景的影响，保留的图像内部空间信息也有助于行人匹配精度的提高。
对齐局部描述子是基于精确匹配策略所提出来的一种特征，即对于图像内部的块，提取其相应的颜色和纹理特征，保留该图像块的位置信息，不与图像内其它块的特征融合。为了解决行人姿态变化带来两张图像之间的不对齐问题，采用了仿射变换方法对原始图像进行了处理，如水平翻转和水平切变，得到关于同一张图像的四种不同角度的图像扩充。紧接着，在空间上将四张图像叠加在一起，以图像块的特征为基础，对相同图像区域的图像块特征进行求和池化操作，作为该图像块最终的描述子。分级全局特征是基于与局部特征互补的作用而提出来的。传统的全局特征是对整幅图像统计相应的颜色和纹理信息，提取的全局特征往往包含大量的背景信息，而且空间信息紊乱，对于结构差异大但统计信息一致的图像，极易造成误差。分级全局特征不仅考虑到背景的影响，还把属于行人的区域的图像块按照头部、上半身和下半身的人体结构进行分组，并对涵盖重要信息的上半身进一步分组，总共三级划分，增强了全局特征的辨识力。
本发明提供的技术方案是：
一种图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；所述对齐局部描述子提取采用仿射变换对原图像进行处理，仅对相邻区域的图像块特征进行求和池化操作而得到对齐局部描述子；所述对齐局部描述子保留图像内部块与块之间的空间信息；所述分级全局特征提取对定位的行人区域块进行分级，通过求取相应特征均值得到全局特征；包括如下步骤：
1)对图像进行了预处理，以消除光照对图像的影响；
为了消除光照对图像的影响，本发明采用了多尺度Retinex算法对图像进行了预处理；在去除背景信息时，借助了通过元胞自动机进行显著性检测的前景提取方法；关于图像块的表达，颜色信息使用了nRGB、Lab和HSV三种颜色空间直方图，纹理信息使用了尺度不变局部三值模式(SILTP)统计直方图。
2)提取对齐局部描述子，主要包括以下步骤：
21)对图像进行仿射变换，得到多张图像(包括原图及变换后的图像)；
22)分别对上一步得到的每张图像进行图像块分割，提取特征，生成相应的特征图；
23)在空间上叠加所有特征图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子；
24)根据局部描述子在图像中所在的位置，将它们按从左上到右下的顺序连接起来，得
到对齐局部描述子；
3)提取分级全局特征，主要分为以下步骤：
31)使用前景提取方法对图像进行显著性检测，得到相应的显著图；
32)将上一步得到的显著图进行对比增强；
33)定位属于行人区域的图像块；
34)针对人体的特殊结构，将属于行人的图像块按照三个不同层级进行归类；
35)对每一级图像块进行平均池化操化，得到该级特征；
36)对三级特征首尾连接起来，得到分级全局特征；
4)根据步骤2)提取得到的对齐局部描述子和步骤3)提取得到的分级全局特征，使用现有的XQDA(Cross-view Quadratic Discriminant Analysis，交叉视觉二次判别分析)方法作为度量学习方法，计算图像的相似性，由此进行行人重识别。
与现有技术相比，本发明的有益效果是：
本发明提供一种行人重识别方法，通过对齐局部描述子的提取，保留了图像局部块之间的空间信息，并解决由于行人姿态变化等带来的特征不对齐问题；通过分级全局特征提取，消除无关背景带来的影响；通过结合提取的对齐局部描述子和分级全局特征，提高行人重识别的精度和鲁棒性。具体地，本发明具有以下优点：
(一)本发明方法保留不相关图像块的相对位置信息。现有行人重识别方法在特征提取过程中经常忽略，而本发明通过增加不相关图像块的相对位置信息，可让后续匹配的准确率更高；
(二)本发明方法使用仿射变换对输入图片进行处理，可以一定程度上解决由于行人姿态变化或拍摄角度不一带来的特征不对齐问题；
(三)本发明方法使用多个层级的行人区域图像块提取全局特征，可以提高全局特征的鲁棒性。
附图说明
图1是对齐局部描述子提取过程示意图；
其中，(a)为对原图像进行仿射变换(水平剪切和水平翻转)，分别得到四张变换后的图像；(b)为分别对每一张图像进行图像块的特征提取过程；(c)为将四张特征图在空间上叠加在一起；(d)为对相邻图像块的特征进行求和池化操作，得到多个局部描述子；(e)为将每个局描部描述子向量相连，得到最终的对齐局部描述子。
图2是分级全局特征提取过程示意图；
其中，(a)为通过显著性检测到显著图；(b)为对显著图进行对比度增强；(c)为对属于行人区域图像块进行定位；(d)为对所有属于行人的图像块特征进行第一级全局特征提取；(e)为对所有属于行人的图像块分成头部、上半身和下半身三个部分，提取第二级全局特征；(f)为对所有属于行人上半身的图像块分成三个部分，提取第三级全局特征；
图3是本发明实施例在VIPeR数据集上与使用LOMO特征匹配效果对比。
图4是本发明实施例在VIPeR数据集上的CMC结果。
图5是本发明实施例在QMUL GRID数据集上与使用LOMO特征匹配效果对比。
图6是本发明实施例在QMUL GRID数据集上的CMC结果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明针对现有图像特征提取方法中非精确匹配策略带来的缺陷，提出基于精确匹配策略下的对齐局部描述子和分级全局特征。对齐局部描述子保留了图像内部块与块之间的空间信息，同时为了解决图像之间的不对齐问题，采用了仿射变换对原图像进行处理，得到包括原图在内的水平翻转和切变的四张图像，通过叠加，对相同区域的图像块特征进行求和池化操作，得到对齐局部描述子。为了丰富图像特征的表达，对原图像中行人的整体轮廓区域及其头部、上半身和下半身分别计算全局特征，最后整合成分级全局特征。实验证明，对齐局部描述子和分级全局特征有助于解决姿态变化问题，保留的图像内部空间信息有助于行人匹配精度的提高。
图1示意了对齐局部描述子的提取流程，首先是仿射变换，然后是图像块的特征提取，接着对相邻图像块的特征向量进行求和池化操作，最后把不同的局部描述子连接到一起作为图片的对齐局部描述子。具体实施中，提取对齐局部描述子的过程具体包括如下步骤：
1.把图片统一缩放到128*48大小，并使用文献[1](D.J.Jobson,Z.-U.Rahman,and G.A.Woodell.A multiscale retinex for bridging the gap between color images and the human observation of scenes.Image Processing,IEEE Transactions on,6(7):965–976,1997)记载的多尺度Retinex算法消除光照影响，得到预处理后的图片I。其中，多尺度Retinex算法以色感一致性(颜色恒常性)为基础，认为观察者所看到的图像是由物体表面对入射光L反射得到的，而反射率R是由物体本身决定，不受入射光L变化影响。因此，通过去除亮度分量L求得反射分量R，可以达到图像增强的效果。另外，亮度分量可以通过对图像进行高斯卷积求得，σ是高斯函数的尺度参数。如果使用单一的尺度，取值大时，颜色失真小但细节恢复差；取值小时，细节恢复好但颜色失真大。因此，采用多种尺度参数，进行加权求和，本实验中尺度参数分别为σ＝5和σ＝20。
2.仿射变换。对预处理后的图片I进行水平翻转，得到图片II，分别对图片I和II进行水平剪切变换，产生相应图片III和IV，水平剪切变换具体如式1所示：
Figure PCTCN2017118794-appb-000001
其中，λ为剪切变换参数，方法中使用λ＝0.2。
3.分别对上一步得到的四张图片(I、II、III和IV)求图像块的特征。
具体采用滑动窗口方法，对窗口内的图像块提取8*8*8维的nRGB和HSV颜色直方图、32维的Lab颜色直方图以及两个阈值为0.3的尺度不变局部三值模式(SILTP)统计直方图，两个SILTP的比较半径R分别为3和5个像素，其中滑动窗口大小为8*8，步长为4*4，每张图像在同一水平方向上通过滑动窗口可以得到N个图像块，在同一垂直方向上得到M个图像块，提取相应的特征后得到一张特征图，其中有M*N个点，每个点对应一个图像块的特征向量，记作
Figure PCTCN2017118794-appb-000002
上述滑动窗口方法中，nRGB是将原来的RGB三通道彩色图片中的每一通道的像素值(原来是0-255)变到指定的0-8的范围，8*8*8是将每一通道都缩放到0-8之间，再进一步求相应颜色直方图。比较半径R是指目标元素点与离自己R个像素远的像素比较大小。
4.在空间上叠加四个特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子，如式2所示：
Figure PCTCN2017118794-appb-000003
其中：m＝2×(p-1)+1，n＝2×(q-1)+1，
Figure PCTCN2017118794-appb-000004
其中，
Figure PCTCN2017118794-appb-000005
代表了第i张特征图中第m行第n列的图像块特征向量，将相邻的16个图像块特征向量相加，得到的
Figure PCTCN2017118794-appb-000006
表示一个局部描述子，其中p和q为正整数，分别表示为局部描述子所在的位置；
5.最后，根据所有局部描述子在特征图的位置，按从左上到右下的顺序首尾连接成一个特征向量，作为整幅图片的对齐局部描述子。
图2示意了分级全局特征的提取流程，首先对图片进行显著性检测，然后对相同水平方向上的元素值进行对比度增强，接着对图片进行二值化处理，通过滑动窗口的方法定位行人区域块，对行人区域块进行分级求取相应特征均值。提取分级全局特征的过程具体包括如下步骤：
1.把图片统一缩放到128*48大小，并使用文献[1](D.J.Jobson,Z.-U.Rahman,and G.A.Woodell.A multiscale retinex for bridging the gap between color images and the human observation of scenes.Image Processing,IEEE Transactions on,6(7):965–976,1997)所述的多尺度Retinex算法消除光照影响，其中尺度参数分别为σ＝5和σ＝20。
2.使用文献[2](Y.Qin,H.Lu,Y.Xu,and H.Wang,"Saliency detection via cellular automata,"in Computer Vision and Pattern Recognition(CVPR),2015,pp.110-119)记载的方法对预处理后的图片进行前景提取，得到相应的显著图。该方法首先利用颜色和空间对比度建立一个基于背景的图。然后，采用一种新的依赖于元胞自动机的传播机制，通过与邻域的相互作用来发掘相似区域的内在相关性。构造了影响因子矩阵和一致性矩阵，以平衡各单元下一状态的影响能力。根据更新规则，同时更新所有单元的显著性值。
3.采用式3对提取得到的显著图作对比增强：
Figure PCTCN2017118794-appb-000007
其中，分子p r，i为第r行第i列的元素值，分母为该行元素的极差。得到该行每列元素的p′ r，i值后，统一对该行元素进行更新。
4.使用文献[3](N.Otsu,"Threshold selection method from gray-level histograms,ieee transactions on systems man and cybernetics,"Systems Man&Cybernetics IEEE Transactions on,vol.9,no.1,pp.62-66,1979)中记载的OTSU算法自适应选取阈值， 对上一步得到的结果进行二值化处理，得到相应的二值图。其中，OTSU算法把图像的灰度数按灰度级分成2个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分。所以可以在二值化的时候采用OTSU算法来自动选取阈值进行二值化。
5.采用滑动窗口的方法对二值图进行扫描，其中窗口大小为10*10，步长为5*5，对窗口内的元素值求和，其中把大于设定阈值(如50)的窗口定义为行人区域，其它则为无关区域。
6.按照提取对齐局部描述子图像块特征的方法，对行人区域的图像块提取颜色和纹理特征。
7.可将得到的行人区域的图像块划分为3个层级。第一级为人的整体(即全部图像块)，第二级是按人体的头、上身、下身分，第三级是按人体上身的重要性来细分三块。
本实施例中，层级1为所有行人区域图像块；层级2按照图像块所在垂直方向上的位置分为头部区、上半身和下关身区域，其中行数小于等于15为头部区，行数大于等于60为下半身区、中间为上半身区；层级3按照上半身图像块的垂直位置再细分为3个区，分界条件为：图像块所属位置在15到30行之间为一区、在30到45行之间为一区、在15到60行为一区。对不同层级里的图像块特征向分别作平均池化操作，分别得到7个特征向量，然后连接在一起，作为最终的分级全局特征。
8.最后，通过采取XQDA作为度量学习方法，通过式4计算两张图像之间的相似性，值越小即说明特征之间距离越小，对应的两张图片越相似：
Figure PCTCN2017118794-appb-000008
其中，d(x，z)是指两张图像(x和z)之间的距离，越小则表明越相似；d W(f 1，f 2)是XQDA距离函数，
Figure PCTCN2017118794-appb-000009
分别为图像x的对齐局部描述子和分级全局特征，其中β表示全局特征的权重，在这里β＝1.3。
本发明具体实施中，将本发明方法与现有其他方法进行对比分析，以验证本发明方法的有效性。表1和表2中，LOMO(Local Maximum Occurrence，局部直方图最大频数特征)在文献(S.Liao,Y.Hu,X.Zhu,and S.Z.Li,Person re-identi_cation by local maximal occurrence representation and metric learning,"in Computer Vision and PatternRecognition(CVPR),2015,pp.2197-2206.)中记载。SCNCD(Salient Color Names based Color Descriptor，基于颜色描述子 的显著颜色名)在文献(Y.Yang,Salient color names for person re-identification,"in European Conferenceon Computer Vision(ECCV),2014,pp.536-551.)中记载。kBiCov(Covariance descriptor based on bio-inspired features,基于生物启发特征的协方差描述子)在文献(B.Ma,Y.Su,and F.Jurie,Covariance descriptor based on bio-inspired features for person re-identification and face verification,"Image&Vision Computing,vol.32,no.6-7,pp.379-390,2014.)中记载。LDFV(Local descriptors encoded by fisher vectors,使用Fisher向量编码的局部描述子)在文献(B.Ma,Y.Su,and F.Jurie,Local descriptors encoded by fisher vectors for personre-identification,"in European Conference on Computer Vision(ECCV),2012,pp.413-422.)中记载。SCSP(Spatially Constrained Similarity function on Polynomial feature map，基于多项式特征图的部分约束相似函数)在文献(D.Chen,Z.Yuan,B.Chen,and N.Zheng,Similarity learning with spatial constraints for person re-identification,"in Computer Vision and Pattern Recognition(CVPR),2016,pp.1268-1277.)中记载。DR-KISS(dual-regularizedkiss，双正则化KISS算法)在文献(D.Tao,Y.Guo,M.Song,and Y.Li,Person re-identification by dual-regularizedkiss metric learning,"IEEE Transactions on Image Processing,vol.25,no.6,pp.2726-2738,2016.)中记载。SSDAL(semi-supervised deep attribute learning，半监督深度属性学习)在文献(C.Su,S.Zhang,J.Xing,W.Gao,and Q.Tian,Deep attributes driven multi-camera person re-identification,"in European Conference on Computer Vision(ECCV),2016,pp.475-491.)中记载。NLML(Nonlinear local metric learning，非线性局部度量学习)在文献(S.Huang,J.Lu,J.Zhou,and A.K.Jain,Nonlinear local metric learning forperson re-identification,"arXiv preprint arXiv:1511.05169v1,2015.)中记载。LOMO(Local Maximum Occurrence，局部直方图最大频数特征)在文献(S.Liao,Y.Hu,X.Zhu,and S.Z.Li,\Person re-identi_cation by local maximal occurrence representation and metric learning,"in Computer Vision and PatternRecognition(CVPR),2015,pp.2197-2206.)中记载。
图3和图5分别对比了使用本发明所提出的方法和使用LOMO特征在VIPeR和QMUL GRID数据集上的表现，可以看出，我们的方法都取得了较好的效果。图4和图6对本发明所提出的方法进行了不同情况下的对比实验,分别为使用了结合对齐局部描述子和分级全局特征的完整方法、只使用了对齐局部描述子作为特征、只使用了分级全局特征作为特征和使用了不做仿射变换的对齐局部描述子和分级全局特征结合的方法，结果展示了局部描述子和全局特征在不同数据集上的不同表现，并且结合的效果达到最优，说明本专利所提出方法的 有效性。
表1.本发明方法和现有方法在VIPeR数据上的CMC结果
方法 Rank＝1 Rank＝10 Rank＝20 参考来源
本发明方法 46.2 85.3 94.4 /
LOMO 40.0 80.5 91.1 CPPR 2015
SCNCD 37.8 81.2 90.4 ECCV 2014
kBiCov 31.1 70.7 82.5 IVC 2014
LDFV 26.5 70.9 84.6 ECCVW 2012
表2.本发明方法和现有方法在QMUL GRID数据上的CMC结果
方法 Rank＝1 Rank＝5 Rank＝10 Rank＝20 参考来源
本发明方法 25.6 47.0 56.6 66.3 /
SCSP 24.2 44.6 54.1 65.2 CVPR 2016
DR-KISS 20.6 39.3 51.4 62.6 TIP 2016
SSDAL 22.4 39.2 48.0 58.4 ECCV 2016
NLML 24.5 35.9 43.5 55.3 arXiv 2015
LOMO 16.6 33.8 41.8 52.4 CVPR 2015
表1列出了其它一些方法在VIPeR数据上的CMC(Cumulative Match Characteristic，累计匹配特性)结果，与之对比，使用本发明方法识别性能有较好的提升。表2列出了其它一些方法在QMUL GRID数据上的CMC结果，与之对比，本发明方法的准确率最高，说明了本发明方法的有效性。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

  1. 一种用于行人重识别的图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；所述对齐局部描述子提取采用仿射变换对原图像进行处理，对相邻区域的图像块特征进行求和池化操作而得到对齐局部描述子；所述对齐局部描述子保留图像内部块与块之间的空间信息；所述分级全局特征提取通过对定位的行人区域块进行分级，求取相应特征均值而得到全局特征；包括如下步骤：
    1)对图像进行了预处理，以消除光照对图像的影响；
    2)提取对齐局部描述子，包括步骤21)～24)：
    21)对图像进行仿射变换，得到多张图像；
    22)对仿射变换后产生的所有图像进行图像块分割并提取特征，生成相应的特征向量图；
    23)在空间上叠加所有特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子；
    24)将图像中的所有局部描述子按顺序连接起来，得到对齐局部描述子；
    3)提取分级全局特征，包括步骤31)～36)：
    31)使用前景提取方法对图像进行显著性检测，得到相应的显著图；
    32)将得到的显著图进行对比增强；
    33)定位属于行人区域的图像块；
    34)对行人区域的图像块分层级，得到多级行人区域图像块；
    35)对每一级的行人区域图像块进行平均池化操化，得到该级特征；
    36)对多级特征连接起来，得到分级全局特征；
    4)根据步骤2)提取得到的对齐局部描述子和步骤3)提取得到的分级全局特征，采用度量学习方法计算图像的相似性，由此进行行人重识别。
  2. 如权利要求1所述图像特征提取方法，其特征是，步骤1)采用多尺度Retinex算法对图像进行预处理。
  3. 如权利要求1所述图像特征提取方法，其特征是，步骤21)对图像进行仿射变换，具体是：对预处理后的图片I进行水平翻转，得到图片II；分别对图片I和II进行水平剪切变换，产生相应图片III和IV；所述水平剪切变换如式1所示：
    Figure PCTCN2017118794-appb-100001
    其中，λ为剪切变换参数。
  4. 如权利要求1所述图像特征提取方法，其特征是，步骤22)采用滑动窗口方法求图像块的特征，具体对窗口内的图像块提取RGB颜色直方图、HSV颜色直方图、Lab颜色直方图、尺度不变局部三值模式SILTP统计直方图，得到多个特征向量图，每个特征图中有M*N个点，每个点对应一个图像块的特征向量，记作
    Figure PCTCN2017118794-appb-100002
  5. 如权利要求1所述图像特征提取方法，其特征是，步骤23)具体通过式2在空间上叠加四个特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子：
    Figure PCTCN2017118794-appb-100003
    其中：
    Figure PCTCN2017118794-appb-100004
    其中，
    Figure PCTCN2017118794-appb-100005
    代表第i张特征图中第m行第n列的图像块特征向量；将相邻的图像块特征向量相加，得到的
    Figure PCTCN2017118794-appb-100006
    表示一个局部描述子，其中p和q为正整数，分别表示局部描述子所在的位置。
  6. 如权利要求1所述图像特征提取方法，其特征是，步骤31)具体采用元胞自动机方法对预处理后的图片进行前景提取，得到相应的显著图。
  7. 如权利要求1所述图像特征提取方法，其特征是，步骤32)具体采用式3对提取得到的显著图作对比增强：
    Figure PCTCN2017118794-appb-100007
    其中，分子p r,i为第r行第i列的元素值，分母为该行元素的极差；得到该行每列元素的p′ r,i值后，统一对该行元素进行更新。
  8. 如权利要求1所述图像特征提取方法，其特征是，步骤33)定位属于行人区域的图像块，首先采用OTSU算法自适应选取阈值，对经对比增强得到的结果图像进行二值化处理，得到相应的二值图；再采用滑动窗口方法对二值图进行扫描，对窗口内的元素值求和；通过设定阈值，将大于设定阈值的窗口定义为行人区域，其它为无关区域。
  9. 如权利要求1所述图像特征提取方法，其特征是，步骤34)具体将行人区域的图像块分为三个层级，得到三个层级的行人区域图像块；层级一为所有行人区域图像块；层级二 按照图像块所在垂直方向上的位置分为头部区、上半身和下关身区域；层级三按照上半身图像块的垂直位置再细分为三个区。
  10. 如权利要求1所述图像特征提取方法，其特征是，步骤4)采用XQDA作为度量学习方法计算图像的相似性，具体通过式4计算两张图像之间的相似性：
    Figure PCTCN2017118794-appb-100008
    其中，d(x,z)是两张图像(x和z)之间的距离，越小则表明越相似；d W(f 1,f 2)是XQDA距离函数；
    Figure PCTCN2017118794-appb-100009
    分别为图像x的对齐局部描述子和分级全局特征；β表示全局特征的权重。
PCT/CN2017/118794 2017-07-04 2017-12-27 用于行人重识别的图像特征提取方法 Ceased WO2019007004A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/622,586 US11238274B2 (en) 2017-07-04 2017-12-27 Image feature extraction method for person re-identification

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710536020.4A CN107316031B (zh) 2017-07-04 2017-07-04 用于行人重识别的图像特征提取方法
CN201710536020.4 2017-07-04

Publications (1)

Publication Number Publication Date
WO2019007004A1 true WO2019007004A1 (zh) 2019-01-10

Family

ID=60181373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118794 Ceased WO2019007004A1 (zh) 2017-07-04 2017-12-27 用于行人重识别的图像特征提取方法

Country Status (3)

Country Link
US (1) US11238274B2 (zh)
CN (1) CN107316031B (zh)
WO (1) WO2019007004A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN110472591A (zh) * 2019-08-19 2019-11-19 浙江工业大学 一种基于深度特征重构的遮挡行人重识别方法
CN110728238A (zh) * 2019-10-12 2020-01-24 安徽工程大学 一种融合型神经网络的人员再检测方法
CN110852276A (zh) * 2019-11-12 2020-02-28 智慧视通(杭州)科技发展有限公司 一种基于多任务深度学习的行人再识别方法
CN111160295A (zh) * 2019-12-31 2020-05-15 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法
CN111291705A (zh) * 2020-02-24 2020-06-16 北京交通大学 一种跨多目标域行人重识别方法
CN111666843A (zh) * 2020-05-25 2020-09-15 湖北工业大学 一种基于全局特征和局部特征拼接的行人重识别方法
CN113269070A (zh) * 2021-05-18 2021-08-17 重庆邮电大学 融合全局和局部特征的行人重识别方法、存储器及处理器
CN113470039A (zh) * 2021-01-29 2021-10-01 西安理工大学 一种基于轻量级感知Hash的细粒度图像篡改定位方法
CN113536917A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113963374A (zh) * 2021-10-19 2022-01-21 中国石油大学(华东) 基于多层次特征与身份信息辅助的行人属性识别方法
CN116580270A (zh) * 2023-04-25 2023-08-11 广西大学 基于全局轮廓匹配的图像重定向质量评价方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316031B (zh) * 2017-07-04 2020-07-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN108229344A (zh) * 2017-12-19 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机程序和存储介质
US10977811B2 (en) * 2017-12-20 2021-04-13 AI Analysis, Inc. Methods and systems that normalize images, generate quantitative enhancement maps, and generate synthetically enhanced images
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及系统
CN108537264B (zh) * 2018-03-30 2021-09-07 西安电子科技大学 基于深度学习的异源图像匹配方法
CN108520226B (zh) * 2018-04-03 2020-07-28 东北大学 一种基于躯体分解和显著性检测的行人重识别方法
CN108664951A (zh) * 2018-05-22 2018-10-16 南京邮电大学 基于颜色名特征的行人重识别方法
CN108960412B (zh) * 2018-06-29 2022-09-30 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN110866526B (zh) * 2018-08-28 2024-10-01 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN109214366B (zh) * 2018-10-24 2021-05-04 北京旷视科技有限公司 局部目标重识别方法、装置及系统
CN109472248B (zh) * 2018-11-22 2022-03-25 广东工业大学 一种行人重识别方法、系统及电子设备和存储介质
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109697432B (zh) * 2018-12-30 2023-04-07 陕西师范大学 融合改进的siltp和局部方向模式的学习者姿态识别方法
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
CN110110755B (zh) * 2019-04-04 2021-02-26 长沙千视通智能科技有限公司 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
CN110175527B (zh) * 2019-04-29 2022-03-25 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质
CN110427868A (zh) * 2019-07-30 2019-11-08 上海工程技术大学 一种行人重识别中的特征提取方法
CN110619271A (zh) * 2019-08-12 2019-12-27 浙江浩腾电子科技股份有限公司 一种基于深度区域特征连接的行人重识别方法
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
CN111539336B (zh) * 2020-04-25 2023-06-20 长治学院 一种提高局部注意力的行人重识别方法
CN112307886A (zh) * 2020-08-25 2021-02-02 北京京东尚科信息技术有限公司 行人重识别方法和装置
CN112989911B (zh) * 2020-12-10 2024-10-15 奥比中光科技集团股份有限公司 一种行人再识别方法及系统
CN112861691B (zh) * 2021-01-29 2022-09-09 中国科学技术大学 基于部位感知建模的遮挡场景下的行人重识别方法
US12293567B2 (en) * 2021-04-19 2025-05-06 Electronics And Telecommunications Research Institute Feature-map-encoding method and apparatus for encoding and decoding a feature map for a neural network
CN113435329B (zh) * 2021-06-25 2022-06-21 湖南大学 一种基于视频轨迹特征关联学习的无监督行人重识别方法
CN113283394B (zh) * 2021-06-28 2023-04-25 苏州大学 一种融合上下文信息的行人重识别方法及系统
CN113536995B (zh) * 2021-06-30 2022-11-18 河南大学 一种基于特征映射空间和样本判定的行人重识别方法
CN113408492B (zh) * 2021-07-23 2022-06-14 四川大学 一种基于全局-局部特征动态对齐的行人重识别方法
CN113657267B (zh) * 2021-08-17 2024-01-12 中国科学院长春光学精密机械与物理研究所 一种半监督行人重识别方法和装置
CN113743313A (zh) * 2021-09-06 2021-12-03 北京易华录信息技术股份有限公司 一种行人识别方法、装置及电子设备
CN113947678B (zh) * 2021-10-08 2025-07-01 浪潮云信息技术股份公司 一种适用于文本图像的图像对齐方法
CN114565963B (zh) * 2022-03-03 2025-01-24 成都佳华物链云科技有限公司 一种顾客流量统计方法、装置、电子设备及存储介质
CN114639165B (zh) * 2022-03-16 2024-05-10 平安科技（深圳）有限公司 基于人工智能的行人重识别方法、装置、设备及存储介质
JP7639753B2 (ja) * 2022-03-30 2025-03-05 トヨタ自動車株式会社 人物再識別方法、人物再識別システム、及び人物再識別プログラム
CN116977910B (zh) * 2022-04-19 2026-01-02 熵基科技股份有限公司 一种基于卷积神经网络的行人重识别系统及方法
CN114550220B (zh) * 2022-04-21 2022-09-09 中国科学技术大学 行人重识别模型的训练方法及行人重识别方法
CN114973273B (zh) * 2022-05-31 2025-12-23 北京金山数字娱乐科技有限公司 文本检测系统及方法
CN114863486B (zh) * 2022-05-31 2024-12-10 厦门市美亚柏科信息股份有限公司 联合全局和局部信息的层次监督行人再识别方法及系统
CN114943753B (zh) * 2022-06-15 2024-07-23 北京理工大学 基于局部结构矢量对齐的位姿配准方法及装置
CN115170836B (zh) * 2022-07-29 2025-10-10 深圳大学 一种基于浅层纹理提取的跨域重识别方法及相关设备
CN115661733A (zh) * 2022-08-09 2023-01-31 北京龙智数科科技服务有限公司 行人重识别方法及装置
CN116579937B (zh) * 2023-04-19 2026-04-17 东南大学 一种即插即用的双重数据增强系统及方法
CN116824695B (zh) * 2023-06-07 2024-07-19 南通大学 一种基于特征去噪的行人再识别非局部防御方法
CN116840693B (zh) * 2023-06-30 2024-03-19 深圳市盛弘新能源设备有限公司 基于人工智能的充放电测试控制方法及系统
CN118262385B (zh) * 2024-05-30 2024-07-26 齐鲁工业大学(山东省科学院) 基于相机差异的调度序列及训练的行人重识别方法
CN118736255B (zh) * 2024-09-04 2024-11-26 中国铁路设计集团有限公司 一种空地遥感影像自动匹配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117779A1 (en) * 2003-11-27 2005-06-02 Konica Minolta Holdings, Inc. Object detection apparatus, object detection method and computer program product
CN102663409A (zh) * 2012-02-28 2012-09-12 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN107316031A (zh) * 2017-07-04 2017-11-03 北京大学深圳研究生院 用于行人重识别的图像特征提取方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679142B (zh) * 2013-12-02 2016-09-07 宁波大学 一种基于空间约束的目标人体识别方法
CN105005760B (zh) * 2015-06-11 2018-04-24 华中科技大学 一种基于有限混合模型的行人再识别方法
US9911198B2 (en) * 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
CN105718882B (zh) * 2016-01-19 2018-12-18 上海交通大学 一种分辨率自适应特征提取与融合的行人重识别方法
CN107346409B (zh) * 2016-05-05 2019-12-17 华为技术有限公司 行人再识别方法和装置
CN106250870B (zh) * 2016-08-16 2019-10-08 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
WO2018062647A1 (ko) * 2016-09-28 2018-04-05 중앙대학교 산학협력단 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
CN106548139B (zh) * 2016-10-21 2019-04-12 华中科技大学 一种行人重识别方法
US10503981B2 (en) * 2017-06-27 2019-12-10 Canon Kabushiki Kaisha Method and apparatus for determining similarity of objects in images
US10496880B2 (en) * 2017-06-27 2019-12-03 Canon Kabushiki Kaisha Method and apparatus for comparing objects in images
DE112017007724T5 (de) * 2017-07-06 2020-03-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. System und Verfahren zur Verfolgung von Objekten in einer zeitlichen Sequenz von digitalen Bildern
CN107832672B (zh) * 2017-10-12 2020-07-07 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107886067B (zh) * 2017-11-07 2020-04-28 中国矿业大学 一种基于hiksvm分类器的多特征融合的行人检测方法
CN110147743B (zh) * 2019-05-08 2021-08-06 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117779A1 (en) * 2003-11-27 2005-06-02 Konica Minolta Holdings, Inc. Object detection apparatus, object detection method and computer program product
CN102663409A (zh) * 2012-02-28 2012-09-12 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN107316031A (zh) * 2017-07-04 2017-11-03 北京大学深圳研究生院 用于行人重识别的图像特征提取方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN110472591B (zh) * 2019-08-19 2022-03-25 浙江工业大学 一种基于深度特征重构的遮挡行人重识别方法
CN110472591A (zh) * 2019-08-19 2019-11-19 浙江工业大学 一种基于深度特征重构的遮挡行人重识别方法
CN110728238A (zh) * 2019-10-12 2020-01-24 安徽工程大学 一种融合型神经网络的人员再检测方法
CN110852276A (zh) * 2019-11-12 2020-02-28 智慧视通(杭州)科技发展有限公司 一种基于多任务深度学习的行人再识别方法
CN110852276B (zh) * 2019-11-12 2022-07-01 杭州云栖智慧视通科技有限公司 一种基于多任务深度学习的行人再识别方法
CN111160295A (zh) * 2019-12-31 2020-05-15 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法
CN111160295B (zh) * 2019-12-31 2023-05-12 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法
CN111291705A (zh) * 2020-02-24 2020-06-16 北京交通大学 一种跨多目标域行人重识别方法
CN111291705B (zh) * 2020-02-24 2024-04-19 北京交通大学 一种跨多目标域行人重识别方法
CN111666843A (zh) * 2020-05-25 2020-09-15 湖北工业大学 一种基于全局特征和局部特征拼接的行人重识别方法
CN113470039A (zh) * 2021-01-29 2021-10-01 西安理工大学 一种基于轻量级感知Hash的细粒度图像篡改定位方法
CN113269070A (zh) * 2021-05-18 2021-08-17 重庆邮电大学 融合全局和局部特征的行人重识别方法、存储器及处理器
CN113269070B (zh) * 2021-05-18 2023-04-07 重庆邮电大学 融合全局和局部特征的行人重识别方法、存储器及处理器
CN113536917A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113536917B (zh) * 2021-06-10 2024-06-07 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113963374A (zh) * 2021-10-19 2022-01-21 中国石油大学(华东) 基于多层次特征与身份信息辅助的行人属性识别方法
CN116580270A (zh) * 2023-04-25 2023-08-11 广西大学 基于全局轮廓匹配的图像重定向质量评价方法

Also Published As

Publication number Publication date
US11238274B2 (en) 2022-02-01
CN107316031B (zh) 2020-07-10
CN107316031A (zh) 2017-11-03
US20210150194A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11238274B2 (en) Image feature extraction method for person re-identification
Zhang et al. CoF-Net: A progressive coarse-to-fine framework for object detection in remote-sensing imagery
CN113408492B (zh) 一种基于全局-局部特征动态对齐的行人重识别方法
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
CN102622769B (zh) 一种在动态场景下以深度为主导线索的多目标跟踪方法
CN107730515B (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110097093A (zh) 一种异源图像精确匹配方法
WO2017190656A1 (zh) 行人再识别方法和装置
CN105894502A (zh) 基于超图模型的rgbd图像显著性检测方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN107066969A (zh) 一种人脸识别方法
CN107564022A (zh) 基于贝叶斯融合的视频显著性检测方法
CN113095371B (zh) 一种面向三维重建的特征点匹配方法及系统
CN113792788A (zh) 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN108805915A (zh) 一种抗视角变化的近景影像区域特征匹配方法
CN103955950A (zh) 一种利用关键点特征匹配的图像跟踪方法
Wang et al. Rethinking low-level features for interest point detection and description
CN102236785A (zh) 一种非重叠摄像机视点之间的行人匹配方法
Yuan et al. Structure flow-guided network for real depth super-resolution
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
Yu et al. Adaptive resolution optimization and tracklet reliability assessment for efficient multi-object tracking
Wang et al. Hand posture recognition from disparity cost map
CN115035390B (zh) 一种基于gan和特征增强的航拍图检测方法
Yan et al. Aerial image stitching algorithm based on improved GMS
CN108765384A (zh) 一种联合流形排序和改进凸包的显著性检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916978

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916978

Country of ref document: EP

Kind code of ref document: A1