WO2017101434A1 - 一种多摄像机间人体目标再识别的方法及系统 - Google Patents

一种多摄像机间人体目标再识别的方法及系统 Download PDF

Info

Publication number
WO2017101434A1
WO2017101434A1 PCT/CN2016/089920 CN2016089920W WO2017101434A1 WO 2017101434 A1 WO2017101434 A1 WO 2017101434A1 CN 2016089920 W CN2016089920 W CN 2016089920W WO 2017101434 A1 WO2017101434 A1 WO 2017101434A1
Authority
WO
WIPO (PCT)
Prior art keywords
similarity
prototype
human body
feature
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/089920
Other languages
English (en)
French (fr)
Inventor
李岩山
谭飞刚
谢维信
张勇
石伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Publication of WO2017101434A1 publication Critical patent/WO2017101434A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification

Definitions

  • the invention belongs to the field of image recognition, and in particular relates to a method and a system for re-identifying a human target between multiple cameras without overlapping regions.
  • the prior art human body re-identification method almost uses a query image to match the similarity of all the graphics in the library.
  • these methods have inherent defects, that is, the human appearance features may change significantly between the cameras.
  • the principle of visual recognition indicates that target recognition is a dynamic process, that is, it takes a while to look at two targets to identify whether they are the same target.
  • an image sequence generated by a pedestrian in each camera is used, and a human body re-recognition algorithm based on an image sequence is proposed. The algorithm calculates the similarity between the samples of the human body sequences in the two cameras as features, thereby transforming the human body recognition into a two-class problem, and using the adaboost classifier to determine whether it is the same person.
  • each sample is compared with only one sample in another sample sequence, and the obtained features are not only lack of diversity, but also lack of consideration of the sample itself deformation, shooting angle change and the like.
  • the shape of the legs of a and d varies greatly and is similar to that of e; the shape of b and e legs varies greatly and is similar to f; the shape of c and f legs varies greatly and d More similar. If the re-identification method described above is used, that is, a and d, b and e, c and f respectively perform similarity comparison, the contribution of similarity between a and e, b and f, c and d is ignored.
  • the prior art cannot realize re-recognition of the human body with multi-frame image data, and measure the similarity of the human body target in the multi-frame image data.
  • the technical problem to be solved by the present invention is to provide a method and system for re-identifying a human target between multiple sensors, aiming at solving the problem that the prior art cannot realize re-recognition of the human body with multi-frame image data, and measuring the human body in multi-frame image data.
  • the problem of the similarity of the target is to provide a method and system for re-identifying a human target between multiple sensors, aiming at solving the problem that the prior art cannot realize re-recognition of the human body with multi-frame image data, and measuring the human body in multi-frame image data.
  • the present invention is achieved by a method for re-identifying a human target between multiple cameras, comprising the following steps:
  • Step A dividing the known human body image sequence and the individual image sequence to be identified in the library into several groups, and calculating the individual similarity difference characteristics of each group according to the prototype similarity feature;
  • Step B performing classifier training according to the individual similarity difference characteristics of each group and corresponding labels thereof;
  • step C an average value of the output weights of the classifier is calculated, and the most matching human body is determined according to the average value of the output weights.
  • step A includes the following steps:
  • Step A1 dividing the known human body image sequence and the individual image sequence to be identified in the library into several groups;
  • Step A2 calculating a prototype similarity characteristic of the human body in each image in the group;
  • Step A3 respectively calculating the similarity degree of the prototype similarity characteristics of each known human body image in each group of the query individual, and the similarity degree of the prototype similarity features of all the human body images in the group having the same group number in the to-be-identified library;
  • Step A4 taking all similarities in each group as a new descriptor, that is, an individual similarity difference feature
  • n, m denote the sample image sequence and the size of the image sequence to be identified, respectively. Indicates the prototype similarity feature of the nth image of the i-th person, and f isdf represents the individual similarity difference feature, then:
  • step A1 specifically includes:
  • Systematic sampling is used to assign known human body image sequences and individual image sequences to be identified in the library to each group; to represent a certain body image sequence by seq, then:
  • step A2 specifically includes:
  • Step A21 dividing the human body in each image sequence into three parts according to a division ratio of 1:3:4;
  • Step A22 constructing a component feature set of each component and a corresponding prototype set
  • each cluster serves as a prototype of the component under the feature
  • Step A23 calculating the prototype similarity feature according to the component feature set and the prototype set;
  • Prototype similarity member F p wherein p represents a member, then:
  • the classifier is an adaboost classifier, and in step B, the individual similarity difference feature obtained by the same person sample is used as a positive sample, and the individual similarity difference feature obtained by different human sample calculations is used as a negative sample. To train the adaboost classifier.
  • step C includes specifically:
  • Step C1 calculating an average value of the weights of the sample sequence in the sample image sequence and all the images in the image sequence to be identified after being classified by the adaboost classifier;
  • the score q represents the average value of the weight of the sample sequence seq in the sample image sequence and the image sequence of the human q in all images in the image sequence to be identified, and the output g is expressed as the weight of the gth group after being output by the adaboost classifier. Value, then:
  • Step C2 selecting an image sequence corresponding to the maximum value of the average value of the output weight of the adaboost classifier as the final recognition result, and confirming the most matching human body;
  • the invention also provides a system for re-identifying a human target between multiple cameras, comprising:
  • a calculating unit configured to divide the known human body image sequence and the individual image sequence to be identified in the library into a plurality of groups, and calculate individual similarity difference characteristics of each group according to the prototype similarity feature;
  • a training unit configured to perform classifier training according to individual similarity differences characteristics of each group and corresponding labels thereof;
  • a determining unit configured to calculate an average value of the output weights of the classifier, and determine a best matching human body according to the average value of the output weights.
  • the calculating unit includes:
  • a grouping module configured to divide the known human body image sequence and the individual image sequence to be identified in the library into several groups
  • a prototype similarity calculation module for calculating a prototype similarity characteristic of a human body in each image in the group
  • the similarity calculation module is configured to respectively calculate the similarity degree of the prototype similarity characteristics of each known human body image in each group of the query individual, and the similarity degree of the prototype similarity features of all the human body images in the group having the same group number in the to-be-identified library ;
  • n, m denote the sample image sequence and the size of the image sequence to be identified, respectively. Indicates the prototype similarity feature of the nth image of the i-th person, and f isdf represents the individual similarity difference feature, then:
  • grouping module is specifically configured to:
  • Systematic sampling is used to assign known human body image sequences and individual image sequences to be identified in the library to each group; a certain body image sequence is represented by seq:
  • prototype similarity calculation module includes:
  • a segmentation sub-module for dividing a human body in each image sequence into three components according to a division ratio of 1:3:4;
  • each cluster serves as a prototype of the component under the feature
  • a prototype similarity feature calculation submodule configured to calculate the prototype similarity feature according to the component feature set and the prototype set
  • the present invention has the beneficial effects that the present invention can realize the human body re-identification by using multi-frame image data, and measure the similarity of the human body target in the multi-frame image data, compared with the algorithm provided by the prior art.
  • the present invention provides a significant difference in the recognition rate on the data set, which can effectively improve the robustness of the influencing factors such as large shape, scale and occlusion of the human body in the sample images between different cameras, thereby improving the algorithm. Recognition rate.
  • FIG. 1 is a difference diagram of the same person in different cameras taken in a cross-camera photograph in the prior art.
  • FIG. 2 is a flowchart of a method for re-identifying a human target between multiple cameras according to an embodiment of the present invention.
  • FIG. 3 is a detailed flowchart of a method for re-identifying a human target between multiple cameras according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of comparison of similarity metrics provided by an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of human body segmentation and description according to an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of a prototype reconstruction of an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of extracting individual similarity difference features according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram showing the comparison result of the significant difference distance performance provided by the embodiment of the present invention.
  • FIG. 9 is a schematic diagram of performance comparison results of an algorithm according to an embodiment of the present invention.
  • FIG. 10 is a schematic structural diagram of a multi-camera human target re-recognition system according to an embodiment of the present invention.
  • Human re-identification is the use of some visual features to match the human body in different camera fields. Human re-identification has very important applications in video surveillance systems, such as cross-camera tracking, behavior analysis and pedestrian search.
  • video surveillance systems such as cross-camera tracking, behavior analysis and pedestrian search.
  • algorithms for human re-recognition it still faces enormous challenges. This is mainly due to the influence of light changes, shape changes, partial occlusion and camera settings between different cameras, making the same
  • the appearance characteristics of individuals in different cameras vary greatly, and even the appearance similarity of different people in the same camera is higher than that of the same person in different cameras.
  • the six figures are all the same human body, where a, b, and c are from camera A, and d, e, and f are from camera B.
  • the color of the human body in the camera B is darker than that of the human body in the camera A.
  • the images of the two cameras are also different in terms of human body shape, illumination, scale, background environment, and shooting angle.
  • the accuracy of the human re-recognition algorithm is mainly improved from two aspects: one method is to extract a robust feature descriptor so that the same person has the smallest intra-class change and the largest inter-class change among different people; the other is learning
  • a robust measurement mechanism can suppress object changes in the camera and optimize inter-camera metric learning.
  • Feature descriptors are an important step in applications such as target detection, tracking, retrieval, and re-identification.
  • researchers have designed many robust feature descriptors.
  • a single feature is generally only robust to one or several influencing factors. For example, color features are more robust to deformation and are susceptible to illumination changes. Therefore, some algorithms currently choose several complementary
  • the feature is characterized by feature fusion or constituting a feature pool to increase the robustness of the re-recognition algorithm.
  • Farenzena et al. utilize weighted Euclidean distances, maximum stable local color regions, and structured block features to handle viewing angle variations.
  • the similarity measure is a key step in human body matching.
  • the commonly used similarity measure methods include Euclidean distance, histogram intersection method, Pap s distance and Mahalanobis distance.
  • ZHAO et al. divide the human body image into dense blocks, then use the Euclidean distance to classify and learn the middle layer filter.
  • the method of feature design and selection is to design the appearance features that are robust to illumination changes and human deformation, enhance the appearance distinguishing ability of different people, and maintain the invariance of the appearance characteristics of the same person between different cameras.
  • Kviatkovsky et al. discovered an inner distribution color structure that is invariant to illumination and combined the covariance descriptor for pedestrian re-identification.
  • Zhao et al. used unsupervised learning to extract significant features in human images and used them for pedestrian recognition.
  • Lian et al. proposed a color distance-based LBP feature (DLBP) with luminance invariance, and then based on the fusion of color features to form color DLBP features (CI_DLBP) for pedestrian re-identification.
  • DLBP color distance-based LBP feature
  • CI_DLBP color DLBP features
  • the method of metric learning is to learn a feature transformation or distance metric so that the same person has the smallest distance between different cameras and different human bodies have the largest distance in the same camera.
  • Zheng et al. optimize the distance learning metric mechanism so that the distance between the correct matching pairs is smaller than the probability of the distance between the wrong matching pairs.
  • Prosser et al. transformed the pedestrian re-identification problem into a sorting problem, and proposed a pedestrian re-recognition algorithm based on sorting support vector machine.
  • Hirzer et al. proposed a loose peer-to-peer metric learning pedestrian recognition algorithm for the deficiencies of metric learning. Liu et al.
  • Li et al. proposed a local adaptive decision function composed of joint distance metric model and local adaptive threshold rule for pedestrian re-recognition and achieved good re-recognition performance.
  • an embodiment of the present invention provides a method for re-identifying a human target between multiple cameras, and the steps include:
  • step S1 specifically includes:
  • step S13 respectively calculating the similarity degree of the prototype similarity feature of each known human body image in each group of the query individual, and the similarity degree of the prototype similarity feature of all the human body images in the group having the same group number in the to-be-identified library.
  • the similarity of the prototype similarity features of the samples in the known human body image sequence in step S12 is calculated by using the prototype similarity features of all the human body images in the group having the same group number in the library to be identified.
  • an individual image sequence is used instead of a single image, so each human image in each group of individuals is required to be queried.
  • n, m denote the sample image sequence and the size of the image sequence to be identified, respectively.
  • FIG. 3 to FIG. 9 the embodiment of the present invention is further illustrated by using FIG. 3 to FIG. 9:
  • the image sequence is divided into multiple groups by using the system sampling method, and the individual similarity difference feature (ISDF) is extracted. Then, train an adaboost classifier. Finally, the human body is re-identified according to the classifier output score.
  • ISDF individual similarity difference feature
  • the present embodiment uses SDD as a similarity measurement function. Therefore, Section 5.1 introduces SDD (Significant Difference Distance), Section 5.2 introduces ISDF, and 5.3 introduces human re-identification based on group similarity comparison model. The details are as follows:
  • the similarity measure is an important part of the target re-identification algorithm.
  • the result of the similarity measure directly affects the accuracy of subsequent target re-identification.
  • the design of the similarity measure function should follow the principle that the similarity distance between the similarities is as small as possible, and the similarity distance between the heterogeneous classes is better, so that the target re-identification can be realized more accurately.
  • the interval difference degree is used to evaluate the performance of the similarity measure function, which is defined as follows:
  • ⁇ denotes the difference in spacing
  • D( ⁇ , ⁇ ) denotes a similarity measure function
  • x denotes a feature vector
  • x d denotes a feature vector that is heterogeneous with x
  • a feature vector of the same kind as x s and x According to the similarity measure function design principle, the larger the value of ⁇ , the better the similarity measure function is designed, and the more distinguishable the difference between different objects.
  • the Euclidean distance only represents the cumulative difference between the two vectors in the multidimensional space, as shown in equation (2).
  • n represents the dimension of the vector
  • x i , y i represent the element values of the two vectors, respectively.
  • each element in the feature vector is a description of a particular attribute information of the object.
  • each bin in the color histogram describes the proportion of the corresponding chrominance value in the entire image. Therefore, the importance of the difference between the significant elements should be emphasized when calculating the similarity, that is, the elements with significant differences are given greater weight to highlight their contributions, while the smaller elements are given smaller weights to reduce their The influence in the metric, thereby increasing the discriminability of the similarity measure function.
  • the present embodiment proposes to measure the similarity between vectors by using the difference between the two vector corresponding elements as the significant difference distance of the weights. Its calculation is defined as follows:
  • n is the vector dimension and ⁇ i is the weight.
  • the significant difference distance involved in this embodiment considers the degree of difference between corresponding elements between vectors, and also considers the cumulative difference of all elements. And the greater the difference between the corresponding element values in the vector, the greater the weight, the greater the distance of the final significant difference, and the more similar the two vectors are.
  • d ED , d SDD , ⁇ ED , and ⁇ SDD respectively represent the Euclidean distance and the significant difference distance and their corresponding interval differences.
  • a and b are sample images of the same person in different cameras, and b and c are different human body images in the same camera. From the similarity measure results in the figure, ⁇ ED ⁇ SDD , so the significant difference distance has better intra-class and inter-class distance difference than Euclidean distance, which can better describe the line. Human similarity.
  • the present embodiment divides the head region into three parts in the horizontal direction, the left background area, the middle foreground area, and the right background area.
  • a total of 6,364 human samples in the four data sets of VIPeR, iLIDS, CUHK01, and ETHZ are normalized to 64*128, and the ratios of the vertical and horizontal divisions of the images in each data set are counted, and the results are as follows. Table 1 shows.
  • FIG. 5 is a schematic diagram of a human body segmentation according to the embodiment.
  • the sample width is W
  • the height is H
  • Each component consists of n1 feature vectors Description, ie:
  • FIG. 6 is a schematic diagram of component prototype construction. Once the component prototype set is created successfully, each component of any sample can be represented by the corresponding prototype similarity distance. This feature is called Prototype Similarity Feature (PSF) in this embodiment:
  • PSF Prototype Similarity Feature
  • F p represents the PSF of component p, and its calculation expression is as follows:
  • n m represent the size of two different image sequences, respectively.
  • the PSF representing the nth image of the i-th person.
  • Figure 7 is a schematic diagram of ISDF extraction.
  • Pedestrians have shapes, illumination changes, etc. in different cameras. If only the similarity of the corresponding sample images in the two sample sequences is calculated, it lacks sufficient consideration of the influencing factors; if each sample is calculated for all samples in the other sample sequence Similarity, its computational complexity will increase, affecting real-time application requirements.
  • This embodiment proposes a scientific and efficient re-recognition algorithm. The algorithm groups the sample sequences, uses the rules of full connection within the group and no connection between groups, and uses the significant difference distance to calculate the similarity between samples.
  • N is the total number of samples in the individual sequence
  • id is the sample number
  • s is the group number
  • ⁇ indicates belonging to the relationship
  • % indicates the remainder operation
  • gn is the total number of groups.
  • the human re-identification problem can be transformed into a two-category problem, namely the same person and different people.
  • the final output of the adaboost classifier is the average of the weights learned by each weak classifier. The larger the value, the more similar the two human samples are. Then, after calculating the sample sequence seq p of the person p in the camera A and the classifier output result of all the image sequences in the camera B library, the image sequence with the largest output result of the classifier is selected as the final re-recognition result.
  • score q represents the mean value of the weights of the known sample sequence seq and the sample sequence of the human body q to be identified in the library after adaboost classification, and the calculation is described as follows:
  • the output g is expressed as the weight of the gth group after being output by the adaboost classifier.
  • This patent selects four publicly recognized human body re-identification data sets, namely VIPeR, CUHK01, ETHZ and MCT04.
  • VIPeR belongs to single frame mode, while the other three data sets belong to multi-frame mode.
  • the VIPeR consists of camera images taken at two different shooting angles in the outdoor environment of the university campus. It contains 632 pedestrians, each of which contains only one image per camera.
  • the CUKH01 contains a total of 3,884 sample images of 971 pedestrians, each containing 4 images from two cameras with different shooting angles.
  • the ETHZ is captured by a mobile camera that contains a total of 83 pedestrian image sequences, each of which contains at least 7 images.
  • an image containing at least 12 samples (divided into two sample sequences, each sample sequence containing 6 images) is selected, and 960 images are obtained by screening to obtain 80 pedestrian image sequences.
  • the MCT04 is composed of five non-overlapping field of view video.
  • 73 pedestrian image sequences co-occurring in two cameras are selected, and each pedestrian has 6 images in each camera, for a total of 876 samples. All data sets are very challenging, because different shooting angles, poses, and lighting influence the pedestrians to have large differences in appearance between different cameras.
  • This embodiment uses HOG and LBP, Major Color Spectrum Histogram (MCSH) and YUV color histogram to describe various components of the human body. All samples were divided into three parts, a head, a torso and a leg, according to the division ratio of the present embodiment, and 10 prototypes were constructed for each feature of the head, and 20 prototypes were constructed for the trunk and the legs.
  • MCSH Major Color Spectrum Histogram
  • YUV YUV color histogram
  • This embodiment uses Cumulative Matching Characteristic (CMC) and Rank N to evaluate the re-recognition performance of each method.
  • CMC Cumulative Matching Characteristic
  • the present embodiment selects the Euclidean distance, the Pap address distance, the histogram intersection method and the significant difference distance proposed by the present embodiment to perform a comparative experiment.
  • the experiment used two evaluation indexes of Rank-1 and Rank-5, and the comparison results are shown in Fig. 8. From the comparison results in the figure, it can be seen that the significant difference distance proposed in this embodiment is much higher than the other methods in the data set, whether Rank-1 or Rank-5, and Rank on the ETHZ and MCT04 data sets.
  • the recognition rate of -1 is higher than other methods.
  • the cumulative difference of the feature vectors described by Euclidean distance without considering the importance of the difference between the corresponding elements between the two vectors.
  • the histogram intersection method considers the similarity between the corresponding elements of the two feature vectors, the spatial distance between the two feature vectors is not considered.
  • the Pap singer distance describes the probability distribution of two eigenvectors in the same space.
  • the recognition rate is higher than the Euclidean distance and histogram intersection method, but lower than the significant difference distance.
  • the recognition rate of SDD in the four libraries is better than the other three methods, which shows that SDD has better distinguishing ability.
  • This embodiment performs a comparative experiment on the ETHZ and MCT04 data sets with the conventional recognition mode method and the sequence recognition mode method.
  • the resulting CMC curve is shown in Figure 9.
  • the method proposed in this embodiment obtains the accuracy of 87.75% and 68.77% of Rank-1 on the ETHZ and MCT04 data sets, respectively, and also shows that the method proposed in this embodiment is superior to the other three methods.
  • the reason may be that the packet-based full connection mode can effectively improve the robustness of the influence factors such as large shape, scale and occlusion of the human body in the sample images between different cameras, thereby improving the recognition rate of the algorithm.
  • One possible reason why the recognition rate of the ETHZ data set is higher than that of the MCT04 data set is that the ETHZ data set image has high resolution and less occlusion.
  • an embodiment of the present invention further provides a system for re-identifying a human target between multiple cameras, including:
  • the calculating unit 1 is configured to divide the known human body image sequence and the individual image sequence to be identified in the library into a plurality of groups, and calculate individual similarity difference characteristics of each group according to the prototype similarity feature;
  • the training unit 2 is configured to perform classifier training according to the individual similarity difference characteristics of each group and their corresponding labels.
  • the classifier is an adaboost classifier, and the training unit 2 calculates the individual similarity difference feature obtained by the same person sample as a positive sample, and the individual similarity difference feature obtained by different human sample calculations is trained as a negative sample.
  • the adaboost classifier is an adaboost classifier
  • the determining unit 3 is configured to calculate an average value of the output weights of the classifier, and determine a best matching human body according to the average value of the output weights.
  • computing unit 1 comprises:
  • a grouping module configured to divide the known human body image sequence and the individual image sequence to be identified in the library into several groups
  • a prototype similarity calculation module for calculating a prototype similarity characteristic of a human body in each image in the group
  • the similarity calculation module is configured to respectively calculate the similarity degree of the prototype similarity characteristics of each known human body image in each group of the query individual, and the similarity degree of the prototype similarity features of all the human body images in the group having the same group number in the to-be-identified library ;
  • n, m denote the sample image sequence and the size of the image sequence to be identified, respectively. Indicates the prototype similarity feature of the nth image of the i-th person, and f isdf represents the individual similarity difference feature, then:
  • grouping module is specifically configured to:
  • Systematic sampling is used to assign known human body image sequences and individual image sequences to be identified in the library to each group; a certain body image sequence is represented by seq:
  • seq is represented as an image sequence of an individual, and there is no specific indication, nor is it a sequence of all images that are inquired and to be recognized, and may be a sequence of images of a human body or a sequence of images of an individual to be identified in the library.
  • the value range of the % remainder operation is [0 Gn-1], so it is necessary to add 1 to the remainder so that its value range is [1 gn] corresponds to Figure 3.
  • a sample refers to an image, and an individual can contain multiple samples.
  • prototype similarity calculation module includes:
  • Segmentation sub-module for dividing the human body in each image sequence into three parts according to a division ratio of 1:3:4
  • each cluster serves as a prototype of the component under the feature
  • a prototype similarity feature calculation submodule configured to calculate the prototype similarity feature according to the component feature set and the prototype set

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

该方法适用于无重叠区域的多摄像机间的人体再识别，提供了一种多传感器间人体目标再识别的方法，步骤包括：A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征（S1）；B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练(S2)；C，计算分类器的输出权值平均值，从而确定最匹配人体(S3)。该方法能够用多帧图像数据来实现人体再识别，及度量多帧图像数据中的人体目标的相似度，与现有技术提供的算法相比，该方法提供提出的显著性差异距离在数据集上识别率较高，可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。

Description

一种多摄像机间人体目标再识别的方法及系统 技术领域
本发明属于图像识别领域，尤其涉及一种无重叠区域的多摄像机间人体目标再识别的方法及系统。
背景技术
目前，现有技术的人体再识别方法几乎都是使用一幅查询图像与图库中所有图形进行相似度匹配，然而，这些方法存在固有缺陷，即人体外观特征在摄像机间可能会发生显著性变化。视觉识别原理指出目标识别是一个动态的过程，即需要注视两个目标一段时间后才能识别出它们是否为同一目标。现有技术中有利用行人在每个摄像机内跟踪产生的图像序列，提出了基于图像序列的人体再识别算法。该算法计算两个摄像机中人体序列对应样本间相似度作为特征，从而将人体再识别转化为一个二分类问题，并利用adaboost分类器来判断是否为同一人。在该方法中每个样本仅与另一样本序列中一个样本进行相似度对比，得到的特征不仅缺乏多样性，而且缺乏考虑样本自身形变、拍摄视角变化等影响。如图1所示，a与d的腿部形状变化较大而与e的较为相似；b与e腿部形状变化较大而与f比较相似；c与f腿部形状变化较大而与d比较相似。如果采用上述的再识别方法，即a与d、b与e、c与f分别进行相似度比较，则会忽略a与e、b与f、c与d之间相似度的贡献。
现有技术无法实现用多帧图像数据进行人体再识别，及度量多帧图像数据中的人体目标的相似度。
发明内容
本发明所要解决的技术问题在于提供一种多传感器间人体目标再识别的方法及系统，旨在解决现有技术无法实现用多帧图像数据进行人体再识别，及度量多帧图像数据中的人体目标的相似度的问题。
本发明是这样实现的，一种多摄像机间人体目标再识别的方法，包括以下步骤：
步骤A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
步骤B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；
步骤C，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
进一步地，所述步骤A包括以下步骤：
步骤A1，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
步骤A2，计算组内每幅图像中人体的原型相似度特征；
步骤A3，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；
步骤A4，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；
以n,m分别表示样本图像序列和待识别图像序列的大小，
Figure PCTCN2016089920-appb-000001
表示第i个人的第n幅图像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
Figure PCTCN2016089920-appb-000002
进一步地，所述步骤A1具体包括：
采用系统抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列，则：
seq＝{sp1,sp2,...,spN}，
其中：spid∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/sc，sc表示组内样本个数。
进一步地，所述步骤A2具体包括：
步骤A21，将每一图像序列中的人体按照1:3:4的分割比例分成三部件；
步骤A22，构建各部件的部件特征集和对应的原型集；
假如图库中有T个样本，即G＝{Γ1,...,ΓT}，每个样本按照分割比例分割成三部件，即Γi＝{Γi,head,Γi,body,Γi,leg}，以n1种特征向量
Figure PCTCN2016089920-appb-000003
描述每个部件，即：
Figure PCTCN2016089920-appb-000004
其中，p∈{head,body,leg}，1≤k≤n1，图库中所有样本的部件p的第k种特征融合在一起形成部件p的第k种特征集
Figure PCTCN2016089920-appb-000005
即：
Figure PCTCN2016089920-appb-000006
其中，U表示包含关系；
接着，利用k-means算法将部件p的部件特征集
Figure PCTCN2016089920-appb-000007
聚类得到c个簇
Figure PCTCN2016089920-appb-000008
1≤j≤c，同时形成该部件的一个原型集
Figure PCTCN2016089920-appb-000009
即：
Figure PCTCN2016089920-appb-000010
其中，每个簇作为该部件在该特征下的一个原型；
步骤A23，根据所述部件特征集和所述原型集计算所述原型相似度特征；
以
Figure PCTCN2016089920-appb-000011
表示样本部件p的第k种特征与其对应的原型集
Figure PCTCN2016089920-appb-000012
之间的相似度，d(·,·)表示为显著性差异距离，则：
Figure PCTCN2016089920-appb-000013
以Fp表示部件p的部件原型相似度特征，则：
Figure PCTCN2016089920-appb-000014
以F表示人体原型相似度特征，则：
F＝{Fhead,Fbody,Fleg}。
进一步地，所述分类器为adaboost分类器，在步骤B中，以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器。
进一步地，所述步骤C包括具体包括：
步骤C1，计算样本图像序列中的样本序列与待识别图像序列中所有图像经过adaboost分类器分类后的权值平均值；
以scoreq表示样本图像序列中的样本序列seq与待识别图像序列中所有图像中人体q的图像序列经过adaboost分类后权值平均值，outputg表示为第g组经过adaboost分类器后输出的权值，则：
Figure PCTCN2016089920-appb-000015
步骤C2，选择adaboost分类器输出权值平均值的最大值对应的图像序列为最终的在识别结果，确认最匹配人体；
以q*表示权值平均值的最大值，Q表示图库，则：
Figure PCTCN2016089920-appb-000016
本发明还提供了一种多摄像机间人体目标再识别的系统，包括：
计算单元，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
训练单元，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；
确定单元，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
进一步地，所述计算单元包括：
分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；
相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；
计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；
以n,m分别表示样本图像序列和待识别图像序列的大小，
Figure PCTCN2016089920-appb-000017
表示第i个人的第n幅图像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
Figure PCTCN2016089920-appb-000018
进一步地，所述分组模块具体用于：
采用系统抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：
则：seq＝{sp1,sp2,...,spN}，
其中：spid∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/sc，sc表示组内样本个数。
进一步地，所述原型相似度计算模块包括：
分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件；
构建子模块，用于构建各部件的部件特征集和对应的原型集；
假如图库中有T个样本，即G＝{Γ1,...,ΓT}，每个样本按照分割比例分割成三部件，即Γi＝{Γi,head,Γi,body,Γi,leg}，以n1种特征向量
Figure PCTCN2016089920-appb-000019
描述每个部件，即：
Figure PCTCN2016089920-appb-000020
其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形成部件p的部件特征集
Figure PCTCN2016089920-appb-000021
即：
Figure PCTCN2016089920-appb-000022
其中，U表示包含关系；
接着，利用k-means算法将部件p的部件特征集
Figure PCTCN2016089920-appb-000023
聚类得到c个簇
Figure PCTCN2016089920-appb-000024
1≤j≤c，同 时形成该部件的一个原型集
Figure PCTCN2016089920-appb-000025
即：
Figure PCTCN2016089920-appb-000026
其中，每个簇作为该部件在该特征下的一个原型；
原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；
以
Figure PCTCN2016089920-appb-000027
表示样本部件p的第k种特征与其对应的原型集
Figure PCTCN2016089920-appb-000028
之间的相似度，d(·,·)表示为显著性差异距离，则：
Figure PCTCN2016089920-appb-000029
以Fp表示部件p的部件原型相似度特征，则：
以F表示原型相似度特征，则：
F＝{Fhead,Fbody,Fleg}。
本发明与现有技术相比，有益效果在于：本发明能够用多帧图像数据来实现人体再识别，及度量多帧图像数据中的人体目标的相似度，与现有技术提供的算法相比，本发明提供提出的显著性差异距离在数据集上识别率较高，可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。
附图说明
图1是现有技术中跨摄像机拍摄下同一个人在不同摄像机的差异图。
图2是本发明实施例提供的一种多摄像机间人体目标再识别方法的流程图。
图3是本发明实施例提供的一种多摄像机间人体目标再识别方法的详细流程图。
图4是本发明实施例提供的相似度度量的比较示意图。
图5是本发明实施例提供的人体分割及描述示意图。
图6是本发明实施例提供的部件原型重建示意图。
图7是本发明实施例提供的个体相似度差异特征提取示意图。
图8是本发明实施例提供的显著性差异距离性能对比结果示意图。
图9是本发明实施例提供的算法性能对比结果示意图。
图10是本发明实施例提供的一种多摄像机间人体目标再识别系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
人体再识别是人体跨摄像机跟踪的关键任务，近年来受到广泛关注。人体再识别就是在不同的摄像机视野里利用一些视觉特征进行人体匹配。人体再识别在视频监控系统中具有非常重要的应用，如跨摄像机跟踪、行为分析和行人搜索等。经过十多年的研究，目前已经存在许多人体再识别的算法，但是其仍面临着巨大的挑战，这主要是因为不同摄像机间光照变化、形状变化、部分遮挡和摄像机设置等因素影响，使得同一个人在不同摄像机内外观特征变化非常大，甚至出现不同人在同一摄像机内的外观相似度高于同一人在不同摄像机内的外观相似度。如图1所示，6幅图均为同一人体，其中a、b和c来自摄像机A，d、e和f来自摄像机B。从图中可以看出，摄像机B中人体颜色要比摄像机A中人体颜色深，两个摄像机的图像在人体形状、光照、尺度、背景环境、拍摄视角等方面也有较大差异。目前主要从两个方面来提高人体再识别算法的准确度：一种方法是提取鲁棒的特征描述子使得同一个人具有最小的类内变化而不同人间具有最大类间变化；另一种是学习一种鲁棒的度量机制能够抑制摄像机内物体变化并优化摄像机间度量学习。
特征描述子是目标检测、跟踪、检索和再识别等应用的重要步骤。近几十年，研究者设计出了许多鲁棒的特征描述子。然而，单一特征一般只对某种或几种影响因素具有较好鲁棒性，例如颜色特征对形变具有较好的鲁棒性而容易受光照变化影响，因此，目前一些算法通过选择几种互补的特征进行特征融合或构成特征池来增加再识别算法的鲁棒性。Farenzena等利用加权欧式距离、最大稳定局部颜色区域和结构化块特征来处理视角变化。相似性度量是人体匹配的关键步骤，目前常用的相似性度量方法有欧式距离，直方图交叉法，巴氏距离和马氏距离等。ZHAO等将人体图像划分为稠密的块，然后利用欧式距离进行分类和学习中间层滤波器。
目前大部分的人体再识别方法都是依靠人体间外观特征的相似度来完成不同摄像机间再识别任务。因此，目前的人体再识别方法主要分为特征设计与选择和度量学习两类。
特征设计与选择的方法则是设计出对光照变化、人体形变鲁棒的外观特征，增强不同人间的外观区分能力，同时维持同一人在不同摄像机间外观特征的不变性。Kviatkovsky等发现了一种对光照具有不变性的内分布的颜色结构，并结合协方差描述子用于行人再识别。Zhao等利用无监督学习的方法提取人体图像中显著性特征并用于行人再识别。Lian等提出了具有亮度不变性的基于颜色距离的LBP特征(DLBP)，并再此基础上融合颜色特征形成颜色DLBP特征(CI_DLBP)进行行人再识别。Farenzena等结合整体的加权颜色直方图、最大稳定的颜色区域和周期性的高度结构化块三种特征进行行人再识别。Liu等发现行人外 观各特征的描述的重要程度在不同摄像机视角、不同光照环境下各特征的重要性不同，据此提出了一种基于特征重要性挖掘的行人再识别算法。Ryan等用中心属性来描述行人并通过比较属性特征来区分不同摄像机中的行人。
度量学习的方法就是学习一种特征转换或距离度量使得同一人在不同摄像机间具有最小距离而不同人体在相同摄像机里具有最大距离。Zheng等优化距离学习度量机制，使得正确匹配对之间的距离要小于错误匹配对之间距离的概率最大化。Prosser等受文本分类和检索的启发，将行人再识别问题转换为一个排序问题，提出了基于排序支持向量机的行人再识别算法。Hirzer等针对度量学习存在优化计算模式复杂的缺陷提出了宽松的逐对度量学习的行人再识别算法。Liu等通过利用LCC(局部坐标编码)来学习得到两个稀疏字典，并通过字典的重构误差大小来实现行人再识别。Li等提出了一个由联合距离度量模型和局部自适应阈值规则组成的局部自适应决策函数用于行人再识别并取得了很好的再识别性能。
基于上述原因，如图2所示，本发明实施例提供了一种多摄像机间人体目标再识别的方法，步骤包括：
S1，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
S2，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；
S3，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
进一步地，步骤S1具体包括：
S11，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
S12，计算组内每幅图像中人体的原型相似度特征。在本步骤中，计算所有组内图像的人体原型相似度特征，包括已知人体图像序列和图库中待识别个体图像序列，本步骤将每幅图像内人体划分为三部件，然后每个部件与对应的已经构建好的原型特征计算相似度，最后将三部件的相似度融合在一起形成整个人体的原型相似度特征。
S13，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度。在本步骤中，拿步骤S12中已知人体图像序列中样本的原型相似度特征一一与待识别的图库中的具有相同组编号的组内所有人体图像的原型相似度特征计算相似度。在本步骤中使用的是个体图像序列来代替单幅图像，因此需查询个体各组内每幅人体图像。
S14，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；
以n,m分别表示样本图像序列和待识别图像序列的大小，
Figure PCTCN2016089920-appb-000031
表示第i个人的第n幅图 像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
Figure PCTCN2016089920-appb-000032
下面，通过图3至图9来对本发明实施例进行进一步的阐述：
本实施例的详细流程如图3所示，首先，以分组数为间距，采用系统抽样的方法将图像序列划分至多个组中，并提取个体相似度差异特征(ISDF，Individual Similarity Difference Feature)。然后，训练一个adaboost分类器。最后，根据分类器输出得分来实现人体再识别。在特征提取过程中，本实施例使用SDD作为相似度测量函数。因此，5.1节介绍SDD(Significant Difference Distance，显著性差异距离)，5.2节介绍ISDF，5.3介绍基于分组相似度对比模型的人体再识别。详细介绍如下：
5.1显著性差异距离
相似性度量是目标再识别算法中重要组成部分，相似性度量的结果直接影响着后续目标再识别的准确性。相似性度量函数的设计应遵循同类之间相似度距离越小越好，异类之间相似度距离越大越好的原则，以便更加准确的实现目标再识别。本实施例中采用间隔差异度来评价相似性度量函数的性能，其定义如下：
θ＝D(x,xd)-D(x,xs)   (1)
其中θ表示间隔差异，D(·,·)表示相似性度量函数，x表示特征向量，xd表示与x异类的特征向量，xs与x同类的特征向量。根据相似性度量函数设计原则可知，θ值越大，相似性度量函数设计的就越好，越能区分不同物体间差异。
欧氏距离仅仅表示在多维空间里两个向量的累计差异值，如式(2)所示。
Figure PCTCN2016089920-appb-000033
式中n表示向量的维数，xi,yi分别表示两个向量的元素值。
在利用特征向量来描述物体时，特征向量中每个元素都是物体某种特定属性信息的描述。例如颜色直方图中每个bin描述的是对应色度值在整幅图像中的比例。因此，在计算相似性时应突出显著性元素间差异的重要性，即对显著性差异的元素赋予更大的权值来突出其贡献，而对差异小的元素赋予更小权值来减少其在度量中的影响，从而增加相似性度量函数的区分性。基于上述分析，本实施例提出了以两向量对应元素间差异性作为权值的显著性差异距离来度量向量间的相似性。其计算定义如下:
Figure PCTCN2016089920-appb-000034
其中n为向量维数，ωi为权值，其计算如式(4)所示，σ为带宽，本实施例σ＝0.1。
Figure PCTCN2016089920-appb-000035
本实施例中涉及的显著性差异距离，既考虑了向量间对应元素间的差异度，也考虑了所有元素的累积差异。并且向量间对应元素值差异越大，其权值越大，最终的显著性差异距离也越大，两向量就越不相似。本实施例用dED,dSDD,θED,θSDD分别表示欧氏距离和显著性差异距离及其对应的间隔差异度。如图4所示，a和b分别是不同摄像机里同一人样本图像，b与c为同一摄像机内不同人体图像。从图中相似性度量结果可知，θED＜＜θSDD，因此显著性差异距离相比于欧氏距离而言，具有更好的类内与类间距离的差异性，可更好的描述行人间的相似性。
5.2个体相似度差异特征
5.2.1人体分割
多余的背景会影响人体再识别准确性，为了减少背景区域对人体再识别的干扰，现有技术提供的一些算法通过颜色聚类的方法将人体垂直方向分割为多个部件，并忽略区域小的头部。然而，这类通过颜色聚类的分割方法容易受到衣着颜色的干扰，如穿风衣或连衣裙时容易造成分割不准确。此外，虽然头部区域较小，但是也包含着丰富的信息，如头发颜色、发型、配饰等。Mazzon等发现人体头部被遮挡的概率小，因此利用人体头部区域在拥挤场景中进行人体再识别。为了有效的利用头部区域并尽量避免过多的引入背景，本实施例将头部区域在水平方向上划分为左侧背景区域、中间前景区域和右侧背景区域三部分。本实施例将VIPeR、iLIDS、CUHK01和ETHZ四个数据集里共6364幅人体样本归一化至64*128后，对各数据集内图像垂直方向和水平方向的分割比例进行统计，其结果如表1所示。从表1中可以得出头部、躯干和腿部的平均比例约为19.25:45.25:63.5，化简后约为1:3:4；左侧背景、头部和右侧背景的平均比例约为17.25:30.125:16.625，化简后约为1:2:1。因为ETHZ数据集样本中行人离摄像机比较远，人体尺度也比较小，从表1中也可以看出其头部在垂直方向变化比较大。因此，为了增加头部区域对垂直方向平移的鲁棒性，本实施例对头部区域高度延伸1.5倍。如图5为本实施例人体分割示意图。其中样本宽度为W，高度为H，垂直条纹的高度为h(h＝H/8)，水平条纹宽度为w(w＝W/4)。
表1各部件垂直高度(像素)
Figure PCTCN2016089920-appb-000036
Figure PCTCN2016089920-appb-000037
5.2.2原型相似度特征
假如图库中包含T个样本，即G＝{Γ1,...,ΓT}，每个个体按照图5所示的分割比例分割成三部分，即Γi＝{Γi,head,Γi,body,Γi,leg}。每个部件由n1种特征向量
Figure PCTCN2016089920-appb-000038
描述，即：
Figure PCTCN2016089920-appb-000039
其中p∈{head,body,leg}，1≤k≤n1。图库中所有样本的部件p的第k种特征按照式(6)融合在一起形成部件特征集
Figure PCTCN2016089920-appb-000040
Figure PCTCN2016089920-appb-000041
其中U表示包含关系。接着利用k-means算法将
Figure PCTCN2016089920-appb-000042
聚类得到c个簇
Figure PCTCN2016089920-appb-000043
(1≤j≤c)，并形成该部件p的一个原型集
Figure PCTCN2016089920-appb-000044
如式(7)所示，每个簇作为部件p在该种特征下的一个原型。
Figure PCTCN2016089920-appb-000045
图6为部件原型构建示意图。一旦部件原型集创建成功，任何样本的各部件都可以用对应的原型相似度距离来表示。本实施例称此特征为原型相似度特征(PSF，Prototype Similarity Feature)：
F＝{Fhead,Fbody,Fleg}   (8)
其中Fp表示部件p的PSF，其计算表达式如下：
Figure PCTCN2016089920-appb-000046
其中
Figure PCTCN2016089920-appb-000047
表示样本部件p的第k种特征与其对应的原型集
Figure PCTCN2016089920-appb-000048
间相似度，计算如下：
Figure PCTCN2016089920-appb-000049
其中d(·,·)表示为显著性差异距离。
计算摄像机A中每个样本图像与摄像机B中所有图像的相似度(称为全连接)，如果把每一对PSF的相似度作为一个元素值，那么，在计算完一个组内所有对后可得到一个新的描述子，本实施例称为个体相似度差异特征：
Figure PCTCN2016089920-appb-000050
其中n,m分别表示两组不同图像序列大小。
Figure PCTCN2016089920-appb-000051
表示第i个人的第n幅图像的PSF。图7为ISDF提取示意图。
5.3人体再识别
行人在不同摄像机里存在形状、光照变化等，如果只计算两个样本序列里对应样本图像的相似度，其缺乏对影响因素的充分考虑；如果计算每个样本与另一样本序列里所有样本的相似度，其计算复杂度将会增加，影响实时性应用要求。本实施例提出了一种科学高效的再识别算法。该算法将样本序列进行分组，采用组内全连接而组间不连接的规则并利用显著性差异距离计算样本间相似度。为了增强算法对人体形变、遮挡等因素的鲁棒性，本实施例以总分组数为间距，采用如式(11)所示的系统抽样的方法，将图像序列seq＝{sp1,sp2,...,spN}分配到各个组内。
Figure PCTCN2016089920-appb-000052
其中N为个体序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其设置规则如下：
gn＝N/sc   (13)
其中sc表示组内样本个数，一个经验值范围是2≤sc≤5。
如果将相同人样本计算所得到的
Figure PCTCN2016089920-appb-000053
作为正样本，而不同人样本计算所得到的
Figure PCTCN2016089920-appb-000054
作为负样本来训练adaboost分类器，那么人体再识别问题可转化为一个二分类问题，即相同人和不同人。adaboost分类器最终的输出是各弱分类器学习得到的权值平均值，其值越大表示两个人体样本越相似。那么，计算出摄像机A中人p的样本序列seqp与摄像机B图库中所有图像序列的分类器输出结果后，选择分类器输出结果最大的图像序列作为最终的再识别结果。用公式表达如下：
Figure PCTCN2016089920-appb-000055
其中Q为图库，scoreq表示已知样本序列seq与图库中待识别人体q的样本序列经过adaboost分类后权值平均值，其计算描述如下：
Figure PCTCN2016089920-appb-000056
其中outputg表示为第g组经过adaboost分类器后输出的权值。
分组的另一个目的是为了平衡算法鲁棒性和时间开销，假设图像序列seqa,seqb的样本数为n，那么不分组时全连接的算法时间复杂度为ο(n2)。如果每个序列分为K组，则seqa,seqb每组样本数约为n/K，此时算法时间复杂度为ο(n2/K)。可见随着分组数增加，算法的时间复杂度在降低。因此，在实际应用中需要在识别精度与时间复杂度方面进行权衡。结合图3和图7可知，本实施例的一个特例为sc＝1。
本专利选择4个公开的人体再识别数据集，分别是VIPeR，CUHK01，ETHZ和MCT04。VIPeR属于单帧模式，而其它3个数据集属于多帧模式。VIPeR由大学校园室外环境里两个不同拍摄角度的摄像机拍摄图像组成，包含632个行人，每个行人每个摄像机只包含一幅图像。CUKH01包含971个行人共3884幅样本图像，每个行人包含4幅图像，分别来自两个不同拍摄角度的摄像机。ETHZ由一个移动摄像机拍摄得到，该数据集共包含83个行人图像序列，每个行人图像序列至少包含7幅图像。本实施例选择出至少包含12幅样本(划分为两个样本序列，每个样本序列包含6幅图像)的图像进行实验，经过筛选得到960幅包含80个行人图像序列。MCT04为由5个不重叠视野区域的视频组成，本实施例选择其中两个摄像机里共同出现的73个行人图像序列，每个行人每个摄像机里6幅图像，共876幅样本。所有数据集都非常具有挑战性，因为不同拍摄视角、姿态和光照等因素影响使得行人在不同摄像机间具有较大的外观差异。
参数设置：本实施例采用HOG和LBP、主颜色谱直方图(Major Color Spectrum Histogram,MCSH)、YUV颜色直方图6种特征来描述人体各部件。所有样本根据本实施例分割比例分割成头部、躯干和腿部三部分，并且头部每种特征构建10个原型，躯干和腿部构建20个原型。用gc表示分组数，那么各数据集分组信息如下：VIPeR：gc＝1,sc＝1，CUHK01：gc＝1,sc＝2，ETHZ：gc＝2,sc＝3和MCT04：gc＝3,sc＝2，σ＝0.1。
评价指标：本实施例采用累积匹配特性曲线(Cumulative Matching Characteristic，CMC)和Rank N来评估各方法的再识别性能。
通过本发明实施例，可以达到以下有益效果：
优点一：本实施例提出的显著性差异距离在数据集上无论是Rank-1还是Rank-5的识别率都远高于其它现有技术提供的方法
为了验证显著性差异距离在特征相似性度量的性能，本实施例选择欧氏距离、巴氏距离、直方图相交法与本实施例提出的显著性差异距离4种特征相似度方法进行对比实验。实验使用Rank-1和Rank-5两种评价指标，对比结果如图8所示。从图中对比结果可知，本实施例提出的显著性差异距离在数据集上无论是Rank-1还是Rank-5的识别率都远高于其它几种方法，而在ETHZ和MCT04数据集上Rank-1的识别率高于其它方法。欧氏距离描述的特征向量的累积差异，而没有考虑两个向量间对应元素间的差异的重要性。直方图交叉法虽然考虑了两特征向量对应元素间相似性，但没有考虑两特征向量间空间距离。巴氏距离描述的是两特征向量在相同空间内的概率分布，识别率虽高于欧氏距离和直方图相交法，但低于显著性差异距离。SDD在四个图库的识别率都优于其它三种方法，从而说明了SDD具有更好的区分能力。
优点二：本专利的方法比现有其他方法具有更好的多传感器间人体再识别率。
本实施例与传统的识别模式方法和序列识别模式方法在ETHZ和MCT04数据集上进行对比实验。其结果的CMC曲线如图9所示。本实施例提出的方法在ETHZ和MCT04数据集上分别获得了87.75％和68.77％的Rank-1的准确率，并且也展示了本实施例提出的方法优于其它三种方法。这原因可能是基于分组的全连接模式可以有效的改善不同摄像机间样本图像中人体产生较大的外形、尺度和遮挡等影响因素的鲁棒性，从而提高算法的识别率。而ETHZ数据集的识别率高于MCT04数据集的一个可能原因是ETHZ数据集图像分辨率高并且遮挡少。
如图10所示，本发明实施例还提供了一种多摄像机间人体目标再识别的系统，包括：
计算单元1，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
训练单元2，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练。具体地，所述分类器为adaboost分类器，训练单元2以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器
确定单元3，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
进一步地，计算单元1包括：
分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；
相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；
计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；
以n,m分别表示样本图像序列和待识别图像序列的大小，
Figure PCTCN2016089920-appb-000057
表示第i个人的第n幅图像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
Figure PCTCN2016089920-appb-000058
进一步地，所述分组模块具体用于：
采用系统抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：
则：seq＝{sp1,sp2,...,spN}，
其中：spid∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/sc，sc表示组内样本个数。
上述中，seq表示为一个个体的图像序列，没有特指，也不是表示查询和待识别的全部图像序列，可以是查询人体图像序列也可以是待识别图库里某个个体的图像序列。根据spid∈Group_(s+1)if id％gn＝s分组，即样本编号除分组数后得到的余数即为该样本所在分组编号，上述公式中，％取余操作的值域为[0 gn-1]，因此需要将余数加1，使其值域为[1 gn]与附图3对应。一个样本指一幅图像，一个个体可以包含多个样本。
进一步地，所述原型相似度计算模块包括：
分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件
构建子模块，用于构建各部件的部件特征集和对应的原型集；
假如图库中有T个样本，即G＝{Γ1,...,ΓT}，每个样本按照分割比例分割成三部件，即Γi＝{Γi,head,Γi,body,Γi,leg}，以n1种特征向量
Figure PCTCN2016089920-appb-000059
描述每个部件，即：
Figure PCTCN2016089920-appb-000060
其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形 成部件p的部件特征集
Figure PCTCN2016089920-appb-000061
即：
Figure PCTCN2016089920-appb-000062
其中，U表示包含关系；
接着，利用k-means算法将部件p的部件特征集
Figure PCTCN2016089920-appb-000063
聚类得到c个簇
Figure PCTCN2016089920-appb-000064
1≤j≤c，同时形成该部件的一个原型集
Figure PCTCN2016089920-appb-000065
即：
Figure PCTCN2016089920-appb-000066
其中，每个簇作为该部件在该特征下的一个原型；
原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；
以
Figure PCTCN2016089920-appb-000067
表示样本部件p的第k种特征与其对应的原型集
Figure PCTCN2016089920-appb-000068
之间的相似度，d(·,·)表示为显著性差异距离，则：
Figure PCTCN2016089920-appb-000069
以Fp表示部件p的部件原型相似度特征，则：
Figure PCTCN2016089920-appb-000070
以F表示原型相似度特征，则：
F＝{Fhead,Fbody,Fleg}。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种多摄像机间人体目标再识别的方法，其特征在于，所述方法包括以下步骤：
    步骤A，将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
    步骤B，根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；
    步骤C，计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
  2. 如权利要求1所述的方法，其特征在于，所述步骤A包括以下步骤：
    步骤A1，将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
    步骤A2，计算组内每幅图像中人体的原型相似度特征；
    步骤A3，分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；
    步骤A4，以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征；
    以n,m分别表示样本图像序列和待识别图像序列的大小，
    Figure PCTCN2016089920-appb-100001
    表示第i个人的第n幅图像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
    Figure PCTCN2016089920-appb-100002
  3. 如权利要求2所述的方法，其特征在于，所述步骤A1具体包括：
    采用系统抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列，则：
    seq＝{sp1,sp2,...,spN}，
    其中：spid∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/sc，sc表示组内样本个数。
  4. 如权利要求2所述的方法，其特征在于，所述步骤A2具体包括：
    步骤A21，将每一图像序列中的人体按照1:3:4的分割比例分成三部件；
    步骤A22，构建各部件的部件特征集和对应的原型集；
    假如图库中有T个样本，即G＝{Γ1,...,ΓT}，每个样本按照分割比例分割成三部件，即Γi＝{Γi,head,Γi,body,Γi,leg}，以n1种特征向量
    Figure PCTCN2016089920-appb-100003
    描述每个部件，即：
    Figure PCTCN2016089920-appb-100004
    其中，p∈{head,body,leg}，1≤k≤n1，图库中所有样本的部件p的第k种特征融合在一起形成部件p的第k种特征集
    Figure PCTCN2016089920-appb-100005
    即：
    Figure PCTCN2016089920-appb-100006
    其中，U表示包含关系；
    接着，利用k-means算法将部件p的部件特征集
    Figure PCTCN2016089920-appb-100007
    聚类得到c个簇
    Figure PCTCN2016089920-appb-100008
    1≤j≤c，同时形成该部件的一个原型集
    Figure PCTCN2016089920-appb-100009
    即：
    Figure PCTCN2016089920-appb-100010
    其中，每个簇作为该部件在该特征下的一个原型；
    步骤A23，根据所述部件特征集和所述原型集计算所述原型相似度特征；
    以
    Figure PCTCN2016089920-appb-100011
    表示样本部件p的第k种特征与其对应的原型集
    Figure PCTCN2016089920-appb-100012
    之间的相似度，d(·,·)表示为显著性差异距离，则：
    Figure PCTCN2016089920-appb-100013
    以Fp表示部件p的部件原型相似度特征，则：
    Figure PCTCN2016089920-appb-100014
    以F表示人体原型相似度特征，则：
    F＝{Fhead,Fbody,Fleg}。
  5. 如权利要求3所述的方法，其特征在于，所述分类器为adaboost分类器，在步骤B中，以相同人样本计算所得到的个体相似度差异特征作为正样本，而不同人样本计算所得到的个体相似度差异特征作为负样本来训练所述adaboost分类器。
  6. 如权利要求5所述的方法，其特征在于，所述步骤C包括具体包括：
    步骤C1，计算样本图像序列中的样本序列与待识别图像序列中所有图像经过adaboost分类器分类后的权值平均值；
    以scoreq表示样本图像序列中的样本序列seq与待识别图像序列中所有图像中人体q的图像序列经过adaboost分类后权值平均值，outputg表示为第g组经过adaboost分类器后输出的权值，则：
    Figure PCTCN2016089920-appb-100015
    步骤C2，选择adaboost分类器输出权值平均值的最大值对应的图像序列为最终的在识别结果，确认最匹配人体；
    以q*表示权值平均值的最大值，Q表示图库，则：
    Figure PCTCN2016089920-appb-100016
  7. 一种多摄像机间人体目标再识别的系统，其特征在于，所述系统包括：
    计算单元，用于将已知人体图像序列与图库中的待识别的个体图像序列分成若干组，根据原型相似度特征计算各组的个体相似度差异特征；
    训练单元，用于根据各组的个体相似度差异特征及其对应的标签来进行分类器训练；
    确定单元，用于计算分类器的输出权值平均值，根据所述输出权值平均值确定最匹配人体。
  8. 如权利要求7所述的系统，其特征在于，所述计算单元包括：
    分组模块，用于将已知人体图像序列与图库中待识别的个体图像序列分为若干组；
    原型相似度计算模块，用于计算组内每幅图像中人体的原型相似度特征；
    相似度计算模块，用于分别计算查询个体各组内每幅已知人体图像的原型相似度特征一一与待识别图库中具有相同组编号的组内所有人体图像的原型相似度特征的相似度；
    计算模块，用于以每一组内所有的相似度作为一个新的描述子，即个体相似度差异特征，其中；
    以n,m分别表示样本图像序列和待识别图像序列的大小，
    Figure PCTCN2016089920-appb-100017
    表示第i个人的第n幅图像的原型相似度特征,以fisdf表示个体相似度差异特征，则：
    Figure PCTCN2016089920-appb-100018
  9. 如权利要求8所述的系统，其特征在于，所述分组模块具体用于：
    采用系统抽样的方式将已知人体图像序列与图库中的待识别的个体图像序列分配到各个组内；以seq表示某个体图像序列：
    则：seq＝{sp1,sp2,...,spN}，
    其中：spid∈Group_(s+1)if id％gn＝s，s.t.1≤id≤N,1≤s≤gn，N为个体图像序列里样本总数，id为样本编号，s为分组编号，∈表示属于关系，％表示取余操作，gn为总分组数，其中gn＝N/sc，sc表示组内样本个数。
  10. 如权利要求8所述的系统，其特征在于，所述原型相似度计算模块包括：
    分割子模块，用于将每一图像序列中的人体按照1:3:4的分割比例分成三部件；
    构建子模块，用于构建各部件的部件特征集和对应的原型集；
    假如图库中有T个样本，即G＝{Γ1,...,ΓT}，每个样本按照分割比例分割成三部件，即 Γi＝{Γi,head,Γi,body,Γi,leg}，以n1种特征向量
    Figure PCTCN2016089920-appb-100019
    描述每个部件，即：
    Figure PCTCN2016089920-appb-100020
    其中，p∈{head,body,leg}，1≤k≤n1，图库中所有部件p的第k种特征融合在一起形成部件p的部件特征集
    Figure PCTCN2016089920-appb-100021
    即：
    Figure PCTCN2016089920-appb-100022
    其中，U表示包含关系；
    接着，利用k-means算法将部件p的部件特征集
    Figure PCTCN2016089920-appb-100023
    聚类得到c个簇
    Figure PCTCN2016089920-appb-100024
    1≤j≤c，同时形成该部件的一个原型集
    Figure PCTCN2016089920-appb-100025
    即：
    Figure PCTCN2016089920-appb-100026
    其中，每个簇作为该部件在该特征下的一个原型；
    原型相似度特征计算子模块，用于根据所述部件特征集和所述原型集计算所述原型相似度特征；
    以
    Figure PCTCN2016089920-appb-100027
    表示样本部件p的第k种特征与其对应的原型集
    Figure PCTCN2016089920-appb-100028
    之间的相似度，d(·,·)表示为显著性差异距离，则：
    Figure PCTCN2016089920-appb-100029
    以Fp表示部件p的部件原型相似度特征，则：
    Figure PCTCN2016089920-appb-100030
    以F表示原型相似度特征，则：
    F＝{Fhead,Fbody,Fleg}。
PCT/CN2016/089920 2015-12-16 2016-07-13 一种多摄像机间人体目标再识别的方法及系统 Ceased WO2017101434A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510946428.XA CN105574505B (zh) 2015-12-16 2015-12-16 一种多摄像机间人体目标再识别的方法及系统
CN201510946428.X 2015-12-16

Publications (1)

Publication Number Publication Date
WO2017101434A1 true WO2017101434A1 (zh) 2017-06-22

Family

ID=55884613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/089920 Ceased WO2017101434A1 (zh) 2015-12-16 2016-07-13 一种多摄像机间人体目标再识别的方法及系统

Country Status (2)

Country Link
CN (1) CN105574505B (zh)
WO (1) WO2017101434A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108828574A (zh) * 2018-04-26 2018-11-16 电子科技大学 一种类间分离增强子空间真假目标特征提取方法
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
CN110414430A (zh) * 2019-07-29 2019-11-05 郑州信大先进技术研究院 一种基于多比例融合的行人重识别方法及装置
CN110991389A (zh) * 2019-12-16 2020-04-10 西安建筑科技大学 判断目标行人在非重叠相机视角中出现的匹配方法
CN111126135A (zh) * 2019-11-11 2020-05-08 上海蠡图信息科技有限公司 一种基于统一划分的特征自适应行人再识别方法
CN111340090A (zh) * 2020-02-21 2020-06-26 浙江每日互动网络科技股份有限公司 图像特征比对方法及装置、设备、计算机可读存储介质
CN111353510A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN112016417A (zh) * 2020-08-17 2020-12-01 山东师范大学 基于自由能分数空间的行人重识别方法及系统
CN112149470A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种行人重识别方法和装置
CN112767452A (zh) * 2021-01-07 2021-05-07 北京航空航天大学 摄像机主动感知方法及系统
CN113029979A (zh) * 2021-02-10 2021-06-25 河南中烟工业有限责任公司 一种用于检验卷烟纸质量稳定性的方法
CN113591697A (zh) * 2021-07-30 2021-11-02 上海电科智能系统股份有限公司 基于三重金字塔模型和迁移融合的视频行人再识别方法
CN113743387A (zh) * 2021-11-05 2021-12-03 中电科新型智慧城市研究院有限公司 视频行人重识别方法、装置、电子设备及可读存储介质
CN114612925A (zh) * 2020-12-04 2022-06-10 浙江宇视科技有限公司 行人识别方法、装置、电子设备和存储介质
CN114758289A (zh) * 2020-12-28 2022-07-15 深圳云天励飞技术股份有限公司 客流量统计方法、装置、电子设备及存储介质
CN115344737A (zh) * 2022-08-17 2022-11-15 每日互动股份有限公司 一种图像搜索重排序系统
CN115862065A (zh) * 2022-12-02 2023-03-28 苏州市职业大学 一种行人重识别方法、装置、设备及存储介质
WO2023065472A1 (zh) * 2021-10-19 2023-04-27 之江实验室 一种高效的基于相似度的跨摄像头的目标重识别方法
US11836966B2 (en) 2021-10-19 2023-12-05 Zhejiang Lab Efficient across-camera target re-identification method based on similarity
CN117390466A (zh) * 2023-12-13 2024-01-12 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于相似性度量的湖泊稳态判别方法
CN117523322A (zh) * 2024-01-04 2024-02-06 成都数联云算科技有限公司 一种基于无监督学习的缺陷检测系统和方法
CN119314230A (zh) * 2024-12-17 2025-01-14 浙江工商大学 多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574505B (zh) * 2015-12-16 2019-02-12 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN108875445B (zh) * 2017-05-08 2020-08-25 深圳荆虹科技有限公司 一种行人再识别方法及装置
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN108062562B (zh) * 2017-12-12 2020-03-10 北京图森未来科技有限公司 一种物体重识别方法及装置
CN108596211B (zh) * 2018-03-29 2020-08-28 中山大学 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN108986143B (zh) * 2018-08-17 2022-05-03 浙江捷尚视觉科技股份有限公司 一种视频中目标检测跟踪方法
CN109409201B (zh) * 2018-09-05 2021-06-18 昆明理工大学 一种基于共享及特有字典对联合学习的行人再识别方法
CN109740632B (zh) * 2018-12-07 2023-11-10 阿波罗智能技术(北京)有限公司 基于多传感器多被测对象的相似度模型训练方法和装置
CN110222553A (zh) * 2019-03-29 2019-09-10 宁波大学 一种基于稀疏表示的Multi-shot行人再识别方法
CN111046724B (zh) * 2019-10-21 2021-09-14 武汉大学 一种基于区域匹配网络的行人检索方法
CN110929617B (zh) * 2019-11-14 2023-05-30 绿盟科技集团股份有限公司 一种换脸合成视频检测方法、装置、电子设备及存储介质
CN111738062B (zh) * 2020-05-09 2024-05-17 广智微芯(扬州)有限公司 一种基于嵌入式平台的自动再识别系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN104298992A (zh) * 2014-10-14 2015-01-21 武汉大学 一种基于数据驱动的自适应尺度行人重识别方法
CN104598883A (zh) * 2015-01-21 2015-05-06 西安理工大学 一种多摄像机监控网络中目标再识别的方法
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法
CN105574505A (zh) * 2015-12-16 2016-05-11 深圳大学 一种多摄像机间人体目标再识别的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN104298992A (zh) * 2014-10-14 2015-01-21 武汉大学 一种基于数据驱动的自适应尺度行人重识别方法
CN104598883A (zh) * 2015-01-21 2015-05-06 西安理工大学 一种多摄像机监控网络中目标再识别的方法
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法
CN105574505A (zh) * 2015-12-16 2016-05-11 深圳大学 一种多摄像机间人体目标再识别的方法及系统

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108828574B (zh) * 2018-04-26 2022-02-08 电子科技大学 一种类间分离增强子空间真假目标特征提取方法
CN108828574A (zh) * 2018-04-26 2018-11-16 电子科技大学 一种类间分离增强子空间真假目标特征提取方法
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
CN111353510B (zh) * 2018-12-20 2023-07-18 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN111353510A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 多传感器目标检测方法、装置、计算机设备和存储介质
CN112149470B (zh) * 2019-06-28 2023-09-05 杭州海康威视数字技术股份有限公司 一种行人重识别方法和装置
CN112149470A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 一种行人重识别方法和装置
CN110414430B (zh) * 2019-07-29 2022-10-04 郑州信大先进技术研究院 一种基于多比例融合的行人重识别方法及装置
CN110414430A (zh) * 2019-07-29 2019-11-05 郑州信大先进技术研究院 一种基于多比例融合的行人重识别方法及装置
CN111126135B (zh) * 2019-11-11 2023-12-01 上海蠡图信息科技有限公司 一种基于统一划分的特征自适应行人再识别方法
CN111126135A (zh) * 2019-11-11 2020-05-08 上海蠡图信息科技有限公司 一种基于统一划分的特征自适应行人再识别方法
CN110991389A (zh) * 2019-12-16 2020-04-10 西安建筑科技大学 判断目标行人在非重叠相机视角中出现的匹配方法
CN111340090A (zh) * 2020-02-21 2020-06-26 浙江每日互动网络科技股份有限公司 图像特征比对方法及装置、设备、计算机可读存储介质
CN111340090B (zh) * 2020-02-21 2023-08-01 每日互动股份有限公司 图像特征比对方法及装置、设备、计算机可读存储介质
CN112016417A (zh) * 2020-08-17 2020-12-01 山东师范大学 基于自由能分数空间的行人重识别方法及系统
CN114612925A (zh) * 2020-12-04 2022-06-10 浙江宇视科技有限公司 行人识别方法、装置、电子设备和存储介质
CN114758289A (zh) * 2020-12-28 2022-07-15 深圳云天励飞技术股份有限公司 客流量统计方法、装置、电子设备及存储介质
CN112767452B (zh) * 2021-01-07 2022-08-05 北京航空航天大学 摄像机主动感知方法及系统
CN112767452A (zh) * 2021-01-07 2021-05-07 北京航空航天大学 摄像机主动感知方法及系统
CN113029979A (zh) * 2021-02-10 2021-06-25 河南中烟工业有限责任公司 一种用于检验卷烟纸质量稳定性的方法
CN113591697A (zh) * 2021-07-30 2021-11-02 上海电科智能系统股份有限公司 基于三重金字塔模型和迁移融合的视频行人再识别方法
US11836966B2 (en) 2021-10-19 2023-12-05 Zhejiang Lab Efficient across-camera target re-identification method based on similarity
WO2023065472A1 (zh) * 2021-10-19 2023-04-27 之江实验室 一种高效的基于相似度的跨摄像头的目标重识别方法
CN113743387A (zh) * 2021-11-05 2021-12-03 中电科新型智慧城市研究院有限公司 视频行人重识别方法、装置、电子设备及可读存储介质
CN115344737A (zh) * 2022-08-17 2022-11-15 每日互动股份有限公司 一种图像搜索重排序系统
CN115862065A (zh) * 2022-12-02 2023-03-28 苏州市职业大学 一种行人重识别方法、装置、设备及存储介质
CN117390466A (zh) * 2023-12-13 2024-01-12 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于相似性度量的湖泊稳态判别方法
CN117390466B (zh) * 2023-12-13 2024-02-06 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 一种基于相似性度量的湖泊稳态判别方法
CN117523322A (zh) * 2024-01-04 2024-02-06 成都数联云算科技有限公司 一种基于无监督学习的缺陷检测系统和方法
CN117523322B (zh) * 2024-01-04 2024-03-15 成都数联云算科技有限公司 一种基于无监督学习的缺陷检测系统和方法
CN119314230A (zh) * 2024-12-17 2025-01-14 浙江工商大学 多模态大模型辅助下噪声鲁棒的人体骨架无监督表示学习方法及装置

Also Published As

Publication number Publication date
CN105574505B (zh) 2019-02-12
CN105574505A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
WO2017101434A1 (zh) 一种多摄像机间人体目标再识别的方法及系统
Van Gemert et al. APT: Action localization proposals from dense trajectories.
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
Zhang et al. Multi-features integration based hyperspectral videos tracker
CN106960214B (zh) 基于图像的物体识别方法
CN104077605B (zh) 一种基于颜色拓扑结构的行人搜索识别方法
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Liu et al. Enhancing person re-identification by integrating gait biometric
Lisanti et al. Group re-identification via unsupervised transfer of sparse features encoding
CN107506700B (zh) 基于广义相似性度量学习的行人再识别方法
CN107067413B (zh) 一种时空域统计匹配局部特征的运动目标检测方法
CN106325485B (zh) 一种手势检测识别方法及系统
Hu et al. Exploring structural information and fusing multiple features for person re-identification
JP5604256B2 (ja) 人物動作検出装置およびそのプログラム
CN103679142B (zh) 一种基于空间约束的目标人体识别方法
CN104794451B (zh) 基于分块匹配结构的行人比对方法
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
CN105930790A (zh) 基于核稀疏编码的人体行为识别方法
Bhuiyan et al. Person re-identification by discriminatively selecting parts and features
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
CN102915451A (zh) 基于混沌不变量的动态纹理识别方法
CN109214430A (zh) 一种基于特征空间拓扑分布的行人重识别方法
CN109165612A (zh) 基于深度特征和双向knn排序优化的行人再识别方法
CN109389017B (zh) 行人再识别方法
CN109919973A (zh) 基于多特征联合的多视角目标关联方法、系统及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16874495

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/11/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16874495

Country of ref document: EP

Kind code of ref document: A1