WO2017190656A1 - 行人再识别方法和装置 - Google Patents

行人再识别方法和装置 Download PDF

Info

Publication number
WO2017190656A1
WO2017190656A1 PCT/CN2017/082847 CN2017082847W WO2017190656A1 WO 2017190656 A1 WO2017190656 A1 WO 2017190656A1 CN 2017082847 W CN2017082847 W CN 2017082847W WO 2017190656 A1 WO2017190656 A1 WO 2017190656A1
Authority
WO
WIPO (PCT)
Prior art keywords
local
feature
pedestrian
image
saliency
Prior art date
Application number
PCT/CN2017/082847
Other languages
English (en)
French (fr)
Inventor
白博
唐振
陈茂林
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2017190656A1 publication Critical patent/WO2017190656A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to the field of image processing technologies, and in particular, to a pedestrian re-identification method and apparatus.
  • Re-identification refers to the identification of a specific pedestrian in the surveillance video that has appeared in the surveillance network. For example, in a surveillance network, pedestrians appear under different cameras. The task of pedestrian recognition is to identify the identity of pedestrians in the surveillance network. Target pedestrians who have appeared in the surveillance network are again in the scenes of other cameras. The identified technology is how to re-identify pedestrians given the candidate targets.
  • the global feature of the target pedestrian is compared with the global feature of the pedestrian in the pedestrian image library, and the similarity of the two global features is used to determine whether the two pedestrians are the same person.
  • the accuracy of the judgment result obtained by merely comparing the similarity of the global features is low. Therefore, an improved method is to obtain the local saliency feature of the target pedestrian and the saliency feature of the pedestrian for comparison, and combine the global feature comparison result of the two pedestrians and the comparison result of the local saliency feature to judge the two Whether the pedestrian is the same person.
  • One method for extracting local significant features on pedestrians in the prior art is to manually design local features with 36 attributes, and to design 36 detectors for the characteristic distribution of the 36 attributes, through the 36 detectors To extract local saliency features on pedestrians.
  • detectors designed for each of the locally significant features require a large number of labeled samples, making the cost of designing the detectors high.
  • Embodiments of the present invention provide a pedestrian re-identification method and a pedestrian re-identification device.
  • the present invention provides a pedestrian re-identification method, comprising: acquiring a target image and a reference image, wherein the target image and the reference image are both pedestrian images; and detecting the local significant features by using the same method for detecting the local significant features respectively a local saliency feature of the target image on the target area (hereinafter referred to as a first local saliency feature) and a local saliency feature of the reference image on the target area (hereinafter referred to as a second local saliency feature) Calculating a similarity between the first local significant feature and the second local significant feature;
  • the method for detecting the local significant feature comprises: acquiring a salience in the target area; performing a saliency map on the target area And generating a binary image; extracting a connected component set in the target area from the binary image, and determining a local significant feature, wherein the local significant feature includes a preset condition in the connected component set Connecting component
  • the target area is located in a head area of a pedestrian image
  • the method for detecting a local significant feature includes: acquiring a color distribution of the target area and a standard color distribution, and calculating a color distribution of the target area and the target area The distance of the standard color distribution of the domain; when the distance is greater than the first preset value, determining that the target region is a locally significant feature.
  • the calculating the similarity between the first local saliency feature and the second local saliency feature comprises:
  • the obtaining the saliency map in the target area includes:
  • the significance value of the pixel point is a value obtained by normalizing Salience(x, y) to 0-255, wherein
  • ⁇ is a set of pixel points including pixel points (x, y) in the target area
  • 2 is a pixel point (x, y) and a pixel The distance of the point (i, j) within the preset color space.
  • the preset space is a preset color space or a preset frequency domain space.
  • the preset color space is a HIS, HSV, RGB, CMY, CMYK, HSL, HSB, Ycc, XYZ, Lab or YUV color space.
  • the distance is an Euclidean distance, a chi-square distance, a Hamming distance, or a Mahalanobis distance.
  • the preset condition includes: The size is within a preset range and is most significant among all connected components whose dimensions are within a preset range, wherein the significance of the connected component is the significance value of each pixel point (x, y) in the connected component with.
  • the preset condition further includes: the connectivity The center of the component is located in the preset area collection.
  • the acquiring the reference image includes:
  • the pedestrian tracking sequence comprising a pedestrian image of at least two moments of the same pedestrian in the same tracking trajectory; when detecting that at least part of the image in the pedestrian tracking sequence has a local saliency feature on the target region Determining whether the local saliency feature is stable in the pedestrian tracking sequence; when determining that the local saliency feature is stable, according to each image in the pedestrian tracking sequence where there is a local saliency feature on the target region
  • the local saliency feature determines a feature to be filled, and fills the image to be filled with an image that does not have a local saliency feature on the target region in the pedestrian tracking sequence; each image in the pedestrian tracking sequence is sequentially used as The reference image is described.
  • the acquiring the reference image includes:
  • Obtaining a pedestrian tracking sequence including at least two moments of the same pedestrian in the same tracking trajectory a pedestrian image; when it is detected that at least part of the image in the pedestrian tracking sequence has a local significant feature on the target area, determining whether the local significant feature is stable in the pedestrian tracking sequence; When the local significant feature is unstable, the local significant feature on the target region in the image with the local significant feature on the target region in the pedestrian tracking sequence is deleted; each image in the pedestrian tracking sequence is sequentially used as the Reference image.
  • the determining the local saliency feature is Whether the pedestrian tracking sequence is stable, including:
  • the first ratio being a ratio of the number of images having local significant features on the target region in the pedestrian tracking sequence to the total number of images in the pedestrian tracking sequence; when the first ratio is less than the first ratio Determining, when the preset value is two, the local saliency feature is unstable; and when the first ratio is not less than the second preset value, determining that the local saliency feature is stable;
  • the determining whether the local significance feature is stable in the pedestrian tracking sequence comprises:
  • determining whether the local saliency feature is stable in the pedestrian tracking sequence comprises: acquiring a first ratio, where the first ratio is a local saliency feature on the target region in the pedestrian tracking sequence a ratio of the number of images to the total number of images in the pedestrian tracking sequence; calculating a similarity s k,k+ of the local saliency features of the kth frame and the k+1th frame image in the target region in the pedestrian tracking sequence 1 ; when the first ratio is less than the second preset value and/or When less than the third preset value, determining that the local significance feature is unstable, when the first ratio is not less than the second preset value and When less than the third preset value, it is determined that the local significance feature is stable.
  • the calculating the first local saliency feature Similarity with the second local significant feature including:
  • a pedestrian re-identification device including:
  • An acquiring module configured to acquire a target image and a reference image, where the target image and the reference image are both pedestrian images;
  • a detecting module configured to respectively detect a local saliency feature of the target image on the target area (hereinafter referred to as a first local saliency feature) and the reference image at the target by using the same method for detecting a local saliency feature a local saliency feature on the region (hereinafter referred to as the second local saliency feature);
  • a calculation module configured to calculate a similarity between the first local saliency feature and the second local saliency feature
  • the target area is located in any area of the pedestrian, and the detecting module is specifically configured to acquire a salience in the target area when detecting the local significant feature; a saliency map to the target area Performing binarization to generate a binary image; extracting a connected component set in the target region from the binary image, and determining a local significant feature, wherein the local significant feature includes satisfying a preset in the connected component set Connected component of condition;
  • the target area is located in a head area of the pedestrian image, and the detecting module is configured to: obtain a color distribution of the target area and a standard color distribution, and calculate a color distribution of the target area when detecting the local significant feature. a distance of a standard color distribution of the target area; when the distance is greater than a first preset value, determining that the target area is a local significant feature.
  • the calculating module is specifically configured to:
  • the detecting module when acquiring the saliency map in the target area, is specifically used to:
  • the significance value of the pixel point is a value obtained by normalizing Salience(x, y) to 0-255, wherein
  • ⁇ is a set of pixel points including pixel points (x, y) in the target area
  • 2 is a pixel point (x, y) and a pixel The distance of the point (i, j) within the preset color space.
  • the preset condition includes: The size is within a preset range and is most significant among all connected components whose dimensions are within a preset range, wherein the significance of the connected component is the significance value of each pixel point (x, y) in the connected component with.
  • the preset condition further includes: the connectivity component The center is located in the preset area collection.
  • the acquiring module is specifically configured to: when acquiring the reference image:
  • the pedestrian tracking sequence comprising a pedestrian image of at least two moments of the same pedestrian in the same tracking trajectory
  • the local saliency feature in each image of the saliency feature determines a feature to be filled, and fills the image to be filled with an image that does not have a local saliency feature on the target region in the pedestrian tracking sequence;
  • Each image in the pedestrian tracking sequence is sequentially used as the reference image.
  • the acquiring module is specifically configured to: when acquiring the reference image:
  • the pedestrian tracking sequence comprising a pedestrian image of at least two moments of the same pedestrian in the same tracking trajectory
  • Each image in the pedestrian tracking sequence is sequentially used as the reference image.
  • the acquiring module is determining the local saliency When the feature is stable in the pedestrian tracking sequence, it is specifically used to:
  • the first ratio being a ratio of the number of images having local significant features on the target region in the pedestrian tracking sequence to the total number of images in the pedestrian tracking sequence; when the first ratio is less than the first ratio Determining, when the preset value is two, the local saliency feature is unstable; and when the first ratio is not less than the second preset value, determining that the local saliency feature is stable;
  • the determining whether the local significance feature is stable in the pedestrian tracking sequence comprises:
  • the determining whether the local significance feature is stable in the pedestrian tracking sequence comprises:
  • the first ratio being a ratio of the number of images having local significant features on the target region in the pedestrian tracking sequence to the total number of images in the pedestrian tracking sequence; calculating the pedestrian tracking sequence The similarity s k,k+1 of the local saliency feature of the k frame and the k+1th frame image in the target region; when the first ratio is less than the second preset value and/or When less than the third preset value, determining that the local significance feature is unstable, when the first ratio is not less than the second preset value and When less than the third preset value, it is determined that the local significance feature is stable.
  • the calculating module is specifically configured to:
  • the present invention uses a uniform framework to detect local saliency features in the pedestrian image, avoiding the prior art training a classifier for each of the local saliency features.
  • the detection cost is higher, or, for any one of the head regions of the image, by obtaining the color distribution of the region and the standard color respectively, and calculating the distance between the color distribution of the region and the standard color distribution, when the distance is greater than
  • the first preset value determines that the region is a local significant feature, such that by using a uniform frame to detect the salient features in the head of the pedestrian image, each of the prior art is avoided.
  • the local significance feature trains a classifier, and therefore, the present invention can reduce the detection cost.
  • FIG. 1 is a schematic flow chart of an embodiment of a pedestrian re-identification method according to the present invention
  • FIG. 2 is a schematic flow chart of another embodiment of a pedestrian re-identification method according to the present invention.
  • FIG. 3 is a schematic flow chart of an embodiment of a pedestrian re-identification device of the present invention.
  • FIG. 4 is a flow chart showing an embodiment of a pedestrian re-identification device of the present invention.
  • the pedestrian A displayed in the image of the pedestrian A and the pedestrian in the image for comparison are respectively divided into three regions of the head, the upper body and the lower body, and the color features of each region are extracted (for example, each region is in R) , color histograms on the five channels of G, B, H, and S) and texture features (such as Local Binary Patterns (LBP) features).
  • LBP Local Binary Patterns
  • the color features and texture features of each region of pedestrian A are concatenated to generate global features of the region, and then the global features of the three regions of pedestrian A are concatenated to obtain the global features of the pedestrian A.
  • the pedestrian image used for comparison uses the same method to obtain the global characteristics of the pedestrian. Whether the pedestrian A and the pedestrian used for comparison are the same person are evaluated by calculating the similarity between the global characteristics of the pedestrian A and the global characteristics of the pedestrian for comparison.
  • the pedestrian re-identification method described below does not have to be used in combination with the method of global features described above, and can also be used alone to compare the similarity of local significant features of the two images on the target area.
  • FIG. 1 is a schematic flow chart of an embodiment of a pedestrian re-identification method according to the present invention.
  • the pedestrian re-identification method includes:
  • the pedestrian image refers to an image with only one pedestrian in the figure and no environment background.
  • the pedestrian in the target image is a pedestrian who needs to be searched from the database.
  • the pedestrian in the reference image is a pedestrian who has stored an image in the database, and the target image is compared with the reference image to find out from the database and the target image.
  • Pedestrians are images of the same person. In practical applications, the images obtained generally include not only pedestrians, but also background environments. Therefore, after acquiring the image of the target pedestrian and the image in the database, the image is first processed, and the background pixels in the image are removed to extract foreground pixels, that is, pedestrian images. There are various methods for removing the background pixels. For example, the algorithm of the "moving target detection" may be used to remove the background pixels, or the image segmentation algorithm may be used to remove the background pixels. This is a prior art and will not be described herein.
  • the first local saliency feature is a local saliency feature of the target image on the target area
  • the second local saliency feature is a local saliency feature of the reference image on the target area
  • the target area refers to any area on the pedestrian image. Since the present invention is required to detect the similarity between the local saliency feature of the reference image on the target area and the local saliency feature of the target image on the target area, preferably, the target area is any one of the pedestrians in the target image. region.
  • the human body may be divided into different regions, and each region may be used as a target region in turn; or only a partial region of the human body may be taken as a target region in sequence, which is not limited herein. There are several ways to obtain local saliency features on the target area. One of the methods is exemplified below.
  • the preset space may be a preset color space, a preset frequency domain space, or other space, and is not limited herein.
  • the following uses a preset space as a color space for specific examples. specific,
  • ⁇ is a subset of pixel points including pixel points (x, y) in the target region
  • 2 is a pixel point (x, y) and a pixel The distance of the point (i, j) within the preset color space.
  • ⁇ is a pixel point set centered on a pixel point (x, y) and whose edge is a regular pattern, which is not limited herein.
  • the preset color space is a HIS, HSV, RGB, CMY, CMYK, HSL, HSB, Ycc, XYZ, Lab or YUV color space, or other color space, which is not limited herein.
  • the saliency map of the target area is binarized to generate a binary image.
  • a binarization method for example, the Otsu algorithm (OTSU)
  • Otsu algorithm Otsu algorithm
  • a Nicblack algorithm a bimodal method, a P-parameter method, a maximum entropy method, and an iteration may be used.
  • a binarization method such as a method is used to binarize the saliency map of the target region, and is not limited herein.
  • a connected component set in the target area is extracted from the binary image.
  • the connected component refers to an area composed of foreground pixel points having the same pixel value and adjacent positions in the image.
  • the method for specifically extracting the connected components is a prior art, and details are not described herein again.
  • the connected component that satisfies the preset condition is selected from the connected component as the local significant feature of the target region.
  • the preset conditions include that the size is within a preset range and is most significant among all connected components whose dimensions are within a preset range.
  • the target area is pre-set with a maximum height value, a minimum height value, a maximum width value, and a minimum width value; the size of the connected component is within a preset range, specifically, the height of the connected component is not greater than the maximum height value and is not Less than the minimum height value, and/or the width of the connected component is not greater than the maximum width value and not less than the minimum width value.
  • the above is only an example and is not limiting.
  • the saliency of the connected component is equal to the sum of Salience(x, y) of each pixel point (x, y) in the connected component.
  • the preset range corresponding to the target area is not necessarily the same.
  • the preset condition further includes: the center of the connected component is located in the preset region set.
  • Each of the preset area sets is a predetermined area with a high probability of occurrence of a local saliency feature, and includes, for example, a neckline area, a chest area, and the like, which are not limited herein. In this way, the accuracy of the detected local saliency features can be further improved.
  • the connected component that satisfies the preset condition is selected from the connected component, and the external preset rule graphic of the connected component is used as the local significant feature of the target region.
  • the external preset rule graphic may be a rectangle or a circle, or other regular graphics, and is not limited herein.
  • the shape of the local significance feature can be described with fewer parameters.
  • the pedestrian re-identification method of the embodiment further includes: determining whether the reference image exists in the target area, and determining that the presence exists At step 102, when it is determined that there is no At this time, steps 102 and 103 are stopped.
  • the determining whether the reference image exists in the target area is a prior art, and details are not described herein again.
  • the description includes at least a dimension description, a color description, a position description, and a shape description.
  • the scale description may be various.
  • the scale description includes the width, the height, and the number of pixels of the local significant feature, or the length of the long and short axes of the circumscribed ellipse and the number of pixels, which are not limited herein.
  • the color description may be various, for example, the color description includes a color mean of the local significant feature, a color variance, or a mixed Gaussian model including the local significant feature, which is not limited herein.
  • the color description includes a difference between the foreground gray mean value and the background gray mean value of the local significant feature, and a foreground color mean value, wherein
  • the foreground of the local salient feature refers to the connected component of the locally significant feature, and the background refers to the region of the local salient feature other than the connected component.
  • the position description may be various, for example, the position description of the first partial significant feature includes the first local significant feature or the relative position of the geometric center of the region and the geometric center of the target image, and the second local significant feature
  • the positional description includes the second local saliency feature or the relative position of the geometric center of the region and the geometric center of the reference image, which is not limited herein.
  • the gradient distribution of the edge pixels including the connected components in the local significant features is described, and is not limited herein.
  • the descriptions may be normalized and then concatenated to form a description vector of local significant features.
  • the feature vector of the local significant feature Where feature si is a scale description, feature co is a color description, feature lo is a position description, feature sh is a shape description, and feature n represents a normalized result of the feature.
  • the description vector of the local significant feature may have other representations, which are not limited herein.
  • the saliency map in the region is obtained, and the saliency map is binarized to generate a binary image, and then the preset condition is extracted from the binary image.
  • the connecting component is at least part of the local salient feature of the region, such that the invention integrates the detection of all local features in the pedestrian image into a unified framework for processing, avoiding the training of each local feature in the prior art.
  • a classifier thus cannot exhaust the defects of all local features, can cover all local significant features, and reduce the cost of detection.
  • one of the methods for acquiring local saliency features of the local saliency feature is described in step 102.
  • the following method may also be used to detect the local significant feature.
  • the target area may be a hair area, an eye area, a mouth area or other areas, and is not limited herein.
  • the color distribution of the target area may be a color histogram of the target area, or a color mean and a color variance of the target area, or a mixed Gaussian model of the target area, or other color distribution, which is not limited herein.
  • the standard color distribution of the target area is a reference value calculated according to the color distribution on the target area of at least part of the image in the preset database, for example, the standard color distribution of the target area is the color distribution of the target area of at least part of the image in the database. average value.
  • the preset database may be a database or other database for obtaining a reference image in the present invention, which is not limited herein.
  • the standard color distribution of the target area of the reference image and the standard color distribution of the target area of the target image are not necessarily the same.
  • the database on which the standard color distribution of the target area of the target image is counted is different from the database on which the standard color distribution of the target area of the reference image is calculated, and is not limited herein.
  • the distance may be a European distance, a chi-square distance, a Hamming distance or a Mahalanobis distance, or other types of distances, This is not a limitation.
  • the distance is greater than the first preset value, the target region is locally characterized. It should be noted that when the target area corresponds to different areas of the head, the first preset values corresponding to the target area are not necessarily the same.
  • the color distribution of the region and the standard color are respectively obtained, and the distance between the color distribution of the region and the standard color distribution is calculated, when the distance is greater than the first pre-preparation
  • the region is determined to be a locally significant feature, so that by using a uniform frame to detect the salient features in the head of the pedestrian image, each local saliency on the head in the prior art is avoided.
  • Features train a classifier, thus reducing detection costs.
  • the local saliency feature in the target region of the reference image is used to compare with the local saliency feature in the target region of the target image, and the similarity of the two local saliency features is used to determine the reference image and the target. Whether the image is the same person. However, in practical applications, the local saliency features in the target region of the reference image have large instability due to motion changes, position changes, visual changes, or other reasons, which reduces the reference image and the target image to some extent. Confidence in the comparison of local saliency features in the target region.
  • the time domain information is used to improve the target image. Stability of local saliency features in the target area.
  • the step "acquisition of a reference image” in another possible embodiment of the present invention will be described in detail below. As shown in FIG. 2, FIG. 2 is a schematic flow chart of another embodiment of a method for acquiring a reference image.
  • the pedestrian tracking sequence includes pedestrian images of at least two moments of the same pedestrian in the same tracking trajectory. That is, the pedestrians of each image in the pedestrian tracking sequence are the same pedestrians dressed in the same dress. Among them, there is only pedestrians in each pedestrian image in the pedestrian tracking sequence, and there is no environmental background. In practical applications, the images obtained generally include not only pedestrians, but also background environments. Therefore, after acquiring a series of tracking images of the pedestrian, the image pixels in the image are first removed for each image processing to extract foreground pixels, that is, pedestrian images. There are various methods for removing the background pixels. For example, the algorithm of the "moving target detection" may be used to remove the background pixels, or the image segmentation algorithm may be used to remove the background pixels. This is a prior art and will not be described herein.
  • the method for detecting the local saliency feature may be the same as the method for detecting the local saliency feature described in the above embodiments, and details are not described herein again.
  • the ratio of the number of all images to the total number of images in the pedestrian tracking sequence is calculated, which is convenient for description, and the ratio is called the first ratio.
  • the first ratio is less than the second preset value, it is determined that the local significance feature is unstable.
  • the first ratio is not less than the second preset value, it is determined that the local significance feature is stable.
  • determining local saliency of the kth frame and the k+1th frame image in the target region after detecting whether there is a local saliency feature on the target region in the pedestrian tracking sequence Feature similarity s k,k+1 , when When less than the third preset value, determining that the local significance feature is unstable, when When not less than the third preset value, it is determined that the local significance feature is stable.
  • k is a positive integer
  • n is the total number of images in the pedestrian tracking sequence.
  • the kth frame and the k+1th frame image may be the kth frame and the k+1th frame image obtained by sorting each image in the pedestrian tracking sequence by time, or may be each image in the pedestrian tracking sequence.
  • the kth frame and the k+1th frame image obtained by the other arrangement methods are not limited herein.
  • the method for calculating the similarity between the two local saliency features may be the same as the method for calculating the similarity between the two local saliency features described in step 103 in the embodiment shown in FIG. 1, and is not limited herein.
  • the first ratio is not less than the second preset value and/or When less than the third preset value, determining that the local significance feature is unstable, when the first ratio is not less than the second preset value and When not less than the third preset value, it is determined that the local significance feature is stable. There are no restrictions here.
  • step A and/or step B Perform step A and/or step B.
  • Step A when it is determined that the local significance feature is stable, determining a to-be-filled feature according to the local significant feature in each image in the pedestrian tracking sequence that has a local significant feature, and tracking the target in the pedestrian tracking sequence
  • the image to be filled is filled in an image in which no local significant features exist on the region.
  • the local significant feature on the target area When it is determined that the local significant feature on the target area is stable, the local significant feature may be considered to exist in the pedestrian in the pedestrian tracking sequence. Therefore, there is no local significance on the target area in the pedestrian tracking sequence.
  • Each image of the feature is filled with features on the target area of the image. For convenience of description, features that are filled on the target area of the image are referred to as features to be filled.
  • the feature to be filled is determined according to the local saliency feature on the target region of each image in which the local significant feature exists on the target region in the pedestrian tracking sequence.
  • a local saliency feature on a target region in one of the images in the target region having a local saliency feature in the pedestrian tracking sequence can be used as a feature to be filled.
  • the mean value of the local saliency feature on the target area of at least part of the image in each image in the target tracking area in the pedestrian tracking sequence is used as the feature to be filled, which is not limited herein.
  • Step B When it is determined that the local saliency feature is unstable, the local saliency feature on the target region in the image with the local saliency feature on the target region in the pedestrian tracking sequence is deleted.
  • the local significant feature on the target area is unstable, it can be considered that the pedestrian significant feature is not present in the pedestrian in the pedestrian tracking sequence. Therefore, the local saliency feature on the target region of each image in which the local significant feature is present on the target region in the pedestrian tracking sequence is deleted.
  • Each image in the pedestrian tracking sequence is sequentially used as the reference image.
  • each image in the pedestrian tracking sequence is sequentially used as a reference image, or one of the images in the pedestrian tracking sequence is used as a reference image, which is not limited herein.
  • information about the pedestrian tracking sequence after filling the feature and/or deleting the feature and the local significant feature in each image of the pedestrian tracking sequence are also saved to avoid using different target images.
  • the calculation is repeated when compared with the reference image.
  • the first local saliency feature is a local saliency feature of the target image on the target region
  • the second local saliency feature is a local saliency feature of the current reference image on the target region.
  • step 102 For the method of detecting the first partial saliency feature and the second local saliency feature, reference may be made to the explanation of step 102 in the embodiment shown in FIG. 1 , and details are not described herein again.
  • step 103 For the method of calculating the similarity between the first local saliency feature and the second local saliency feature, reference may be made to the explanation of step 103 in the embodiment shown in FIG. 1 , and details are not described herein again.
  • p
  • /(p1+p2) is taken as the similarity between the first local significant feature and the second local significant feature. A factor of degree.
  • the tracking image of the same pedestrian at different times is locally significant on the target area.
  • the stability of the sexual feature is verified to improve the confidence of the pedestrian's local saliency feature on the target area, thereby improving the confidence of the comparison result of the local saliency feature of the reference image and the target image in the target region.
  • a tracking sequence of a plurality of pedestrians is stored in the database, wherein the tracking sequence includes images of at least two moments of the same pedestrian in the same tracking trajectory. It is now necessary to find an image from the database that is the same person as the target pedestrian in the first image. Specifically, the first image is sequentially compared with the tracking sequence of each pedestrian. Wherein, in comparing the first image with the tracking sequence of any one of the pedestrians, the local saliency feature on the pedestrian in the first image and the local saliency feature in the pedestrian in the tracking sequence of the pedestrian are performed. Comparison. The following is a detailed explanation of how to compare the local salient features on the pedestrian in the first image with the local salient features on the pedestrian in the tracking sequence of one of the pedestrians (hereinafter referred to as the reference pedestrian).
  • the background in the image is removed according to the "Motion Target Detection" algorithm, leaving only the pedestrian image in the image.
  • the tracking sequence after removing the background is referred to as a pedestrian tracking sequence.
  • the body region of the pedestrian image is divided into different regions according to the same preset segmentation method, and the head region of the pedestrian image is vertically partitioned, specifically The head area of the pedestrian image is divided into a hair area, an eye area, and a mouth area. Wherein, for each region, local saliency features of the region are obtained.
  • the following method is used to obtain a local saliency feature of each region: obtaining a color histogram of the region and a standard color histogram of the region
  • the standard color histogram of the region is a reference value calculated from a color histogram of at least a portion of the image in the database on the region.
  • the color histogram of the region and the chi-square distance of the standard color histogram of the region are calculated.
  • the generous example is greater than the first preset value, the entire region is determined to be a local significant feature.
  • the first preset values used in different areas on the head area are not the same.
  • the significance value of the pixel (x, y) is normalized to 0 by Salience(x, y) calculated according to the following formula The value obtained after -255, Where ⁇ is a subset of pixel points in the region centered on the pixel point (x, y) and having a rounded edge,
  • 2 is a pixel point (x, y) and the Euclidean distance of the pixel (i, j) in the RGB color space.
  • the significance value of all the pixels in the region constitutes a saliency map of the region, so that a saliency map of each region on the body region can be obtained.
  • the Dajin algorithm is used to binarize the saliency map of each region on the body region to obtain a binary image of each region on the body region. All connected components in the region are extracted from the binary images of the regions, and all connected components on the body region are obtained. For convenience of description, it is called a total connected component set.
  • the total connected component set specifically, pre-set with a maximum height value, a minimum height value, a maximum width value, and a minimum width value, and pre-set a specific area set (including, for example, a neckline area, a chest area, etc.)
  • a specific area set including, for example, a neckline area, a chest area, etc.
  • the connected component is deleted from the total connected component set.
  • the remaining connected components in the total connected component set are used as candidate local saliency feature sets.
  • the candidate local saliency feature set if any at least two candidate local saliency features are located on the same region on the body region, ⁇ (i,j) ⁇ C Salience(x,y) is the largest in the region.
  • the candidate local saliency feature is used as a local saliency feature of the particular region, and the remaining candidate local saliency features are deleted. For the remaining candidate local saliency features, they are respectively local saliency features of the region in which they are located.
  • step 203 After determining the local saliency features of each region on each pedestrian image, it is determined whether the local saliency features on each region are stable in the pedestrian tracking sequence of the reference pedestrian. For the determination method, refer to the explanation of step 203 in the embodiment shown in FIG. 2, and details are not described herein again.
  • the mean value of the local significant feature of each image having the local significant feature on the region in the pedestrian tracking sequence of the pedestrian is taken as the feature to be filled, and the The fill feature is populated into the region of each image of the pedestrian tracking sequence where there is no local significant feature on the region.
  • the local significant features of the regions on the region in which the local significant features are present in the region of the pedestrian's pedestrian tracking sequence are deleted.
  • a new pedestrian tracking sequence of the reference pedestrian is obtained.
  • the new pedestrian tracking sequence and the local significant features in each pedestrian image in the new pedestrian tracking sequence are saved to a database, and the new pedestrian tracking sequence is compared with the first image.
  • the background in the first image is removed according to the "moving target detection” algorithm, leaving only the pedestrian image (hereinafter referred to as the target image) in the first image.
  • the target image is segmented by dividing the pedestrian image of the pedestrian, so that each region on the target image and each region on the pedestrian image of the reference pedestrian are the same region on the human body.
  • the obtaining method is the same as the method for obtaining the local saliency feature of each region on the pedestrian image of the pedestrian, and details are not described herein again.
  • Each pedestrian image (hereinafter referred to as a reference image) in the reference pedestrian's new pedestrian tracking sequence is sequentially compared with the target image, and specifically, each region on the target image is sequentially detected, and local significant features on the region are detected.
  • the similarity of the local saliency features on the region on the reference image If the reference image does not have the region (for example, the region is the chest region and the reference image is the back image of the human body), the similarity is zero.
  • the method for calculating the similarity of the local saliency feature of the target image and the reference image on the region may be referred to the explanation of step 209 in the embodiment shown in FIG. 2, and details are not described herein again.
  • the similarity between the target image and the local significant features of each pedestrian image in the new pedestrian tracking sequence of the reference pedestrian in each region is used to assist in determining whether the pedestrian and the reference pedestrian in the target image are the same person.
  • the pedestrian re-identification method of the present invention has been described above, and the pedestrian re-identification device of the present invention will be described below. description.
  • FIG. 3 is a schematic structural view of an embodiment of a pedestrian re-identification device according to the present invention.
  • the pedestrian re-identification device 300 includes:
  • the obtaining module 301 is configured to acquire a target image and a reference image, where the target image and the reference image are both pedestrian images;
  • the detecting module 302 is configured to respectively detect a first local saliency feature and a second local saliency feature, wherein the first local saliency feature is a local saliency feature of the target image on the target region, and the second local The salient feature is a local significant feature of the reference image on the target area;
  • the calculating module 303 is configured to calculate a similarity between the first local saliency feature and the second local saliency feature
  • the target area is located in any one of the pedestrians in the target image, and the detecting module is configured to acquire a salience in the target area when detecting the local saliency feature;
  • the saliency map of the region is binarized to generate a binary image;
  • the connected component set in the target region is extracted from the binary image to determine a local saliency feature, the local saliency feature including the connected component a connected component in the set that satisfies a preset condition;
  • the target area is located in a head area of the pedestrian image, and the detecting module is configured to: obtain a color distribution of the target area and a standard color distribution, and calculate a color distribution of the target area when detecting the local significant feature. a distance of a standard color distribution of the target area; when the distance is greater than a first preset value, determining that the target area is a local significant feature.
  • the invention integrates the detection of all local features in the pedestrian image into a unified framework for processing, avoiding the prior art training a classifier for each local feature. It is impossible to exhaust all the defects of the local features, cover all the local significant features, and reduce the detection cost.
  • the calculating module 303 is specifically configured to:
  • the detecting module 302 is specifically configured to:
  • the significance value of the pixel point is a value obtained by normalizing Salience(x, y) to 0-255, wherein
  • ⁇ is a set of pixel points including pixel points (x, y) in the target area
  • 2 is a pixel point (x, y) and a pixel The distance of the point (i, j) within the preset color space.
  • the preset condition includes: a communication component that is the most significant among all the connected components whose size is within a preset range, wherein the saliency of the connected component is each pixel point in the connected component (x, y ) of Salience(x,y) And.
  • the acquiring module 301 is specifically configured to:
  • the pedestrian tracking sequence comprising a pedestrian image of at least two moments of the same pedestrian in the same tracking trajectory
  • Each image in the pedestrian tracking sequence is sequentially used as the reference image.
  • the obtaining module 301 is specifically configured to: when determining whether the local saliency feature is stable in the pedestrian tracking sequence:
  • the first ratio being a ratio of the number of images having local significant features on the target region in the pedestrian tracking sequence to the total number of images in the pedestrian tracking sequence; when the first ratio is less than the first ratio When the preset value is two, it is determined that the local significant feature is unstable;
  • the local significance feature is determined to be unstable, wherein k is a positive integer and n is the total number of images in the pedestrian tracking sequence.
  • the calculating module 303 is specifically configured to:
  • the pedestrian re-identification device in the embodiment of the present invention is described above from the perspective of the unitized functional entity.
  • the pedestrian re-identification device in the embodiment of the present invention is described below from the perspective of hardware processing.
  • FIG. 4 is a schematic structural diagram of an embodiment of a pedestrian re-identification device according to the present invention.
  • the pedestrian re-identification device 400 includes:
  • a processor 401 and a memory 402 coupled to the processor 401; wherein the processor 401 reads a computer program stored in the memory 402 for performing the following operations:
  • the first local saliency feature being a local saliency feature of the target image on a target region
  • the second local saliency feature being a local saliency feature of the reference image on the target area
  • the target area is located in any one of the pedestrians, and the detecting the local saliency feature includes: acquiring a salience in the target area; binarizing the saliency map of the target area, generating a binary image; extracting a connected component set in the target area from the binary image, and determining a local significant feature, wherein the local significant feature includes a connected component of the connected component set that satisfies a preset condition;
  • the target area is located in a head area of the pedestrian image, and the detecting the local significant feature includes: acquiring a color distribution of the target area and a standard color distribution, and calculating a color distribution of the target area and a standard color of the target area The distance of the distribution; when the distance is greater than the first preset value, determining that the target area is a locally significant feature.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential or contributes to the prior art, or all or part of the technical solution, may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .

Abstract

本发明实施例公开了一种行人再识别方法和行人再识别装置。本发明实施例方法包括：获取目标图像和参考图像；分别检测第一局部显著性特征和第二局部显著性特征，第一局部显著性特征为目标图像在目标区域上的局部显著性特征，第二局部显著性特征为参考图像在目标区域上的局部显著性特征；计算第一局部显著性特征和第二局部显著性特征的相似度；其中，目标区域位于行人身上的任意一个区域，检测局部显著性特征包括：获取目标区域中的显著性图(salience)；对目标区域的显著性图进行二值化，生成二值图像；从二值图像中提取目标区域中的连通部件集合，确定局部显著性特征，局部显著性特征包括连通部件集合中满足预置条件的连通部件。

Description

行人再识别方法和装置 技术领域
本发明涉及图像处理技术领域，尤其涉及一种行人再识别方法和装置。
背景技术
随着人们对社会公共安全的日益关注以及视频采集技术和大规模数据存储技术的发展，大量的监控摄像头应用在人群密集易发生公共安全的场所，人工已难以应对海量增长的监控视频，因此利用计算机对监控视频中的行人等进行再识别的需求应运而生。其中再识别是指监控视频中识别出某个特定的已经在监控网络中出现过的行人。例如，在监控网络中，行人会在不同的摄像头下出现，行人再识别的任务是在监控网络中行人的身份的鉴定，将曾经在监控网络中出现过的目标行人在其他摄像机的场景内再次识别出来的技术，即在给定一些候选目标的情况下如何将行人进行再识别。
现有的行人再识别技术中，将目标行人的全局特征和行人图像库中的行人的全局特征进行比较，通过该两个全局特征的相似度来确定该两个行人是否为同一人。然而，仅仅靠全局特征的相似度比较得到的判断结果的准确度较低。因此，一种改进的方法是还获取目标行人的局部显著性特征和用于比较的行人的显著性特征，结合该两个行人的全局特征比较结果以及局部显著性特征比较结果来判断该两个行人是否为同一人。
现有技术中提取行人身上的局部显著性特征的一种方法为，人工设计有36种属性的局部特征，并针对该36种属性的特征分布设计了36中检测器，通过该36种检测器来提取行人身上的局部显著性特征。然而，针对每种局部显著性特征设计的检测器需要大量的标注样本，使得设计检测器的成本较高。
发明内容
本发明实施例提供了一种行人再识别方法和行人再识别装置。
第一方面，本发明提供一种行人再识别方法，包括：获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；采用同样的检测局部显著性特征的方法分别检测所述目标图像在目标区域上的局部显著性特征(下文简称为第一局部显著性特征)和所述参考图像在所述目标区域上的局部显著性特征(下面简称为第二局部显著性特征)；计算所述第一局部显著性特征和第二局部显著性特征的相似度；
其中，所述目标区域位于行人身上的任意一个区域，所述检测局部显著性特征的方法包括：获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
或者，
所述目标区域位于行人图像的头部区域，所述检测局部显著性特征的方法包括：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区 域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
结合第一方面，在第一方面的第一种可能的实现方式中，所述计算所述第一局部显著性特征和第二局部显著性特征的相似度，包括：
分别生成所述第一局部显著性特征和所述第二局部显著性特征的描述向量，其中，所述描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种；计算所述第一局部显著性特征和所述第二局部显著性特征的描述向量的距离的倒数，将所述倒数作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
结合第一方面，在第一方面的第二种可能的实现方式中，所述获取所述目标区域中的显著性图，包括：
对所述目标区域中的任意一个像素点(x,y)，所述像素点的显著性值为将Salience(x,y)归一化到0-255之间得到的值，其中，
Figure PCTCN2017082847-appb-000001
Figure PCTCN2017082847-appb-000002
其中，δ为所述目标区域中包括像素点(x,y)的像素点集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。可选的，所述预置空间为预置色彩空间或者预置频域空间。可选的，所述预置色彩空间为HIS、HSV、RGB、CMY、CMYK、HSL、HSB、Ycc、XYZ、Lab或者YUV色彩空间。可选的，所述距离为欧式距离、卡方距离、汉明距离或马氏距离。
结合第一方面、第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述预置条件包括：尺寸位于预置范围内，且在尺寸位于预置范围内的所有连通部件中显著性最大，其中，连通部件的显著性为所述连通部件中各像素点(x,y)的显著性值的和。
结合第一方面的第三种可能的实现方式或者第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述预置条件还包括：所述连通部件的中心位于预置区域集合内。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述获取参考图像，包括:
获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中所述目标区域上存在局部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像填充所述待填充特征；将所述行人跟踪序列中的各图像依次作为所述参考图像。
结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实现方式、第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式，在第一方面的第六种可能的实现方式中，所述获取参考图像，包括:
获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻 的行人图像；当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除；将所述行人跟踪序列中的各图像依次作为所述参考图像。
结合第一方面的第五种可能的实现方式或者第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定；当所述第一比值不小于第二预置数值，确定所述局部显著性特征稳定；
或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；当
Figure PCTCN2017082847-appb-000003
小于第三预置数值时，确定所述局部显著性特征不稳定，当
Figure PCTCN2017082847-appb-000004
不小于第三预置数值时，确定所述局部显著性特征稳定；其中，k为正整数，n为所述行人跟踪序列中的图像总数；
或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；当所述第一比值小于第二预置数值和/或
Figure PCTCN2017082847-appb-000005
小于第三预置数值时，确定所述局部显著性特征不稳定，当所述第一比值不小于第二预置数值且
Figure PCTCN2017082847-appb-000006
小于第三预置数值时，确定所述局部显著性特征稳定。
结合第一方面的第五种可能的实现方式或者第一方面的第六种可能的实现方式，在第一方面的第八种可能的实现方式中，所述计算所述第一局部显著性特征和第二局部显著性特征的相似度，包括：
分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中
Figure PCTCN2017082847-appb-000007
p1＝1，sk,k+1为所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度；计算p＝|p1-p2|/(p1+p2)，将p作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
第二方面，提供一种行人再识别装置，包括：
获取模块，用于获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；
检测模块，用于采用同样的检测局部显著性特征的方法分别检测所述目标图像在目标区域上的局部显著性特征(下文简称为第一局部显著性特征)和所述参考图像在所述目标区域上的局部显著性特征(下面简称为第二局部显著性特征)；
计算模块，用于计算所述第一局部显著性特征和第二局部显著性特征的相似度；
其中，
所述目标区域位于行人身上的任意一个区域，所述检测模块在检测局部显著性特征时，具体用于获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
或者，
所述目标区域位于行人图像的头部区域，所述检测模块在检测局部显著性特征时，具体用于：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
结合第二方面，在第二方面的第一种可能的实现方式中，所述计算模块具体用于：
分别生成所述第一局部显著性特征和所述第二局部显著性特征的描述向量，其中，所述描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种；计算所述第一局部显著性特征和所述第二局部显著性特征的描述向量的距离的倒数，将所述倒数作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
结合第二方面，在第二方面的第二种可能的实现方式中，所述检测模块在获取所述目标区域中的显著性图时，具体用于：
对所述目标区域中的任意一个像素点(x，y)，所述像素点的显著性值为将Salience(x,y)归一化到0-255之间得到的值，其中，
Figure PCTCN2017082847-appb-000008
其中，δ为所述目标区域中包括像素点(x,y)的像素点集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。
结合第二方面、第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述预置条件包括：尺寸位于预置范围内，且在尺寸位于预置范围内的所有连通部件中显著性最大，其中，连通部件的显著性为所述连通部件中各像素点(x,y)的显著性值的和。
结合第二方面的第三种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第四种可能的实现方式中所述预置条件还包括：所述连通部件的中心位于预置区域集合内。
结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述获取模块在获取参考图像时，具体用于:
获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中所述目标区域上存在局 部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像填充所述待填充特征；；
将所述行人跟踪序列中的各图像依次作为所述参考图像。
结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实现方式、第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式，在第二方面的第六种可能的实现方式中，所述获取模块在获取参考图像时，具体用于:
获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除；
将所述行人跟踪序列中的各图像依次作为所述参考图像。
结合第二方面的第五种可能的实现方式或者第一方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述获取模块在判断所述局部显著性特征在所述行人跟踪序列中是否稳定时，具体用于：
获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定；当所述第一比值不小于第二预置数值，确定所述局部显著性特征稳定；
或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；当
Figure PCTCN2017082847-appb-000009
小于第三预置数值时，确定所述局部显著性特征不稳定，当
Figure PCTCN2017082847-appb-000010
不小于第三预置数值时，确定所述局部显著性特征稳定；其中，k为正整数，n为所述行人跟踪序列中的图像总数；
或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；当所述第一比值小于第二预置数值和/或
Figure PCTCN2017082847-appb-000011
小于第三预置数值时，确定所述局部显著性特征不稳定，当所述第一比值不小于第二预置数值且
Figure PCTCN2017082847-appb-000012
小于第三预置数值时，确定所述局部显著性特征稳定。
结合第二方面的第五种可能的实现方式或者第二方面的第六种可能的实现方式，在第二方面的第八种可能的实现方式中，所述计算模块具体用于：
分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中
Figure PCTCN2017082847-appb-000013
p1＝1；sk,k+1为所述行人跟踪序列中第k帧和第k+1帧图像在 所述目标区域的局部显著性特征的相似度；
计算p＝|p1-p2|/(p1+p2)，将p作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
从以上技术方案可以看出，本发明实施例具有以下优点：
对图像中的任意一个区域，通过获取该区域中的显著性图并将该显著性图二值化生成二值图像，再从该二值图像中提取出符合预置条件的连通部件作为该区域的局部显著性特征的至少部分，这样，本发明采用统一的框架对行人图像中的局部显著性特征进行检测，避免了现有技术中对每一种局部显著性特征训练一种分类器而导致的检测成本较高，或者，对图像的头部区域中的任意一个区域，通过获取该区域的颜色分布以及标准颜色分别，并计算该区域的颜色分布与标准颜色分布的距离，当该距离大于第一预置数值时确定该区域为局部显著性特征，这样，通过采用统一的框架对行人图像的头部中的显著性特征进行检测，避免了现有技术中对头部上的每一种局部显著性特征训练一种分类器，因此，本发明能够降低检测成本。
附图说明
图1为本发明的行人再识别方法的一个实施例的流程示意图；
图2为本发明的行人再识别方法的另一个实施例的流程示意图；
图3为本发明的行人再识别装置的一个实施例的流程示意图；
图4为本发明的行人再识别装置的一个实施例的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一种常见的应用场景中，对行人甲的图像，需要从存有多个行人图像的数据库中找出与该行人甲为同一人的图像。因此，需要将该行人甲的图像依次与数据库中的各行人图像进行比较。一种方法是提取行人甲的图像中行人甲的全局特征以及用于对比的图像中的行人的全局特征，并将该两个全局特征进行比较，以评价行人甲与用于对比的图像中的行人的相似度。其中，提取行人的全局特征的方法有多种。例如，将该行人甲的图像中显示的行人甲以及用于对比的图像中的行人分别分为头部、上半身和下半身三个区域，并提取每个区域的颜色特征(例如每个区域在R、G、B、H、S五个通道上的颜色直方图)和纹理特征(例如局部二值模式(英文：Local Binary Patterns，缩写：LBP)特征)。然后，将 行人甲的每个区域的颜色特征和纹理特征串联后生成该区域的全局特征，再将行人甲的三个区域的全局特征串联，得到该行人甲的全局特征。用于对比的行人图像采用同样的方法得到该行人的全局特征。通过计算行人甲的全局特征和用于对比的行人的全局特征的相似度来评价行人甲与用于对比的行人是否同一个人。
然而，仅通过全局特征的比较来判断两个图像中的行人是否为同一人，得到的判断结果的准确度较低，因此，本发明中，还采用如下的行人再识别方法，来比较两个图像中的局部显著性特征，以提到判断结果的准确度。当然，实际应用中，下文描述的行人再识别方法不一定要结合上面描述的全局特征的方法使用，也可以单独用于比较两个图像在目标区域上的局部显著性特征的相似度。
下面对本发明的行人再识别方法进行详细说明。
如图1所示，图1为本发明的行人再识别方法的一个实施例的流程示意图。本实施例中，行人再识别方法包括：
101、获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像。
本实施例中，行人图像指的是图中只有一个行人，没有环境背景的图像。目标图像中的行人为需要从数据库中寻找的行人，参考图像中的行人为数据库中已经存储有图像的行人，采用目标图像与参考图像进行相比较，以从数据库中找出与目标图像中的行人为同一人的图像。实际应用中，一般获取到的图像中不仅仅包括行人，还有背景环境图。因此，在获取到目标行人的图像以及数据库中的图像后，首先对图像处理，将图像中的背景像素去除，以提取出前景像素，也即行人图像。去除背景像素的方法有多种，例如，可采用“运动目标检测”的算法来去除背景像素，或者采用图像分割算法来去除背景像素，此为现有技术，在此不再赘述。
102、分别检测第一局部显著性特征和第二局部显著性特征。
其中，第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，第二局部显著性特征为所述参考图像在所述目标区域上的局部显著性特征。本实施例中，目标区域指的是行人图像上的任意一个区域。由于本发明中需检测参考图像在目标区域上的局部显著性特征与目标图像在目标区域上的局部显著性特征的相似度，因此，优选的，目标区域为目标图像中的行人身上的任意一个区域。实际应用中，可将人体划分不同的区域，并依次将各区域作为目标区域；或者，也可以仅取人体中的部分区域来依次作为目标区域，在此不作限制。获取目标区域上的局部显著性特征的方法有多种。下面对其中的一种方法进行举例说明。
首先，计算目标区域的显著性图(Salience)。举例来说，在目标区域的显著性图中，对目标区域中的任意一个像素点(x，y)，该像素点(x，y)的显著性值为根据以下公式计算得到的Salience(x,y)归一化到0-255之间后得到的值，其中，Salience(x,y)＝∑(i,j)∈δDis(dot(x,y)-dot(i,j))，其中，Dis(dot(x,y)-dot(i,j))表示目标区域在预置空间内像素点(x,y)与像素点(i,j)之间的距离，所述距离为欧式距离、卡方距离、汉明距离或马氏距离，或者为其他类型的距离，在此不作限制。
其中，所述预置空间可以是预置色彩空间、预置频域空间或者其他空间，在此不作限制。下面以预置空间为色彩空间进行具体举例说明。具体的，
具体的，
Figure PCTCN2017082847-appb-000014
其中，δ为所述目标区域中包括像素点(x,y)的像素点子集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。具体来说，δ为以像素点(x，y)为中心的、且边缘为规则图形的像素点集，在此不作限制。所述预置色彩空间为HIS、HSV、RGB、CMY、CMYK、HSL、HSB、Ycc、XYZ、Lab或者YUV色彩空间，或者为其他色彩空间，在此不作限制。
其次，对所述目标区域的显著性图进行二值化，生成二值图像。具体的，可采用二值化方法(例如大津算法(OTSU))对目标区域的显著性图进行二值化，或者还可以采用Nicblack算法、双峰法、P参数法、最大熵值法、迭代法等等二值化方法来对目标区域的显著性图进行二值化，在此不作限制。
然后，从所述二值图像中提取所述目标区域中的连通部件集合。其中，连通部件指的是图像中具有相同像素值且位置相邻的前景像素点组成的区域。具体提取连通部件的方法为现有技术，在此不再赘述。
获取到连通部件集合后，从该连通部件中选出满足预置条件的连通部件作为目标区域的局部显著性特征。举例来说，该预置条件包括：尺寸位于预置范围内，且在尺寸位于预置范围内的所有连通部件中显著性最大。例如，对于该目标区域预设有最大高度值、最小高度值、最大宽度值和最小宽度值；连通部件的尺寸位于预置范围内，具体指的是连通部件的高度不大于最大高度值且不小于最小高度值，和/或连通部件的宽度不大于最大宽度值且不小于最小宽度值。当然，上述仅为举例，并不做限制。其中，连通部件的显著性等于该连通部件中各像素点(x,y)的Salience(x,y)的和。这样，目标区域中仅有一个局部显著性特征，便于后续目标图像和参考图像的目标区域中的局部显著性特征进行比较。
需注意的是，目标区域对应不同区域时，该目标区域所对应的预置范围并不一定相同。
进一步，可选的，该预置条件还包括：连通部件的中心位于预置区域集合内。其中，该预置区域集合中各区域为预先设定的出现局部显著性特征的概率较高的区域，例如包括领口区域、胸前区域等等，在此不作限制。这样，可以进一步提高所检测出的局部显著性特征的准确性。
优选的，本实施例中，获取到连通部件集合后，从该连通部件中选出满足预置条件的连通部件，并以该连通部件的外接预置规则图形作为目标区域的局部显著性特征。其中，该外接预置规则图形可以为矩形或者圆形，或者其他规则图形，在此不作限制。这样，可以采用较少的参数描述该局部显著性特征的形状。
需注意的是，目标图像或者参考图像上的目标区域上可能不存在局部显著性特征，这种情况中，则输出不存在局部显著性特征的结果。或者，参考图像上不存在目标区域，例如，目标图像为行人的正面图像，而参考图像为行人的背面图像。因此，可选的，在分别检测第一局部显著性特征和第二局部显著性特征之前，本实施例的行人再识别方法还包括：确定所述参考图像是否存在所述目标区域，当确定存在时，执行步骤102，当确定不存在 时，停止执行步骤102和103。其中，确定参考图像是否存在目标区域为现有技术，在此不再赘述。
103、计算所述第一局部显著性特征和第二局部显著性特征的相似度。
本实施例中，计算第一局部显著性特特征和第二局部显著性特征的相似度的方法有多种，下面对其中的一种进行举例描述。
在获取到第一局部显著性特征和第二局部显著性特征后，分别生成该两个局部显著性特征的描述向量，其中，该描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种。
其中，尺度描述可以有多种，例如，尺度描述包括局部显著性特征的宽度、高度和像素点数量，或者包括外接椭圆的长短轴长度和像素点数量，在此不作限制。
其中，颜色描述可以有多种，例如，颜色描述包括局部显著性特征的颜色均值、颜色方差，或者包括局部显著性特征的混合高斯模型，在此不作限制。在局部显著性特征为满足条件的连通部件的外接预置规则形状的情况中，可选的，颜色描述包括局部显著性特征的前景灰度均值与背景灰度均值的差、前景颜色均值，其中，局部显著性特征的前景指的是该局部显著性特征的连通部件，背景指的是该局部显著性特征中除连通部件以外的区域。
其中，位置描述可以有多种，例如，第一局部显著性特征的位置描述包括该第一局部显著性特征或者所在区域的几何中心与目标图像的几何中心的相对位置，第二局部显著性特征的位置描述包括该第二局部显著性特征或者所在区域的几何中心与参考图像的几何中心的相对位置，在此不作限制。
其中，形状描述可以有多种，例如，第一局部显著性特征的形状描述feature1＝(blackNum1/edgeNum1，blackNum1/area1)，其中blackNum1为第一局部显著性特征中连通部件所包含的像素点数，blackNum1为该连通部件的边缘像素点数，area1为第一局部显著性特征的面积；第二局部显著性特征的形状描述feature2＝(blackNum2/edgeNum2，blackNum2/area2)，其中blackNum2为第二局部显著性特征中连通部件所包含的像素点数，blackNum2为该连通部件的边缘像素点数，area2为第二局部显著性特征的面积；或者，形状描述包括局部显著性特征中连通部件的边缘像素点的梯度分布，在此不作限制。
具体的，可将各描述归一化后串联起来形成局部显著性特征的描述向量。具体举例来说，局部显著性特征的特征向量
Figure PCTCN2017082847-appb-000015
其中，featuresi为尺度描述，featureco为颜色描述，featurelo为位置描述，featuresh为形状描述，featuren表示feature的归一化结果。当然，局部显著性特征的描述向量可以有其他表示方式，在此不作限制。
生成第一局部显著性特征和所述第二局部显著性特征的描述向量后，计算该两个描述向量的距离，并将该距离的倒数作为第一局部显著性特征和所述第二局部显著性特征的相似度的其中一个因子。也即similarity(f1,f2)＝α×1/dis(feature1,feature2)；其中，α表示其他因子，similarity(f1,f2)表示第一局部显著性特征和所述第二局部显著性特征的相似度，dis(feature1,feature2)表示第一局部显著性特征和所述第二局部显著性特征的描述向量的距离。其中，该两个描述向量的距离可以是欧式距离、汉明距离、马氏距离、卡方距离或者其他距离，在此不作限制。
可以理解的是，在不存在第二局部显著性特征的情况中，第一局部显著性特征和第二局部显著性特征的相似度为0。
本实施例中，对图像中的任意一个区域，通过获取该区域中的显著性图并将该显著性图二值化生成二值图像，再从该二值图像中提取出符合预置条件的连通部件作为该区域的局部显著性特征的至少部分，这样，本发明将行人图像中的所有局部特征的检测整合到统一的框架下进行处理，避免了现有技术中对每一种局部特征训练一种分类器从而无法穷举所有局部特征的缺陷，能够覆盖所有的局部显著性特征，且降低检测成本。
本实施例中，在步骤102中对检测局部显著性特征局部显著性特征的其中一种获取方法进行了描述。可选的，当目标区域位于头部区域时，还可以采用如下方法来检测局部显著性特征。
获取所述目标区域的颜色分布以及标准颜色分布，计算目标区域的颜色分布与目标区域的标准颜色分布的距离，当该距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
其中，目标区域可以是头发区域、眼睛区域、嘴部区域或者其他区域，在此不作限制。目标区域的颜色分布可以为该目标区域的颜色直方图，或者为该目标区域的颜色均值和颜色方差，或者为该目标区域的混合高斯模型，或者是其他颜色分布，在此不作限制。目标区域的标准颜色分布为根据预置数据库中至少部分图像的目标区域上的颜色分布所统计出的参考值，例如，目标区域的标准颜色分布为数据库中至少部分图像的目标区域的颜色分布的平均值。其中，该预置数据库可以为本发明中获取参考图像的数据库或者其他数据库，在此不作限制。需注意的是，参考图像的目标区域的标准颜色分布和目标图像的目标区域的标准颜色分布不一定相同。例如，统计出目标图像的目标区域的标准颜色分布所依据的数据库和统计出参考图像的目标区域的标准颜色分布所依据的数据库不同，在此不作限制。
获取到目标区域的颜色分布和标准颜色分布后，计算该两个分布的距离，其中，该距离可以是欧式距离、卡方距离、汉明距离或马氏距离，或者为其他类型的距离，在此不作限制。当该距离大于第一预置数值时，确定目标区域局部显著性特征。需注意的是，目标区域对应头部的不同区域时，该目标区域所对应的第一预置数值并不一定相同。
本实施例中，对图像的头部区域中的任意一个区域，通过获取该区域的颜色分布以及标准颜色分别，并计算该区域的颜色分布与标准颜色分布的距离，当该距离大于第一预置数值时确定该区域为局部显著性特征，这样，通过采用统一的框架对行人图像的头部中的显著性特征进行检测，避免了现有技术中对头部上的每一种局部显著性特征训练一种分类器，因此能够降低检测成本。
本实施例中，参考图像的目标区域中的局部显著性特征用于和目标图像的目标区域中的局部显著性特征进行比较，该两个局部显著性特征的相似度用于判断参考图像和目标图像是否为同一人。然而，实际应用中，由于运动变化、位置变化、视觉变化或者其他原因导致参考图像的目标区域中的局部显著性特征存在较大的不稳定性，这在一定程度上降低了参考图像和目标图像在目标区域中的局部显著性特征的比较结果的置信度。在本发明的另一种可能的实施方式中，在步骤“获取参考图像”中，利用时域信息提高参考图像的目 标区域中的局部显著性特征的稳定性。下面对本发明的另一种可能的实施方式中的步骤“获取参考图像”进行详细说明。如图2所示，图2为获取参考图像的方法的另一种实施例的流程示意图。
201、获取行人跟踪序列。
本实施例中，行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像。也即，行人跟踪序列中的各图像的行人为穿着打扮相同的同一行人。其中，行人跟踪序列中的每个行人图像中只有行人，没有环境背景。实际应用中，一般获取到的图像中不仅仅包括行人，还有背景环境图。因此，在获取到行人的一系列跟踪图像后，首先对各图像处理，将图像中的背景像素去除，以提取出前景像素，也即行人图像。去除背景像素的方法有多种，例如，可采用“运动目标检测”的算法来去除背景像素，或者采用图像分割算法来去除背景像素，此为现有技术，在此不再赘述。
202、当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定。
其中，检测局部显著性特征的方法可以和上面实施例中所描述的检测局部显著性特征的方法相同，在此不再赘述。
其中，判断局部显著性特征在所述行人跟踪序列中是否稳定的方法有多种。举例来说，确定行人跟踪序列中目标区域上存在局部显著性特征的所有图像后，计算该所有图像的数量与行人跟踪序列中图像总数的比值，为描述方便，称该比值为第一比值。当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定。当所述第一比值不小于第二预置数值时，确定所述局部显著性特征稳定。
或者，在检测所述行人跟踪序列中各图像在所述目标区域上是否存在局部显著性特征后，计算行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1，当
Figure PCTCN2017082847-appb-000016
小于第三预置数值时，确定所述局部显著性特征不稳定，当
Figure PCTCN2017082847-appb-000017
不小于第三预置数值时，确定所述局部显著性特征稳定。其中，k为正整数，n为所述行人跟踪序列中的图像总数。其中，第k帧和第k+1帧图像可以是所述行人跟踪序列中各图像按时间发生排序后得到的第k帧和第k+1帧图像，也可以是行人跟踪序列中各图像按其他排列方法排列后得到的第k帧和第k+1帧图像，在此不作限制。其中，计算两个局部显著性特征的相似度的方法可以和图1所示实施例中步骤103所描述的计算两个局部显著性特征的相似度的方法相同，在此不作限制。
或者，也可以当所述第一比值不小于第二预置数值和/或
Figure PCTCN2017082847-appb-000018
小于第三预置数值时，确定所述局部显著性特征不稳定，当所述第一比值不小于第二预置数值且
Figure PCTCN2017082847-appb-000019
不小于第三预置数值时，确定所述局部显著性特征稳定。在此不作限制。
203、执行步骤A和/或步骤B。
步骤A：当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中存在局部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像中填充所述待填充特征。
当确定目标区域上的局部显著性特征稳定时，可认为所述行人跟踪序列中的行人实际中身上存在该局部显著性特征。因此，对该行人跟踪序列中目标区域上不存在局部显著性 特征的每一个图像，在该图像的目标区域上填充特征，为描述方便，将在该图像的目标区域上填充的特征称为待填充特征。
本实施例中，具体根据行人跟踪序列中目标区域上存在局部显著性特征的各图像的目标区域上的局部显著性特征确定待填充特征。其中，确定待填充特征的方法有多种，例如，可将行人跟踪序列中目标区域上存在局部显著性特征的各图像中的其中一个图像中的目标区域上的局部显著性特征作为待填充特征，或者将行人跟踪序列中目标区域上存在局部显著性特征的各图像中至少部分图像的目标区域上的局部显著性特征的均值作为待填充特征，在此不作限制。
步骤B：当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除。
当确定目标区域上的局部显著性特征不稳定时，可认为所述行人跟踪序列中的行人实际中身上不存在该局部显著性特征。因此，对该行人跟踪序列中目标区域上存在局部显著性特征的各图像的目标区域上的局部显著性特征删除。
204、将所述行人跟踪序列中的各图像依次作为所述参考图像。
行人跟踪序列中的图像填充特征和/或删除特征后，将行人跟踪序列中的各图像依次作为参考图像，或者将行人跟踪序列中的其中一个图像作为参考图像，在此不作限制。
可选的，本实施例中，还对填充特征和/或删除特征后的行人跟踪序列以及该行人跟踪序列中各图像中的局部显著性特征的信息进行保存，以避免在采用不同的目标图像与该参考图像进行比较时进行重复计算。
205、获取目标图像。
获取目标图像的方法可参考图1所示实施例中步骤101的解释说明，在此不再赘述。
206、分别检测第一局部显著性特征和第二局部显著性特征。
其中，第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，第二局部显著性特征为当前的参考图像在所述目标区域上的局部显著性特征。
检测第一局部显著性特征和第二局部显著性特征的方法可参考图1所示实施例中步骤102的解释说明，在此不再赘述。
207、计算所述第一局部显著性特征和第二局部显著性特征的相似度。
计算所述第一局部显著性特征和第二局部显著性特征的相似度的方法可参考图1所示实施例中步骤103的解释说明，在此不再赘述。
可选的，本实施例中，还分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中p1＝1，p2为
Figure PCTCN2017082847-appb-000020
归一化后的值，sk,k+1为行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度，由于目标图像只有一帧，因此第一局部显著性特征的置信度为1。这样，在行人跟踪序列中的每一个图像作为参考图像时，将p＝|p1-p2|/(p1+p2)作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
本实施例中，通过不同时刻下同一行人的跟踪图像对该行人在目标区域上的局部显著 性特征的稳定性进行验证，以提高该行人在目标区域上的局部显著性特征的置信度，进而提高参考图像和目标图像在目标区域中的局部显著性特征的比较结果的置信度。
为理解本发明，下面结合一个具体应用场景对本发明的行人再识别方法进行举例描述。
本实施例中，数据库中存有多个行人的跟踪序列，其中，该跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的图像。现需要从数据库中查找出与第一图像中的目标行人为同一人的图像。具体的，依次将第一图像与各行人的跟踪序列进行比较。其中，在将第一图像与任意一个行人的跟踪序列进行比较的过程中，包括将该第一图像中的行人身上的局部显著性特征与该行人的跟踪序列中行人身上的局部显著性特征进行比较。下面对如何将第一图像中行人身上的局部显著性特征与其中一个行人(下文中称为参考行人)的跟踪序列中行人身上的局部显著性特征比较进行详细解释。
首先，下面先对如何对参考行人的跟踪序列处理进行解释说明。
对参考行人的跟踪序列中的每一个图像，根据“运动目标检测”算法将该图像中的背景去除，仅留下该图像中的行人图像。下面称去除背景后的跟踪序列为行人跟踪序列。对参考行人的行人跟踪序列中的每一个行人图像，按同一个预置分割方法将该行人图像的身体区域分为不同的区域，以及将该行人图像的头部区域进行垂直方向的分区，具体的，将该行人图像的头部区域分为头发区域、眼睛区域和嘴部区域。其中，对每一个区域，获取该区域的局部显著性特征。
具体的，当获取行人图像的头部区域上的各区域的局部显著性特征时，采用如下方法来获取每一个区域的局部显著性特征：获取该区域的颜色直方图以及该区域的标准颜色直方图，其中该区域的标准颜色直方图为根据数据库中至少部分图像在该区域上的颜色直方图所统计出的参考值。计算该区域的颜色直方图和该区域的标准颜色直方图的卡方距离，当该大方举例大于第一预置数值时，确定该整个区域为局部显著性特征。其中，头部区域上的不同区域所采用的第一预置数值并不相同。
当获取行人图像的身体区域上各区域的局部显著性特征时，采用如下方法来获取身体区域上的局部显著性特征：
对身体区域上的每一个区域中的每一个像素点(x，y)，该像素点(x，y)的显著性值为根据以下公式计算得到的Salience(x,y)归一化到0-255之间后得到的值，
Figure PCTCN2017082847-appb-000021
其中，δ为该区域中以像素点(x,y)为中心的、且边缘为圆形的像素点子集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在RGB色彩空间内的欧式距离。该区域中所有像素点的显著性值构成该区域的显著性图，这样，可以获取到身体区域上每一个区域的显著性图。
利用大津算法对该身体区域上的每一个区域的显著性图进行二值化，得到身体区域上每个区域的二值图像。从各区域的二值图像中提取该区域中的所有连通部件，得到身体区域上的所有连通部件，为描述方便，称为总连通部件集合。对该总连通部件集合进行过滤，具体的，预设有最大高度值、最小高度值、最大宽度值和最小宽度值，且预设有特定区域集合(例如包括领口区域、胸前区域等等)；当该总连通部件集合中任意一个连通部件的 高度大于最大高度值，或小于最小高度值，或该连通部件的宽度大于最大宽度值，或小于最小宽度值时，或者该连通部件的中心不位于该特定区域集合内时，将该连通部件从该总连通部件集合中删除。这样，总连通部件集合中剩下的连通部件作为候选局部显著性特征集合。在该候选局部显著性特征集合中，若任意至少两个候选局部显著性特征位于身体区域上的同一个区域上时，将该区域中∑(i,j)∈CSalience(x,y)最大的候选局部显著性特征作为该特定区域的局部显著性特征，并将其余候选局部显著性特征删除。对于其余候选局部显著性特征，则分别作为所在的区域的局部显著性特征。
这样，可以确定出参考行人的行人跟踪序列中每个行人图像的头部区域上各区域和身体区域上各区域的局部显著性特征(当然，部分区域上不存在局部显著性特征)。
确定每一个行人图像上各区域的局部显著性特征后，判断每个区域上的局部显著性特征在该参考行人的行人跟踪序列中是否稳定。其中，判断方法可参考图2所示实施例中步骤203的解释说明，在此不再赘述。
当确定该区域上的局部显著性特征稳定时，将参考行人的行人跟踪序列中该区域上存在局部显著性特征的各图像在区域上的局部显著性特征的均值作为待填充特征，将该待填充特征填充到该行人跟踪序列中在该区域上不存在局部显著性特征的各图像的该区域中。
当确定该区域上的局部显著性特征稳定时，将参考行人的行人跟踪序列中该区域上存在局部显著性特征的各图像在区域上的局部显著性特征删除。
这样，通过以上方法对参考行人的行人跟踪序列中各行人图像的局部显著性特征进行融合与更新后，得到参考行人的新行人跟踪序列。将该新行人跟踪序列以及该新行人跟踪序列中各行人图像中的局部显著性特征保存至数据库中，并采用该新行人跟踪序列和第一图像进行比较。
具体的，根据“运动目标检测”算法将该第一图像中的背景去除，仅留下该第一图像中的行人图像(下面称为目标图像)。采用分割参考行人的行人图像的方法对目标图像进行分割，使得目标图像上的各区域分别和参考行人的行人图像上的各区域为人体上的同一区域。
获取目标图像上区域的局部显著性特征，其中，获取方法和获取参考行人的行人图像上各区域的局部显著性特征的方法相同，在此不再赘述。
依次将参考行人的新行人跟踪序列中的各行人图像(下面称为参考图像)和目标图像进行比较，具体的，依次对目标图像上的每一个区域，检测该区域上的局部显著性特征和参考图像上在该区域上的局部显著性特征的相似度。若参考图像不存在该区域(例如该区域为胸前区域而参考图像为人体的背面图像)，则相似度为0。若参考区域存在该区域，则计算目标图像和参考图像在该区域上的局部显著性图特征的相似度的方法可参考图2所示实施例中步骤209的解释说明，在此不再赘述。
这样，目标图像与参考行人的新行人跟踪序列中各行人图像在各区域上的局部显著性特征的相似度用于辅助判断该目标图像中的行人和参考行人是否为同一人。
上面对本发明的行人再识别方法进行了描述，下面将对本发明的行人再识别装置进行 描述。
如图3所示，图3为本发明的行人再识别装置的一个实施例的结构示意图。本实施例中，行人再识别装置300包括：
获取模块301，用于获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；
检测模块302，用于分别检测第一局部显著性特征和第二局部显著性特征，所述第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，所述第二局部显著性特征为所述参考图像在所述目标区域上的局部显著性特征；
计算模块303，用于计算所述第一局部显著性特征和第二局部显著性特征的相似度；
其中，
所述目标区域位于所述目标图像中行人身上的任意一个区域，所述检测模块在检测局部显著性特征时，具体用于获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
和/或，
所述目标区域位于行人图像的头部区域，所述检测模块在检测局部显著性特征时，具体用于：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
对图像中的任意一个区域，通过获取该区域中的显著性图并将该显著性图二值化生成二值图像，再从该二值图像中提取出符合预置条件的连通部件作为该区域的局部显著性特征的至少部分，这样，本发明将行人图像中的所有局部特征的检测整合到统一的框架下进行处理，避免了现有技术中对每一种局部特征训练一种分类器从而无法穷举所有局部特征的缺陷，能够覆盖所有的局部显著性特征，且降低检测成本。
可选的，所述计算模块303具体用于：
分别生成所述第一局部显著性特征和所述第二局部显著性特征的描述向量，其中，所述描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种；计算所述第一局部显著性特征和所述第二局部显著性特征的描述向量的距离的倒数，将所述倒数作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
可选的，所述检测模块302具体用于：
对所述目标区域中的任意一个像素点(x，y)，所述像素点的显著性值为将Salience(x,y)归一化到0-255之间得到的值，其中，
Figure PCTCN2017082847-appb-000022
其中，δ为所述目标区域中包括像素点(x,y)的像素点集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。
可选的，所述预置条件包括：尺寸位于预置范围内的所有连通部件中，显著性最大的连通部件，其中，连通部件的显著性为所述连通部件中各像素点(x,y)的Salience(x,y) 的和。
可选的，所述获取模块301在获取参考图像时，具体用于:
获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
检测所述行人跟踪序列中各图像在所述目标区域上是否存在局部显著性特征；
判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中所述目标区域上存在局部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像填充所述待填充特征；
当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除；
将所述行人跟踪序列中的各图像依次作为所述参考图像。
可选的，所述获取模块301在判断所述局部显著性特征在所述行人跟踪序列中是否稳定时，具体用于：
获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定；
或者，
计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1，当
Figure PCTCN2017082847-appb-000023
小于第三预置数值时，确定所述局部显著性特征不稳定，其中，k为正整数，n为所述行人跟踪序列中的图像总数。
可选的，所述计算模块303具体用于：
分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中
Figure PCTCN2017082847-appb-000024
p1＝1；
计算p＝|p1-p2|/(p1+p2)，将p作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
上面从单元化功能实体的角度对本发明实施例中的行人再识别装置进行了描述，下面从硬件处理的角度对本发明实施例中的行人再识别装置进行描述。
请参阅图4，图4为本发明的行人再识别装置的一个实施例的结构示意图。本实施例中，行人再识别装置400包括：
处理器401，以及耦合到所述处理器401的存储器402；其中，所述处理器401读取所述存储器402中存储的计算机程序用于执行以下操作：
获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；
分别检测第一局部显著性特征和第二局部显著性特征，所述第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，所述第二局部显著性特征为所述参考图像在所述目标区域上的局部显著性特征；
计算所述第一局部显著性特征和第二局部显著性特征的相似度；
其中，
所述目标区域位于行人身上的任意一个区域，所述检测局部显著性特征包括：获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
或者，
所述目标区域位于行人图像的头部区域，所述检测局部显著性特征包括：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
对处理器401所执行的操作可参考图1和图2所示实施例中的行人再识别方法，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (18)

  1. 一种行人再识别方法，其特征在于，包括：
    获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；
    分别检测第一局部显著性特征和第二局部显著性特征，所述第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，所述第二局部显著性特征为所述参考图像在所述目标区域上的局部显著性特征；
    计算所述第一局部显著性特征和第二局部显著性特征的相似度；
    其中，
    所述目标区域位于行人身上的任意一个区域，所述检测局部显著性特征包括：获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
    或者，
    所述目标区域位于行人图像的头部区域，所述检测局部显著性特征包括：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
  2. 根据权利要求1所述的行人再识别方法，其特征在于，所述计算所述第一局部显著性特征和第二局部显著性特征的相似度，包括：
    分别生成所述第一局部显著性特征和所述第二局部显著性特征的描述向量，其中，所述描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种；
    计算所述第一局部显著性特征和所述第二局部显著性特征的描述向量的距离的倒数，将所述倒数作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
  3. 根据权利要求1所述的行人再识别方法，其特征在于，所述获取所述目标区域中的显著性图，包括：
    对所述目标区域中的任意一个像素点(x,y)，所述像素点的显著性值为将Salience(x,y)归一化到0-255之间得到的值，其中，
    Figure PCTCN2017082847-appb-100001
    其中，δ为所述目标区域中包括像素点(x,y)的像素点集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。
  4. 根据权利要求1或3所述的行人再识别方法，其特征在于，所述预置条件包括：尺寸位于预置范围内，且在尺寸位于预置范围内的所有连通部件中显著性最大，其中，连通部件的显著性为所述连通部件中各像素点(x,y)的显著性值的和。
  5. 根据权利要求4所述的行人再识别方法，其特征在于，所述预置条件还包括：所述连通部件的中心位于预置区域集合内。
  6. 根据权利要求1至5任一项所述的行人再识别方法，其特征在于，所述获取参考图像，包括:
    获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻 的行人图像；
    当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
    当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中所述目标区域上存在局部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像填充所述待填充特征；
    将所述行人跟踪序列中的各图像依次作为所述参考图像。
  7. 根据权利要求1至5任一项所述的行人再识别方法，其特征在于，所述获取参考图像，包括:
    获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
    当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
    当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除；
    将所述行人跟踪序列中的各图像依次作为所述参考图像。
  8. 根据权利要求6或7所述的行人再识别方法，其特征在于，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
    获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；
    当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定；当所述第一比值不小于第二预置数值，确定所述局部显著性特征稳定；
    或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
    计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；
    当
    Figure PCTCN2017082847-appb-100002
    小于第三预置数值时，确定所述局部显著性特征不稳定，当
    Figure PCTCN2017082847-appb-100003
    不小于第三预置数值时，确定所述局部显著性特征稳定；其中，k为正整数，n为所述行人跟踪序列中的图像总数；
    或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
    获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；
    当所述第一比值小于第二预置数值和/或
    Figure PCTCN2017082847-appb-100004
    小于第三预置数值时，确定所述局部显著性特征不稳定，当所述第一比值不小于第二预置数值且
    Figure PCTCN2017082847-appb-100005
    不小于第三预置数值时，确定所述局部显著性特征稳定。
  9. 根据权利要求6或7所述的行人再识别方法，其特征在于，所述计算所述第一局部显著性特征和第二局部显著性特征的相似度，包括：
    分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中
    Figure PCTCN2017082847-appb-100006
    p1＝1，sk,k+1为所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度；
    计算p＝|p1-p2|/(p1+p2)，将p作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
  10. 一种行人再识别装置，其特征在于，包括：
    获取模块，用于获取目标图像和参考图像，所述目标图像和所述参考图像均为行人图像；
    检测模块，用于分别检测第一局部显著性特征和第二局部显著性特征，所述第一局部显著性特征为所述目标图像在目标区域上的局部显著性特征，所述第二局部显著性特征为所述参考图像在所述目标区域上的局部显著性特征；
    计算模块，用于计算所述第一局部显著性特征和第二局部显著性特征的相似度；
    其中，
    所述目标区域位于行人身上的任意一个区域，所述检测模块在检测局部显著性特征时，具体用于获取所述目标区域中的显著性图(salience)；对所述目标区域的显著性图进行二值化，生成二值图像；从所述二值图像中提取所述目标区域中的连通部件集合，确定局部显著性特征，所述局部显著性特征包括所述连通部件集合中满足预置条件的连通部件；
    或者，
    所述目标区域位于行人图像的头部区域，所述检测模块在检测局部显著性特征时，具体用于：获取所述目标区域的颜色分布以及标准颜色分布，计算所述目标区域的颜色分布与所述目标区域的标准颜色分布的距离；当所述距离大于第一预置数值时，确定所述目标区域为局部显著性特征。
  11. 根据权利要求10所述的行人再识别装置，其特征在于，所述计算模块具体用于：
    分别生成所述第一局部显著性特征和所述第二局部显著性特征的描述向量，其中，所述描述包括尺度描述、颜色描述、位置描述和形状描述中的至少一种；计算所述第一局部显著性特征和所述第二局部显著性特征的描述向量的距离的倒数，将所述倒数作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
  12. 根据权利要求10所述的行人再识别装置，其特征在于，所述检测模块在获取所述目标区域中的显著性图时，具体用于：
    对所述目标区域中的任意一个像素点(x，y)，所述像素点的显著性值为将Salience(x,y)归一化到0-255之间得到的值，其中，
    Figure PCTCN2017082847-appb-100007
    其中，δ为所述目标区域中包括像素点(x,y)的像素点集，||Pic(x,y)-Pic(i,j)||2为像素点(x，y)和像素点(i，j)在预置色彩空间内的距离。
  13. 根据权利要求10或12所述的行人再识别装置，其特征在于，所述预置条件包括：尺寸位于预置范围内，且在尺寸位于预置范围内的所有连通部件中显著性最大，其中，连 通部件的显著性为所述连通部件中各像素点(x,y)的显著性值的和。
  14. 根据权利要求13所述的行人再识别方法，其特征在于，所述预置条件还包括：所述连通部件的中心位于预置区域集合内。
  15. 根据权利要求10至14任一项所述的行人再识别方法，其特征在于，所述获取模块在获取参考图像时，具体用于:
    获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
    当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
    当确定所述局部显著性特征稳定时，根据所述行人跟踪序列中所述目标区域上存在局部显著性特征的各图像中的所述局部显著性特征确定待填充特征，对所述行人跟踪序列中目标区域上不存在局部显著性特征的图像填充所述待填充特征；
    将所述行人跟踪序列中的各图像依次作为所述参考图像。
  16. 根据权利要求10至14任一项所述的行人再识别方法，其特征在于，所述获取模块在获取参考图像时，具体用于:
    获取行人跟踪序列，所述行人跟踪序列包括同一行人在同一跟踪轨迹中至少两个时刻的行人图像；
    当检测到所述行人跟踪序列中至少部分图像在所述目标区域上存在局部显著性特征时，判断所述局部显著性特征在所述行人跟踪序列中是否稳定；
    当确定所述局部显著性特征不稳定时，将所述行人跟踪序列中目标区域上存在局部显著性特征的图像中目标区域上的局部显著性特征删除；
    将所述行人跟踪序列中的各图像依次作为所述参考图像。
  17. 根据权利要求15或16所述的行人再识别装置，其特征在于，所述获取模块在判断所述局部显著性特征在所述行人跟踪序列中是否稳定时，具体用于：
    获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；
    当所述第一比值小于第二预置数值时，确定所述局部显著性特征不稳定；当所述第一比值不小于第二预置数值，确定所述局部显著性特征稳定；
    或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
    计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；
    当
    Figure PCTCN2017082847-appb-100008
    小于第三预置数值时，确定所述局部显著性特征不稳定，当
    Figure PCTCN2017082847-appb-100009
    不小于第三预置数值时，确定所述局部显著性特征稳定；其中，k为正整数，n为所述行人跟踪序列中的图像总数；
    或者，所述判断所述局部显著性特征在所述行人跟踪序列中是否稳定，包括：
    获取第一比值，所述第一比值为在所述行人跟踪序列中目标区域上存在局部显著性特征的图像的数量与所述行人跟踪序列中图像总数的比值；计算所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度sk,k+1；
    当所述第一比值小于第二预置数值和/或
    Figure PCTCN2017082847-appb-100010
    小于第三预置数值时，确定所述局部显著性特征不稳定，当所述第一比值不小于第二预置数值且
    Figure PCTCN2017082847-appb-100011
    小于第三预置数值时，确定所述局部显著性特征稳定。
  18. 根据权利要求15或16所述的行人再识别装置，其特征在于，所述计算模块具体用于：
    分别获取所述第一局部显著性特征的置信度p1和所述第二局部显著性特征的置信度p2，其中
    Figure PCTCN2017082847-appb-100012
    p1＝1；sk,k+1为所述行人跟踪序列中第k帧和第k+1帧图像在所述目标区域的局部显著性特征的相似度；
    计算p＝|p1-p2|/(p1+p2)，将p作为所述第一局部显著性特征和所述第二局部显著性特征的相似度的一个因子。
PCT/CN2017/082847 2016-05-05 2017-05-03 行人再识别方法和装置 WO2017190656A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610294143.7A CN107346409B (zh) 2016-05-05 2016-05-05 行人再识别方法和装置
CN201610294143.7 2016-05-05

Publications (1)

Publication Number Publication Date
WO2017190656A1 true WO2017190656A1 (zh) 2017-11-09

Family

ID=60202757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/082847 WO2017190656A1 (zh) 2016-05-05 2017-05-03 行人再识别方法和装置

Country Status (2)

Country Link
CN (1) CN107346409B (zh)
WO (1) WO2017190656A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN109993116A (zh) * 2019-03-29 2019-07-09 上海工程技术大学 一种基于人体骨骼相互学习的行人再识别方法
CN110020579A (zh) * 2018-01-09 2019-07-16 北京京东尚科信息技术有限公司 行人重识别方法及装置、存储介质和电子设备
CN110163041A (zh) * 2018-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频行人再识别方法、装置及存储介质
CN110414294A (zh) * 2018-04-26 2019-11-05 北京京东尚科信息技术有限公司 行人重识别方法和装置
CN110991321A (zh) * 2019-11-29 2020-04-10 北京航空航天大学 一种基于标签更正与加权特征融合的视频行人再识别方法
CN111738048A (zh) * 2020-03-10 2020-10-02 重庆大学 一种行人再识别的方法
CN112580525A (zh) * 2020-12-22 2021-03-30 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN112906483A (zh) * 2021-01-25 2021-06-04 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN113096162A (zh) * 2021-04-21 2021-07-09 青岛海信智慧生活科技股份有限公司 一种行人识别跟踪方法及装置
CN113848186A (zh) * 2021-10-15 2021-12-28 广东粤港供水有限公司 浓度检测方法及相关设备
US11238274B2 (en) * 2017-07-04 2022-02-01 Peking University Image feature extraction method for person re-identification

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399381B (zh) * 2018-02-12 2020-10-30 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质
CN108577803B (zh) * 2018-04-26 2020-09-01 上海鹰瞳医疗科技有限公司 基于机器学习的眼底图像检测方法、装置及系统
CN109063774B (zh) * 2018-08-03 2021-01-12 百度在线网络技术（北京）有限公司 图像追踪效果评价方法、装置、设备及可读存储介质
CN109344695B (zh) * 2018-08-14 2022-03-22 中山大学 一种基于特征选择卷积神经网络的目标重识别方法和装置
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN111723836A (zh) * 2019-03-21 2020-09-29 杭州三坛医疗科技有限公司 图像相似度的计算方法及装置、电子设备、存储介质
CN111046732B (zh) * 2019-11-11 2023-11-28 华中师范大学 一种基于多粒度语义解析的行人重识别方法及存储介质
CN111126379B (zh) * 2019-11-22 2022-05-17 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN111275096A (zh) * 2020-01-17 2020-06-12 青梧桐有限责任公司 基于图像识别的同名小区辨别方法及系统
CN111783524B (zh) * 2020-05-19 2023-10-17 普联国际有限公司 一种场景变换检测方法、装置、存储介质及终端设备
CN112001289A (zh) * 2020-08-17 2020-11-27 海尔优家智能科技（北京）有限公司 物品的检测方法和装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及系统
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838864B (zh) * 2014-03-20 2017-02-22 北京工业大学 一种视觉显著性与短语相结合的图像检索方法
CN105550703A (zh) * 2015-12-09 2016-05-04 华南理工大学 一种适用于人体再识别的图片相似度计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN104268583A (zh) * 2014-09-16 2015-01-07 上海交通大学 基于颜色区域特征的行人重识别方法及系统
CN104794451A (zh) * 2015-04-28 2015-07-22 上海交通大学 基于分块匹配结构的行人比对方法
CN105023008A (zh) * 2015-08-10 2015-11-04 河海大学常州校区 基于视觉显著性及多特征的行人再识别方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238274B2 (en) * 2017-07-04 2022-02-01 Peking University Image feature extraction method for person re-identification
CN110020579A (zh) * 2018-01-09 2019-07-16 北京京东尚科信息技术有限公司 行人重识别方法及装置、存储介质和电子设备
CN110163041A (zh) * 2018-04-04 2019-08-23 腾讯科技（深圳）有限公司 视频行人再识别方法、装置及存储介质
CN110414294B (zh) * 2018-04-26 2023-09-26 北京京东尚科信息技术有限公司 行人重识别方法和装置
CN110414294A (zh) * 2018-04-26 2019-11-05 北京京东尚科信息技术有限公司 行人重识别方法和装置
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN109993116B (zh) * 2019-03-29 2022-02-11 上海工程技术大学 一种基于人体骨骼相互学习的行人再识别方法
CN109993116A (zh) * 2019-03-29 2019-07-09 上海工程技术大学 一种基于人体骨骼相互学习的行人再识别方法
CN110991321A (zh) * 2019-11-29 2020-04-10 北京航空航天大学 一种基于标签更正与加权特征融合的视频行人再识别方法
CN110991321B (zh) * 2019-11-29 2023-05-02 北京航空航天大学 一种基于标签更正与加权特征融合的视频行人再识别方法
CN111738048A (zh) * 2020-03-10 2020-10-02 重庆大学 一种行人再识别的方法
CN111738048B (zh) * 2020-03-10 2023-08-22 重庆大学 一种行人再识别的方法
CN112580525A (zh) * 2020-12-22 2021-03-30 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN112580525B (zh) * 2020-12-22 2023-05-23 南京信息工程大学 一种基于行人再识别的病例活动轨迹监测方法
CN112906483A (zh) * 2021-01-25 2021-06-04 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN112906483B (zh) * 2021-01-25 2024-01-23 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN113096162A (zh) * 2021-04-21 2021-07-09 青岛海信智慧生活科技股份有限公司 一种行人识别跟踪方法及装置
CN113096162B (zh) * 2021-04-21 2022-12-13 青岛海信智慧生活科技股份有限公司 一种行人识别跟踪方法及装置
CN113848186A (zh) * 2021-10-15 2021-12-28 广东粤港供水有限公司 浓度检测方法及相关设备

Also Published As

Publication number Publication date
CN107346409B (zh) 2019-12-17
CN107346409A (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
WO2017190656A1 (zh) 行人再识别方法和装置
Konstantinidis et al. Building detection using enhanced HOG–LBP features and region refinement processes
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
US9576201B2 (en) Method and apparatus for classifying pixels in an input image and image processing system
Yi et al. Text detection in natural scene images by stroke gabor words
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
Wang et al. An effective method for plate number recognition
Lei et al. Automatic ear landmark localization, segmentation, and pose classification in range images
WO2019128254A1 (zh) 图像分析方法、装置、电子设备及可读存储介质
Bai et al. Scene text localization using gradient local correlation
Peng et al. Text extraction from video using conditional random fields
CN111027544B (zh) 一种基于视觉显著性检测的mser车牌定位方法及系统
Shi et al. Adaptive graph cut based binarization of video text images
Shekar et al. Discrete wavelet transform and gradient difference based approach for text localization in videos
Chidiac et al. A robust algorithm for text extraction from images
Chen et al. Effective candidate component extraction for text localization in born-digital images by combining text contours and stroke interior regions
Liu et al. Detection and segmentation text from natural scene images based on graph model
Alaei et al. Logo detection using painting based representation and probability features
CN107122714B (zh) 一种基于边缘约束的实时行人检测方法
Aghajari et al. A text localization algorithm in color image via new projection profile
Shahab et al. Bayesian approach to photo time-stamp recognition
Shekar Skeleton matching based approach for text localization in scene images
Geetha et al. Image text extraction and recognition using hybrid approach of region based and connected component methods
Zhu et al. Salient object cutout using Google images
Ning et al. Scene text detection based on component-level fusion and region-level verification

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17792482

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17792482

Country of ref document: EP

Kind code of ref document: A1