WO2020098158A1 - 行人重识别方法、装置及计算机可读存储介质 - Google Patents

行人重识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2020098158A1
WO2020098158A1 PCT/CN2019/073549 CN2019073549W WO2020098158A1 WO 2020098158 A1 WO2020098158 A1 WO 2020098158A1 CN 2019073549 W CN2019073549 W CN 2019073549W WO 2020098158 A1 WO2020098158 A1 WO 2020098158A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
image
images
layer
identification
Prior art date
Application number
PCT/CN2019/073549
Other languages
English (en)
French (fr)
Inventor
朱昱锦
徐国强
邱寒
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020098158A1 publication Critical patent/WO2020098158A1/zh

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Definitions

  • the present application relates to the field of image recognition technology, and in particular, to a pedestrian re-recognition method, device, and computer non-volatile readable storage medium.
  • Pedestrian re-identification is a technology that uses computer vision technology to determine whether a specific pedestrian exists in an image or video sequence, makes up for the current visual limitations of fixed cameras, and is combined with pedestrian detection and pedestrian tracking technology, which can be widely used in intelligent video surveillance, intelligent Security and other fields.
  • Traditional pedestrian re-recognition technology mainly uses three methods for pedestrian re-recognition.
  • the first one is based on feature processing, that is, by designing a better pedestrian matching template and subsequent feature extraction method, to obtain pedestrian features more suitable for recognition, according to Pedestrian features are used to classify pedestrian images;
  • the second is based on metric learning, by calculating the similarity between the pedestrian to be identified and the pedestrian in the database, to determine whether the pedestrian in the database is a pedestrian to be identified;
  • the third is based on the local feature method, That is, more local detail features of pedestrian images are obtained by image dicing or using skeleton key points, and the pedestrian images to be recognized are classified by the extracted local features.
  • the deep neural network can extract sufficiently fine image features from the picture, and then substitute the subsequent classification model processing, which can partially replace the method of extracting features in the traditional pedestrian re-recognition technology.
  • the existing deep neural network The network model is not a network specially designed for pedestrian re-identification tasks. If the image features obtained by the network are directly used for pedestrian re-recognition, the effect is not ideal, and the accuracy of pedestrian recognition is low.
  • the present application provides a pedestrian re-identification method, device, computer equipment, and computer non-volatile readable storage medium.
  • the main purpose is to solve the problem of low accuracy of pedestrian recognition in the current related art.
  • a pedestrian re-identification method includes:
  • each pedestrian sample image carries a pedestrian identification label
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer, and the pre-trained The residual network model is used to mention the first pedestrian image feature of the pedestrian image, and the stitching layer is used to extract the second pedestrian image feature of the pedestrian image and classify the second pedestrian image feature;
  • Input a plurality of pedestrian images to be recognized into the pedestrian re-recognition model, and extract the second pedestrian image features of each pedestrian image to be recognized through the stitching layer of the pedestrian re-recognition model;
  • a pedestrian re-identification device includes:
  • An obtaining unit used to obtain multiple pedestrian sample images, each pedestrian sample image carrying a pedestrian identification label
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer ,
  • the pre-trained residual network model is used to lift the first pedestrian image feature of the pedestrian image, the first N-layer structure in the stitching layer is used to extract the second pedestrian image feature of the pedestrian image, the stitching layer
  • the N + 1th layer structure in is used to classify the second pedestrian image features;
  • An extraction unit for inputting a plurality of pedestrian images to be recognized into the pedestrian re-recognition model constructed by the construction unit, and extracting the first of each pedestrian image to be recognized through the previous N-layer structure in the stitching layer of the pedestrian re-recognition model Second pedestrian image features;
  • a calculation unit used to calculate the feature of the second pedestrian image extracted by any two of the extraction units
  • a computer non-volatile readable storage medium on which computer readable instructions are stored, and when the computer readable instructions are executed by a processor, the following steps are realized:
  • each pedestrian sample image carries a pedestrian identification label
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer, and the pre-trained The residual network model is used to extract the first pedestrian image features of the pedestrian image, the first N-layer structure in the stitching layer is used to extract the second pedestrian image features of the pedestrian image, and the N + 1th layer in the stitching layer The structure is used to classify the second pedestrian image features;
  • Input a plurality of pedestrian images to be recognized into the pedestrian re-recognition model, and extract the second pedestrian image features of each pedestrian image to be recognized through the front N-layer structure in the stitching layer of the pedestrian re-recognition model;
  • a computer device including a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the program, the following is realized step:
  • each pedestrian sample image carries a pedestrian identification label
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer, and the pre-trained The residual network model is used to extract the first pedestrian image features of the pedestrian image, the first N-layer structure in the stitching layer is used to extract the second pedestrian image features of the pedestrian image, and the N + 1th layer in the stitching layer The structure is used to classify the second pedestrian image features;
  • Input a plurality of pedestrian images to be recognized into the pedestrian re-recognition model, and extract the second pedestrian image features of each pedestrian image to be recognized through the front N-layer structure in the stitching layer of the pedestrian re-recognition model;
  • a pedestrian re-identification method and device provided by the present application are compared with the prior art of artificially designing a pedestrian matching template or adding a priori knowledge to the template.
  • the sample images are input to the stitched neural network model for training to construct a pedestrian recognition model.
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer.
  • the stitching layer is a network model designed for pedestrian recognition scenes.
  • the second pedestrian graphic feature of each pedestrian image to be recognized is extracted through the extraction layer in the stitching layer, which avoids the problem of insufficient generalization of the feature extraction template, can perform pedestrian recognition in multiple scenes, and then calculates any two pedestrians to be recognized
  • the similarity between the second pedestrian image features of the image improves the accuracy of pedestrian recognition, and the output of the stitched neural network model can be well compatible with pedestrian re-recognition tasks, and the effect has been improved.
  • FIG. 1 shows a schematic flowchart of a pedestrian re-identification method provided by an embodiment of the present application
  • FIG. 2 shows a schematic flowchart of another pedestrian re-identification method provided by an embodiment of the present application
  • FIG. 3 shows a schematic structural diagram of a pedestrian re-identification device provided by an embodiment of the present application
  • FIG. 4 shows a schematic structural diagram of another pedestrian re-identification device provided by an embodiment of the present application.
  • Embodiments of the present application provide a method for pedestrian re-identification, which can improve the accuracy of pedestrian recognition, avoid the problem of insufficient generalization of feature extraction templates, and enable pedestrian recognition in multiple scenarios.
  • the method includes :
  • the pedestrian sample images are all from different cameras, and the shooting range of each camera does not cross.
  • the monitoring video within a preset time period is intercepted as the basis for selecting the pedestrian sample images.
  • different surveillance cameras on the same street are selected, surveillance video in different cameras within a preset time period is intercepted, the intercepted surveillance video is preprocessed, and pedestrian images are extracted to obtain multiple pedestrian sample images, In order to distinguish different pedestrians in the pedestrian image, the same pedestrian in the pedestrian sample image is identified, and multiple pedestrian sample images carrying pedestrian identification labels are obtained.
  • the number of surveillance videos on the same street can be selected according to the actual situation. This application is not limited.
  • the number of pedestrian sample images can be obtained as much as possible to ensure the accuracy of subsequent training models. Get a sample image of pedestrians, this application is not limited.
  • the selected surveillance cameras A and B do not cross the surveillance area, intercept surveillance camera A and surveillance camera B in the afternoon Surveillance video from 1 o'clock to 2 o'clock, pre-process and extract pedestrian images from surveillance camera A and surveillance camera B from 1 o'clock to 2 o'clock in the afternoon, and obtain 50 pedestrian sample images and surveillance idols from surveillance camera A 50 pedestrian sample images in the header B, and then the acquired pedestrian sample images are marked, and the sample images belonging to the same pedestrian carry the same identifier.
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer;
  • the pre-trained residual network model is used to extract the first pedestrian image features of the pedestrian image
  • the first N-layer structure in the stitching layer is used to extract the second pedestrian image features of the pedestrian image
  • the N + th in the stitching layer The 1-layer structure is used to classify the second pedestrian image features.
  • the residual network is composed of a simple convolutional layer into a set of modules, and then connected by several identical modules to form a deeper network.
  • the residual network model has been trained on the ImageNet training set
  • the residual network serves as a backbone network, and the first pedestrian image features extracted from it are input to the stitching layer for adjustment.
  • the stitching layer is assembled after the residual network model, and is a multi-layer network structure.
  • the first N-layer structure in the stitching layer may include Global average pooling layer, fully connected layer with 512 hidden nodes, batch specification layer, LeakyRelu activation function, Dropout layer with a loss probability of 0.5, the N + 1th layer structure in the stitching layer can be the number of nodes as the number of target categories Fully connected layer, after the first pedestrian image features extracted by the residual network model are input to the stitching layer, the acquired first pedestrian image features are adjusted through the first N-layer structure in the stitching layer to obtain the first image of the pedestrian image. Second pedestrian image features, the second pedestrian image features are classified by a fully connected layer with the number of nodes as the target category, and a pedestrian re-recognition model is constructed.
  • the pedestrian image to be recognized comes from the surveillance video in different surveillance cameras, the surveillance video within the required time period is intercepted from the different surveillance cameras, the intercepted surveillance video is preprocessed and the pedestrian image is extracted, and the pedestrian image to be recognized can be obtained , And further input the acquired pedestrian image to be recognized into the constructed pedestrian re-recognition model.
  • the pedestrian heavy model includes a residual network model and a stitching layer. Since the stitching layer has a multi-layer structure, the residual network model is used to extract the first pedestrian image features of the pedestrian image to be recognized, and the stitching layer is used to Extract the second pedestrian image features of the pedestrian image to be recognized, and classify the pedestrian image features. It should be noted that not all stitching layers are used here, because the input pedestrian image to be recognized is a pedestrian image of unknown identity. The classification result obtained by the re-identification model may not be ideal.
  • the embodiments of the present application only extract the second pedestrian image features of the pedestrian image to be recognized through the front N-layer structure in the stitching layer of the pedestrian re-identification model , Does not classify the extracted second pedestrian image features by the N + 1th layer structure in the stitching layer.
  • the first preset threshold is a similarity threshold between pre-set pedestrian image features.
  • the similarity threshold can be set according to actual needs or according to the system default mode, which is not limited in this embodiment of the present application .
  • the similarity between the second pedestrian image features of any two pedestrian images to be recognized is calculated, because the similarity between image features belonging to the same pedestrian is greater than the similarity between image features of different pedestrians, If the calculation result is higher than the preset similarity threshold, the pedestrians in the two pedestrian images to be recognized are regarded as the same pedestrian.
  • calculating the similarity between the second pedestrian image features of any two pedestrian images to be recognized is actually calculating the distance between the second pedestrian image features of any two pedestrian images to be recognized.
  • Any two extracted multi-dimensional second pedestrian image feature vectors are used for distance calculation. If the distance between the calculated multi-dimensional second pedestrian image feature vectors is greater than the first preset threshold, the corresponding pedestrian in the corresponding pedestrian image to be recognized is identified as Not the same pedestrian, if the distance between the calculated multi-dimensional second pedestrian image feature vectors is less than or equal to the first preset threshold, the pedestrians in the corresponding pedestrian image to be recognized are deemed to be the same pedestrian.
  • This application provides a pedestrian re-recognition method.
  • the embodiments of the present application input multiple pedestrian sample images to the stitched neural network model. Perform training to build a pedestrian re-identification model.
  • the spliced neural network model includes a pre-trained residual network model and a splicing layer.
  • the splicing layer is a network model designed for pedestrian re-identification scenarios. It is extracted through the extraction layer in the splicing layer.
  • the second pedestrian graphic feature of each pedestrian image to be recognized avoids the problem of insufficient generalization of the feature extraction template, and enables pedestrian recognition in multiple scenes, and then calculates the second pedestrian image feature between any two pedestrian images to be recognized
  • the degree of similarity improves the accuracy of pedestrian recognition, and the output of the stitched neural network model can be well compatible with pedestrian re-recognition tasks, and the effect has been improved.
  • An embodiment of the present application provides another method for pedestrian re-identification. As shown in FIG. 2, the method includes:
  • the surveillance video is intercepted video from different surveillance cameras in the same period of time
  • the surveillance camera is an adjacent or similar surveillance camera on the same street or street corner
  • the surveillance range of different cameras is not Crossing, intercepting the video from different surveillance cameras in the same time period respectively to obtain sample video of pedestrian detection.
  • Identify the target pedestrian in the surveillance video intercept the image frame corresponding to the target pedestrian from the surveillance video, and obtain multiple pedestrian sample images;
  • step 202 further includes: calculating the pixel difference value corresponding to two adjacent frames of images in the surveillance video to obtain the absolute value of the grayscale difference between the two adjacent frames; if the absolute value exceeds the second preset threshold, identifying The target pedestrian in the surveillance video.
  • the intercepted surveillance video from different surveillance cameras is converted into an image sequence, and then pedestrian image frames in the acquired image sequence are extracted, that is, pedestrian detection is performed, and irrelevant background frames are filtered out.
  • OpenCV software can be used to convert the intercepted sample video into a frame-by-frame image sequence and save it.
  • other software can also be used to convert the obtained sample video into an image sequence, which is not limited in this application.
  • target pedestrians are extracted from the obtained image sequence by the inter-frame difference method. Since the image sequence obtained by video conversion has the characteristic of continuity, if no target pedestrian appears in the corresponding scene, the change of adjacent image frames is very large. Weak, if the target pedestrian appears, there will be significant changes between adjacent image frames. Apply this principle to perform differential operations on two consecutive images in time. The pixels corresponding to different image frames are subtracted to obtain the grayscale difference. The absolute value of is calculated by the following formula,
  • f n is the nth frame image in the image sequence
  • f n-1 is the n-1 frame image
  • f n (x, y) and f n-1 (x, y) are the pixels corresponding to the two frames of images
  • the gray level value, D n (x, y) is the difference image.
  • the second preset threshold T is set, and the pixels are binarized one by one according to the following formula to obtain a binarized image R n .
  • the point with the gray value of 255 is the target point
  • the point with the gray value of 0 is the background point.
  • the connectivity analysis is performed on the obtained binary image R n to obtain the target pedestrian image.
  • the pedestrian sample image contains the same Multiple images of pedestrians, for example, the pedestrian sample image is 100 images of 65 pedestrians.
  • multiple sample images belonging to the same pedestrian are marked with the same identifier, so as to distinguish different pedestrians in the pedestrian sample image, so that the pedestrians in the pedestrian sample image carry different pedestrian identifiers.
  • multiple pedestrian sample images are marked according to the pedestrian identification used to distinguish pedestrians, and the pedestrian sample images can be marked manually or by application software. For example, using the LambleTool image marking tool to obtain Pedestrian sample images are labeled.
  • the stitched neural network model includes a pre-trained residual network model and a stitching layer;
  • the pre-trained residual network model is used to extract the first pedestrian image features of the pedestrian image
  • the first N-layer structure in the stitching layer is used to extract the second pedestrian image features of the pedestrian image
  • the N + th in the stitching layer The 1-layer structure is used to classify the second pedestrian image features.
  • the residual network model is a network trained on the ImageNet training set. Using the pre-training network saves the overall training time of the pedestrian re-identification model.
  • the residual network is mainly composed of convolutional layer modules, which are used as The backbone network extracts the first pedestrian image features of the input pedestrian sample image, and inputs the extracted first image features of the pedestrian image to the stitching layer.
  • the average value of the first pedestrian image feature is obtained through the global average pooling layer in the stitching layer to obtain the feature parameters of the first pedestrian image; through the inclusion in the stitching layer
  • the fully connected layer of 512 hidden nodes summarizes the feature parameters of the first pedestrian image to obtain multi-dimensional feature parameters; the multi-dimensional feature parameters are normalized and normalized by the batch planning layer in the stitching layer
  • the processed multi-dimensional feature parameters are substituted into the Leaky ReLu activation function for non-linear transformation to obtain the second pedestrian image feature of the pedestrian sample image.
  • the first N-layer structure in the stitching layer of the pedestrian re-recognition model is the first line of the pedestrian image extracted by the residual network Adjust the pedestrian image to obtain the second pedestrian image features of the pedestrian image, and classify the second pedestrian image features of the pedestrian image through the N + 1 layer structure in the stitching layer, and divide the images belonging to the same pedestrian into one category, that is, Pedestrians in the same type of image are regarded as the same pedestrian.
  • the extracted pedestrian image features are only output by nonlinear transformation through the Leaky ReLu activation function, and no longer pass through the Dropout layer and the final fully connected layer for classification That is, when performing pedestrian recognition, the second pedestrian image feature of the pedestrian image is extracted only through the stitching layer of the pedestrian re-recognition model.
  • step 205 further includes: optimizing the pedestrian re-identification model through a composite loss function obtained by combining a center loss function and a cross-entropy loss function.
  • optimizing the pedestrian re-identification model by combining the composite loss function obtained by combining the central loss function and the cross-entropy loss function also includes: calculating the minimum value of the composite loss function through an adaptive learning rate algorithm; according to the minimum value of the composite function Pedestrian re-identification model is optimized.
  • the prior art usually directly uses the cross-entropy loss function to optimize the model, and the optimization effect of the pedestrian re-identification model is not ideal.
  • the center loss function represents the sum of the square of the distance from the feature of each sample in each category to the feature center, and The sum of squares should be as small as possible, that is, the inner distance of the class should be as small as possible. Therefore, the optimization of the pedestrian re-identification model through the center loss function will make the classification effect of the pedestrian re-identification model more obvious, that is, the images that belong to the same pedestrian are easier to be divided into One type is more easily distinguishable than images between peers.
  • the compound loss function obtained by combining the center loss function and the cross-entropy loss function optimizes the pedestrian re-identification model, which can improve the pedestrian re-identification model.
  • the classification effect is better than that of the model optimized only by the cross-entropy loss function.
  • the minimum value of the compound loss function is calculated by the adaptive learning rate algorithm
  • the step of optimizing the pedestrian weight model by the minimum value of the compound function may include, but is not limited to, the following implementation methods: First, calculate the compound loss function with respect to the parameters The gradient of the compound loss function is obtained according to the gradient of the compound loss function on the parameter, and the first and second order momentums of the compound loss function on the parameter are calculated through the historical gradient of the compound loss function on the parameter; The gradient of the compound loss function with respect to the parameter, and the descending gradient of the compound function with respect to the parameter at the current time are calculated; finally, the parameter update is performed according to the current gradient of the compound function with respect to the parameter and the first- and second-order momentum of the compound function, Until the minimum value of the compound loss function is obtained, the parameter update is stopped, and the optimization of the pedestrian re-identification model is completed.
  • Input a plurality of pedestrian images to be recognized into the pedestrian re-recognition model, and extract the second pedestrian image features of each pedestrian image to be recognized through the front N-layer structure in the stitching layer of the pedestrian re-recognition model;
  • the pedestrian images to be recognized are all from the surveillance video in the surveillance camera.
  • the surveillance camera here may be one or more surveillance cameras. The number of surveillance cameras is not limited in this application.
  • the surveillance video in the surveillance camera is a continuous multi-frame video image, and the video image does not have a target pedestrian, it is necessary to extract the pedestrian image from the video image in the surveillance video as the pedestrian image to be recognized , And further input the pedestrian image to be recognized into the pedestrian re-recognition model.
  • the distance between the second pedestrian image features of any two pedestrian images to be recognized can be calculated according to the Euclidean distance calculation method, as shown in the following formula,
  • (x 1 , x 2 , ..., x n ), (y 1 , y 2 , ..., y n ) are feature vectors of the second image features of the pedestrian image to be recognized, respectively.
  • the Euclidean distance between A and B, B and C, and A and C are calculated by the Euclidean distance calculation method. If the Euclidean distance between A and B is , The Euclidean distance between B and C and the Euclidean distance between A and C are respectively less than the first preset threshold, it is determined that the pedestrians in the three images of A, B and C are the same pedestrian; if the distance between A and B is Euclidean distance, the Euclidean distance between B and C and the Euclidean distance between A and C are respectively greater than or the first preset threshold, then the pedestrians in the three images A, B and C are determined to be three pedestrians; if A The Euclidean distance between B and C is less than the first preset threshold, the Euclidean distance between B and C and the Euclidean distance between A and C are greater than the first preset threshold, respectively, and the pedestrians in the A and B images are determined to be the same
  • the pedestrian in the pedestrian image to be recognized is a locked target pedestrian
  • the Euclidean distance between the second pedestrian image feature of the pedestrian image to be recognized and the locked target pedestrian image feature is less than the first preset threshold
  • the judgment is pending Identify the pedestrian in the pedestrian image as the locked target pedestrian
  • the Euclidean distance between the second pedestrian image feature of the pedestrian image to be recognized and the locked target pedestrian image feature is greater than or equal to the first preset threshold, then the pedestrian to be recognized is determined
  • the pedestrian in the pedestrian image is not the target pedestrian.
  • This application provides another method for pedestrian re-recognition.
  • the embodiments of the present application input multiple pedestrian sample images to the stitched neural network.
  • the model is trained to build a pedestrian re-identification model.
  • the spliced neural network model includes a pre-trained residual network model and a splicing layer.
  • the splicing layer is a network model designed for pedestrian re-identification scenarios.
  • the extraction layer in the splicing layer Extract the second pedestrian graphic features of each pedestrian image to be identified, avoiding the problem of insufficient generalization of feature extraction templates, enabling pedestrian recognition in multiple scenes, and using the center loss function and adaptive learning rate algorithm to optimize the stitching layer , Improve the accuracy of the pedestrian re-identification model, and then calculate the similarity between the second pedestrian image features of any two pedestrian images to be recognized, improve the accuracy of pedestrian recognition, and the output of the stitched neural network model can be very good It is compatible with pedestrian re-identification tasks, and the effect has been improved.
  • an embodiment of the present application provides a pedestrian re-identification model device.
  • the device includes: an acquisition unit 31, a construction unit 32, and an extraction unit 33. Calculation unit 34.
  • the obtaining unit 31 may be used to obtain multiple pedestrian sample images, and each pedestrian sample image carries a pedestrian identification label;
  • the construction unit 32 may be used to input multiple pedestrian sample images acquired by the acquisition unit into a stitched neural network model to construct a pedestrian recognition model.
  • the stitched neural network model includes a pre-trained residual network model and Mosaic layer, the pre-trained residual network model is used to lift the first pedestrian image feature of the pedestrian image, the first N-layer structure in the mosaic layer is used to extract the second pedestrian image feature of the pedestrian image, the The N + 1th layer structure in the stitching layer is used to classify the second pedestrian image features;
  • the extracting unit 33 can be used to input a plurality of pedestrian images to be recognized into the pedestrian re-recognition model constructed by the construction unit, and extract each pedestrian image to be recognized through the former N-layer structure in the stitching layer of the pedestrian re-recognition model The second pedestrian image feature;
  • the calculation unit 34 may be used to calculate the similarity between any two features of the second pedestrian image extracted by the extraction unit, and identify two pedestrian images to be recognized that have the similarity greater than a first preset threshold as the same pedestrian .
  • FIG. 4 is a schematic structural diagram of another pedestrian re-identification device according to an embodiment of the present application.
  • the acquisition unit 31 includes:
  • the obtaining module 311 can be used to obtain monitoring videos of different monitoring cameras within a preset time period
  • the identification module 312 may be used to identify the target pedestrian in the surveillance video acquired by the acquisition module, intercept image frames corresponding to the target pedestrian from the surveillance video, and obtain multiple pedestrian sample images;
  • the identification module 312 is specifically used to calculate the pixel difference value corresponding to two adjacent frames of images in the surveillance video to obtain the absolute value of the grayscale difference between the two adjacent frames of images;
  • the identification module 312 is further specifically configured to identify the target pedestrian in the surveillance video if the absolute value exceeds the second preset threshold.
  • the obtaining unit 31 further includes:
  • the identification module 313 may be used to identify the same target pedestrian in the different surveillance cameras to obtain a pedestrian identification used to distinguish the target pedestrian;
  • the marking module 314 may be used to mark the plurality of pedestrian sample images according to the pedestrian identification used to distinguish the target pedestrian, to obtain multiple pedestrian sample images carrying the pedestrian identification label.
  • construction unit 32 includes:
  • the extraction module 321 may be used to extract the first pedestrian image features of the multiple pedestrian sample images through the pre-trained residual network model, and input the first pedestrian image features to the stitching layer ;
  • the obtaining module 322 can be used to obtain the average value of the features of the first pedestrian image through the global average pooling layer in the stitching layer to obtain the feature parameters of the first pedestrian image;
  • the summary module 323 can be used to summarize the feature parameters of the first pedestrian image through the fully connected layer in the stitching layer to obtain multi-dimensional feature parameters;
  • the normalization module 324 may be used to normalize the multi-dimensional feature parameters through the batch planning layer in the stitching layer, and perform a non-linear transformation on the multi-dimensional feature parameters after the normalization process to obtain the second pedestrian of the pedestrian sample image Image features
  • the classification module 325 may be used to classify the second pedestrian image features of the pedestrian sample image through the classification layer in the stitching layer to construct a pedestrian re-identification model.
  • construction unit 32 further includes:
  • the optimization module 326 may be used to optimize the pedestrian re-identification model through a composite loss function obtained by combining a center loss function and a cross-entropy loss function.
  • optimization module 326 is specifically configured to calculate the minimum value of the composite loss function through an adaptive learning rate algorithm
  • the optimization module 326 is further specifically configured to optimize the pedestrian re-identification model according to the minimum value of the composite loss function calculated by the calculation submodule.
  • an embodiment of the present application further provides a storage device on which computer readable instructions are stored.
  • the computer readable instructions are executed by the processor, the above diagram is realized.
  • an embodiment of the present application further provides a physical device for pedestrian re-identification, which It includes a storage device and a processor; the storage device is used to store computer-readable instructions; the processor is used to execute the computer-readable instructions to implement the above-mentioned pedestrian re-identification method shown in FIGS. 1 and 2 .
  • the accuracy of pedestrian recognition can be improved, the problem of insufficient generalization of feature extraction templates can be avoided, pedestrian recognition can be performed in multiple scenarios, and the output of the stitched neural network model can be well compatible to Pedestrians re-recognize the task, and the effect has been improved.
  • the present application can be implemented by hardware, or by software plus a necessary general hardware platform.
  • the technical solution of the present application can be embodied in the form of a software product, which can be stored in a non-volatile readable storage medium (can be a CD-ROM, U disk, mobile hard disk, etc.),
  • a computer device which may be a personal computer, server, or network device, etc.
  • modules in the device in the implementation scenario may be distributed in the device in the implementation scenario according to the description of the implementation scenario, or may be changed accordingly in one or more devices different from the implementation scenario.
  • the modules in the above implementation scenarios can be combined into one module, or can be further split into multiple sub-modules.

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种行人重识别方法、装置及计算机非易失性可读存储介质，涉及图像识别技术领域，可以提高行人识别的准确度，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务，并且效果有所提升。所述方法包括：获取多张行人样本图像；将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型；将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层提取每个待识别行人图像的第二行人图像特征；计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。

Description

行人重识别方法、装置及计算机可读存储介质
本申请要求于2018年11月14日提交中国专利局、申请号为2018113549509、申请名称为“行人重识别方法、装置、计算机设备及计算机存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及图像识别技术领域，尤其是涉及到行人重识别方法、装置及计算机非易失性可读存储介质。
背景技术
行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，弥补了目前固定摄像头的视觉局限，并与行人检测、行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
传统的行人重识别技术，主要使用三种方式进行行人再识别，第一种是基于特征处理，即通过设计更好的行人匹配模板及后续特征提取方法，获取更适合识别的行人特征，根据获取的行人特征对行人图像进行分类；第二种是基于度量学习，通过计算待识别行人与数据库中行人相似度，判断数据库中的行人是否为待识别的行人；第三种是基于局部特征方法，即通过图像切块或利用骨架关键点等方法获得行人图像更多的局部细节特征，通过提取的局部特征对待识别的行人图像进行分类。由此可见，这三种方式的目的都是为了获得更好的行人图像特征，以提高后续分类精度。然而，传统的行人重识别技术大部分提取特征的方法仍然是人为设计或加入先验知识，使得模型的泛化性不足，移植到别的行人识别场景性能不佳。
在现有技术中，深度神经网络可以从图片中提取足够精细的图像特征，再代入后续分类模型处理，部分程度上能替代传统行人重识别技术中提取特征的方法，但是，现有的深度神经网络模型并不是针对行人重识别任务特别设计的网络，若直接应用该网络获取的图像特征进行行人再识别效果并不理想，行人识别准确度低。
发明内容
有鉴于此，本申请提供了一种行人重识别方法、装置、计算机设备及计算机非易失性可读存储介质，主要目的在于解决目前相关技术中行人识别的准确度低的问题。
依据本申请一个方面，提供了一种行人重识别方法，该方法包括：
获取多张行人样本图像，每个行人样本图像携带行人标识标签；
将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征，所述拼接层用于提取行人图像的第二行人图像特征，并对所述第二行人图像特征进行分类；
将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层提取每个待识别行人图像的第二行人图像特征；
计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
依据本申请另一个方面，提供了一种行人重识别装置，所述装置包括：
获取单元，用于获取多张行人样本图像，每个行人样本图像携带行人标识标签；
构建单元，用于将所述获取单元获取的多张行人样本图像输入至拼接的神经网络模型，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
提取单元，用于将多个待识别行人图像输入至所述构建单元构建的行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
计算单元，用于计算任意两个所述提取单元提取的第二行人图像特征之
间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
根据本申请实施例的第三方面，提供一种计算机非易失性可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现以下步骤：
获取多张行人样本图像，每个行人样本图像携带行人标识标签；
将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层，所述预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二 行人图像特征进行分类；
将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
根据本申请实施例的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，所述处理器执行所述程序时实现以下步骤：
获取多张行人样本图像，每个行人样本图像携带行人标识标签；
将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层，所述预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
借由上述技术方案，本申请提供的一种行人重识别方法及装置，与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比，本申请实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，该拼接层为针对行人重识别场景设计的网络模型，通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度，提高了行人识别的准确度，而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务，并且效果有所提升。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种行人重识别方法流程示意图；
图2示出了本申请实施例提供的另一种行人重识别方法流程示意图；
图3示出了本申请实施例提供的一种行人重识别装置的结构示意图；
图4示出了本申请实施例提供的另一种行人重识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例提供了一种行人重识别方法，可以提高行人识别的准确度，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，如图1所示，该方法包括：
101、获取多张行人样本图像，每个行人样本图像携带行人标识标签；
其中，行人样本图像均来自于不同的摄像头，各个摄像头拍摄的范围没有交叉，截取预设时间段内的监控视频作为选取行人样本图像的基础。
对于本申请实施例，选取同一条街道上的不同监控摄像头，截取预设时间段内不同摄像头内的监控视频，对截取的监控视频进行预处理，并提取行人图像，得到多张行人样本图像，为了区分行人图像中的不同行人，对行人样本图像中的相同行人进行标识，得到多张携带行人标识标签的行人样本图像。
需要说明的是，对选取的同一条街道上的监控视频的数量可以根据实际情况选定，本申请不做限定，对获取行人样本图像的数量，为了保证后续训练模型的精确，可以尽可能多获取行人样本图片，本申请不做限定。
例如，选取某一街道拐角处的两个相邻的监控摄像头A和监控摄像头B，所选取的监控摄像头A和监控摄像头B监控所覆盖的范围没有交叉，截取监控摄像头A和监控摄像头B中下午1点到2点的监控视频，分别对监控摄像头A和监控摄像头B中下午1点到2点的监控视频进行预处理和行人图像提取，获取监控摄像头A中的50张行人样本图像以及监控神像头B中的50张行人样本图像，之后对获取的行人样本图像进行标记，属于同一行人的样本图像携带相同标识。
102、将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重 识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层；
其中，预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，拼接层中的前N层结构用于提取行人图像的第二行人图像特征，拼接层中的第N+1层结构用于对第二行人图像特征进行分类。
对于本申请实施例，残差网络由简单的卷积层组合成一组模块，再由若干相同的模块相连组成较深的网络，残差网络模型已在ImageNet训练集上训
练好，用于提取行人图像的第一行人图像特征，由于直接使用预先训练好的残差网络模型提取的第一行人图像特征，对行人重识别任务效果不好，所以将残差网络模型作为主干网络，将其提取的第一行人图像特征输入拼接层进行调整，该拼接层拼在在残差网络模型后，为多层网络结构，该拼接层中的前N层结构可以包括全局平均池化层，包含512个隐节点的全连接层，批规范层，LeakyRelu激活函数，丢失概率为0.5的Dropout层，拼接层中的第N+1层结构可以为节点数为目标类别数的全连接层，将残差网络模型提取的第一行人图像特征输入至拼接层后，通过拼接层中的前N层结构对获取的第一行人图像特征进行调整，得到行人图像的第二行人图像特征，通过节点数为目标类别数的全连接层对第二行人图像特征进行分类，构建行人重识别模型。
103、将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
其中，待识别行人图像来自不同监控摄像头中的监控视频，从不同监控摄像头中截取所需时间段的内的监控视频，对截取的监控视频进行预处理和行人图像提取，可以得到待识别行人图像，进一步将获取的待识别行人图像输入至构建好的行人重识别模型。
对于本申请实施例，该行人重模型包括残差网络模型与拼接层，由于拼接层有多层结构，残差网络模型用于提取待识别行人图像的第一行人图像特征，拼接层用于提取待识别行人图像的第二行人图像特征，并对行人图像特征进行分类，需要说明的是，这里并不是使用所有的拼接层，由于输入的待识别行人图像为未知身份的行人图像，通过行人重识别模型得到的分类结果可能不理想，在实际行人识别的过程中，所以本申请实施例仅通过行人重识别模型的拼接层中的前N层结构提取待识别行人图像的第二行人图像特征，并不通过拼接层中的第N+1层结构对提取的第二行人图像特征进行分类。
104、计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人；
其中，第一预设阈值为预先设定好的行人图像特征之间的相似度阈值，该相似度阈 值可以根据实际需求进行设置，也可以根据系统默认模式进行设置，本申请实施例不做限定。
对于本申请实施例，计算任意两个待识别行人图像的第二行人图像特征之间的相似度，由于属于同一行人的图像特征之间的相似度大于不同行人的图像特征之间的相似度，若计算结果高于预设的相似度阈值，则两个待识别行人图像中的行人认定为同一行人。
例如，计算任意两个待识别行人图像的第二行人图像特征之间的相似度，实际上是计算任意两个待识别行人图像的第二行人图像特征之间的距离，通过欧式距离计算方法对提取的任意两个多维第二行人图像特征向量进行距离计算，若计算的多维第二行人图像特征向量之间的距离大于第一预设阈值，则其对应的待识别行人图像中的行人认定为不是同一行人，若计算的多维第二行人图像特征向量之间的距离小于或者等于第一预设阈值，则其对应的待识别行人图像中的行人认定为是同一行人。
本申请提供一种行人重识别方法，与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比，本申请实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，该拼接层为针对行人重识别场景设计的网络模型，通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度，提高了行人识别的准确度，而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务，并且效果有所提升。
本申请实施例提供了另一种行人重识别方法，如图2所示，所述方法包括：
201、获取预设时间段内不同监控摄像头的监控视频；
其中，所述监控视频为截取的相同时间段内来自于不同监控摄像头的视频，所述的监控摄像头为同一条街道或者街道拐角处的相邻或相近的监控摄像头，且不同摄像头监控的范围没有交叉，分别截取相同时间段内不同监控摄像头中的视频，得到行人检测的样本视频。
202、识别所述监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像；
其中，步骤202还包括：计算监控视频中相邻两帧图像对应的像素点差值，得到相邻两帧图像的灰度差的绝对值；若该绝对值超过第二预设阈值，则识别出监控视频中的目标行人。
对于本申请实施例，将截取的不同监控摄像头中的监控视频转换成图像序列，之后提取获取的图像序列中的行人图像帧，即进行行人检测，过滤掉无关背景帧。例如，可以通过OpenCV软件将截取的样本视频转换成一帧一帧的图像序列进行保存，当然也可以采用其他软件将获取的样本视频转换成图像序列，本申请不进行限定。
具体地，通过帧间差分法对获取的图像序列进行目标行人提取，由于通过视频转换得到的图像序列具有连续性的特点，如果相应的场景内没有目标行人出现，则相邻图像帧的变化很微弱，如果目标行人出现，则相邻的图像帧之间会有明显地变化，应用此原理对时间上连续的两帧图像进行差分运算，不同图像帧对应的像素点相减，得到灰度差的绝对值，具体计算方式如下述公式所示，
D n(x，y)＝|f n(x，y)-f n-1(x，y)|
其中，f n为图像序列中第n帧图像，f n-1为第n-1帧图像，f n(x，y)和f n-1(x，y)为两帧图像对应的像素点的灰度值，D n(x，y)为差分图像。
设定第二预设阈值T，按照下述公式所示逐个对像素点进行二值化处理，得到二值化图像R n。
Figure PCTCN2019073549-appb-000001
其中，灰度值为255的点为目标点，灰度值为0的点为背景点，进一步对得到的二值化图像R n进行连通性分析，得到目标行人图像。
最后，通过外接矩形框对获取的每个目标行人进行框定，然后将对应的图像帧中同一位置处的行人图像截取出来，保存到行人图像库中，得到行人样本图像，该行人样本图像包含同一行人的多张图像，例如，行人样本图像为65个行人的100张图像。
203、对所述不同监控摄像头中相同的目标行人进行标识，得到用于区分目标行人的行人标识；
对于本申请实施例，将属于同一行人的多张样本图像采用同一标识进行标记，以便区别行人样本图像中不同的行人，使行人样本图像中的行人携带不同的行人标识。
204、根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记，得到携带行人标识标签的多张行人样本图像；
对于本申请实施例，根据用于区分行人的行人标识对获取的多张行人样本图像进行标记，可以通过手工或者应用软件的方式对行人样本图像进行标记，例如，应用LambleTool图像标记工具对获取的行人样本图像进行标记。
205、将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层；
其中，预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，拼接层中的前N层结构用于提取行人图像的第二行人图像特征，拼接层中的第N+1层结构用于对第二行人图像特征进行分类。
对于本申请实施例，残差网络模型是一个在ImageNet训练集上训练好的网络，使用预训练网络节省了行人重识别模型整体的训练时间，残差网络主要由卷积层模块组成，其作为主干网络提取输入的行人样本图像的第一行人图像特征，并将提取的行人图像的第一图像特征输入至拼接层，具体地，原残差网络提取第一行人图像特征后，经该网络倒数第二层输出，通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值，得到第一行人图像的特征参数；通过所述拼接层中的包含512个隐节点的全连接层汇总所述第一行人图像的特征参数，得到多维度的特征参数；通过所述拼接层中的批规划层规范化处理所述多维度的特征参数，并将规范化处理后的多维度特征参数代入Leaky ReLu激活函数进行非线性变换，得到行人样本图像的第二行人图像特征。在训练行人重识别模型时，为了防止模型将样本误差过拟合，还需通过丢失概率为0.5的Dropout层输出第二行人图像特征，之后再通过一个节点数为目标类别数的全连接层对所述行人样本图像的第二行人图像特征进行分类。将获取的多张行人样本图像输入至神经网络模型进行反复训练，构建行人重识别模型，所述行人重识别模型的拼接层中的前N层结构对残差网络提取的行人图像的第一行人图像进行调整，得到行人图像的第二行人图像特征，并通过拼接层中的第N+1层结构对行人图像的第二行人图像特征进行分类，将属于同一行人的图像分成一类，即将同一类图像中的行人认定为同一行人。需要说明的是，构建的行人重识别模型在进行行人识别或者测试时，提取的行人图像特征仅通过Leaky ReLu激活函数进行非线性变换后输出，不再经过Dropout层和最后的全连接层进行分类，即在进行行人识别时，仅通过行人重识别模型的拼接层提取行人图像的第二行人图像特征。
其中，步骤205还包括：通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。
具体地，通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对行人重识别模型进行优化还包括：通过自适应学习率算法计算复合损失函数的最小值；根据复合函数的最小值对行人重识别模型进行优化。
现有技术通常直接使用交叉熵损失函数对模型进行优化，对行人重识别模型的优化效果并不理想，由于中心损失函数表示每一类中每个样本的特征到特征中心距离的平方和，而平方和要尽可能小，即类内距尽可能小，所以通过中心损失函数对行人重识别模型进行优化，会使行人重识别模型的分类效果更加明显，即属于同一行人的图像更容易被分成一类，而不同行人之间的图像更易区分，本申请实施例通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化，能够提高行人重识别模型的分类效果要好于仅通过交叉熵损失函数优化的模型的分类效果。
具体地，通过自适应学习率算法计算复合损失函数的最小值，通过复合函数的最小值对行人重模型进行优化的步骤可以包括但不局限于下述实现方式：首先，计算复合损失函数关于参数的梯度；然后根据复合损失函数关于参数的梯度，获取复合损失函数关于参数的历史梯度，通过复合损失函数关于参数的历史梯度，计算复合损失函数关于参数的一阶动量和二阶动量；接着根据复合损失函数关于参数的梯度，计算当前时刻复合函数关于参数的下降梯度；最后根据获取的复合函数关于参数的当前时刻下降梯度和复合函数关于参数的一阶动量和二阶动量，进行参数更新，直至获取复合损失函数的最小值，停止参数更新，完成行人重识别模型的优化。
206、将多个待识别的行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
其中，待识别的行人图像均来自监控摄像头中的监控视频，这里的监控摄像头可以为一个或者多个监控摄像头，本申请对监控摄像头的数量不进行限定。
对于本申请实施例，由于监控摄像头中的监控视频为连续的多帧视频图像，并且视频图像中并非具有目标行人，所以需要通过从监控视频中的视频图像中提取行人图像作为待识别的行人图像，进一步将待识别的行人图像输入至行人重识别模型。
具体通过行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征的实现过程可以参考步骤103中的描述，在此不进行赘述。
207、计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人；
对于本申请实施例，具体可以根据欧式距离计算方法对获取的任意两个待识别行人图像的第二行人图像特征之间的距离进行计算，如下述公式所示，
Figure PCTCN2019073549-appb-000002
其中，(x 1、x 2、...、x n)、(y 1、y 2、...、y n)分别为待识别行人图像的第二图像特 征的特征向量。
将计算得到的任意两个待识别行人图像的第二行人图像特征之间的距离d ab与第一预设阈值进行对比，若d ab小于第一预设阈值，则判定两张待识别行人图像中的行人是同一行人，即两张待识别行人图像属于同一类；若d ab大于或者等于第一预设阈值，则判定两张待识别行人图像中的行人不是同一行人，即所述两张待识别行人图像不属于同一类。
例如，有三张待识别的行人图像分别是A，B，C，通过欧式距离计算方法分别计算A与B，B与C以及A与C之间的欧式距离，若A与B之间的欧式距离，B与C之间的欧式距离和A与C之间的欧式距离分别小于第一预设阈值，则判定A，B，C三张图像中的行人为同一行人；若A与B之间的欧式距离，B与C之间的欧式距离和A与C之间的欧式距离分别大于或者第一预设阈值，则判定A，B，C三张图像中的行人分别是三个行人；若A与B之间的欧式距离小于第一预设阈值，B与C之间的欧式距离和A与C之间的欧式距离分别大于第一预设阈值，则判定A与B图像中的行人为同一行人，B和C图像中的行人为另一行人。
此外，也可以从待识别行人图像中识别出锁定的目标行人的图像，通过依次计算每个待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离，判断每个待识别的行人图像中的行人是否为锁定的目标行人，若该待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离小于第一预设阈值，则该判定待识别行人图像中的行人为锁定的目标行人；若该待识别行人图像的第二行人图像特征与锁定的目标行人图像特征之间的欧式距离大于或者等于第一预设阈值，则判定该待识别行人图像中的行人不是锁定的目标行人。
本申请提供另一种行人重识别方法，与现有技术中通过人为设计行人匹配模板或在模板中加入先验知识相比，本申请实施例通过将多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，这里拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，该拼接层为针对行人重识别场景设计的网络模型，通过拼接层中的提取层提取每个待识别行人图像的第二行人图形特征，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，并采用中心损失函数和自适应学习率算法对拼接层进行优化，提高了行人重识别模型的精度，之后计算任意两个待识别行人图像的第二行人图像特征之间的相似度，提高了行人识别的准确度，而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务，并且效果有所提升。
进一步地，作为图1所述方法的具体实现，本申请实施例提供了一种行人重识别模型装置，如图3所示，所述装置包括：获取单元31、构建单元32、提取单元33、计算单元34。
获取单元31，可以用于获取多张行人样本图像，每个行人样本图像携带行人标识标签；
构建单元32，可以用于将所述获取单元获取的多张行人样本图像输入至拼接的神经网络模型，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
提取单元33，可以用于将多个待识别行人图像输入至所述构建单元构建的行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
计算单元34，可以用于计算任意两个所述提取单元提取的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
作为图3中所示行人重识别装置的进一步说明，图4是根据本申请实施例另一种行人重识别装置的结构示意图，如图4所示，所述获取单元31包括：
获取模块311，可以用于获取预设时间段内不同监控摄像头的监控视频；
识别模块312，可以用于识别所述获取模块获取的监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像；
进一步地，所述识别模块312，具体用于计算监控视频中相邻两帧图像对应的像素点差值，得到所述相邻两帧图像的灰度差的绝对值；
所述识别模块312，具体还用于若所述绝对值超过第二预设阈值，则识别出所述监控视频中的目标行人。
进一步地，所述获取单元31还包括：
标识模块313，可以用于对所述不同监控摄像头中的相同的目标行人进行标识，得到用于区分目标行人的行人标识；
标记模块314，可以用于根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记，得到携带行人标识标签的多张行人样本图像。
进一步地，所述构建单元32包括：
提取模块321，可以用于通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征，并将所述第一行人图像特征输入至所述拼接层；
求取模块322，可以用于通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值，得到第一行人图像的特征参数；
汇总模块323，可以用于通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数，得到多维度的特征参数；
规范化模块324，可以用于通过所述拼接层中的批规划层规范化处理所述多维度的特征参数，并对规范化处理后的多维度特征参数进行非线性变换，得到行人样本图像的第二行人图像特征；
分类模块325，可以用于通过所述拼接层中的分类层对所述行人样本图像的第二行人图像特征进行分类，构建行人重识别模型。
进一步地，所述构建单元32还包括：
优化模块326，可以用于通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。
进一步地，所述优化模块326，具体用于通过自适应学习率算法计算所述复合损失函数的最小值；
所述优化模块326，具体还用于根据所述计算子模块计算的复合损失函数的最小值对所述行人重识别模型进行优化。
需要说明的是，本申请实施例提供的一种行人重识别装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储设备，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述如图1和图2所示的行人重识别方法。
基于上述如图1和图2所示方法、如图3和图4所示虚拟装置的实施例，为了实现上述目的，本申请实施例还提供了一种行人重识别的实体装置，该实体装置包括存储设备和处理器；所述存储设备，用于存储计算机可读指令；所述处理器，用于执行所述计算机可读指令以实现上述如图1和图2所示的行人重识别方法。
通过应用本申请的技术方案，可以提高行人识别的准确度，避免了特征提取模板泛化性不足的问题，能够在多场景进行行人识别，而且拼接后的神经网络模型输出能够很好的兼容到行人重识别任务，并且效果有所提升。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性可读存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (20)

  1. 一种行人重识别方法，其特征在于，所述方法包括：
    获取多张行人样本图像，每个行人样本图像携带行人标识标签；
    将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层，所述预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
    将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
    计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
  2. 根据权利要求1所述的方法，其特征在于，所述获取多张行人样本图像包括：
    获取预设时间段内不同监控摄像头的监控视频；
    识别所述监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像。
  3. 根据权利要求2所述的方法，其特征在于，所述识别所述监控视频中的目标行人包括：
    计算监控视频中相邻两帧图像对应的像素点差值，得到所述相邻两帧图像的灰度差的绝对值；
    若所述绝对值超过第二预设阈值，则识别出所述监控视频中的目标行人。
  4. 根据权利要求2所述的方法，其特征在于，在所述识别所述监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像之后，所述方法还包括：
    对所述不同监控摄像头中相同的目标行人进行标识，得到用于区分目标行人的行人标识；
    根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记，得到携带行人标识标签的多张行人样本图像。
  5. 根据权利要求1所述的方法，其特征在于，所述将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型包括：
    通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征，并将所述第一行人图像特征输入至所述拼接层；
    通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值，得到第一行人图像的特征参数；
    通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数，得到多维度的特征参数；
    通过所述拼接层中的批规划层规范化处理所述多维度的特征参数，并对规范化处理后的多维度的特征参数进行非线性变换，得到行人样本图像的第二行人图像特征；
    通过所述拼接层中的分类层对所述行人样本图像的第二行人图像特征进行分类，构建行人重识别模型。
  6. 根据权利要求5所述的方法，其特征在于，所述将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型还包括：
    通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。
  7. 根据权利要求6所述的方法，其特征在于，所述通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化包括：
    通过自适应学习率算法计算所述复合损失函数的最小值；
    根据所述复合损失函数的最小值对所述行人重识别模型进行优化。
  8. 一种行人重识别装置，其特征在于，所述装置包括：
    获取单元，用于获取多张行人样本图像，每个行人样本图像携带行人标识标签；
    构建单元，用于将所述获取单元获取的多张行人样本图像输入至拼接的神经网络模型，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型和拼接层，所述预先训练好的残差网络模型用于提起行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
    提取单元，用于将多个待识别行人图像输入至所述构建单元构建的行人重识 别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
    计算单元，用于计算任意两个所述提取单元提取的第二行人图像特征之
    间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
  9. 根据权利要求8所述的装置，其特征在于，所述获取单元包括：
    获取模块，用于获取预设时间段内不同监控摄像头的监控视频；
    识别模块，用于识别所述获取模块获取的监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像；
  10. 根据权利要求9所述的装置，其特征在于，所述识别模块，具体用于计算监控视频中相邻两帧图像对应的像素点差值，得到所述相邻两帧图像的灰度差的绝对值；
    所述识别模块，具体还用于若所述绝对值超过第二预设阈值，则识别出所述监控视频中的目标行人。
  11. 根据权利要求9所述的装置，其特征在于，所述获取单元还包括：
    标识模块，用于对所述不同监控摄像头中相同的目标行人进行标识，得到用于区分目标行人的行人标识；
    标记模块，用于根据所述用于区分目标行人的行人标识对所述多张行人样本图像进行标记，得到携带行人标识标签的多张行人样本图像。
  12. 根据权利要求8所述的装置，其特征在于，所述构建单元包括：
    提取模块，用于通过所述预先训练好的残差网络模型提取所述多张行人样本图像的第一行人图像特征，并将所述第一行人图像特征输入至所述拼接层；
    求取模块，用于通过所述拼接层中的全局平均池化层求取所述第一行人图像特征的均值，得到第一行人图像的特征参数；
    汇总模块，用于通过所述拼接层中的全连接层汇总所述第一行人图像的特征参数，得到多维度的特征参数；
    规范化模块，用于通过所述拼接层中的批规划层规范化处理所述多维度的特征参数，并对规范化处理后的多维度特征参数进行非线性变换，得到行人样本图像的第二行人图像特征；
    分类模块，用于通过所述拼接层中的分类层对所述行人样本图像的第二行人 图像特征进行分类，构建行人重识别模型。
  13. 根据权利要求12所述的装置，其特征在于，所述构建单元还包括：
    优化模块，用于通过中心损失函数与交叉熵损失函数结合所得到的复合损失函数对所述行人重识别模型进行优化。
  14. 根据权利要求13所述的装置，其特征在于，所述优化模块，具体用于通过自适应学习率算法计算所述复合损失函数的最小值；
    所述优化模块，具体还用于根据所述计算子模块计算的复合损失函数的最小值对所述行人重识别模型进行优化。
  15. 一种计算机非易失性可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现行人重识别方法，包括：
    获取多张行人样本图像，每个行人样本图像携带行人标识标签；
    将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层，所述预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
    将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
    计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
  16. 根据权利要求15所述的计算机非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述获取多张行人样本图像包括：
    获取预设时间段内不同监控摄像头的监控视频；
    识别所述监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像。
  17. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述识别所述监控视频中的目标行人包括：
    计算监控视频中相邻两帧图像对应的像素点差值，得到所述相邻两帧图像的灰度差的绝对值；
    若所述绝对值超过第二预设阈值，则识别出所述监控视频中的目标行人。
  18. 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现行人重识别方法，包括：
    获取多张行人样本图像，每个行人样本图像携带行人标识标签；
    将所述多张行人样本图像输入至拼接的神经网络模型进行训练，构建行人重识别模型，所述拼接的神经网络模型包括预先训练好的残差网络模型与拼接层，所述预先训练好的残差网络模型用于提取行人图像的第一行人图像特征，所述拼接层中的前N层结构用于提取行人图像的第二行人图像特征，所述拼接层中的第N+1层结构用于对所述第二行人图像特征进行分类；
    将多个待识别行人图像输入至所述行人重识别模型，通过所述行人重识别模型的拼接层中的前N层结构提取每个待识别行人图像的第二行人图像特征；
    计算任意两个待识别行人图像的第二行人图像特征之间的相似度，将所述相似度大于第一预设阈值的两个待识别行人图像认定为同一行人。
  19. 根据权利要求18所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时实现所述获取多张行人样本图像包括：
    获取预设时间段内不同监控摄像头的监控视频；
    识别所述监控视频中的目标行人，从所述监控视频中截取目标行人对应的图像帧，得到多张行人样本图像。
  20. 根据权利要求19所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时实现所述识别所述监控视频中的目标行人包括：
    计算监控视频中相邻两帧图像对应的像素点差值，得到所述相邻两帧图像的灰度差的绝对值；
    若所述绝对值超过第二预设阈值，则识别出所述监控视频中的目标行人。
PCT/CN2019/073549 2018-11-14 2019-01-29 行人重识别方法、装置及计算机可读存储介质 WO2020098158A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811354950.9A CN109740413B (zh) 2018-11-14 2018-11-14 行人重识别方法、装置、计算机设备及计算机存储介质
CN201811354950.9 2018-11-14

Publications (1)

Publication Number Publication Date
WO2020098158A1 true WO2020098158A1 (zh) 2020-05-22

Family

ID=66355687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/073549 WO2020098158A1 (zh) 2018-11-14 2019-01-29 行人重识别方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109740413B (zh)
WO (1) WO2020098158A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783646A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 行人再识别模型的训练方法、装置、设备和存储介质
CN111783576A (zh) * 2020-06-18 2020-10-16 西安电子科技大学 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN111783870A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111798376A (zh) * 2020-07-08 2020-10-20 泰康保险集团股份有限公司 图像识别方法、装置、电子设备及存储介质
CN111832612A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111897993A (zh) * 2020-07-20 2020-11-06 杭州叙简科技股份有限公司 一种基于行人再识别的高效目标人物轨迹生成方法
CN111914730A (zh) * 2020-07-28 2020-11-10 上海工程技术大学 一种基于联合时空采样的无监督视频序列行人再识别方法
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质
CN111967314A (zh) * 2020-07-09 2020-11-20 北京迈格威科技有限公司 行人重识别方法、装置、电子设备及存储介质
CN112016401A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于跨模态行人重识别方法及装置
CN112036271A (zh) * 2020-08-18 2020-12-04 汇纳科技股份有限公司 基于卡尔曼滤波的行人重识别方法、系统、介质及终端
CN112115805A (zh) * 2020-08-27 2020-12-22 山东师范大学 带双模态难挖掘三元-中心损失的行人重识别方法及系统
CN112215092A (zh) * 2020-09-23 2021-01-12 上海眼控科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质
CN112257670A (zh) * 2020-11-16 2021-01-22 北京爱笔科技有限公司 一种图像处理模型、机器学习模型的训练方法及装置
CN112330711A (zh) * 2020-11-26 2021-02-05 北京奇艺世纪科技有限公司 模型生成方法、信息提取方法、装置及电子设备
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
CN112906483A (zh) * 2021-01-25 2021-06-04 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN112949539A (zh) * 2021-03-16 2021-06-11 安徽领云物联科技有限公司 一种基于摄像头位置的行人重识别交互检索方法及系统
CN113033350A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN113283362A (zh) * 2021-06-04 2021-08-20 中国矿业大学 一种跨模态的行人重识别方法
CN113627253A (zh) * 2021-07-07 2021-11-09 上海交通大学 一种目标重识别方法及装置
CN113688975A (zh) * 2021-08-24 2021-11-23 北京市商汤科技开发有限公司 神经网络的训练方法、装置、电子设备及存储介质
CN113840169A (zh) * 2020-06-23 2021-12-24 中国移动通信集团辽宁有限公司 一种视频处理方法、装置、计算设备和存储介质
CN115147871A (zh) * 2022-07-19 2022-10-04 北京龙智数科科技服务有限公司 遮挡环境下行人再识别方法
CN115909464A (zh) * 2022-12-26 2023-04-04 淮阴工学院 一种面向行人重识别的自适应弱监督标签标记方法
CN117522454A (zh) * 2024-01-05 2024-02-06 北京文安智能技术股份有限公司 一种工作人员识别方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967290A (zh) * 2019-05-20 2020-11-20 阿里巴巴集团控股有限公司 物体识别方法、装置及车辆
CN110427970B (zh) * 2019-07-05 2023-08-01 平安科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN110472499B (zh) * 2019-07-09 2024-01-30 平安科技（深圳）有限公司 一种行人重识别的方法及装置
CN110502975B (zh) * 2019-07-09 2023-06-23 平安科技（深圳）有限公司 一种行人重识别的批量处理系统
CN110458895B (zh) * 2019-07-31 2020-12-25 腾讯科技（深圳）有限公司 图像坐标系的转换方法、装置、设备及存储介质
CN110874574B (zh) * 2019-10-30 2024-05-07 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及可读存储介质
CN111027466A (zh) * 2019-12-06 2020-04-17 浩云科技股份有限公司 一种银行网点超柜使用规范智能检测方法及装置
CN111698471A (zh) * 2020-06-03 2020-09-22 江苏高聚识别技术有限公司 监控信息存储式身份识别系统
CN111666902B (zh) * 2020-06-10 2022-11-01 重庆紫光华山智安科技有限公司 行人特征提取模型的训练方法、行人识别方法及相关装置
CN111783568B (zh) * 2020-06-16 2022-07-15 厦门市美亚柏科信息股份有限公司 一种基于置信学习的行人重识别方法、装置及存储介质
CN112686135B (zh) * 2020-12-29 2022-10-14 中南大学 基于分布拟合的可泛化的行人重识别方法
CN112927131B (zh) * 2021-01-16 2022-11-11 中建三局第一建设工程有限责任公司 图片拼接方法、装置、计算机设备和存储介质
CN113688776B (zh) * 2021-09-06 2023-10-20 北京航空航天大学 一种用于跨视场目标重识别的时空约束模型构建方法
CN114758485A (zh) * 2022-04-21 2022-07-15 成都商汤科技有限公司 一种告警信息处理方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN107944399A (zh) * 2017-11-28 2018-04-20 广州大学 一种基于卷积神经网络目标中心模型的行人重识别方法
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置
CN108133235A (zh) * 2017-12-21 2018-06-08 中通服公众信息产业股份有限公司 一种基于神经网络多尺度特征图的行人检测方法
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108268863A (zh) * 2018-02-13 2018-07-10 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971178A (zh) * 2017-05-11 2017-07-21 北京旷视科技有限公司 行人检测和再识别的方法及装置
CN107480653A (zh) * 2017-08-30 2017-12-15 安徽理工大学 基于计算机视觉的客流量检测方法
CN107844753A (zh) * 2017-10-20 2018-03-27 珠海习悦信息技术有限公司 视频图像中的行人重识别方法、装置、存储介质及处理器
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107993254A (zh) * 2017-12-14 2018-05-04 广西科技大学 基于关联帧差分法的运动目标检测方法
CN108710831B (zh) * 2018-04-24 2021-09-21 华南理工大学 一种基于机器视觉的小数据集人脸识别算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
CN107944399A (zh) * 2017-11-28 2018-04-20 广州大学 一种基于卷积神经网络目标中心模型的行人重识别方法
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN108133235A (zh) * 2017-12-21 2018-06-08 中通服公众信息产业股份有限公司 一种基于神经网络多尺度特征图的行人检测方法
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置
CN108268863A (zh) * 2018-02-13 2018-07-10 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832612A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111832612B (zh) * 2020-06-03 2023-06-23 北京百度网讯科技有限公司 动物识别模型的训练方法、装置、设备及存储介质
CN111783576B (zh) * 2020-06-18 2023-08-18 西安电子科技大学 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN111783576A (zh) * 2020-06-18 2020-10-16 西安电子科技大学 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN113840169A (zh) * 2020-06-23 2021-12-24 中国移动通信集团辽宁有限公司 一种视频处理方法、装置、计算设备和存储介质
CN113840169B (zh) * 2020-06-23 2023-09-19 中国移动通信集团辽宁有限公司 一种视频处理方法、装置、计算设备和存储介质
CN111783870A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111783870B (zh) * 2020-06-29 2023-09-01 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质
CN111783646B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 行人再识别模型的训练方法、装置、设备和存储介质
CN111914642B (zh) * 2020-06-30 2023-09-01 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质
CN111783646A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 行人再识别模型的训练方法、装置、设备和存储介质
CN111798376A (zh) * 2020-07-08 2020-10-20 泰康保险集团股份有限公司 图像识别方法、装置、电子设备及存储介质
CN111798376B (zh) * 2020-07-08 2023-10-17 泰康保险集团股份有限公司 图像识别方法、装置、电子设备及存储介质
CN111967314A (zh) * 2020-07-09 2020-11-20 北京迈格威科技有限公司 行人重识别方法、装置、电子设备及存储介质
CN111897993A (zh) * 2020-07-20 2020-11-06 杭州叙简科技股份有限公司 一种基于行人再识别的高效目标人物轨迹生成方法
CN111914730B (zh) * 2020-07-28 2023-11-24 上海工程技术大学 一种基于联合时空采样的无监督视频序列行人再识别方法
CN111914730A (zh) * 2020-07-28 2020-11-10 上海工程技术大学 一种基于联合时空采样的无监督视频序列行人再识别方法
CN112016401B (zh) * 2020-08-04 2024-05-17 杰创智能科技股份有限公司 基于跨模态行人重识别方法及装置
CN112016401A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 基于跨模态行人重识别方法及装置
CN112036271B (zh) * 2020-08-18 2023-10-10 汇纳科技股份有限公司 基于卡尔曼滤波的行人重识别方法、系统、介质及终端
CN112036271A (zh) * 2020-08-18 2020-12-04 汇纳科技股份有限公司 基于卡尔曼滤波的行人重识别方法、系统、介质及终端
CN112115805A (zh) * 2020-08-27 2020-12-22 山东师范大学 带双模态难挖掘三元-中心损失的行人重识别方法及系统
CN112215092A (zh) * 2020-09-23 2021-01-12 上海眼控科技股份有限公司 行人重识别方法、装置、计算机设备及存储介质
CN112257670A (zh) * 2020-11-16 2021-01-22 北京爱笔科技有限公司 一种图像处理模型、机器学习模型的训练方法及装置
CN112330711B (zh) * 2020-11-26 2023-12-05 北京奇艺世纪科技有限公司 模型生成方法、信息提取方法、装置及电子设备
CN112330711A (zh) * 2020-11-26 2021-02-05 北京奇艺世纪科技有限公司 模型生成方法、信息提取方法、装置及电子设备
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
CN112906483B (zh) * 2021-01-25 2024-01-23 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN112906483A (zh) * 2021-01-25 2021-06-04 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN113033350A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN113033350B (zh) * 2021-03-11 2023-11-14 北京文安智能技术股份有限公司 基于俯视图像的行人重识别方法、存储介质和电子设备
CN112949539A (zh) * 2021-03-16 2021-06-11 安徽领云物联科技有限公司 一种基于摄像头位置的行人重识别交互检索方法及系统
CN113283362B (zh) * 2021-06-04 2024-03-22 中国矿业大学 一种跨模态的行人重识别方法
CN113283362A (zh) * 2021-06-04 2021-08-20 中国矿业大学 一种跨模态的行人重识别方法
CN113627253B (zh) * 2021-07-07 2023-10-27 上海交通大学 一种目标重识别方法及装置
CN113627253A (zh) * 2021-07-07 2021-11-09 上海交通大学 一种目标重识别方法及装置
CN113688975A (zh) * 2021-08-24 2021-11-23 北京市商汤科技开发有限公司 神经网络的训练方法、装置、电子设备及存储介质
CN115147871A (zh) * 2022-07-19 2022-10-04 北京龙智数科科技服务有限公司 遮挡环境下行人再识别方法
CN115909464A (zh) * 2022-12-26 2023-04-04 淮阴工学院 一种面向行人重识别的自适应弱监督标签标记方法
CN115909464B (zh) * 2022-12-26 2024-03-26 淮阴工学院 一种面向行人重识别的自适应弱监督标签标记方法
CN117522454B (zh) * 2024-01-05 2024-04-16 北京文安智能技术股份有限公司 一种工作人员识别方法及系统
CN117522454A (zh) * 2024-01-05 2024-02-06 北京文安智能技术股份有限公司 一种工作人员识别方法及系统

Also Published As

Publication number Publication date
CN109740413A (zh) 2019-05-10
CN109740413B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
WO2020098158A1 (zh) 行人重识别方法、装置及计算机可读存储介质
Chandan et al. Real time object detection and tracking using Deep Learning and OpenCV
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN113361495B (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
US20200250402A1 (en) Method for recognizing face using multiple patch combination based on deep neural network with fault tolerance and fluctuation robustness in extreme situation
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN111797653A (zh) 基于高维图像的图像标注方法和装置
WO2022160772A1 (zh) 一种基于视角引导多重对抗注意力的行人重识别方法
CN108960184A (zh) 一种基于异构部件深度神经网络的行人再识别方法
CN109919073B (zh) 一种具有光照鲁棒性的行人再识别方法
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN104376334A (zh) 一种多尺度特征融合的行人比对方法
Liu et al. Learning 2d-3d correspondences to solve the blind perspective-n-point problem
CN113298024A (zh) 一种基于轻量化神经网络的无人机对地小目标识别方法
Weng et al. Rotational rectification network: enabling pedestrian detection for mobile vision
Tsutsui et al. Distantly supervised road segmentation
Yin Object Detection Based on Deep Learning: A Brief Review
CN115035159A (zh) 一种基于深度学习和时序特征增强的视频多目标跟踪方法
Liu et al. Action recognition based on features fusion and 3D convolutional neural networks
CN111291780A (zh) 一种跨域网络训练及图像识别方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
Prabhakar et al. Cdnet++: Improved change detection with deep neural network feature correlation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883808

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 20.08.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19883808

Country of ref document: EP

Kind code of ref document: A1