WO2022252519A1 - 图像处理方法、装置、终端、介质和程序 - Google Patents

图像处理方法、装置、终端、介质和程序 Download PDF

Info

Publication number
WO2022252519A1
WO2022252519A1 PCT/CN2021/133582 CN2021133582W WO2022252519A1 WO 2022252519 A1 WO2022252519 A1 WO 2022252519A1 CN 2021133582 W CN2021133582 W CN 2021133582W WO 2022252519 A1 WO2022252519 A1 WO 2022252519A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature data
sub
images
database
Prior art date
Application number
PCT/CN2021/133582
Other languages
English (en)
French (fr)
Inventor
余世杰
陈浩彬
蔡官熊
陈大鹏
赵瑞
Original Assignee
深圳市商汤科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市商汤科技有限公司 filed Critical 深圳市商汤科技有限公司
Publication of WO2022252519A1 publication Critical patent/WO2022252519A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Definitions

  • the present application relates to the technical field of data processing, involving but not limited to an image processing method, device, terminal, computer storage medium and computer program.
  • Pedestrian re-identification is a key technology in intelligent video surveillance systems. It aims to find out pictures similar to query pictures in a large number of database pictures by measuring the similarity between a given query picture and database pictures. With the rapid development of monitoring equipment, tens of millions of pedestrian data are generated every day. Using these tens of millions of pedestrian data pictures to continuously train models has become an urgent need in the industry.
  • the current pedestrian re-identification algorithm has the following defects: the current model training method of pedestrian re-identification is to use the whole-body pictures of pedestrians for training, and the model obtained in this way focuses on the characteristic information of the person's whole body, such as clothes, pants, shoes Characteristics.
  • the actually obtained pedestrian pictures may be occluded pictures, for example, only the upper body or lower body images exist. In this case, if we continue to use the traditional method and directly use the collected images for pedestrian recognition, the accuracy of pedestrian recognition will be low.
  • Embodiments of the present application provide an image processing method, device, terminal, computer storage medium, and computer program, which can process the unoccluded human body image in the image to be detected to obtain the corresponding target image, so that retrieval can be performed based on the target image , to improve the accuracy of pedestrian recognition.
  • An embodiment of the present application provides an image processing method, the method comprising:
  • the first sub-feature data is the feature data of an unoccluded human body image
  • a first sub-feature data is obtained by performing feature extraction on the image to be detected, and the first sub-feature data is the feature data of an unoccluded human body image.
  • the first image includes feature data matching a first sub-feature data, and determine the image to be detected and t first images according to a first sub-feature data and t first images
  • the target image corresponding to the image to be detected is determined. Therefore, the unoccluded features in the image to be detected can be determined from the first database.
  • the target image determined according to the affinity vector between the image to be detected and the t first images and the t first images, thereby improving the accuracy of target image determination, so that it can be based on The target image is retrieved to improve the accuracy of row retrieval.
  • the affinity vector between the image to be detected and the t first images is determined according to the a first sub-feature data and the t first images ,include:
  • the determining the target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the t first images and the preset graph convolution network determine the target feature data corresponding to the second sub-feature data, and the second sub-feature data is an occluded human body Image feature data;
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the determining the target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the method also includes:
  • the obtaining the matching image corresponding to the target image according to the target image and the first database includes:
  • Matching is performed in the processed first database according to the target image to obtain a matching image corresponding to the target image.
  • the processing the image features in the first database to obtain the processed first database includes:
  • the image features in the first database are subjected to nonlinear transformation through a preset graph convolutional network to obtain the processed first database.
  • image features in the first database are processed to obtain a processed first database, including:
  • the second image including feature data matching the third sub-feature data, the third sub-feature data being the human body image in the reference image Feature data of the first preset area, the reference image being any image in the first database;
  • the method for acquiring the third image is repeatedly executed until an image corresponding to each image in the first database is acquired, so as to obtain a processed first database.
  • the determining t first images from the first database according to the a first sub-feature data includes:
  • the method also includes:
  • the set of neighbor points corresponding to each sample image from the set of sample images is determined according to the feature data of the second preset area in the sample image;
  • the initial model is adjusted to obtain the preset graph convolutional network.
  • the embodiment of the present application also provides an image processing device, the device comprising:
  • the extraction unit is configured to perform feature extraction on the image to be detected to obtain a first sub-feature data, the first sub-feature data is feature data of an unoccluded human body image;
  • the first determining unit is configured to determine t first images from the first database according to the a first sub-feature data, the first image including feature data matching the a first sub-feature data ;
  • the second determining unit is configured to determine an affinity vector between the image to be detected and the t first images according to the a first sub-feature data and the t first images;
  • the third determining unit is configured to determine a target image corresponding to the image to be detected according to the affinity vector and the t first images.
  • the second determining unit is specifically configured to:
  • the third determination unit is specifically configured to:
  • the t first images and the preset graph convolution network determine the target feature data corresponding to the second sub-feature data, and the second sub-feature data is an occluded human body image characteristic data;
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the third determination unit is specifically configured to:
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the device is further configured to:
  • the device is specifically configured as:
  • Matching is performed in the processed first database according to the target image to obtain a matching image corresponding to the target image.
  • the device is specifically configured as:
  • the image features in the first database are subjected to nonlinear transformation through a preset graph convolutional network to obtain the processed first database.
  • the device is specifically configured as:
  • the second image including feature data matching the third sub-feature data, the third sub-feature data being the human body image in the reference image Feature data of the first preset area, the reference image being any image in the first database;
  • the method for acquiring the third image is repeatedly executed until an image corresponding to each image in the first database is acquired, so as to obtain a processed first database.
  • the first determination unit is specifically configured to:
  • the device is further configured to:
  • the set of neighboring points is determined according to the feature data of a second preset area in the sample image
  • the initial model is adjusted to obtain the preset graph convolutional network.
  • An embodiment of the present application also provides a terminal, including a processor, an input device, an output device, and a memory, the processor, the input device, the output device, and the memory are connected to each other, wherein the memory is used to store a computer program, and the The computer program includes program instructions, and the processor is configured to call the program instructions to execute any image processing method according to the embodiments of the present application.
  • An embodiment of the present application also provides a computer-readable storage medium, wherein the above-mentioned computer-readable storage medium stores a computer program for electronic data exchange, wherein the above-mentioned computer program enables the computer to execute any of the above-mentioned ones according to the embodiments of the present application. an image processing method.
  • An embodiment of the present application also provides a computer program product, wherein the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to enable a computer to execute the above-mentioned any image processing method.
  • the computer program product may be a software installation package.
  • FIG. 1A provides a schematic flowchart of an image processing method according to an embodiment of the present application
  • FIG. 1B provides a schematic diagram of an image to be detected for the embodiment of the present application
  • FIG. 1C provides a schematic diagram of image segmentation according to an embodiment of the present application.
  • FIG. 1D provides a schematic diagram of feature generation according to the embodiment of the present application.
  • FIG. 2 provides a schematic flow diagram of another image processing method according to the embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a terminal provided in an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an image processing device provided by an embodiment of the present application.
  • the image processing method can be performed by electronic devices such as terminal equipment or servers, and the terminal equipment can be user equipment (User Equipment, UE), mobile equipment, user terminal, terminal, cellular phone, cordless phone, personal digital assistant (Personal Digital Assistant, PDA), handheld device, computing device, vehicle-mounted device, wearable device, etc.
  • the image processing method can be realized by calling the computer-readable instructions stored in the memory by the processor.
  • the image processing method may be performed by a server.
  • the terminal device is taken as an example.
  • the image processing method is applied to the scene of target re-identification.
  • the terminal device captures a picture of a pedestrian through the camera, and the terminal device performs matching in the database according to the picture.
  • Obtain other pictures corresponding to the pedestrian such as pictures of the pedestrian moving in the area captured by other cameras in the community, so as to achieve the effect of identifying the pedestrian.
  • the camera since the camera may be blocked by some other objects when taking a picture of a pedestrian, the picture taken is only a part of the human body image of the pedestrian, for example, blocked by leaves, blocked by dustbins, blocked by vehicles, etc. If a picture of a human body is occluded for matching, the matching effect is poor, and in a more serious case, the corresponding image cannot be matched, resulting in a sharp drop in matching accuracy.
  • the embodiment of the present application aims to solve the above-mentioned low matching accuracy situation.
  • the terminal device performs occlusion completion processing on the occluded part of the human body in the image to be detected, that is, through the affinity between the image to be detected and the associated image in the image database. and degree vector to obtain the target image corresponding to the image to be detected, the target image includes the features of the unoccluded human body image in the image to be detected, and also includes the target image to be detected obtained from the associated image according to the affinity vector Therefore, the terminal device performs target re-identification and matching based on the target image, which can greatly improve the accuracy of matching.
  • FIG. 1A provides a schematic flowchart of an image processing method according to an embodiment of the present application.
  • image processing methods include:
  • Step 101 Perform feature extraction on the image to be detected to obtain a first sub-feature data, the first sub-feature data is feature data of an unoccluded human body image.
  • the image to be detected is an image used to re-identify the target user.
  • the target user may be any user captured, for example, it may be a resident in the community, a visitor in the community, or other persons.
  • the human body image in the image to be detected can be occluded or not occluded.
  • the image to be detected can be divided into an occluded human body image and an unoccluded human body image.
  • the first sub-feature data here is that the human body image above the legs is not occluded, and the human body below the legs in the image to be detected is not occluded. is occluded, it is the occluded human body image.
  • the method of performing feature extraction on the image to be detected to obtain a first sub-feature data may be: performing feature extraction on the image to be detected to obtain a plurality of local feature data, and determining a first sub-feature data from the local feature data.
  • the local feature data can be understood as the feature data corresponding to the sub-images obtained after the image to be detected is segmented.
  • the method for segmenting the image to be detected may be uniform segmentation, for example, dividing the image to be detected into 2 sub-images, 4 sub-images, 8 sub-images and so on.
  • a schematic diagram of a possible segmentation is shown in FIG. 1C , which shows that the image to be detected can be divided into 2 sub-images and 4 sub-images respectively.
  • Step 102 Determine t first images from the first database according to the a first sub-feature data, where the first images include feature data matching the a first sub-feature data.
  • the first database is an image database for re-identifying objects
  • the images in the database are unoccluded human body images, for example, it may be a frontal image of a human body, or a profile image of a human body, etc.
  • the image to be detected can be compared in the first database to determine whether there is a matching image corresponding to the image to be detected, and then perform target re-identification.
  • a plurality of images can be matched from the first database according to each first sub-feature data, and t first images can be obtained according to the plurality of images.
  • Matching the first sub-feature data to the multiple images from the first database may be: taking fixed values of the similarity between the first sub-feature data and the first sub-feature data from high to low, so as to obtain the multiple images.
  • the first 10 images in the first database whose similarities with the first sub-feature data are from high to low are obtained to obtain the multiple images.
  • images of other numerical values may also be used, which are only for illustration and are not specifically limited here.
  • Step 103 Determine an affinity vector between the image to be detected and the t first images according to the a first sub-feature data and the t first images.
  • the affinity vectors between each first sub-feature data and t first images can be obtained, and according to the sub-affinity vectors, the relationship between the image to be detected and the t first images can be determined. Affinity vector between .
  • the sub-affinity vector can also be understood as a vector composed of the similarity between the first sub-feature and the feature corresponding to each image in t images.
  • the sub-affinity vector is a t-dimensional vector, and each dimension is related to t
  • the similarity between the corresponding features in the two images corresponds to each other.
  • the affinity vector is used to reflect the relationship between the image to be detected and t first images, the larger the value of the element in the affinity vector, the higher the similarity between the image to be detected and the corresponding first image , the stronger the correlation and the smaller the values of the elements in the affinity vector, the lower the similarity between the image to be detected and the corresponding first image, and the stronger the correlation.
  • Step 104 Determine a target image corresponding to the image to be detected according to the affinity vector and the t first images.
  • the affinity vector and the feature data of t first images can be calculated through the preset graph convolutional network to obtain the feature data corresponding to the target image.
  • the preset graph convolutional neural network is pre-trained by sample data Good convolutional neural network. It is also possible to determine the unoccluded body image corresponding to the occluded human body image in the image to be detected according to the feature data corresponding to the feature data of the occluded human body image in the image to be detected in the t first images and the affinity vector.
  • the characteristic data of the human body image is obtained by combining the characteristic data of the unoccluded human body image to obtain the characteristic data corresponding to the target image, so as to obtain the target image.
  • target re-identification can be performed through the target image, specifically, the target image can be matched in the first database to obtain an image matching the target image, and then target re-identification can be performed.
  • the corresponding target image is determined according to the affinity vector and t first images, and the feature data of the target image includes the legs in the image to be detected
  • the legs below the human body are not blocked, so that the target image is replaced by the image to be detected for matching, so that the accuracy of target re-identification is higher.
  • a first sub-feature data is obtained by performing feature extraction on the image to be detected, and the first sub-feature data is the feature data of an unoccluded human body image.
  • the first image includes feature data matching a first sub-feature data, and determine the image to be detected and t first images according to a first sub-feature data and t first images
  • the target image corresponding to the image to be detected is determined. Therefore, the unoccluded features in the image to be detected can be determined from the first database.
  • the target image determined according to the affinity vector between the image to be detected and the t first images and the t first images, thereby improving the accuracy of target image determination, so that it can be based on The target image is retrieved to improve the accuracy of row retrieval.
  • a possible method of performing feature extraction on the image to be detected to obtain a first sub-feature data includes:
  • A1. Perform feature extraction on the image to be detected to obtain n local feature data
  • A2 According to the human body semantic segmentation method, determine the human body area information in the image to be detected;
  • A4. Determine the a first sub-feature data from the n pieces of local feature data according to the sub-body region information corresponding to each local feature data.
  • the feature extraction network can be used to perform feature extraction on the image to be detected to obtain n local feature data.
  • the feature network can be a pre-trained network for feature extraction.
  • the feature extraction network can perform segmentation processing on the image to be detected to obtain multiple sub-images after segmentation, perform feature extraction on each sub-image, and obtain local feature data corresponding to each sub-image.
  • the human body area information in the image to be detected can be determined by the human body semantic segmentation method. After the human body semantic segmentation method is segmented, a binary image is obtained. The gray value of the human body part in the binary image is 255, and the gray value of the non-human body part is 255. The value is 0.
  • the intersection of the human body area and the area corresponding to the local feature data is determined as the sub-body area corresponding to the local feature data, so as to obtain the sub-body area information corresponding to the local feature data.
  • the method of determining a first sub-feature data may be to determine the first sub-feature data according to the area ratio of the body region corresponding to the body region information and the area corresponding to the sub-feature data.
  • a possible method of determining the a first sub-feature data from the n pieces of local feature data according to the sub-body region information corresponding to each local feature data includes :
  • the preset area ratio value can be set by experience value or historical data, specifically for example, it can be 0.3 and so on.
  • the area area corresponding to the sub-body area information corresponds to the area area corresponding to the local feature data. Specifically, it can be understood that the area of the area corresponding to the sub-body area information in the area corresponding to the local feature data is compared with the area of the local feature data.
  • the ratio of the area areas corresponding to the feature data is determined as the proportion value of the human body area.
  • the human body area ratio value is a ratio of the human body area to the area corresponding to the total local feature data.
  • the local feature data corresponding to a body area ratio value higher than the preset area ratio value is determined as a first sub-feature data, and the body area ratio value is higher than the preset area ratio value, which can reflect that the human body is not covered
  • the occluded feature improves the accuracy of determining the first sub-feature data.
  • Degree vector methods include:
  • the method for obtaining the sub-affinity vector may be: obtain the similarity between the first sub-feature data and the corresponding feature data in each of the t first images, and obtain t target similarities; according to the t target similarities to determine the sub-affinity vector.
  • the method for obtaining the similarity between the first sub-feature data and the corresponding feature data in the first image may use a cosine similarity calculation method, and of course other similarity calculation methods may also be used, and this is only an example for illustration.
  • the specifications of the t sub-affinity vectors are the same, which can be understood as that the first images corresponding to each dimension in the t sub-affinity vectors are the same.
  • the t sub-affinity vectors can be multiplied in parallel to obtain affinity vectors between the image to be detected and the t first images.
  • the affinity vector is determined by a first sub-feature data and t first images, and the affinity vector can accurately reflect the similarity between the image to be detected and the t first images Therefore, determining the target image through the affinity vector can improve the accuracy of the target image.
  • the affinity vector between the image to be detected and the t first images can also be determined by the method shown in the following formula:
  • A is the affinity vector
  • f(x a ,S) represents the affinity between the a-th first sub-feature and the corresponding sub-feature
  • f( ⁇ , ⁇ ) is usually a cosine similarity calculation function
  • x a is The a-th first sub-feature
  • is the phase multiplication
  • S is an image set composed of t first images.
  • a possible method for determining a target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the affinity vector and the t first images can be operated through the preset graph convolutional network to obtain target feature data.
  • the function of the preset graph convolutional network is to calculate according to the affinity vector and t first images, so as to obtain the target feature data corresponding to the occluded human body image.
  • the preset graph convolutional network is obtained by training the target re-identification sample image set. During training, the sample images in the sample image set need to be processed to obtain the set of neighboring points of the sample image. According to the sample image The feature set and the neighbor point set are used to train the initial model to obtain a preset graph convolutional network. The human body images in the sample images in the sample image collection are not occluded.
  • the target feature data and the a first sub-feature data may be determined as feature data of the target image, so as to obtain the target image.
  • the target image is determined through the affinity vector, t first images and the preset graph convolutional network, which can improve the accuracy of target image determination.
  • Another possible method for determining a target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the second sub-feature data can refer to the feature data of the occluded human body image in FIG. 1B
  • the method for determining the second sub-feature data can refer to the method for determining the first sub-feature data in the foregoing embodiments, which will not be repeated here.
  • the feature data corresponding to the second sub-feature data can be understood as data in the same position as the image corresponding to the second sub-feature data in t images, specifically for example, the image to be detected is divided into 4 sub-images,
  • the second feature data is the feature data of the second sub-image in the 4 sub-images, then the feature data corresponding to the second sub-character data obtained in the first image is the second sub-image in the 4 sub-images of the first image segmentation
  • the feature data corresponding to the image is: the feature data corresponding to the second sub-feature data can be understood as data in the same position as the image corresponding to the second sub-feature data in t images, specifically for example, the image to be detected is divided into 4 sub-images,
  • the second feature data is the feature data of the second sub-image in the 4 sub-images, then the feature data corresponding to the second sub-character data obtained in the first image is the second sub-image in the 4 sub-images of the first image segmentation
  • the dimensions in the reference feature data set and the affinity vectors may be correspondingly multiplied, and the sum of the product results may be determined as the target feature data.
  • the target feature data and the a first sub-feature data may be determined as feature data of the target image, so as to acquire the target image.
  • the target feature data is determined according to the affinity vector and the reference feature data set, so that the correlation between the target feature data and the t first images is stronger, and the accuracy of the obtained target feature data is higher. high.
  • the image processing method can also perform target re-identification, which can be characterized as matching in the database to determine whether there is an image corresponding to the image to be detected in the database, which can be:
  • the first database is an image database for re-identifying objects, and the images in the database are unoccluded human body images, for example, may be frontal images of human bodies, or side images of human bodies.
  • a possible method for obtaining a matching image corresponding to the target image according to the target image and the first database includes:
  • the method for processing the image features in the first database may be to perform nonlinear transformation through a preset graph convolutional network to obtain the processed first database.
  • the image features in the first database are input into the preset graph convolution network for calculation to obtain the calculated image features, so as to obtain the processed first database
  • the processing method during operation can be
  • the feature space transformation is performed only on the image features in the first database, so that the processed feature space of the image features in the first database is the same as the feature space of the target image. If the feature space is the same, it can be understood that the attributes such as the dimension of the feature space are the same.
  • the method for processing the image features in the first database may also be to perform feature fusion on the images in the first database, so that the fused images contain features of similar images, for example, between different images of the same user
  • the features of are fused with each other, which can be, the features between the front image and the side image of the same user are fused with each other, the image features of the front image are fused with the image features of the side image, and the image features of the side image are fused with the image features of the front image , so as to improve the accuracy of subsequent re-identification through the first database.
  • the image to be detected is a profile image of a user, and the user’s frontal image needs to be found in the first database, then the image features contained in the frontal image can be used The image features of side images are matched, making it easier to find all frontal images.
  • a possible method of processing image features in the first database to obtain the processed first database includes:
  • the second image includes feature data matching the third sub-feature data
  • the third sub-feature data is the human body in the reference image Feature data of a first preset area of an image, the reference image being any image in the first database
  • the first preset area may be set through experience values or historical data, for example, the area where the upper body image in the human body image is located.
  • the image features of the front image and the side image will be fused with each other.
  • the image features of the front image will include a part of the side image.
  • the image features of the side image will also include some of the image features of the front image.
  • you need to match the corresponding front image through the side image you can match the front image.
  • the characteristic data of side images it is easier to find all corresponding front images, which improves the accuracy and efficiency of image matching.
  • a possible method for determining t first images from the first database according to the a first sub-feature data includes:
  • the method for obtaining the first image set corresponding to the first sub-feature data in the first database may be:
  • the images in the first database may be segmented to obtain segmented images corresponding to the first sub-feature data.
  • the first sub-feature data is the feature data that divides the image to be detected into the first part of the image in 2 parts
  • the segmented image corresponding to the first sub-feature data is that the image in the database is divided into 2 parts. Image of the first part.
  • the method for segmenting the image in the first database is exactly the same as the method for segmenting the image to be detected, for example, both are segmented through a segmentation network.
  • the similarity comparison is performed between the image corresponding to the first sub-feature data and the segmented image to obtain the corresponding similarity. Determining the complete images corresponding to the K segmented images with the similarity ranging from high to low as the K images to obtain the first image set.
  • the images in the intersection of the a sets of first images may be determined as t first images.
  • a first image collection corresponding to a first sub-feature data is obtained from the first database, and t first images are obtained from the a first image collection, and the first image is the a images that exist in all the first image sets, therefore, the accuracy of acquiring the t first images can be improved.
  • the embodiment of the present application also provides a preset graph convolutional network training method, which may specifically include:
  • the set of neighboring points corresponding to each sample image from the set of sample images is determined according to the feature data of the second preset area in the sample image ;
  • the set of neighboring points of the sample image can be understood as: according to the feature data of the second preset area in the sample image, matching is performed from the second database to obtain the set of neighboring points.
  • the corresponding image features are determined as a set of neighbor points.
  • the second preset area is set by experience value or historical data, and the second preset area may be the same area as the first preset area, or may be different.
  • the second database may be the same as the first database, or may be different from the first database.
  • the function of the second database is the same as that of the first database, and both are databases for object re-identification.
  • a training procedure for a preset graph convolutional network is as follows:
  • Data set Use the sub-feature extraction network to propose the features of the training set. Assuming that there are D pictures, then the final extracted feature set is D ⁇ P ⁇ d, where P is the number of sub-features, and d is the dimension of each sub-feature number.
  • the sub-feature extraction network is used to extract the sub-features in the image, for example, the first sub-feature data
  • Training process Because the training data set is full-body pictures, in order for the graph convolutional neural network to learn how to reconstruct features from neighboring points, we only use the sub-features of the user's upper body (the second preset area) in the data set during training to search for neighbors. After obtaining the set of neighbor points of each picture, we start to train the network, take a batch of data each time, and construct a matrix of B ⁇ (K+1) ⁇ P ⁇ d, for a set of less than K neighbor points, we use 0 to fill. At the same time, the feature to be generated (the feature corresponding to the second sub-feature) is placed in the center and initialized to 0, as shown in Figure 1D, so here is the size of K+1. The training of the network is supervised by the cross-entropy loss function.
  • FIG. 2 provides a schematic flowchart of another image processing method according to the embodiment of the present application.
  • image processing methods include:
  • the target feature data is determined according to the affinity vector and the reference feature data set, so that the correlation between the target feature data and the t first images is stronger, and the accuracy of the obtained target feature data is higher. high.
  • FIG. 3 is a schematic structural diagram of a terminal provided in the embodiment of the present application. As shown in the figure, it includes a processor, an input device, an output device, and a memory. The processor, the input device , the output device and the memory are connected to each other, wherein the memory is used to store a computer program, the computer program includes program instructions, the processor is configured to call the program instructions, and the above program includes a program for performing the following steps instruction;
  • the first sub-feature data is the feature data of an unoccluded human body image
  • the affinity vector between the image to be detected and the t first images is determined according to the a first sub-feature data and the t first images ,include:
  • the determining the target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the t first images and the preset graph convolution network determine the target feature data corresponding to the second sub-feature data, and the second sub-feature data is an occluded human body Image feature data;
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the determining the target image corresponding to the image to be detected according to the affinity vector and the t first images includes:
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the method also includes:
  • the matching in the first database according to the target image to obtain a matching image corresponding to the target image includes:
  • Matching is performed in the processed first database according to the target image to obtain a matching image corresponding to the target image.
  • the processing the image features in the first database to obtain the processed first database includes:
  • the image features in the first database are subjected to nonlinear transformation through a preset graph convolutional network to obtain the processed first database.
  • image features in the first database are processed to obtain a processed first database, including:
  • the second image including feature data matching the third sub-feature data, the third sub-feature data being the human body image in the reference image Feature data of the first preset area, the reference image being any image in the first database;
  • the method for acquiring the third image is repeatedly executed until an image corresponding to each image in the first database is acquired, so as to obtain a processed first database.
  • the determining t first images from the first database according to the a first sub-feature data includes:
  • the method also includes:
  • the set of neighboring points is determined according to the feature data of a second preset area in the sample image
  • the initial model is adjusted to obtain the preset graph convolutional network.
  • the terminal includes hardware structures and/or software modules corresponding to each function.
  • the embodiments of the present application can be implemented in the form of hardware or a combination of hardware and computer software. Whether a certain function is executed by hardware or computer software drives hardware depends on the specific application and design constraints of the technical solution. Professionals and technicians may use different methods to implement the described functions for each specific application, but such implementation should not be regarded as exceeding the scope of the embodiments of the present application.
  • the embodiment of the present application may divide the functional units of the terminal according to the above method example, for example, each functional unit may be divided corresponding to each function, or two or more functions may be integrated into one processing unit.
  • the above-mentioned integrated units can be implemented in the form of hardware or in the form of software functional units. It should be noted that the division of units in the embodiment of the present application is schematic, and is only a logical function division, and there may be another division manner in actual implementation.
  • FIG. 4 provides a schematic structural diagram of an image processing apparatus according to an embodiment of the present application. As shown in Figure 4, the device includes:
  • the extraction unit 401 is configured to perform feature extraction on the image to be detected to obtain a first sub-feature data, the first sub-feature data is feature data of an unoccluded human body image;
  • the first determining unit 402 is configured to determine t first images from the first database according to the a first sub-feature data, the first image includes features matching the a first sub-feature data data;
  • the second determining unit 403 is configured to determine an affinity vector between the image to be detected and the t first images according to the a first sub-feature data and the t first images;
  • the third determining unit 404 is configured to determine a target image corresponding to the image to be detected according to the affinity vector and the t first images.
  • the second determining unit 403 is specifically configured to:
  • the third determining unit 404 is specifically configured to:
  • the t first images and the preset graph convolution network determine the target feature data corresponding to the second sub-feature data, and the second sub-feature data is an occluded human body Image feature data;
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the third determining unit 404 is specifically configured to:
  • the target image is determined according to the target characteristic data and the a first sub-characteristic data.
  • the device is further configured to:
  • the device in terms of performing matching in the first database according to the target image to obtain a matching image corresponding to the target image, the device is specifically configured as:
  • Matching is performed in the processed first database according to the target image to obtain a matching image corresponding to the target image.
  • the device in terms of processing the image features in the first database to obtain the processed first database, the device is specifically configured as:
  • the image features in the first database are subjected to nonlinear transformation through a preset graph convolutional network to obtain the processed first database.
  • the device in terms of processing the image features in the first database to obtain the processed first database, the device is specifically configured as:
  • the second image including feature data matching the third sub-feature data, the third sub-feature data being the human body image in the reference image Feature data of the first preset area, the reference image being any image in the first database;
  • the method for acquiring the third image is repeatedly executed until an image corresponding to each image in the first database is acquired, so as to obtain a processed first database.
  • the first determination unit is specifically configured to:
  • the device is further configured to:
  • the set of neighboring points is determined according to the feature data of a second preset area in the sample image
  • the initial model is adjusted to obtain the preset graph convolutional network.
  • An embodiment of the present application also provides a computer storage medium, wherein the computer storage medium stores a computer program for electronic data exchange, and the computer program enables the computer to execute any part of the image processing method described in the above method embodiments or all steps.
  • the embodiment of the present application also provides a computer program product, the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program enables the computer to execute any image described in the above-mentioned method embodiments Some or all steps of a processing method.
  • the disclosed device can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components can be combined or can be Integrate into another system, or some features may be ignored, or not implemented.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented not only in the form of hardware, but also in the form of software program modules.
  • the integrated units may be stored in a computer-readable memory if implemented in the form of a software program module and sold or used as an independent product.
  • the technical solution of the embodiment of the present application is essentially or the part that contributes to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a memory
  • several instructions are included to make a computer device (which may be a personal computer, a server or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned memory includes: various media that can store program codes such as U disk, read-only memory (ROM), random access memory (RAM), mobile hard disk, magnetic disk or optical disk.
  • Embodiments of the present application provide an image processing method, device, terminal, computer storage medium, and computer program.
  • the method includes: performing feature extraction on the image to be detected to obtain a first sub-feature data, the first sub-feature data is the feature data of an unoccluded human body image; according to the a first sub-feature data, from Determine t first images in the first database, the first images include feature data matching the a first sub-feature data; according to the a first sub-feature data and the t first images , determine the affinity vector between the image to be detected and the t first images; determine the target image corresponding to the image to be detected according to the affinity vector and the t first images , which can be processed according to the unoccluded human body image in the image to be detected to obtain the corresponding target image, so that retrieval can be performed based on the target image to improve the accuracy of pedestrian recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法及其相关装置,所述方法包括:对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据(101);根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据(102);根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量(103);根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像(104)。

Description

图像处理方法、装置、终端、介质和程序
相关申请的交叉引用
本申请基于申请号为202110604373.X、申请日为2021年5月31日、名称为“图像处理方法及相关装置”的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及数据处理技术领域,涉及但不限于一种图像处理方法、装置、终端、计算机存储介质和计算机程序。
背景技术
行人重识别是智能视频监控系统中的一项关键技术,它旨在通过对给定查询图片和数据库图片之间的相似性进行度量,在大量数据库图片中找出与查询图片相似的图片。随着监控设备快速发展,每天会产生千万级别的行人数据。利用这些千万级别的行人数据图片来进行持续训练模型成为工业界的紧迫需求。
目前的行人重识别算法存在如下缺陷:目前行人重识别的模型训练方式都是使用行人的全身图片进行训练,使用这种方式所得到的模型关注于人物全身的特征信息,如衣服、裤子、鞋的特征。然而在实际监控场景中,由于行人之间相互遮挡或者由于某些障碍物的遮挡,实际取得的行人图片有可能是被遮挡的图片,例如只存在上半身或者下半身图像等。在这种情况下,如果继续使用传统的方法,直接使用采集的图像进行行人识别,则会导致行人识别时的准确性较低。
发明内容
本申请实施例提供一种图像处理方法、装置、终端、计算机存储介质和计算机程序,能够根据待检测图像中未被遮挡的人体图像进行处理,得到对应的目标图像,从而可以基于目标图像进行检索,以提升行人识别的准确性。
本申请实施例提供一种图像处理方法,该方法包括:
对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
本示例中,通过对待检测图像进行特征提取,得到a个第一子特征数据,该第一子特征数据为未被遮挡的人体图像的特征数据,根据a个第一子特征数据从第一数据库中确定t张第一图像,第一图像包括与a个第一子特征数据匹配的特征数据,根据a个第一子特征数据和t张第一图像,确定待检测图像与t张第一图像之间的亲和度向量,根据亲和度向量和t张第一图像,确定与待检测图像对应的目标图像,因此,可以待检测图像中未被遮挡的特征,从第一数据库中确定出t张第一图像,根据待检测图像与t张第一图像之间的亲和度向量以及t张第一图像确定的该出目标图像,从而提升了目标图像确定时的准确性,从而可以基于目标图像进行检索,以提升行检索的准确性。
在一个可能的实现方式中,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
根据所述述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述方法还包括:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像,包括:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,得到处理后的第一数据库。
在一个可能的实现方式中,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述方法还包括:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻 点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例还提供了一种图像处理装置,所述装置包括:
提取单元,配置为对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
第一确定单元,配置为根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
第二确定单元,配置为根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
第三确定单元,配置为根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
在一个可能的实现方式中,所述第二确定单元具体配置为:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述第三确定单元具体配置为:
根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述第三确定单元具体配置为:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述装置还配置为:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述装置具体配置为:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述装置具体配置为:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,得到处理后的第一数据库。
在一个可能的实现方式中,所述装置具体配置为:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述第一确定单元具体配置为:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述装置还配置为:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例还提供一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例的任意一种图像处理方法。
本申请实施例还提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例的上述任意一种图像处理方法。
本申请实施例还提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例的上述任意一种图像处理方法。该计算机程序产品可以为一个软件安装包。
本申请实施例的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供了一种图像处理方法的流程示意图;
图1B为本申请实施例提供了一种待检测图像的示意图;
图1C为本申请实施例提供了一种图像分割的示意图;
图1D为本申请实施例提供了一种特征生成示意图;
图2为本申请实施例提供了另一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种终端的结构示意图;
图4为本申请实施例提供了一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意 图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
为了更好的理解本申请实施例提供的一种图像处理方法,下面首先对应用图像处理方法的场景进行简要介绍。该图像处理方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者,可通过服务器执行该图像处理方法。此处以终端设备为例进行说明,图像处理方法应用于目标重识别的场景,例如,在小区安防中,终端设备通过摄像头拍摄到某个行人的图片,终端设备根据该图片在数据库中进行匹配,得到与该行人对应的其他图片,例如该行人在小区其他摄像头所拍摄的区域活动的图片等,从而达到对该行人进行识别的效果。但是由于摄像头在拍摄行人的图片时,可能会被一些其它物体遮挡,从而拍摄的图片仅为该行人的部分人体图像,例如,被树叶遮挡、被垃圾箱遮挡、被车辆遮挡等。如果采用人体被遮挡的图片进行匹配时,则其匹配的效果较差,更严重的情况则是不能匹配到对应的图像,导致了匹配时的准确度急剧下降。本申请实施例旨在解决上述匹配准确度较低的情况,终端设备通过对待检测图像中人体被遮挡的部分进行遮挡补全处理,即通过待检测图像与图像数据库中关联的图像之间的亲和度向量,来获取到与待检测图像对应的目标图像,目标图像中包括有待检测图像中未被遮挡的人体图像的特征,同时也包括有根据亲和度向量从关联图像中获取的待检测图像中被遮挡的人体图像的特征,因此,终端设备根据目标图像进行目标重识别匹配,则可以极大的提升匹配时的准确性。
请参阅图1A,图1A为本申请实施例提供了一种图像处理方法的流程示意图。如图1A所示,图像处理方法包括:
步骤101、对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据。
本申请实施例中,待检测图像是用于对目标用户进行重识别的图像。该目标用户可以是被拍摄到的任一用户,例如,可以是小区内的住户,小区内的来访人员,也可以是其他人员。
待检测图像中的人体图像可以是被遮挡的,也可以是未被遮挡的。当待检测图像中的人体图像被遮挡时,则待检测图像则可以划分为被遮挡的人体图像和未被遮挡的人体图像。例如,如图1B所示,待检测图像中人体的腿部以上未被遮挡,则此处第一子特征 数据为腿部以上的人体图像未被遮挡,待检测图像中人体的腿部以下未被遮挡,则为被遮挡的人体图像。
对待检测图像进行特征提取,得到a个第一子特征数据的方法可以是:对待检测图像进行特征提取,得到多个局部特征数据,从局部特征数据中确定出a个第一子特征数据。
局部特征数据可以理解为对待检测图像进行分割处理后,得到的子图像对应的特征数据。对待检测图像进行分割的方法可以是采用均匀分割的方式,例如,将待检测图像均分为2个子图像、4个子图像、8个子图像等。一种可能的分割示意图如图1C所示,图1C中示出了可将待检测图像分别分割为2个子图像、4个子图像。
步骤102、根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据。
本申请实施例中,第一数据库为对目标进行重识别的图像数据库,该数据库中的图像为未被遮挡的人体图像,例如,可以是人体正面图像,也可以是人体侧面图像等。待检测图像可以在第一数据库中进行比对,判断是否存在与待检测图像对应的匹配图像,进而进行目标重识别。
在获取t张第一图像时,可以根据每个第一子特征数据从第一数据库中匹配出多张图像,并根据该多张图像得到t张第一图像。第一子特征数据从第一数据库中匹配出多张图像可以是:将与第一子特征数据之间的相似度从高到低取固定数值的图像,从而得到该多张图像。具体例如,取第一数据库中与第一子特征数据相似度从高到低的前10张图像,得到该多张图像。当然,也可以是其他数值的图像,此处仅为举例说明不作具体限定。
步骤103、根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量。
在一些实施例中,可以获取到每个第一子特征数据与t张第一图像之间的亲和度向量,根据该子亲和度向量,确定出待检测图像与t张第一图像之间的亲和度向量。
子亲和度向量也可以理解为第一子特征与t张图像中每张图像对应的特征之间的相似度构成的向量,该子亲和度向量为t维向量,每个维度均与t张图像中对应特征之间的相似度相对应。亲和度向量用于反映待检测图像与t张第一图像之间的关联关系,亲和度向量中的元素的数值越大,则待检测图像与对应的第一图像之间相似度越高,关联关系越强,亲和度向量中的元素的数值越小,则待检测图像与对应的第一图像之间相似度越低,关联关系越若。
步骤104、根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
这里,可以通过预设的图卷积网络对亲和度向量和t张第一图像的特征数据进行运算,得到目标图像对应的特征数据,预设的图卷积神经网络为通过样本数据预先训练好的卷积神经网络。也可以根据t张第一图像中与待检测图像中被遮挡的人体图像的特征数据所对应的特征数据,以及亲和度向量来确定待检测图像中被遮挡的人体图像对应的未被遮挡的人体图像的特征数据,对未被遮挡的人体图像的特征数据进行数据组合从而得 到目标图像对应的特征数据,以得到目标图像。
在获取到目标图像之后,则可以通过目标图像进行目标重识别,具体可以为将目标图像在第一数据库中进行匹配,得到与目标图像匹配的图像,进而进行目标重识别。具体例如,当待检测图像中人体的腿部以下未被遮挡,则根据亲和度向量和t张第一图像来确出对应的目标图像,目标图像的特征数据,中包括有待检测图像中腿部以上未被遮挡的人体图像的特征数据,同时还包括有根据亲和度向量和t张第一图像确定出的腿部以下被遮挡的人体图像对应补全后的特征数据,即目标图像中人体腿部以下也未被遮挡,从而根据目标图像替代待检测图像进行匹配,以进行目标重识别的准确性更高。
本示例中,通过对待检测图像进行特征提取,得到a个第一子特征数据,该第一子特征数据为未被遮挡的人体图像的特征数据,根据a个第一子特征数据从第一数据库中确定t张第一图像,第一图像包括与a个第一子特征数据匹配的特征数据,根据a个第一子特征数据和t张第一图像,确定待检测图像与t张第一图像之间的亲和度向量,根据亲和度向量和t张第一图像,确定与待检测图像对应的目标图像,因此,可以待检测图像中未被遮挡的特征,从第一数据库中确定出t张第一图像,根据待检测图像与t张第一图像之间的亲和度向量以及t张第一图像确定的该出目标图像,从而提升了目标图像确定时的准确性,从而可以基于目标图像进行检索,以提升行检索的准确性。
在一个可能的实现方式中,一种可能的对待检测图像进行特征提取,得到a个第一子特征数据的方法包括:
A1、对所述待检测图像进行特征提取,得到n个局部特征数据;
A2、根据人体语义分割方法,确定所述待检测图像中人体区域信息;
A3、根据所述人体区域信息,确定每个局部特征数据对应的子人体区域信息;
A4、根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据。
可以通过特征提取网络,对待检测图像进行特征提取,得到n个局部特征数据。该特征网络可以是预先训练好的用于特征提取的网络。特征提取网络可以对待检测图像进行分割处理,得到分割后的多个子图像,对每个子图像进行特征提取,得到与每个子图像对应的局部特征数据。
可以通过人体语义分割方法可以确定出待检测图像中的人体区域信息,该人体语义分割方法分割后,得到二值图像,该二值图像中人体部分的灰度值为255,非人体部分灰度值为0。
将人体区域与局部特征数据对应的区域的交集,确定为局部特征数据对应的子人体区域,从而得到与局部特征数据对应的子人体区域信息。
根据局部特征数据对应的子人体区域信息,确定a个第一子特征数据的方法可以是根据人体区域信息对应的人体区域与子特征数据对应的区域的面积比值,来确定第一子特征数据。
在一个可能的实现方式中,一种可能的根据所述每个局部特征数据对应的子人体区域信息,从所述n个局部特征数据中确定出所述a个第一子特征数据的方法包括:
B1、获取所述子人体区域信息对应的区域面积与对应的局部特征数据对应的区域面积的比例值,以得到n人体面积比例值;
B2、获取所述n个人体面积比例值中高于预设面积比例值的a个人体面积比例值;
B3、将所述a个人体面积比例值对应的局部特征数据,确定为所述a个第一子特征数据。
其中,预设面积比例值可以通过经验值或历史数据设定,具体例如可以是0.3等。
子人体区域信息对应的区域面积与局部特征数据对应的区域面积之间是相对应的,具体可以理解为,将局部特征数据对应的区域中的子人体区域信息对应的区域的面积,与该局部特征数据对应的区域面积的比值,确定为人体面积比例值。该人体面积比例值是人体面积占总的局部特征数据对应的区域的比值。
本示例中,将人体面积比例值高于预设面积比例值对应的局部特征数据确定为a个第一子特征数据,人体面积比例值高于预设面积比例值,则可以体现出人体未被遮挡的特征,从而提升了第一子特征数据确定时的准确性。
在一个可能的实现方式中,一种可能的根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量的方法包括:
C1、获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
C2、根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
获取子亲和度向量的方法可以为:获取第一子特征数据与t张第一图像中的每个第一图像中对应的特征数据之间的相似度,得到t个目标相似度;根据该t个目标相似度来确定出子亲和度向量。一个示例中,子亲和度向量可以表示为:B=(m1,m2,……,mt),m1为第一子特征数据与第一张第一图像对应的相似度,m2为第一子特征数据与第二张第一图像对应的相似度,mt为第一子特征数据与第t张第一图像对应的相似度。
获取第一子特征数据与第一图像中对应的特征数据之间的相似度的方法可以采用余弦相似度计算方法,当然也可以采用其它相似度计算方法,此处仅为举例说明。
t个子亲和度向量的规格相同,可以理解为,t个子亲和度向量中每个维度对应的第一图像相同。
可以将t个子亲和度向量进行对位乘法运算,以得到待检测图像与t张第一图像之间的亲和度向量。
本示例中,通过a个第一子特征数据和t张第一图像,来确定出亲和度向量,亲和度向量可以准确的反映出待检测图像与t张第一图像之间的相似度关联关系,因此通过亲和度向量来确定目标图像,可以提升目标图像的准确性。
在一个可能的实现方式中,还可以通过如下公式所示的方法确待检测图像与t张第一 图像之间的亲和度向量:
A=f(x 1,S)*f(x 2,S)*…*f(x a,S)          (1)
其中,A为亲和度向量,f(x a,S)表示第a个第一子特征与对应子特征的亲和度,f(·,·)通常为余弦相似度计算函数,x a为第a个第一子特征,×为对位相乘,S为t张第一图像构成的图像集合。
在一个可能的实现方式中,一种可能的根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像的方法包括:
D1、根据所述述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
D2、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
可以通过该预设的图卷积网络对亲和度向量和t张第一图像进行运算,以得到目标特征数据。预设的图卷积网络的功能为根据亲和度向量和t张第一图像进行计算,从而得到被遮挡的人体图像对应的目标特征数据。
预设的图卷积网络是通过目标重识别样本图像集合进行训练得到的,在训练时,需要对样本图像集合中的样本图像进行处理,以获取到样本图像的近邻点集合,根据样本图像的特征集合和近邻点集合对初始模型进行训练,以得到预设的图卷积网络。样本图像集合中的样本图像中的人体图像未被遮挡。
可以将目标特征数据和a个第一子特征数据确定为目标图像的特征数据,从而获取到目标图像。
本示例中,通过亲和度向量、t张第一图像和预设的图卷积网络来确定出目标图像,可以提升目标图像确定时的准确性。
在一个可能的实现方式中,另一种可能的根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像的方法包括:
E1、从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
E2、根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
E3、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
第二子特征数据可以参照图1B中被遮挡的人体图像的特征数据,确定第二子特征数据的方法可以参照前述实施例中确定第一子特征数据的方法,此处不再赘述。例如可以为:与第二子特征数据对应的特征数据可以理解为在t张图像中与第二子特征数据对应的图像的位置相同的数据,具体例如,将待检测图像分割为4个子图像,第二特征数据为4个子图像中的第二个子图像的特征数据,则第一图像中获取与第二子特征数据对应的特 征数据为将该第一图像分割的4个子图像中的第二个子图像对应的特征数据。
可以将参考特征数据集合中与亲和度向量的中的维度进行对应,并进行对应相乘,并将乘积结果之和,确定为目标特征数据。具体例如,亲和度向量表示为A=(a1,a2,……,at),a1为第一子特征数据与第一张第一图像对应的相似度,a2为第一子特征数据与第二张第一图像对应的相似度,at为第一子特征数据与第t张第一图像对应的相似度,则将a1与参考特征数据集合中第一张第一图像的特征数据进行乘积运算得到运算结果,将a2与参考特征数据集合中第二张第一图像的特征数据进行乘积运算得到运算结果,直至将at与参考特征数据集合中第t张第一图像的特征数据进行乘积运算得到运算结果,以得到全部的乘积运算结果,将全部的乘积运算结果进行相加,以得到目标特征数据。
可以将目标特征数据和a个第一子特征数据确定为目标图像的特征数据,从而获取到目标图像。
本示例中,根据亲和度向量和参考特征数据集合来确定出目标特征数据,从而使得目标特征数据与t张第一图像之间的关联性更强,从而得到的目标特征数据的准确性更高。
在一个可能的实现方式中,图像处理方法还可以进行目标重识别,目标重识别则可以表征为在数据库中进行匹配,确定数据库中是否存在与待检测图像对应的图像,可以为:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
第一数据库为对目标进行重识别的图像数据库,该数据库中的图像为未被遮挡的人体图像,例如,可以是人体正面图像,也可以是人体侧面图像等。
将目标图像在第一数据库中进行比对时,需要对第一数据库中的图像进行处理,使得处理后的图像与目标图像的特征空间相同,以得到与目标图像对应的匹配图像,从而可以提升匹配图像确定时的准确性。
在一个可能的实现方式中,一种可能的所述根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像的方法包括:
F1、对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
F2、根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
对第一数据库中的图像特征进行处理的方法可以为通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。例如可以为,将第一数据库中的图像特征输入到预设的图卷积网络中进行运算,以得到运算后的图像特征,从而得到处理后的第一数据库,在运算时其处理方式可以为仅对第一数据库中的图像特征进行特征空间的变换,使得处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同。特征空间相同则可以理解为特征空间的维度等属性相同。
对第一数据库中的图像特征进行处理的方法还可以为,对第一数据库中的图像进行 特征融合,使得融合后的图像特包含有相似图像的特征,例如,同一个用户的不同图像之间的特征相互融合,可以为,同一用户的正面图像和侧面图像之间的特征相互融合,正面图像的图像特征中融合有侧面图像的图像特征,侧面图像的图像特征中融合有正面图像的图像特征,从而提升后续通过第一数据库进行重识别时的准确性,例如,待检测图像为用户侧面图像,需要通过第一数据库中找到该用户的正面图像,则可以通过正面图像的图像特征中包含的侧面图像的图像特征进行匹配,从而更容易找到所有的正面图像。
在一个可能的实现方式中,一种可能的对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库的方法包括:
G1、从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
G2、根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
G3、重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
对参考图像进行处理的方法可以参照前述实施例中对待检测图像进行处理获取到目标图像的方法。第一预设区域可以为通过经验值或历史数据设定,例如,人体图像中的上半身图像所在的区域等。
例如,一个用户的正面图像和侧面图像,通过上述处理后,后正面图像和和侧面图像的图像特征之间会相互融合,具体可以理解为,正面图像的图像特征中会包括有一部分侧面图像的图像特征,当然,侧面图像的图像特征中也会包括有一部分正面图像的图像特征,在具体应用时,比如,需要通过侧面图像,去匹配对应的正面图像时,则可以去匹配正面图像中包括有的侧面图像的特征数据,从而更容易找到全部对应正面图像,提升了图像匹配时的准确性和效率。
在一个可能的实现方式中,一种可能的根据所述a个第一子特征数据,从第一数据库中确定t张第一图像的方法包括:
H1、在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
H2、获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在第一数据库中获取与第一子特征数据对应的第一图像集合的方法可以是:
可以将第一数据库中的图像进行分割处理,得到与第一子特征数据对应的分割图像。例如,第一子特征数据是将待检测图像分割成2部分中的第一部分图像的特征数据,则与该第一子特征数据对应的分割图像是,将数据库中的图像分割成2部分中的第一部分的图像。对第一数据库中的图像进行分割方法与对待检测图像进行分割的方法完全相同,例 如,均为通过分割网络进行分割等。
采用第一子特征数据对应的图像与该分割图像进行相似度比对,得到对应的相似度。将相似度从高到低的K张分割图像对应的完整图像,确定为该K张图像,得到第一图像集合。
可以将a个第一图像集合的交集中的图像,确定为t张第一图像。当然也可以是将将a个第一图像集合的交集中的子集中的图像,确定为t张第一图像。
本示例中,从第一数据库中获取与a个第一子特征数据对应的a个第一图像集合,并从a个第一图像集合中获取t张第一图像,第一图像为所述a个第一图像集合中均存在的图像,因此,可以提升t张第一图像获取时的准确性。
在一个可能的实现方式中,本申请实施例还提供了一种预设的图卷积网络的训练方法,具体可以包括:
I1、获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
I2、根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
I3、根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
样本图像的近邻点集合可以理解为:根据样本图像中第二预设区域的特征数据,从第二数据库中进行匹配,以得到近邻点集合。具体可以参照前述实施例中参考图像从第一数据库中获取t张第二图像的方法,获取到第二数据库中的t张图像,将该t张图像中与第二预设区域之外的区域对应的图像特征,确定为近邻点集合。其中,第二预设区域通过经验值或历史数据设定,第二预设区域可以是与第一预设区域相同的区域,也可以是不同的。第二数据库可以与第一数据库相同,也可以与第一数据库不同,第二数据库的功能与第一数据库的功能相同,均为进行目标重识别的数据库。
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,在初始模型的交叉熵损失函数收敛时,结束训练。
在一个示例中,一种对预设的图卷积网络的训练过程如下:
数据集:使用子特征提取网络提出训练集的特征,假设有D张图片,那么最终提取出的特征集合为D×P×d,其中P是子特征的个数,d是每个子特征的维数。子特征提取网络用于提取出图像中的子特征,例如,第一子特征数据
训练过程:因为训练数据集都是全身的图片,为了让图卷积神经网络学习到如何从近邻点重建出特征,我们训练时只使用数据集中的用户上半身(第二预设区域)的子特征来搜索近邻点。在得到每个图片的近邻点集合过后,我们开始训练网络,每次取一个batch的数据,构建B×(K+1)×P×d的矩阵,对于不满K个近邻点的集合,我们用0来填充。同时,将待生成的特征(第二子特征对应的特征)放在中心,并初始化为0,如图1D所示,所以这里是K+1的大小。通过交叉熵损失函数来监督网络的训练。
请参阅图2,图2为本申请实施例提供了另一种图像处理方法的流程示意图。如图2所示,图像处理方法包括:
201、对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
202、根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
203、获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
204、根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量;
205、从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
206、根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
207、根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
本示例中,根据亲和度向量和参考特征数据集合来确定出目标特征数据,从而使得目标特征数据与t张第一图像之间的关联性更强,从而得到的目标特征数据的准确性更高。
与上述实施例一致的,请参阅图3,图3为本申请实施例提供的一种终端的结构示意图,如图所示,包括处理器、输入设备、输出设备和存储器,处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,上述程序包括用于执行以下步骤的指令;
对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
在一个可能的实现方式中,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
根据所述述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述方法还包括:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像,包括:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
在一个可能的实现方式中,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张 图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述方法还包括:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图4,图4为本申请实施例提供了一种图像处理装置的结构示意图。如图4所示,所述装置包括:
提取单元401,配置为对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
第一确定单元402,配置为根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
第二确定单元403,配置为根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
第三确定单元404,配置为根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
在一个可能的实现方式中,所述第二确定单元403具体配置为:
获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
在一个可能的实现方式中,所述第三确定单元404具体配置为:
根据所述述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述第三确定单元404具体配置为:
从所述t张第一图像中获取与第二子特征数据对应的特征数据,以得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
在一个可能的实现方式中,所述装置还配置为:
根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,在所述根据所述目标图像在所述第一数据库中进行匹配,得到与所述目标图像对应的匹配图像方面,所述装置具体配置为:
对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置具体配置为:
对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,以得到处理后的第一数据库。
在一个可能的实现方式中,在所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库方面,所述装置具体配置为:
从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
在一个可能的实现方式中,所述第一确定单元具体配置为:
在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
在一个可能的实现方式中,所述装置还配置为:
获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮 挡;
根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法 的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
工业实用性
本申请实施例提供了一种一种图像处理方法、装置、终端、计算机存储介质和计算机程序。该方法包括:对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,能够根据待检测图像中未被遮挡的人体图像进行处理,得到对应的目标图像,从而可以基于目标图像进行检索,以提升行人识别的准确性。

Claims (23)

  1. 一种图像处理方法,应用于电子设备中,所述方法包括:
    对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
    根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
    根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
    根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
  2. 根据权利要求1所述的方法,其中,所述根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量,包括:
    获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲和度向量,以得到t个子亲和度向量;
    根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
  3. 根据权利要求1或2所述的方法,其中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
    根据所述述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
    根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
  4. 根据权利要求1或2所述的方法,其中,所述根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像,包括:
    从所述t张第一图像中获取与第二子特征数据对应的特征数据,得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
    根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
    根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
  5. 根据权利要求1-4任一项所述的方法,其中,所述方法还包括:
    根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
  6. 根据权利要求5所述的方法,其中,所述根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像,包括:
    对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
    根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
  7. 根据权利要求6所述的方法,其中,所述对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
    对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,得到处理后的第一数据库。
  8. 根据权利要求6所述的方法,其中,对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,包括:
    从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
    根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
    重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
  9. 根据权利要求1-8任一项所述的方法,其中,所述根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,包括:
    在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
    获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
  10. 根据权利要求3或7所述的方法,其中,所述方法还包括:
    获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
    根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
    根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
  11. 一种图像处理装置,所述装置包括:
    提取单元,配置为对待检测图像进行特征提取,得到a个第一子特征数据,所述第一子特征数据为未被遮挡的人体图像的特征数据;
    第一确定单元,配置为根据所述a个第一子特征数据,从第一数据库中确定t张第一图像,所述第一图像包括与所述a个第一子特征数据匹配的特征数据;
    第二确定单元,配置为根据所述a个第一子特征数据和所述t张第一图像,确定所述待检测图像与所述t张第一图像之间的亲和度向量;
    第三确定单元,配置为根据所述亲和度向量和所述t张第一图像,确定与所述待检测图像对应的目标图像。
  12. 根据权利要求11所述的装置,其中,所述第二确定单元具体配置为:
    获取所述a个第一子特征数据中的每个第一子特征数据与所述t张第一图像之间的亲 和度向量,以得到t个子亲和度向量;
    根据所述t个子亲和度向量,确定所述待检测图像的亲和度向量。
  13. 根据权利要求11或12所述的装置,其中该,所述第三确定单元具体配置为:
    根据所述亲和度向量、所述t张第一图像和预设的图卷积网络,确定与第二子特征数据对应的目标特征数据,所述第二子特征数据为被遮挡的人体图像的特征数据;
    根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
  14. 根据权利要求11或12所述的装置,其中,所述第三确定单元具体配置为:
    从所述t张第一图像中获取与第二子特征数据对应的特征数据,得到参考特征数据集合,所述第二子特征数据为被遮挡的人体图像的特征数据;
    根据所述参考特征数据集合和所述亲和度向量,确定出与所述第二子特征数据对应的目标特征数据;
    根据所述目标特征数据和所述a个第一子特征数据,确定所述目标图像。
  15. 根据权利要求11至14任一项所述的装置,其中,所述装置还配置为:
    根据所述目标图像和所述第一数据库,得到与所述目标图像对应的匹配图像。
  16. 根据权利要求15所述的装置,其中,所述装置具体配置为:
    对所述第一数据库中的图像特征进行处理,得到处理后的第一数据库,所述处理后的第一数据库中的图像特征所在的特征空间与所述目标图像的特征空间相同;
    根据所述目标图像在所述处理后的第一数据库中进行匹配,得到与所述目标图像对应的匹配图像。
  17. 根据权利要求16所述的装置,其中,所述装置具体配置为:
    对所述第一数据库中的图像特征通过预设的图卷积网络进行非线性变换,得到处理后的第一数据库。
  18. 根据权利要求16所述的装置,其中,所述装置具体配置为:
    从第一数据库中获取参考图像对应的t张第二图像,所述第二图像包括与第三子特征数据匹配的特征数据,所述第三子特征数据为所述参考图像中的人体图像的第一预设区域的特征数据,所述参考图像为所述第一数据库中的任一张图像;
    根据所述第三子特征数据和所述t张第二图像,确定与所述参考图像对应的第三图像;
    重复执行获取所述第三图像的方法,直至获取到与所述第一数据库中每张图像对应的图像,以得到处理后的第一数据库。
  19. 根据权利要求11至18任一项所述的装置,其中,所述第一确定单元具体配置为:
    在第一数据库中获取与所述a个第一子特征数据中的每个第一子特征数据对应的K张图像,以得到a个第一图像集合;
    获取t张第一图像,所述第一图像为所述a个第一图像集合中均存在的图像。
  20. 根据权利要求13或17所述的装置,其中,所述装置还配置为:
    获取样本图像集合中每个样本图像的特征集合,所述样本图像中的人体图像未被遮挡;
    根据所述样本图像的特征集合,从样本图像集合中确定出每个样本图像对应的近邻点集合,所述近邻点集合是根据所述样本图像中第二预设区域的特征数据确定的;
    根据所述每个样本图像的特征集合、所述每个样本图像对应的近邻点集合,对初始模型进行调整,以得到所述预设的图卷积网络。
  21. 一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机 程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-10任一项所述的方法。
  22. 一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的方法。
  23. 一种计算机程序,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器执行用于实现权利要求1至10任一所述的方法。
PCT/CN2021/133582 2021-05-31 2021-11-26 图像处理方法、装置、终端、介质和程序 WO2022252519A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110604373.XA CN113221922B (zh) 2021-05-31 2021-05-31 图像处理方法及相关装置
CN202110604373.X 2021-05-31

Publications (1)

Publication Number Publication Date
WO2022252519A1 true WO2022252519A1 (zh) 2022-12-08

Family

ID=77081753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/133582 WO2022252519A1 (zh) 2021-05-31 2021-11-26 图像处理方法、装置、终端、介质和程序

Country Status (2)

Country Link
CN (1) CN113221922B (zh)
WO (1) WO2022252519A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391611B2 (en) * 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111310728A (zh) * 2020-03-16 2020-06-19 中国科学技术大学 基于监控相机和无线定位的行人重识别系统
CN111476277A (zh) * 2020-03-20 2020-07-31 广东光速智能设备有限公司 一种基于图像识别的报警方法及系统
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN113221922A (zh) * 2021-05-31 2021-08-06 深圳市商汤科技有限公司 图像处理方法及相关装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN109740541B (zh) * 2019-01-04 2020-08-04 重庆大学 一种行人重识别系统与方法
CN111860288B (zh) * 2020-07-16 2023-12-22 启航汽车有限公司 人脸识别方法、装置及系统、可读存储介质
CN112036266A (zh) * 2020-08-13 2020-12-04 北京迈格威科技有限公司 人脸识别方法、装置、设备及介质
CN112115866A (zh) * 2020-09-18 2020-12-22 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN112784763B (zh) * 2021-01-27 2022-07-29 南京邮电大学 基于局部与整体特征自适应融合的表情识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391611B2 (en) * 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111310728A (zh) * 2020-03-16 2020-06-19 中国科学技术大学 基于监控相机和无线定位的行人重识别系统
CN111476277A (zh) * 2020-03-20 2020-07-31 广东光速智能设备有限公司 一种基于图像识别的报警方法及系统
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN113221922A (zh) * 2021-05-31 2021-08-06 深圳市商汤科技有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
CN113221922A (zh) 2021-08-06
CN113221922B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及系统
CN111539370B (zh) 一种基于多注意力联合学习的图像行人重识别方法和系统
CN108710847B (zh) 场景识别方法、装置及电子设备
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
JP7089045B2 (ja) メディア処理方法、その関連装置及びコンピュータプログラム
CN112884073B (zh) 图像去雨方法、系统、终端及存储介质
CN110222718B (zh) 图像处理的方法及装置
CN110321761B (zh) 一种行为识别方法、终端设备及计算机可读存储介质
CN112101360B (zh) 一种目标检测方法、装置以及计算机可读存储介质
CN112070044A (zh) 一种视频物体分类方法及装置
CN112836646A (zh) 一种基于通道注意力机制的视频行人重识别方法及应用
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
CN111797971A (zh) 应用卷积神经网络进行数据处理的方法、装置和电子系统
CN114565087B (zh) 一种人物意图推理方法、装置、设备及存储介质
WO2022252519A1 (zh) 图像处理方法、装置、终端、介质和程序
CN112949765A (zh) 融合局部和全局信息的图像匹配方法
CN111191065B (zh) 一种同源图像确定方法及装置
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
Singh et al. Performance analysis of ELA-CNN model for image forgery detection
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN114445916A (zh) 一种活体检测方法、终端设备及存储介质
CN114972119A (zh) 一种图像处理方法、装置、电子设备及存储介质
Sebastian et al. Contextual pyramid attention network for building segmentation in aerial imagery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21943871

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.04.2024)