WO2021139171A1 - 人脸增强识别方法、装置、设备及存储介质 - Google Patents

人脸增强识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021139171A1
WO2021139171A1 PCT/CN2020/111265 CN2020111265W WO2021139171A1 WO 2021139171 A1 WO2021139171 A1 WO 2021139171A1 CN 2020111265 W CN2020111265 W CN 2020111265W WO 2021139171 A1 WO2021139171 A1 WO 2021139171A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature
optical flow
original
face image
Prior art date
Application number
PCT/CN2020/111265
Other languages
English (en)
French (fr)
Inventor
张展望
毛润欣
周超勇
刘玉宇
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021139171A1 publication Critical patent/WO2021139171A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • This application relates to the field of face recognition technology, and in particular to a face enhancement recognition method, device, equipment and storage medium.
  • face recognition technology has gradually been integrated from the laboratory into our Life has brought a lot of convenience to our lives, and now it is still a popular research direction and discipline, and researchers are still making more in-depth and more detailed research and development and innovation on face recognition.
  • the existing problems to be solved include: screening out the best in the image preprocessing stage. Beautiful face, high-resolution enhancement of blurred faces; training loss functions to expand the inter-class spacing and reduce the intra-class spacing; use Generative Adversarial Networks (GAN, Generative Adversarial Networks) to generate multi-pose face training data; these technologies
  • GAN Generative Adversarial Networks
  • the face recognition accuracy and model generalization ability are improved.
  • the inventor realizes that the existing face recognition technology focuses on improving the processing of static face images and the enhancement of the recognition model.
  • the face images collected by the camera have a low degree of recognition. After the face image is processed or the recognition ability of the model is improved, it is difficult to recognize a face image with a low degree of recognition.
  • the main purpose of this application is to solve the technical problem that the existing face recognition technology has low recognition ability for face images with low recognition.
  • the first aspect of the present application provides a face enhancement recognition method, including: acquiring multiple original face images with time series information in a video; sequentially evaluating the quality of each of the original face images, An original face image that meets the preset quality requirements is selected as the basic face image to be enhanced; according to the timing information, the optical flow between the basic face image and the original face images is determined respectively Feature; extract the first face feature of the basic face image, and respectively perform feature fusion on the first face feature and the optical flow features to obtain a second face feature with enhanced features; based on all State the second face feature and perform face recognition.
  • the second aspect of the present application provides a face-enhanced recognition device, including a memory, a processor, and computer-readable instructions stored on the memory and running on the processor, and the processor executes the computer
  • the following steps are implemented when the instruction is readable: acquiring multiple original face images with timing information in the video; performing quality evaluation on each of the original face images in sequence to filter an original face image that meets the preset quality requirements As the basic face image to be enhanced; according to the timing information, determine the optical flow characteristics between the basic face image and the original face images; extract the first face of the basic face image Feature, and perform feature fusion on the first face feature and the optical flow features respectively to obtain a feature-enhanced second face feature; and perform face recognition based on the second face feature.
  • the third aspect of the present application provides a computer-readable storage medium, the computer-readable storage medium stores computer instructions, and when the computer instructions run on the computer, the computer executes the following steps: obtaining a video with time sequence Multiple original face images of information; sequentially evaluate the quality of each of the original face images to filter an original face image that meets the preset quality requirements as the basic face image to be enhanced; according to the time sequence Information, respectively determine the optical flow features between the basic face image and the original face images; extract the first face feature of the basic face image, and compare the first face feature with the Perform feature fusion of the optical flow features to obtain a feature-enhanced second face feature; and perform face recognition based on the second face feature.
  • the fourth aspect of the present application provides a face enhancement recognition device, including: an acquisition module for acquiring multiple original face images with timing information in a video; a quality evaluation module for sequentially comparing each primitive person Face image quality evaluation is performed to filter an original face image that meets the preset quality requirements as the basic face image to be enhanced; the feature matching module is used to determine the basic face image and the basic face image according to the timing information.
  • the optical flow features between the original face images; the feature fusion module is used to extract the first face feature of the basic face image, and compare the first face feature with the optical flow Feature fusion is performed to obtain a second face feature with enhanced features; a face recognition module is used to perform face recognition based on the second face feature.
  • multiple original face images with timing information are acquired in a video, and then the quality of the original face images is evaluated to filter out an original face image that meets the preset quality requirements as The basic face image to be enhanced; then determine the optical flow characteristics of other original face images and the basic face image to be enhanced according to time sequence; by fusing the optical flow characteristics with the first face feature of the basic face image itself, That is, the face features of other original face images and the first face feature are fused together to obtain the enhanced second face feature, which can be used for face recognition.
  • the present application realizes the feature enhancement of the face image with low recognition degree and the enhancement of the recognition ability of the face image with low recognition degree.
  • FIG. 1 is a schematic diagram of a first embodiment of a face enhancement recognition method in an embodiment of this application;
  • FIG. 2 is a schematic diagram of a second embodiment of a face enhancement recognition method in an embodiment of this application.
  • FIG. 3 is a schematic diagram of a third embodiment of a face enhancement recognition method in an embodiment of this application.
  • FIG. 4 is a schematic diagram of a fourth embodiment of a face enhancement recognition method in an embodiment of this application.
  • FIG. 5 is a schematic diagram of an embodiment of a face enhancement recognition device in an embodiment of the application.
  • FIG. 6 is a schematic diagram of another embodiment of a face enhancement recognition device in an embodiment of this application.
  • FIG. 7 is a schematic diagram of an embodiment of a face enhancement recognition device in an embodiment of the application.
  • the embodiments of the present application provide a face enhancement recognition method, device, equipment, and storage medium.
  • the face enhancement recognition method includes acquiring multiple original face images with timing information in a video; Perform quality evaluation to filter an original face image that meets the preset quality requirements as the basic face image to be enhanced; determine the optical flow between the basic face image and each original face image according to the timing information Features; extract the first face feature of the basic face image, and separately perform feature fusion on the first face feature and each optical flow feature to obtain the second face feature after feature enhancement; based on the second face feature, perform Face recognition.
  • the present application realizes the feature enhancement of the face image with low recognition degree and the enhancement of the recognition ability of the face image with low recognition degree.
  • An embodiment of the face enhancement recognition method in the embodiment of the present application includes:
  • the face enhancement recognition method includes:
  • the execution subject of the present application may be a face enhancement recognition device, and may also be a terminal or a server, which is not specifically limited here.
  • the embodiment of the present application takes the server as the execution subject as an example for description. It should be emphasized that, in order to further ensure the privacy and security of the original face image, the original face image may also be stored in a node of a blockchain.
  • the face-recognized object is dynamically monitored by the camera to obtain a video of the monitored object, and then a certain number of original face images are randomly intercepted from the video to be used for facial feature enhancement.
  • the time sequence information of the intercepted original face image needs to be retained, and the intercepted original face image may have recognition problems such as image blur, face occlusion, wearing glasses, wearing a hat and mask, and large profile faces.
  • an original face image that meets the preset quality requirements is selected from the original face image as the basic face image to be enhanced, and the preset quality requirements include whether It is the front face, whether the shooting is complete, whether there are obstructions, the area size, definition, and resolution of obstructions.
  • the original face image with the best quality as the basic face image Preferably, we select the original face image with the best quality as the basic face image.
  • the optical flow characteristics of the basic face image and the original face image are sequentially determined, and the basic face image is repaired through the optical flow characteristics, so that the subject should have but the basic face image
  • the basic face image and the original face image have partial face overlaps.
  • the optical flow feature is not limited to the overlapped part of the face.
  • the process of determining the basic face image and the original face image is as follows:
  • the optical flow characteristics can also be visualized, such as using colors to indicate different directions of motion, and color shades to indicate the speed of motion to build a foundation A visual image of the optical flow characteristics of the face image relative to the original face image.
  • the first face feature of the basic face image it is sufficient to extract the first face feature of the basic face image through a conventional face feature extraction method.
  • the face feature extraction method is already a mature technology in the field and will not be repeated here.
  • the position coordinates corresponding to the same feature are found in the basic face image, and the feature values are superimposed to complete the fusion of the first face feature and the optical flow feature.
  • the corresponding face feature position in the basic face image is I j (x 2 , y 2 )
  • the corresponding face feature position in the basic face image is I j (x 2 , y 2 )
  • Get the corresponding fusion feature When the first face feature is merged with all optical flow features, the second face feature with enhanced features can be obtained.
  • the optical flow feature not only enhances the first face feature, but also repairs other face features not included in the first face feature, mainly because the basic face image does not capture all the faces. , There are some human faces in a blind spot where they cannot be photographed. Therefore, the basic face image is fully enhanced by other original face images.
  • the second face feature includes comprehensive face enhancement features of the monitored subject’s face.
  • the basic face image includes face features A, B, and C, where face feature A is clear and face feature is clear. B and C are blurred; the face feature B of the original face image 1 is clear, and the face features A and C are blurred; the face feature C of the original face image 1 is clear, and the face features A and B are blurred, passing the original face image 1 It can enhance the face feature B in the basic face image, and the original face image 2 can enhance the face feature C in the basic face image. That is, in the second face feature after the feature fusion, the face features A, B, and C are all clear for face recognition.
  • multiple original face images with timing information are acquired in the video, and then the quality of the original face images is evaluated to filter out an original face image that meets the preset quality requirements as the to-be-enhanced original face image.
  • the basic face image determines the optical flow characteristics of other original face images and the basic face image to be enhanced according to the time sequence; by fusing the optical flow characteristics with the first face feature of the basic face image itself, you can The face features of other original face images are fused with the first face feature to obtain an enhanced second face feature for face recognition.
  • the present application realizes the feature enhancement of the face image with low recognition degree and the enhancement of the recognition ability of the face image with low recognition degree.
  • the second embodiment of the face enhancement recognition method in the embodiment of the present application includes:
  • the timing information shows that the original face image was captured before the basic face image
  • the face in the image moves from the corresponding frame of the original face image to the corresponding frame of the basic face image
  • the timing information shows the original person
  • the face image is captured after the basic face image, and the face in the image is moved from the corresponding frame of the basic face image to the corresponding frame of the original face image.
  • the facial feature K is at the position I i (x 1 , y 1 ) in the original face image labeled t_i, and at the position I j (x 2 , y 2 ) in the basic face image labeled t_j; If j>i, the facial feature K in the original face image is at the position I ij (x 2 -x 1 , y 2 -y 1 ) in the basic face image.
  • the face pose change is represented by the spatial position relationship of each pixel in the original face image and the basic face image, forming a matrix of n*m, where n represents the number of pixel rows of the image, and m represents the pixels of the image The number of columns, where the positions where the two do not overlap are recorded as 0.
  • the face pose change from the t_i original face image to the t_j basic face image can be represented by the face pose change from the i-th frame image to the j-th frame image in the surveillance video, and the j-th frame image ( That is, the t_j basic face image) is used as a reference, and the optical flow field (i>j) from the t_i original face image to the basic face image (i ⁇ j) or the basic face image to the t_i original face image (i>j) is extracted respectively, where ,
  • the optical flow field is composed of a horizontal optical flow component H and a vertical optical flow component V, and both the horizontal optical flow component H and the vertical optical flow component V are represented by a matrix of n*m.
  • the person in the original face image is determined
  • the pixel position of the face feature is represented by (N, M); then the gradient value of the horizontal optical flow component and the vertical optical flow component of the (N, M) pixel position on the two-dimensional coordinate is extracted.
  • the gradient value calculation method is as follows:
  • V (x) N, M and V (y) N M is calculated (N, M) pixels in the horizontal position of the optical flow component V N, M gradient magnitude M (V) N, M, formula is as follows:
  • optical flow gradient amplitude histogram Bt of the original face image of t_i is calculated by M N,M, and the formula is as follows:
  • c is the number of groups contained in the optical flow gradient amplitude histogram Bt
  • b r is the frequency of the rth group
  • the optical flow gradient amplitude histogram Bt is taken as the (N, M) pixel in the original face image
  • the optical flow gradient characteristics of each face feature of an original face image relative to the basic face image can be calculated, and the optical flow gradient of each original face image relative to the basic face image feature.
  • optical flow gradient characteristics respectively determine the characteristic regions between the basic face image and the original face images
  • the operation steps for determining the feature area between the basic face image and the original face image through the optical flow gradient feature are as follows:
  • the optical flow gradient feature distance is represented by the Euclidean distance.
  • the Euclidean distance By calculating the Euclidean distance between the basic face image and the original face image, it is judged that the face feature is from the original face image to the basic face image according to the optical flow gradient feature. Whether the predicted position of the face image is the same as the actual position of the face feature in the basic face image. If yes, determine that the coordinate position corresponding to the face feature is the feature area between the basic face image and the corresponding original face image, otherwise adjust the position coordinates of the corresponding face feature until the optical flow gradient feature distance is less than the preset feature The condition of the distance threshold.
  • the pixel coordinates of the inter-frame difference optical flow field are determined according to the region coordinates containing the facial features, and the optical flow characteristics corresponding to the facial feature region can be calculated through step S206.
  • the first face feature of the basic face image is repaired by the optical flow characteristics of multiple original face images.
  • the original face image is less recognizable from the basic face image
  • the basic face image In the face image, the local facial features with relatively low recognition degree are strengthened to make them more obvious, and the local facial features that cannot be photographed are supplemented to make the facial features of the monitored object more comprehensive and optimize the face recognition effect.
  • the third embodiment of the face enhancement recognition method in the embodiment of the present application includes:
  • feature extraction is performed on the original face image through a preset feature extraction algorithm to obtain a corresponding feature vector, where the feature vector is LBP (Local Binary Pattern, local binary pattern) feature or HOG ( Directional gradient histogram, Histogram of Oriented Gradient) feature, preferably, the LBP feature is selected as the feature vector of the original face image.
  • LBP Local Binary Pattern, local binary pattern
  • HOG Directional gradient histogram, Histogram of Oriented Gradient
  • a large number of face images are used as training samples to pre-train face quality assessment classifiers, including MLP (Multi-Layer Perceptron, Multi-Layer Perceptron) classifiers or SVM (Support Vector Machine, Support Vector Machine) classification
  • MLP Multi-Layer Perceptron, Multi-Layer Perceptron
  • SVM Small Vector Machine, Support Vector Machine
  • the quality evaluation results here include the image size, definition, resolution, and face angle of the original face image.
  • the quality evaluation result determine an original face image that meets the preset quality requirements as the basic face image to be enhanced, and sort the original face images to obtain the original face image sorting result ;
  • the preset quality requirements specify conditions that should be met as a basic face image, including image size, definition, resolution, face angle, and so on.
  • the quality requirements are sequentially verified according to the time sequence information. If the quality evaluation result meets the preset quality requirements, the corresponding original face image will be used as the basic face image and stop at the same time. Verify that the subsequent original face images meet the preset quality requirements; or sort all the original face images according to the quality evaluation results, and then select the original face image with the highest quality evaluation score as the basic person from the original face images Face image.
  • the original face image with the highest quality evaluation score is used as the basic face image.
  • the quality evaluation result is not only used to filter out the basic face image to be enhanced from the original face image, but also used to filter out the useless basic face image. Before filtering, sort the original face images.
  • the quality evaluation score of the original face image should be low, and the original face If useful feature information is extracted from the face image, such as optical flow feature, the original face image can be eliminated directly, reducing the amount of calculation.
  • all the original face images are not required to complete the repair of the first face feature corresponding to the basic face image, so as to meet the requirements of face recognition.
  • only a certain number of optical flow features corresponding to the local features of the original face image are needed to repair the first face feature corresponding to the basic face image to complete the enhancement of the first face feature.
  • a second face feature sufficient for face recognition. Therefore, only the preset number of original face images with the highest quality evaluation score can be used here, and other original face images with lower quality can be filtered out.
  • the better or even the best original face image is selected from multiple original face images as the basic face image through quality evaluation, and some useless original face images are filtered out to reduce the calculation of feature enhancement Increase the amount of features to enhance efficiency.
  • the fourth embodiment of the face enhancement recognition method in the embodiment of the present application includes:
  • optical flow features are conducive to face recognition. Therefore, before fusing the optical flow features to the first face feature, the optical flow features need to be filtered to determine the ones that are conducive to distinguishing the monitored object.
  • Optical flow characteristics Preferably, a soft attention mechanism (soft Attention) can be used to filter the optical flow characteristics.
  • ⁇ i is the attention distribution of the optical flow feature
  • s(X i , q) is the attention scoring function
  • q is the corresponding optical flow feature.
  • W is the scoring weight of the i-th input information.
  • the input information X is encoded through the information rotation mechanism, as shown in detail below:
  • Att(q,X) is the attention score of the optical flow feature, and the mode is calculated by the key value.
  • the weighted average score threshold is set.
  • the availability of the filtered optical flow features is higher, and the number of optical flow features is less.
  • the weighted average score threshold is lower, the filtered optical flow features are more usable. The lower the availability of the flow feature, the more the number of optical flow features. In actual application scenarios, specific settings can be made according to the captured face image. By comparing the weighted average score with the weighted average score threshold, the optical flow characteristics that meet the conditions of face recognition are determined.
  • the weighted average score of the optical flow feature when the weighted average score of the optical flow feature is higher than the weighted average score threshold, it indicates that the optical flow feature is useful for face recognition.
  • the optical flow feature is fused with the first face feature to compare the first Face features are enhanced; otherwise, useless optical flow features are deleted.
  • the optical flow features useful for face recognition are filtered through the soft attention mechanism, which reduces the subsequent fusion process of optical flow features and the first face feature, and at the same time reduces the noise impact of useless optical flow features, and increases The efficiency of feature enhancement and the improvement of the quality of feature enhancement.
  • an embodiment of the face enhancement recognition device in the embodiment of the application includes:
  • the acquiring module 501 is configured to acquire multiple original face images with timing information in the video;
  • the quality evaluation module 502 is configured to sequentially evaluate the quality of the original face images, so as to select an original face image that meets the preset quality requirements as a basic face image to be enhanced;
  • the feature matching module 503 is configured to determine the optical flow features between the basic face image and the original face images according to the timing information
  • the feature fusion module 504 is used to extract the first face feature of the basic face image, and respectively perform feature fusion on the first face feature and the optical flow features to obtain a second person with enhanced features Facial features
  • the face recognition module 505 is configured to perform face recognition based on the second face feature.
  • multiple original face images with timing information are acquired in the video, and then the quality of the original face images is evaluated to filter out an original face image that meets the preset quality requirements as the to-be-enhanced original face image.
  • the basic face image determines the optical flow characteristics of other original face images and the basic face image to be enhanced according to the time sequence; by fusing the optical flow characteristics with the first face feature of the basic face image itself, you can The face features of other original face images are fused with the first face feature to obtain an enhanced second face feature for face recognition.
  • the present application realizes the feature enhancement of the face image with low recognition degree and the enhancement of the recognition ability of the face image with low recognition degree.
  • FIG. 6 another embodiment of the face enhancement recognition device in the embodiment of the present application includes:
  • the acquiring module 501 is configured to acquire multiple original face images with timing information in the video;
  • the quality evaluation module 502 is configured to sequentially evaluate the quality of the original face images, so as to select an original face image that meets the preset quality requirements as a basic face image to be enhanced;
  • the feature matching module 503 is configured to determine the optical flow features between the basic face image and the original face images according to the timing information
  • the feature fusion module 504 is used to extract the first face feature of the basic face image, and respectively perform feature fusion on the first face feature and the optical flow features to obtain a second person with enhanced features Facial features
  • the face recognition module 505 is configured to perform face recognition based on the second face feature.
  • the quality assessment module 502 includes:
  • the first extraction unit 5021 is configured to extract the feature vector corresponding to each of the original face images
  • the quality evaluation unit 5022 is configured to input the feature vector into a preset face quality evaluation classifier, and output a quality evaluation result of each of the face images through the face quality evaluation classifier;
  • the screening unit 5023 is configured to determine, according to the quality evaluation result, an original face image that meets the preset quality requirements as the basic face image to be enhanced.
  • the feature matching module 503 includes:
  • the first calculation unit 5031 is configured to respectively determine the spatial position relationship between the basic face image and the original face images according to the time sequence information
  • the simulation unit 5032 is configured to respectively determine the face pose changes of the basic face image relative to the original face images according to the spatial position relationship;
  • the matching unit 5033 is configured to determine the optical flow characteristics between the basic face image and the original face images according to the face pose change.
  • the matching unit 5033 includes:
  • the first extraction subunit 50331 is configured to extract the inter-frame difference optical flow fields of the basic face image and the original face images according to the face pose change;
  • the second extraction subunit 50332 is configured to extract the optical flow gradient features of the basic face image and the original face images according to the inter-frame difference optical flow field;
  • the positioning sub-unit 50333 is configured to respectively determine the characteristic regions between the basic face image and the original face images according to the optical flow gradient characteristics
  • the matching subunit 50334 is configured to determine the optical flow characteristics between the basic face image and the original face images based on the characteristic region.
  • the positioning subunit 50333 is also used for:
  • the feature fusion module 504 includes:
  • the second calculation unit 5041 is configured to calculate the attention distribution of each optical flow feature; respectively calculate the weighted average score of each optical flow feature according to the attention distribution;
  • the judging unit 5042 is configured to determine the optical flow feature whose weighted average score is less than the weighted average score threshold according to the weighted average score and the preset weighted average score threshold;
  • the generating unit 5043 is configured to perform feature fusion between the first face feature and the determined optical flow feature whose weighted average score is less than the weighted average score threshold to obtain a second face feature with enhanced features.
  • the face enhancement recognition device further includes a filtering module 506, configured to sort the original face images according to the quality assessment result to obtain the original face image sorting result; In the image sorting result, the preset number of original face images in the top row are filtered out.
  • a filtering module 506 configured to sort the original face images according to the quality assessment result to obtain the original face image sorting result; In the image sorting result, the preset number of original face images in the top row are filtered out.
  • multiple original face images with timing information are acquired in the video, and then the quality of the original face images is evaluated to filter out an original face image that meets the preset quality requirements as the to-be-enhanced original face image.
  • the basic face image determines the optical flow characteristics of other original face images and the basic face image to be enhanced according to the time sequence; by fusing the optical flow characteristics with the first face feature of the basic face image itself, you can The face features of other original face images are fused with the first face feature to obtain an enhanced second face feature for face recognition.
  • This application realizes the feature enhancement of the face image with low recognition degree and the enhancement of the recognition ability of the face image with low recognition degree; the optical flow characteristics of multiple original face images are used to compare the first face of the basic face image.
  • Feature repair When the original face image is less recognizable from the basic face image, the local facial features that are less recognizable in the basic face image are enhanced to make them more obvious.
  • the face features are supplemented to make the face features of the monitored object more comprehensive and optimize the face recognition effect; through quality evaluation, select the better or even the best original face image from multiple original face images as the basic face image , And filter out some useless original face images, reduce the amount of calculation of feature enhancement, and increase the efficiency of feature enhancement; use the soft attention mechanism to filter the optical flow features useful for face recognition, and reduce the subsequent optical flow features and the first
  • the fusion process of facial features reduces the noise impact of useless optical flow features, increases the efficiency of feature enhancement, and improves the quality of feature enhancement.
  • FIGS 5 and 6 above describe the face enhancement recognition device in the embodiment of the present application in detail from the perspective of modular functional entities, and the following describes the face enhancement recognition device in the embodiment of the application in detail from the perspective of hardware processing.
  • FIG. 7 is a schematic structural diagram of a face enhancement recognition device provided by an embodiment of the present application.
  • the face enhancement recognition device 700 may have relatively large differences due to different configurations or performance, and may include one or more processors (central Processing units, CPU) 710 (for example, one or more processors) and memory 720, and one or more storage media 730 for storing application programs 733 or data 732 (for example, one or one storage device with a large amount of storage).
  • the memory 720 and the storage medium 730 may be short-term storage or persistent storage.
  • the program stored in the storage medium 730 may include one or more modules (not shown in the figure), and each module may include a series of instruction operations on the face enhancement recognition device 700.
  • the processor 710 may be configured to communicate with the storage medium 730, and execute a series of instruction operations in the storage medium 730 on the face enhancement recognition device 700.
  • the face enhancement recognition device 700 may also include one or more power supplies 740, one or more wired or wireless network interfaces 750, one or more input and output interfaces 760, and/or one or more operating systems 731, such as Windows Serve, Mac OS X, Unix, Linux, FreeBSD, etc.
  • operating systems 731 such as Windows Serve, Mac OS X, Unix, Linux, FreeBSD, etc.
  • the present application also provides a face enhancement recognition device, including: a memory and at least one processor, the memory stores instructions, the memory and the at least one processor are interconnected through a wire; the at least one processor Invoke the instructions in the memory, so that the face enhanced recognition device executes the steps in the aforementioned face enhanced recognition method.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium may be a non-volatile computer-readable storage medium or a volatile computer-readable storage medium.
  • the computer-readable storage medium stores computer instructions, and when the computer instructions are executed on the computer, the computer executes the following steps:
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , Including several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (read-only memory, ROM), random access memory (random access memory, RAM), magnetic disk or optical disk and other media that can store program code .
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种人脸增强识别方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：获取视频中具有时序信息的多张原始人脸图像（101）；依序对各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像（102）；根据时序信息，分别确定所述基础人脸图像与各原始人脸图像之间的光流特征（103）；提取基础人脸图像的第一人脸特征，并分别对第一人脸特征与各光流特征进行特征融合，得到特征增强后的第二人脸特征（104）；基于第二人脸特征，进行人脸识别（105）。还涉及区块链技术，所述原始人脸图像存储于区块链中。实现了对辨识度低的人脸图像的特征增强与对辨识度低的人脸图像的识别能力。

Description

人脸增强识别方法、装置、设备及存储介质
本申请要求于2020年7月28日提交中国专利局、申请号为202010738408.4、发明名称为“人脸增强识别方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种人脸增强识别方法、装置、设备及存储介质。
背景技术
当今社会，随着人脸识别技术的高速发展，在不同的领域取得了不错的成绩，如门禁、支付、银行会员识别及智能安防等方面，人脸识别技术渐渐地从实验室融入到了我们的生活，为我们的生活带来了很多的便捷，而现在仍作为热门的研究方向与学科，科研人员还在对人脸识别作更深入、更细致的研发与创新。
目前，在针对辨识度比较低的人脸图像进行识别时，比如图像模糊、人脸遮挡、戴眼镜、戴帽子口罩和大侧脸，现有的解决问题包括：在图像预处理阶段筛选出最佳人脸，对模糊人脸进行高分辨增强；通过训练损失函数以扩大类间间距与缩小类内间距；通过生成式对抗网络(GAN,Generative Adversarial Networks)生成多姿态人脸训练数据；这些技术最终都提升人脸识别精度和模型泛化能力。发明人意识到，现有人脸识别技术集中在对静态人脸图像的处理与识别模型的增强上面进行改进，而在现实应用场景中，摄像机采集到的人脸图像本身辨识度较低，静态人脸图像经过处理或者提升模型的识别能力，都难以对辨识度低的人脸图像进行识别。
发明内容
本申请的主要目的在于解决现有人脸识别技术对辨识度低的人脸图像识别能力低的技术问题。
为实现上述目的，本申请第一方面提供了一种人脸增强识别方法，包括：获取视频中具有时序信息的多张原始人脸图像；依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于所述第二人脸特征，进行人脸识别。
本申请第二方面提供了一种人脸增强识别设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：获取视频中具有时序信息的多张原始人脸图像；依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于所述第二人脸特征，进行人脸识别。
本申请第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：获取视频中具有时序信息的多张原始人脸图像；依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特 征增强后的第二人脸特征；基于所述第二人脸特征，进行人脸识别。
本申请第四方面提供了一种人脸增强识别装置，包括：获取模块，用于获取视频中具有时序信息的多张原始人脸图像；质量评估模块，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；特征匹配模块，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；特征融合模块，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；人脸识别模块，用于基于所述第二人脸特征，进行人脸识别。
本申请提供的技术方案中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本申请实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
附图说明
图1为本申请实施例中人脸增强识别方法的第一个实施例示意图；
图2为本申请实施例中人脸增强识别方法的第二个实施例示意图；
图3为本申请实施例中人脸增强识别方法的第三个实施例示意图；
图4为本申请实施例中人脸增强识别方法的第四个实施例示意图；
图5为本申请实施例中人脸增强识别装置的一个实施例示意图；
图6为本申请实施例中人脸增强识别装置的另一个实施例示意图；
图7为本申请实施例中人脸增强识别设备的一个实施例示意图。
具体实施方式
本申请实施例提供了一种人脸增强识别方法、装置、设备及存储介质，该人脸增强识别方法包括获取视频中具有时序信息的多张原始人脸图像；依序对各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；根据时序信息，分别确定所述基础人脸图像与各原始人脸图像之间的光流特征；提取基础人脸图像的第一人脸特征，并分别对第一人脸特征与各光流特征进行特征融合，得到特征增强后的第二人脸特征；基于第二人脸特征，进行人脸识别。本申请实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例进行描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本申请实施例的具体流程进行描述，请参阅图1，本申请实施例中人脸增强识别方法的一个实施例包括：
在一实施例中，该人脸增强识别方法包括：
101、获取视频中具有时序信息的多张原始人脸图像；
可以理解的是，本申请的执行主体可以为人脸增强识别装置，还可以是终端或者服务器，具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述原始人脸图像的私密和安全性，上述原始人脸图像还可以存储于一区块链的节点中。
本实施例中，通过摄像机动态监控人脸识别的对象，得到监控对象的视频，然后随机在视频中截取若干数量的原始人脸图像，以用于人脸特征增强。其中，对截取的原始人脸图像需保留其时序信息，且截取的原始人脸图像可以存在图像模糊、人脸遮挡、戴眼镜、戴帽子口罩和大侧脸等辨识度问题。
具体的，为每一个人赋予唯一的身份ID，以进行跟踪拍摄，然后对拍摄到的原始人脸图像根据时序信息进行排序，比如截取到K张人脸图片，则分别以t_i进行表示，其中i＝1,2,3......K。
102、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
本实施例中，在对原始人脸图像进行特征增强之前，先从中筛选出一张符合预设质量要求的原始人脸图像，以作为待增强的基础人脸图像，而预设质量要求包括是否为正脸、是否拍摄完整、是否有遮挡物、遮挡物的区域大小、清晰度、分辨率。优选地，我们选择质量最优的原始人脸图像作为基础人脸图像。
需注意的是，此处选择的是在拍摄到的所有原始人脸图像中质量最优的，亦存在本身质量最优的原始人脸图像辨识度低的问题，而此情况在亦适用于本申请方法。
103、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
本实施例中，根据时序信息，依次确定基础人脸图像与原始人脸图像的光流特征，通过光流特征对基础人脸图像进行特征修补，从而将拍摄对象本应该有而基础人脸图像没有拍摄到的或拍摄不清晰的特征补全，其中，光流特征以光流图进行表示。基础人脸图像与原始人脸图像中有部分的人脸重叠，此处光流特征并不限于人脸重叠的部分，在进行人脸监控时，镜头始终保持不变，故人脸特征在基础人脸图像与原始人脸图像之间移动，即处于两张图片的不同帧与不同坐标位置。
具体的，基础人脸图像与原始人脸图像的确定过程如下所示：
(1)确定标号为t_i的原始人脸图像中的人脸特征A，其中，人脸特征A的坐标为I i(x 1，y 1)；
(2)从标号为t_j的基础人脸图像中找到特征A，并确定特征A的坐标为I j(x 2，y 2)；
(3)当i＜j时，计算特征A从原始人脸图像到基础人脸图像的像素运动速度与像素运动方向，以I i-j(u x，u y)表示；
(4)在原始人脸图像中，提取I n(x 2-u x，y 2-u y)位置的特征值，即可得到基础人脸图像与该原始人脸图像的光流特征；
(5)当i＞j时，则计算特征A从基础人脸图像到原始人脸图像的像素运动速度与像素运动方向，以I j-i(u` x，u` y)表示。
(6)在原始人脸图像中，提取I i(x 2+u` x，y 2+u` y)位置的特征值，即可得到基础人脸图像与该原始人脸图像的光流特征。
其中，在得到基础人脸图像与原始人脸图像之间的光流特征之后，亦可对光流特征进行可视化处理，比如以颜色表示不同的运动方向，以颜色深浅表示运动的速度构建出基础人脸图像相对于原始人脸图像的光流特征可视化图像。
104、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
本实施例中，通过常规的人脸特征提取方法提取基础人脸图像的第一人脸特征即可，人脸特征提取方法在本领域已为成熟的技术，此处不再赘述。然后根据提取到的光流特征，在基础人脸图像中找到相同的特征对应的位置坐标，进行特征值的叠加即可完成第一人脸特征与光流特征的融合。
比如，对于在原始人脸图像中的I i(x 2-u x，y 2-u y)位置的特征值，在基础人脸图像中对应的人脸特征位置为I j(x 2，y 2)，将原始人脸图像I i(x 2-u x，y 2-u y)位置的特征值与基础人脸图像I j(x 2，y 2)位置的特征值进行叠加，即可得到对应的融合特征。当第一人脸特征与所有的光流特征融合完毕，即可得到特征增强后的第二人脸特征。
需注意的是，光流特征不仅对第一人脸特征进行增强，还修补了第一人脸特征没有包含的其他人脸特征，主要是由于基础人脸图像并没有将全部人脸都拍摄进去，还有局部人脸处于拍摄死角，无法被拍摄到。故通过其他的原始人脸图像对基础人脸图像作全面的增强。
105、基于所述第二人脸特征，进行人脸识别。
本实施例中，第二人脸特征中包含监控对象脸部全面的人脸增强特征，比如基础人脸图像中包含人脸特征A、B、C，其中，人脸特征A清晰、人脸特征B、C模糊；原始人脸图像1的人脸特征B清晰、人脸特征A、C模糊；原始人脸图像1的人脸特征C清晰、人脸特征A、B模糊，通过原始人脸图像1可增强基础人脸图像中的人脸特征B，通过原始人脸图像2可增强基础人脸图像中的人脸特征C。即特征融合后的第二人脸特征中，人脸特征A、B、C均清晰，以进行人脸识别。
本申请实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本申请实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
请参阅图2，本申请实施例中人脸增强识别方法的第二个实施例包括：
201、获取视频中具有时序信息的多张原始人脸图像；
202、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
203、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
本实施例中，若时序信息显示原始人脸图像在基础人脸图像之前截取，则图像中人脸从原始人脸图像的对应帧移动至基础人脸图像的对应帧；若时序信息显示原始人脸图像在基础人脸图像之后截取，则图像中人脸从基础人脸图像的对应帧移动至原始人脸图像的对应帧。
比如人脸特征K在标号为t_i的原始人脸图像中的I i(x 1，y 1)位置，并在标号为t_j的基础人脸图像中的I j(x 2，y 2)位置；若j＞i，则原始人脸图像中的人脸特征K在基础人脸图像中的I i-j(x 2-x 1，y 2-y 1)位置。
204、根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
本实施例中，人脸姿态变化以原始人脸图像与基础人脸图像中每一像素的空间位置关 系进行表示，形成n*m的矩阵，n表示图像的像素行数，m表示图像的像素列数，其中，两者不重叠的位置以0记录。
205、根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
本实施例中，t_i原始人脸图像到t_j基础人脸图像的人脸姿态变化可以用监控视频中的第i帧图像到第j帧图像的人脸姿态变化进行表示，以第j帧图像(即t_j基础人脸图像)为参照，分别提取t_i原始人脸图像到基础人脸图像(i＜j)，或基础人脸图像到t_i原始人脸图像的光流场(i＞j)，其中，光流场由水平光流分量H与垂直光流分量V组成，且水平光流分量H与垂直光流分量V均由n*m的矩阵表示。
206、根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
本实施例中，根据t_i原始人脸图像到基础人脸图像(i＜j)，或基础人脸图像到t_i原始人脸图像的光流场(i＞j)，确定原始人脸图像中人脸特征的像素位置，以(N，M)表示；然后提取(N，M)像素位置的水平光流分量与垂直光流分量在二维坐标上的梯度值，梯度值计算方式如下所示：
(1)(N,M)位置像素的水平光流分量H N,M在x方向的梯度值H(x) N,M，H(x) N,M的计算方式如下所示：
Figure PCTCN2020111265-appb-000001
(2)(N,M)位置像素的水平光流分量H N,M在y方向的梯度值H(y) N,M，H(y) N,M的计算方式如下所示：
Figure PCTCN2020111265-appb-000002
(3)(N,M)位置像素的垂直光流分量V N,M在x方向的梯度值V(x) N,M，V(x) N,M的计算方式如下所示：
Figure PCTCN2020111265-appb-000003
(4)(N,M)位置像素的垂直光流分量V N,M在y方向的梯度值V(y) N,M，V(y) N,M的计算方式如下所示：
Figure PCTCN2020111265-appb-000004
然后通过H(x) N,M与H(y) N,M计算(N,M)位置像素的水平光流分量H N,M的梯度幅值 M(H) N,M，公式如下所示：
Figure PCTCN2020111265-appb-000005
通过V(x) N,M与V(y) N,M计算(N,M)位置像素的水平光流分量V N,M的梯度幅值M(V) N,M，公式如下所示：
Figure PCTCN2020111265-appb-000006
通过最后通过M(H) N,M与M(V) N,M计算(N,M)像素位置人脸特征的光流梯度幅值M N,M，公式如下所示：
Figure PCTCN2020111265-appb-000007
通过M N,M计算出t_i原始人脸图像的光流梯度幅值直方图Bt，公式如下所示：
Bt＝{b 1,b 2......b r......b c}；
其中，c为光流梯度幅值直方图Bt中包含的组数，b r为第r个组的频数，将光流梯度幅值直方图Bt作为原始人脸图像中位于(N,M)像素的人脸特征相对于基础人脸图像的光流梯度特征。
通过上述方法，即可计算出一张原始人脸图像相对于基础人脸图像的每一个人脸特征的光流梯度特征，以及每一张原始人脸图像相对于基础人脸图像的光流梯度特征。
207、根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
具体的，通过光流梯度特征，确定基础人脸图像与原始人脸图像之间的特征区域的操作步骤如下所示：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤；
本实施例中，光流梯度特征距离以欧式距离进行表示，通过计算基础人脸图像与原始人脸图像之间的欧式距离，判断人脸特征按照光流梯度特征从该原始人脸图像到基础人脸图像的预测位置，是否与该人脸特征在基础人脸图像的实际位置相同。若是，则确定该人脸特征对应的坐标位置为基础人脸图像与对应原始人脸图像之间的特征区域，否则调整对应人脸特征的位置坐标，直到满足光流梯度特征距离小于预设特征距离阈值的条件。
208、基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
本实施例中，根据包含人脸特征的区域坐标，确定帧间差光流场的像素坐标，通过步骤S206即可计算出该人脸特征区域对应的光流特征。
209、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
210、基于所述第二人脸特征，进行人脸识别。
本申请实施例中，通过多张原始人脸图像的光流特征对基础人脸图像的第一人脸特征进行修补，当原始人脸图像于基础人脸图像辨识度都较低时，对于基础人脸图像中辨识度 比较低的局部人脸特征进行强化，使其更明显，对于拍摄不到的局部人脸特征进行补充，使监控对象的人脸特征更全面，优化其人脸识别效果。
请参阅图3，本申请实施例中人脸增强识别方法的第三个实施例包括：
301、获取视频中具有时序信息的多张原始人脸图像；
302、提取所述各原始人脸图像对应的特征向量；
本实施例中，通过预设的特征提取算法，对原始人脸图像进行特征提取，得到对应的特征向量，其中，所述特征向量为LBP(Local Binary Pattern，局部二值模式)特征或HOG(方向梯度直方图，Histogram of Oriented Gradient)特征，优选的，选择LBP特作为原始人脸图像的特征向量。
303、将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
本实施例中，通过大量的人脸图像作为训练样本预先训练人脸质量评估分类器，包括MLP(Multi-Layer Perceptron，多层感知器)分类器或SVM(支持向量机，Support Vector Machine)分类器，此处直接将原始人脸图像的特征向量输入训练好的人脸质量评估分类器即可。此处质量评估结果包括原始人脸图像的图像大小、清晰度、分辨率、人脸角度等。
304、根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像，并对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
本实施例中，预设质量要求规定了作为基础人脸图像应满足的条件，包括图像大小、清晰度、分辨率、人脸角度等。在得到原始人脸图像的质量评估结果后，按照时序信息，对质量要求进行顺序验证，若质量评估结果满足预设质量要求，则将对应的原始人脸图像作为基础人脸图像，并同时停止验证后续的原始人脸图像是否满足预设质量要求；或者根据质量评估结果对所有的原始人脸图像进行排序，然后从原始人脸图像中，选择质量评估得分最高的原始人脸图像作为基础人脸图像。优选地，使用质量评估得分最高的原始人脸图像作为基础人脸图像。
本实施例中，质量评估结果除了用于从原始人脸图像中筛选出用于待增强的基础人脸图像外，还用于筛除无用的基础人脸图像。在筛除之前，对原始人脸图像进行排序。
比如，一张原始人脸图像的图像清晰度低，分辨率低，人脸角度大(比如只拍到脸角)，则该原始人脸图像的质量评估得分应较低，无法从该原始人脸图像中提取到有用的特征信息，如光流特征，则可直接将该原始人脸图像剔除，减少计算量。
305、从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像；
本实施例中，不需要所有的原始人脸图像，才能完成对基础人脸图像对应的第一人脸特征的修补，以满足人脸识别的需求。实际应用中，只需若干数量的原始人脸图像的局部特征对应的光流特征，对基础人脸图像对应的第一人脸特征进行修补，即可完成对第一人脸特征的增强，得到足够用于人脸识别的第二人脸特征。故此处可只使用质量评估得分最高的预设数量的原始人脸图像，并将其他的质量更低的原始人脸图像筛除。
306、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
307、提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
308、基于所述第二人脸特征，进行人脸识别。
本申请实施例中，通过质量评估从多张原始人脸图像中筛选较优甚至最优的原始人脸图像作为基础人脸图像，并筛除部分的无用原始人脸图像，减少特征增强的计算量，增加特征增强效率。
请参阅图4，本申请实施例中人脸增强识别方法的第四个实施例包括：
401、获取视频中具有时序信息的多张原始人脸图像；
402、依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
403、根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
404、分别计算所述各光流特征的注意力分布；
本实施例中，不一定所有的光流特征都有利于人脸识别，故在将光流特征融合至第一人脸特征前，需对光流特征进行筛选，以确定有利于分辨监控对象的光流特征。优选地，可以使用软性注意力机制(soft Attention)对光流特征进行筛选。
具体的，将光流特征逐个输入软性注意力机制模型中，将光流特征分解为N个输入信息，以X＝[x 1，x 2......x N]表示，其中，每一个x N表示人脸的一个局部特征，以该局部特征的特征值作为输入信息，比如一个光流特征包含10个局部特征，则此处N＝10。软性注意力机制模型中包含预置的Key(特征地址)与对应Value(键值)，其中，Key表示有用的人脸局部特征，Value表示Key对应的分值。通过Key＝Value＝X计算对应光流特征的注意力分布，公式如下所示：
α i＝sofy max[s(key i,q)]＝soft max[s(X i,q)]
其中，α i为光流特征的注意力分布，s(X i,q)为注意力打分函数，q为对应的光流特征，优选地，使用
Figure PCTCN2020111265-appb-000008
作为光流特征的注意力打分机制，W为第i个输入信息的得分权重。
405、根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
本实施例中，在计算得到光流特征的注意力分布后，通过信息旋转机制对输入信息X进行编码，具体如下所示：
Figure PCTCN2020111265-appb-000009
其中，att(q,X)为光流特征的注意力得分，通过键值对模式进行计算。
406、根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
本实施例中，设置加权平均得分阈值，当加权平均得分阈值越高，则筛选得到的光流特征可用性越高，光流特征数量越少，当加权平均得分阈值越低，则筛选得到的光流特征可用性越低，光流特征数量越多，在实际应用场景中根据拍摄的人脸图像进行具体设置即可。通过比较加权平均得分与加权平均得分阈值，确定符合人脸识别条件的光流特征。
407、将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征；
本实施例中，当光流特征的加权平均得分高于加权平均得分阈值时，表明该光流特征对人脸识别有用，将该光流特征与第一人脸特征进行融合，以对第一人脸特征进行增强；反之则删除无用的光流特征。
408、基于所述第二人脸特征，进行人脸识别。
本申请实施例中，通过软性注意力机制筛选对人脸识别有用的光流特征，减少后续的光流特征与第一人脸特征的融合流程，同时减少无用光流特征的噪声影响，增加特征增强的效率与提升特征增强的质量。
上面对本申请实施例中人脸增强识别方法进行了描述，下面对本申请实施例中人脸增 强识别装置进行描述，请参阅图5，本申请实施例中人脸增强识别装置一个实施例包括：
获取模块501，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块502，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块503，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块504，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块505，用于基于所述第二人脸特征，进行人脸识别。
本申请实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本申请实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力。
请参阅图6，本申请实施例中人脸增强识别装置的另一个实施例包括：
获取模块501，用于获取视频中具有时序信息的多张原始人脸图像；
质量评估模块502，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
特征匹配模块503，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
特征融合模块504，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
人脸识别模块505，用于基于所述第二人脸特征，进行人脸识别。
具体的，所述质量评估模块502包括：
第一提取单元5021，用于提取所述各原始人脸图像对应的特征向量；
质量评估单元5022，用于将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
筛选单元5023，用于根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
具体的，所述特征匹配模块503包括：
第一计算单元5031，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
模拟单元5032，用于根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
匹配单元5033，用于根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
具体的，所述匹配单元5033包括：
第一提取子单元50331，用于根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
第二提取子单元50332，用于根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
定位子单元50333，用于根据所述光流梯度特征，分别确定所述基础人脸图像与所述 各原始人脸图像之间的特征区域；
匹配子单元50334，用于基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
具体的，所述定位子单元50333还用于：
根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
判断所述光流梯度特征距离是否小于预设特征距离阈值；
若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
具体的，所述特征融合模块504包括：
第二计算单元5041，用于分别计算所述各光流特征的注意力分布；根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
判别单元5042，用于根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
生成单元5043，用于将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
具体的，所述人脸增强识别装置还包括筛选模块506，用于根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
本申请实施例中，通过在视频中获取具有时序信息的多张原始人脸图像，然后对原始人脸图像进行质量评估，以筛选出一张符合预设质量要求的原始人脸图像作为待增强的基础人脸图像；接着按时序确定其他原始人脸图像与待增强的基础人脸图像的光流特征；通过对光流特征与基础人脸图像本身的第一人脸特征进行融合，即可将其他原始人脸图像的人脸特征与第一人脸特征融合在一起，得到增强后的第二人脸特征，以用于人脸识别。本申请实现了对辨识度低的人脸图像的特征增强与增强对辨识度低的人脸图像的识别能力；通过多张原始人脸图像的光流特征对基础人脸图像的第一人脸特征进行修补，当原始人脸图像于基础人脸图像辨识度都较低时，对于基础人脸图像中辨识度比较低的局部人脸特征进行强化，使其更明显，对于拍摄不到的局部人脸特征进行补充，使监控对象的人脸特征更全面，优化其人脸识别效果；通过质量评估从多张原始人脸图像中筛选较优甚至最优的原始人脸图像作为基础人脸图像，并筛除部分的无用原始人脸图像，减少特征增强的计算量，增加特征增强效率；通过软性注意力机制筛选对人脸识别有用的光流特征，减少后续的光流特征与第一人脸特征的融合流程，同时减少无用光流特征的噪声影响，增加特征增强的效率与提升特征增强的质量。
上面图5和图6从模块化功能实体的角度对本申请实施例中的人脸增强识别装置进行详细描述，下面从硬件处理的角度对本申请实施例中人脸增强识别设备进行详细描述。
图7是本申请实施例提供的一种人脸增强识别设备的结构示意图，该人脸增强识别设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸增强 识别设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在人脸增强识别设备700上执行存储介质730中的一系列指令操作。
人脸增强识别设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的人脸增强识别设备结构并不构成对人脸增强识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供一种人脸增强识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸增强识别设备执行上述人脸增强识别方法中的步骤。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，也可以为易失性计算机可读存储介质。计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：
获取视频中具有时序信息的多张原始人脸图像；
依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
基于所述第二人脸特征，进行人脸识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

  1. 一种人脸增强识别方法，其中，包括：
    获取视频中具有时序信息的多张原始人脸图像；
    依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
    提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
    基于所述第二人脸特征，进行人脸识别。
  2. 根据权利要求1所述的人脸增强识别方法，其中，所述依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像包括：
    提取所述各原始人脸图像对应的特征向量；
    将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
    根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
  3. 根据权利要求1所述的人脸增强识别方法，其中，所述根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
    根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
    根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  4. 根据权利要求3所述的人脸增强识别方法，其中，所述根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征包括：
    根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
    根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
    根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  5. 根据权利要求4所述的人脸增强识别方法，其中，所述根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域包括：
    根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
    判断所述光流梯度特征距离是否小于预设特征距离阈值；
    若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
  6. 根据权利要求1-5中任意一项所述的人脸增强识别方法，其中，所述分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征包括：
    分别计算所述各光流特征的注意力分布；
    根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
    根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
    将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
  7. 根据权利要求6所述的人脸增强识别方法，其中，所述在依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像之后，还包括：
    根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
    从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
  8. 一种人脸增强识别设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取视频中具有时序信息的多张原始人脸图像；
    依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
    提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
    基于所述第二人脸特征，进行人脸识别。
  9. 根据权利要求8所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    提取所述各原始人脸图像对应的特征向量；
    将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
    根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
  10. 根据权利要求8所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
    根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
    根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  11. 根据权利要求10所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
    根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
    根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  12. 根据权利要求11所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
    判断所述光流梯度特征距离是否小于预设特征距离阈值；
    若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
  13. 根据权利要求8-12中任意一项所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    分别计算所述各光流特征的注意力分布；
    根据所述注意力分布，分别计算所述各光流特征的加权平均得分；
    根据所述加权平均得分与预设的加权平均得分阈值，确定加权平均得分小于加权平均得分阈值的光流特征；
    将所述第一人脸特征与确定的所述加权平均得分小于所述加权平均得分阈值的光流特征进行特征融合，得到特征增强后的第二人脸特征。
  14. 根据权利要求8所述的人脸增强识别设备，所述处理器执行所述计算机程序时还实现以下步骤：
    根据所述质量评估结果，对所述各原始人脸图像进行排序，得到原始人脸图像排序结果；
    从所述原始人脸图像排序结果中，筛选出排前列的预设数量原始人脸图像。
  15. 一种计算机可读存储介质，所述计算机可读存储介质中存储计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如下步骤：
    获取视频中具有时序信息的多张原始人脸图像；
    依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
    提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
    基于所述第二人脸特征，进行人脸识别。
  16. 根据权利要求15所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    提取所述各原始人脸图像对应的特征向量；
    将所述特征向量输入预置人脸质量评估分类器，通过所述人脸质量评估分类器输出对各所述人脸图像的质量评估结果；
    根据所述质量评估结果，确定符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像。
  17. 根据权利要求15所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的空间位置关系；
    根据所述空间位置关系，分别确定所述基础人脸图像相对于所述各原始人脸图像的人脸姿态变化；
    根据所述人脸姿态变化，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  18. 根据权利要求17所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    根据所述人脸姿态变化，分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场；
    根据所述帧间差光流场，分别提取所述基础人脸图像和所述各原始人脸图像的光流梯度特征；
    根据所述光流梯度特征，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    基于所述特征区域，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征。
  19. 根据权利要求18所述的计算机可读存储介质，当所述计算机指令在计算机上运行时，使得计算机还执行以下步骤：
    根据所述光流梯度特征，分别计算所述基础人脸图像与所述各原始人脸图像之间的光流梯度特征距离；
    判断所述光流梯度特征距离是否小于预设特征距离阈值；
    若是，则根据所述光流梯度特征距离，分别确定所述基础人脸图像与所述各原始人脸图像之间的特征区域；
    若否，则根据所述光流梯度特征距离调整所述人脸姿态变化，并跳转至分别提取所述基础人脸图像和所述各原始人脸图像的帧间差光流场的步骤。
  20. 一种人脸增强识别装置，其中，所述人脸增强识别包括：
    获取模块，用于获取视频中具有时序信息的多张原始人脸图像；
    质量评估模块，用于依序对所述各原始人脸图像进行质量评估，以筛选符合预设质量要求的一张原始人脸图像作为待增强的基础人脸图像；
    特征匹配模块，用于根据所述时序信息，分别确定所述基础人脸图像与所述各原始人脸图像之间的光流特征；
    特征融合模块，用于提取所述基础人脸图像的第一人脸特征，并分别对所述第一人脸特征与所述各光流特征进行特征融合，得到特征增强后的第二人脸特征；
    人脸识别模块，用于基于所述第二人脸特征，进行人脸识别。
PCT/CN2020/111265 2020-07-28 2020-08-26 人脸增强识别方法、装置、设备及存储介质 WO2021139171A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010738408.4 2020-07-28
CN202010738408.4A CN111860400B (zh) 2020-07-28 2020-07-28 人脸增强识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021139171A1 true WO2021139171A1 (zh) 2021-07-15

Family

ID=72948896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111265 WO2021139171A1 (zh) 2020-07-28 2020-08-26 人脸增强识别方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111860400B (zh)
WO (1) WO2021139171A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705650A (zh) * 2021-08-20 2021-11-26 网易（杭州）网络有限公司 一种人脸图片集的处理方法、装置、介质和计算设备
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN114202460A (zh) * 2021-11-29 2022-03-18 上海艾麒信息科技股份有限公司 面对不同损伤图像的超分辨率高清重建方法和系统及设备
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114821714A (zh) * 2022-04-10 2022-07-29 复旦大学 基于协同特征补全的有遮挡场景下的人脸表情识别方法
CN115776410A (zh) * 2023-01-29 2023-03-10 深圳汉德霍尔科技有限公司 用于终端身份认证的人脸数据加密传输方法
CN115880588A (zh) * 2021-09-13 2023-03-31 国家电网有限公司 一种结合时间域的两阶段无人机检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597867B (zh) * 2020-12-17 2024-04-26 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108446601A (zh) * 2018-02-27 2018-08-24 东南大学 一种基于动静特征融合的人脸识别方法
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909061B (zh) * 2017-12-07 2021-03-30 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN108875676B (zh) * 2018-06-28 2021-08-10 北京旷视科技有限公司 活体检测方法、装置及系统
CN109671023B (zh) * 2019-01-24 2023-07-21 江苏大学 一种人脸图像超分辨率二次重建方法
CN110516571B (zh) * 2019-08-16 2022-02-11 东南大学 基于光流注意力神经网络的跨库微表情识别方法及装置
CN110991348B (zh) * 2019-12-05 2021-10-15 河北工业大学 基于光流梯度幅值特征的人脸微表情检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108229336A (zh) * 2017-12-13 2018-06-29 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN108446601A (zh) * 2018-02-27 2018-08-24 东南大学 一种基于动静特征融合的人脸识别方法
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705650A (zh) * 2021-08-20 2021-11-26 网易（杭州）网络有限公司 一种人脸图片集的处理方法、装置、介质和计算设备
CN113705650B (zh) * 2021-08-20 2023-07-11 网易（杭州）网络有限公司 一种人脸图片集的处理方法、装置、介质和计算设备
CN115880588A (zh) * 2021-09-13 2023-03-31 国家电网有限公司 一种结合时间域的两阶段无人机检测方法
CN114202460A (zh) * 2021-11-29 2022-03-18 上海艾麒信息科技股份有限公司 面对不同损伤图像的超分辨率高清重建方法和系统及设备
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114821714A (zh) * 2022-04-10 2022-07-29 复旦大学 基于协同特征补全的有遮挡场景下的人脸表情识别方法
CN115776410A (zh) * 2023-01-29 2023-03-10 深圳汉德霍尔科技有限公司 用于终端身份认证的人脸数据加密传输方法
CN115776410B (zh) * 2023-01-29 2023-05-02 深圳汉德霍尔科技有限公司 用于终端身份认证的人脸数据加密传输方法

Also Published As

Publication number Publication date
CN111860400B (zh) 2024-06-07
CN111860400A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Sabir et al. Recurrent convolutional strategies for face manipulation detection in videos
Wu et al. Face detection with different scales based on faster R-CNN
Shao et al. Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing
Zhang et al. Fast and robust occluded face detection in ATM surveillance
US11403874B2 (en) Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
CN104951773B (zh) 一种实时人脸识别监视系统
CN102375970B (zh) 一种基于人脸的身份认证方法和认证装置
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN109815874A (zh) 一种人员身份识别方法、装置、设备及可读存储介质
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
US20110182497A1 (en) Cascade structure for classifying objects in an image
TW202314634A (zh) 影像處理方法、電子設備與計算機可讀儲存媒體
Mosayyebi et al. Gender recognition in masked facial images using EfficientNet and transfer learning approach
Kaddar et al. Deepfake detection using spatiotemporal transformer
Parkin et al. Creating artificial modalities to solve RGB liveness
Xiong et al. Deepfakes Detection using Computer Vision and Deep Learning Approaches
Khan et al. Optimized Features Selection using Hybrid PSO-GA for Multi-View Gender Classification.
Wanjale et al. Use of haar cascade classifier for face tracking system in real time video
Zhang et al. Two-stream convolutional networks for multi-frame face anti-spoofing
Gul et al. A machine learning approach to detect occluded faces in unconstrained crowd scene
JP4061405B2 (ja) 顔画像分類登録装置
CN112183422A (zh) 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质
Kian Ara et al. Efficient face detection based crowd density estimation using convolutional neural networks and an improved sliding window strategy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911693

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911693

Country of ref document: EP

Kind code of ref document: A1