WO2021184894A1 - 一种去模糊的人脸识别方法、系统和一种巡检机器人 - Google Patents

一种去模糊的人脸识别方法、系统和一种巡检机器人 Download PDF

Info

Publication number
WO2021184894A1
WO2021184894A1 PCT/CN2020/140410 CN2020140410W WO2021184894A1 WO 2021184894 A1 WO2021184894 A1 WO 2021184894A1 CN 2020140410 W CN2020140410 W CN 2020140410W WO 2021184894 A1 WO2021184894 A1 WO 2021184894A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
network
face
deblurring
face recognition
Prior art date
Application number
PCT/CN2020/140410
Other languages
English (en)
French (fr)
Inventor
刘业鹏
程骏
顾景
曾钰胜
庞建新
熊友军
Original Assignee
深圳市优必选科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市优必选科技股份有限公司 filed Critical 深圳市优必选科技股份有限公司
Publication of WO2021184894A1 publication Critical patent/WO2021184894A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This application belongs to the technical field of intelligent robots, and in particular relates to a deblurring face recognition method and system, and a patrol robot.
  • the urban security system is becoming more and more perfect.
  • the urban inspection system is inseparable from inspection robots. Inspection robots can monitor pedestrians in designated security areas and analyze faces through the face recognition system. If you encounter suspicious criminals or emergencies, you can use the network to The information is transmitted to the public security bureau system for alarm.
  • the inspection robot can patrol continuously for 24 hours. Compared with a fixed surveillance camera, it has a larger range of activities and higher efficiency. However, when the inspection robot encounters uneven ground while traveling, it will cause the body of the robot to shake. This shaking will cause the camera on the robot to produce image motion blur. This fuzzy face image can recognize the face. The accuracy has a big impact.
  • the current main solution is to correct the jittered PTZ through the motor in the robot PTZ, so that the image collected by the camera on the PTZ is clear.
  • this kind of pan/tilt with image stabilization function is expensive, which is not conducive to the modification or update of inventory inspection robots.
  • the embodiments of the present application provide a deblurring face recognition method and system, and a patrol robot, which can solve the problem of inaccurate face recognition caused by blurred face images caused by the jitter of the patrol robot.
  • an embodiment of the present application provides a face recognition method for deblurring, including:
  • the fuzzy degree judgment result is that the region image is not a blurred image, perform face recognition on the video image to obtain a face recognition result;
  • the region image is a blur image
  • the multi-frame image is input to the deblurring network to obtain the deblurred image output by the deblurring network.
  • the deblurring network is the depth obtained by pre-training by using multiple blurred image samples and corresponding clear image samples as training samples Learning network
  • This method can ensure that the images of face recognition are clear, and there is no need to install a pan/tilt with image stabilization function in this application, which reduces the cost of inspection robots and has a wide range of applications.
  • the deblurring network is obtained by pre-training through the following steps:
  • Each set of training samples consists of a clear image sample and a corresponding The composition of multiple blurred image samples
  • For each group of training samples input multiple blurred image samples in each group of training samples into a deblurring network to obtain a target image output by the deblurring network;
  • the network parameters of the defuzzification network are adjusted to minimize the calculation result of the loss function, and the loss function is used to calculate each group The error between the clear image sample and the target image in the training sample;
  • the training process of the deblurring network can effectively ensure the completion of the training of the deblurring network.
  • the deblurring network has the function of deblurring blurred images after training.
  • the deblurring network includes an encoding network and a decoding network
  • inputting multiple blurred image samples from each group of training samples into the deblurring network to obtain a target image output by the deblurring network includes:
  • the multiple blurred image samples in each set of training samples are compressed into a first specified size image, and then the first specified size image is subjected to two sets of residual convolutions to obtain a second specified size image ;
  • the second specified size image is subjected to two sets of residual inverse convolution and decompression to obtain a target image with the same sample size of the blurred image.
  • the self-encoding network composed of the encoding network and the decoding network, the basic functions of the deep learning network can be realized, and the network structure of deep learning can be realized.
  • the performing face recognition on the deblurred image to obtain a face recognition result includes:
  • the first target face feature is compared with the face feature in a preset face feature library to determine the identity information corresponding to each face in the deblurred image.
  • the facial feature extraction is performed on the deblurred image through the facial feature extraction network to improve the accuracy, so as to achieve more accurate subsequent face identification.
  • the performing face recognition on the video image to obtain a face recognition result includes:
  • the second target face feature is compared with the face feature in a preset face feature library to determine the identity information corresponding to each face in the video image.
  • the facial feature extraction is performed on the video image through the facial feature extraction network to improve the accuracy rate, so as to achieve more accurate subsequent face identification.
  • the judging the blur degree of the regional image includes:
  • the region image is not a blurred image
  • the region image is a blurred image.
  • the Laplacian algorithm is used to calculate the blurriness and determine whether the blurriness exceeds the threshold, which can distinguish whether the regional image is a blurred image.
  • the extracting multiple consecutive frames of images before and after the video image is specifically: extracting six consecutive frames of images before and after the video image.
  • the deep learning network can learn more detailed features and realize the deblurring of the image.
  • an embodiment of the present application provides a face recognition system for deblurring, including:
  • the video decoding module is used to obtain the video stream from the camera of the inspection robot, and perform video decoding on the video stream to obtain a decoded video image;
  • the face detection module is configured to perform face detection on the video image by using a face detection algorithm to obtain an image of a region in the video image that contains the ROI area of the face;
  • a fuzzy degree judgment module which is used to make a fuzzy degree judgment on the regional image
  • the first recognition module is configured to, if the judgment result of the blur degree judgment module is that the region image is not a blurred image, perform face recognition on the video image to obtain a face recognition result;
  • a multi-frame image extraction module configured to extract multiple consecutive frames before and after the video image if the judgment result of the blur degree judgment module is that the area image is a blurred image
  • the image deblurring module is used to input the multi-frame image to the deblurring network to obtain the deblurred image output by the deblurring network.
  • the deblurring network is composed of multiple blurred image samples and corresponding clear image samples as Deep learning network pre-trained with training samples;
  • the second recognition module is used to perform face recognition on the deblurred image to obtain a face recognition result.
  • an embodiment of the present application provides an inspection robot, including a memory, a processor, and a computer program stored in the memory and running on the processor, wherein the processor executes The computer program implements the above-mentioned deblurring face recognition method.
  • an embodiment of the present application provides a computer-readable storage medium that stores a computer program, and is characterized in that, when the computer program is executed by a processor, the above-mentioned defuzzification is realized. Face recognition method.
  • FIG. 1 is a flowchart of a face recognition method for deblurring in an embodiment of the present application
  • Figure 2 is a schematic diagram of a context module in an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of step 103 of the face recognition method for deblurring in an embodiment of the present application in an application scenario;
  • FIG. 4 is a schematic flowchart of pre-training a deblurring network in an application scenario in the face recognition method for deblurring in an embodiment of the present application;
  • FIG. 5 is a schematic flowchart of step 302 of a face recognition method for deblurring in an embodiment of the present application in an application scenario
  • FIG. 6 is a schematic structural diagram of a de-fuzzing network in an application scenario according to an embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of a face recognition system for deblurring in an embodiment of the present application.
  • Fig. 8 is a schematic diagram of the inspection robot in an embodiment of the present application.
  • the term “if” can be construed as “when” or “once” or “in response to determination” or “in response to detecting “.
  • the phrase “if determined” or “if detected [described condition or event]” can be interpreted as meaning “once determined” or “in response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • a face recognition method for deblurring is provided.
  • the application of the method and the inspection robot is taken as an example for description, including the following steps:
  • the inspection robot when the inspection robot is working, it will record surrounding image information through the camera on its pan-tilt, so as to form a video stream inside the inspection robot.
  • the system of the inspection robot can obtain these video streams, and then decode the video streams to obtain the decoded video images. It is understandable that the obtained video images will be obtained in the form of frame by frame, and the sequence of the video images can be determined according to time.
  • the inspection robot When the inspection robot realizes face recognition and face analysis, it generally does not need to process each frame of image, and can determine the image to be detected according to received instructions or preset rules. For example, when the system of the inspection robot receives face recognition for a certain frame of video image, it can use the face detection algorithm to perform face detection on the video image to obtain the area of the video image that contains the ROI area of the face image.
  • the face detection algorithm used in this embodiment may be a lightweight neural network constructed based on separable convolution and context modules, which has the advantages of fast speed and high accuracy.
  • the context module of the network can be divided into three branches. The three branches use different sizes of convolution kernels for convolution, so that the distance from the feature center when the final feature is extracted determines the final convolution weight. Different parameters can effectively improve the detection accuracy.
  • the face detection algorithm can extract the partial area of the face in the entire frame of the video image to obtain the ROI (region of interest) region, that is, the region of interest, for subsequent analysis.
  • step 104 Perform a blur degree judgment on the area image, if the result of the blur degree judgment is that the area image is not a blurred image, go to step 104, and if the result of the blur degree judgment is that the area image is a blurred image, go to step 105;
  • the area image obtained by the system at this time generally has two situations.
  • the first case is that the video image from the image source of this area was taken when the inspection robot is moving on a level road, so the face in the image of the area should be clear;
  • the second case is that the image source of the area The video image was taken when the inspection robot was moving on a rugged, uneven road surface. There was jitter during the shooting, so the human face in the image in this area is likely to be blurred.
  • the system can directly perform face recognition on the image and obtain a more accurate recognition result; while in the second case, as described in the background art, the recognition result obtained by directly performing face recognition on it It is often not accurate, and the accuracy of face recognition is reduced.
  • the system may first perform a fuzzy degree judgment on the region image to determine whether the video image is clear or fuzzy.
  • step 103 may include:
  • this application can use the Laplacian algorithm to calculate the blur degree of the regional image.
  • the formula of the Laplacian algorithm is as follows:
  • the Laplacian algorithm can be used to measure the second-order derivative of the regional image, and can emphasize the region with rapid density changes in the image, that is, the boundary, so it is often used for boundary detection.
  • the boundary In a normal image, the boundary is clear, so its variance will be relatively large; while in a blurred image, the boundary information contained in it is very small, so the variance will be small.
  • the blur degree value corresponding to the clear image will be relatively large, and the blur degree value corresponding to the blurred image will be relatively small. It can be determined from experience that in an application scenario, the blurriness threshold of this application can be set to 600.
  • the calculated blurriness is greater than the preset blurriness threshold, it can be determined that the region image is not a blurry image; conversely, if the calculated blurriness is less than or equal to the preset blurriness threshold, it can be determined
  • the area image is a blurred image.
  • the system can directly perform face recognition on the video image to obtain the face Recognition results.
  • the system needs to perform deblurring processing on the video image.
  • multiple consecutive frames of images before and after the video image can be extracted. It can be seen from the content of step 101 that the video images have corresponding time information. Therefore, for a certain video image, multiple consecutive frames of images before and after it are easy to obtain.
  • step 105 may specifically include: extracting six consecutive frames of images before and after the video image. That is, 6 consecutive images before and after the video image are selected as the multi-frame images for deblurring processing in subsequent steps. It is understandable that selecting six frames of images not only takes into account the processing efficiency, but also integrates the information between different images. The deep learning network learns more detailed features and realizes the deblurring of the image.
  • this application pre-trains a deblurring network, which is a deep learning network pre-trained with multiple blurred image samples and corresponding clear image samples as training samples, after a large number of training samples After training, the blurred face information in the multi-frame image can be restored to clear face information through the deblurring network.
  • a deblurring network which is a deep learning network pre-trained with multiple blurred image samples and corresponding clear image samples as training samples, after a large number of training samples After training, the blurred face information in the multi-frame image can be restored to clear face information through the deblurring network.
  • the training process of the deblurring network is described in detail at first. Further, as shown in Fig. 4, the deblurring network can be obtained by pre-training through the following steps:
  • the loss function is used for calculation The error between the clear image sample and the target image in each set of training samples;
  • multiple clear image samples may be collected, and then blur processing is performed on each clear image sample to obtain multiple continuous and corresponding blurred image samples.
  • the image a can be blurred to obtain the blurred images a1, a2, a3, a4, a5, and a6 corresponding to the image a.
  • a set of training samples composed of images a, a1, a2, a3, a4, a5, and a6 is obtained. Do the above processing for each clear image sample to obtain multiple sets of training samples.
  • step 302 during the training process, the system may input multiple blurred image samples in each group of training samples into the deblurring network for each group of training samples to obtain a target image output by the deblurring network.
  • the deblurring network in this embodiment may include an encoding network and a decoding network.
  • step 302 may include:
  • the deblurring network may be a self-encoding network based on deep learning, which is symmetrical and is divided into two parts: encoding and decoding.
  • encoding and decoding As shown in Figure 6, in an application scenario, assuming a group of training samples has a total of 6 frames of fuzzy pattern samples, first continuously output these 6 frames of blurred image samples to the coding network, which are compressed into the first specified size image, assuming 256*256, then, after two sets of residual convolutions, the image size becomes 64*64*128 (that is, the second specified size). This process can be called encoding.
  • the decoding process is the opposite of the encoding process.
  • the second specified size image can be subjected to two sets of residual reverse convolutions to restore the size of the image to a size of 256*256, and then decompress it. At this time, the obtained The image is a target image with the same size as the blurred image sample.
  • the system can take the calculation result of the preset loss function as the adjustment target, and in the process of iterative learning, by adjusting the deblurring The network parameters of the network to minimize the calculation result of the loss function.
  • the loss function (that is, the loss function) is used to calculate the error between the clear image sample and the target image in each set of training samples.
  • the loss function can be a variety of functions such as mean square error loss, average deviation loss, square loss, etc. In specific applications, one of them can be selected according to needs, which will not be repeated here.
  • step 304 after a large number of training samples are trained and learned, and after multiple iterations, if the calculation result of the loss function meets the preset training termination condition, it can be determined that the deblurring network has been trained.
  • the preset training termination condition can be set according to actual training needs. For example, if the calculation result of the loss function is within a certain range and the number of iterations exceeds N times, it can be determined that the training of the deblurring network is completed, and so on.
  • the deblurred image output by the deblurring network is clear, and the recognition result obtained by face recognition is accurate. Therefore, the system can perform face recognition on the deblurred image to obtain a face recognition result.
  • step 107 may specifically include: inputting the deblurred image into a face feature extraction network for face feature extraction to obtain the first target face feature
  • the face feature extraction network is a deep learning network pre-trained from multiple face samples; the first target face feature is compared with the face feature in the preset face feature library to determine the source Describe the identity information corresponding to each face in the blurred image.
  • the facial feature extraction network used in this embodiment may specifically be a deep learning network based on resnet50. During network training, a triplet loss function can be used.
  • This loss function can make the same person's face
  • the Euclidean distance of the feature vector is as small as possible, and the Euclidean distance of the feature vector of the face of different people is relatively large.
  • this embodiment will not repeat it.
  • step 104 may also specifically include: inputting the video image into a face feature extraction network for face feature extraction to obtain a second target face feature, where the face feature extraction network is composed of multiple face samples A pre-trained deep learning network; comparing the second target face feature with a face feature in a preset face feature library to determine the identity information corresponding to each face in the video image.
  • step 104 can use the same facial feature extraction network as step 107, or two different facial feature extraction networks can be trained to perform face recognition on video images and deblurred images to obtain better results. The result of face recognition.
  • the first target face feature or the second target face feature is compared with the face feature in the preset face feature library, and the preset face feature can be The reserved face features that are the same as the first and second target facial features are determined in the feature library, and the reserved face features are recorded with the corresponding person's identity, then the person's identity can be considered to be the identity of the person identified in the image Identity Information.
  • the identity can be marked as "unknown” or "recognition failed" in the system.
  • the video stream from the camera of the inspection robot is obtained, and the video stream is decoded to obtain the decoded video image; then, the face detection algorithm is used to perform the face detection on the video image. Detect the region image that contains the ROI region of the face in the video image; then, perform blurriness judgment on the region image; if the result of the blurriness judgment is that the region image is not a blurred image, perform the image on the video image Face recognition, to obtain the face recognition result; if the result of the blur degree judgment is that the region image is a blurred image, then extract the consecutive multiple frames of the video image before and after the video image; then, input the multiple frames of image to the deblurring Network to obtain the deblurred image output by the deblurring network, the deblurring network is pre-trained by multiple blurred image samples and corresponding clear image samples as training samples; finally, face recognition is performed on the deblurred image , Get the face recognition result.
  • the blurriness of the face in the video image can be judged first. If the face is not blurry, then the video image can be directly recognized for face recognition; conversely, if the face is blurred, then Input the consecutive multiple frames of the video image before and after to the deblurring network to obtain a clear image containing the human face (that is, the deblurred image), and then perform face recognition on the deblurred image. Therefore, it can be ensured that the images of face recognition are clear, and there is no need to install a pan-tilt with image stabilization function in this application, which reduces the cost of inspection robots and has a wide range of applications. Check the blur of the face image caused by the shaking of the robot.
  • a deblurring face recognition system is provided, and the deblurring face recognition system corresponds to the deblurring face recognition method in the above-mentioned embodiment in a one-to-one correspondence.
  • the deblurring face recognition system includes a video decoding module 501, a face detection module 502, a blur degree judgment module 503, a first recognition module 504, a multi-frame image extraction module 505, and an image deblurring module 506 And the second identification module 507.
  • each functional module is as follows:
  • the video decoding module 501 is configured to obtain a video stream from a camera of the inspection robot, and perform video decoding on the video stream to obtain a decoded video image;
  • the face detection module 502 is configured to perform face detection on the video image by using a face detection algorithm to obtain an image of a region in the video image that includes a face ROI area;
  • the blur degree judgment module 503 is used to judge the blur degree of the regional image
  • the first recognition module 504 is configured to perform face recognition on the video image if the judgment result of the blur degree judgment module is that the area image is not a blurred image to obtain a face recognition result;
  • a multi-frame image extraction module 505, configured to extract multiple consecutive frames before and after the video image if the judgment result of the blur degree judgment module is that the area image is a blurred image;
  • the image deblurring module 506 is configured to input the multi-frame images to a deblurring network to obtain a deblurred image output by the deblurring network, and the deblurring network is composed of multiple blurred image samples and corresponding clear image samples A deep learning network pre-trained as a training sample;
  • the second recognition module 507 is configured to perform face recognition on the deblurred image to obtain a face recognition result.
  • deblurring network can be pre-trained through the following modules:
  • the sample collection module is used to collect multiple clear image samples, and blur each clear image sample to obtain multiple continuous and corresponding fuzzy image samples to obtain multiple sets of training samples.
  • Each set of training samples consists of one The composition of a clear image sample and multiple corresponding fuzzy image samples;
  • a network training module for each group of training samples, input multiple fuzzy image samples in each group of training samples into a deblurring network to obtain a target image output by the deblurring network;
  • the network parameter adjustment module is used to take the calculation result of the preset loss function as the adjustment target, and in the process of iterative learning, by adjusting the network parameters of the deblurring network to minimize the calculation result of the loss function, the The loss function is used to calculate the error between the clear image sample and the target image in each set of training samples;
  • the training completion module is configured to determine that the training of the deblurring network has been completed if the calculation result of the loss function meets the preset training termination condition.
  • the deblurring network may include an encoding network and a decoding network
  • the network training module may include:
  • the coding unit is used to compress the multiple blurred image samples in each set of training samples into a first specified size image in the coding network, and then subject the first specified size image to two sets of residual convolutions to obtain The second specified size image;
  • the decoding unit is used for decompressing and decompressing the second specified size image through two sets of residual reverse convolutions in a decoding network to obtain a target image with the same sample size of the blurred image.
  • the first identification module may include:
  • the first feature extraction unit is configured to input the video image into a face feature extraction network for face feature extraction to obtain a second target face feature, and the face feature extraction network is pre-trained from multiple face samples Deep learning network;
  • the first feature comparison unit is configured to compare the second target face feature with the face feature in the preset face feature library, and determine the identity information corresponding to each face in the video image.
  • the second identification module may include:
  • the second feature extraction unit is configured to input the deblurred image into a face feature extraction network for face feature extraction to obtain a first target face feature, and the face feature extraction network is pre-trained by multiple face samples Good deep learning network;
  • the second feature comparison unit is configured to compare the first target face feature with the face feature in the preset face feature library, and determine the identity information corresponding to each face in the deblurred image.
  • the ambiguity judgment module may include:
  • a fuzzy degree calculation unit for calculating the fuzzy degree of the region image by using the Laplacian algorithm
  • the first determining unit is configured to determine that the area image is not a blurred image if the determination result of the determining unit is yes;
  • the second determining unit is configured to determine that the area image is a blurred image if the determination result of the determining unit is no.
  • the multi-frame image extraction module is specifically configured to: extract six consecutive frames of images before and after the video image.
  • the various modules in the above-mentioned deblurring face recognition system can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a patrol robot including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program to implement the above implementation
  • the steps of the face recognition method for deblurring are, for example, step 101 to step 107 shown in FIG. 1.
  • the processor executes the computer program
  • the functions of the various modules/units of the face recognition system for deblurring in the foregoing embodiment are implemented, for example, the functions of the modules 501 to 507 shown in FIG. 7. To avoid repetition, I won’t repeat them here.
  • a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps of the face recognition method for deblurring in the above embodiment are realized, for example, as shown in FIG. 1 Step 101 to step 107.
  • the functions of the various modules/units of the face recognition system for deblurring in the above embodiment are realized, for example, the functions of the modules 501 to 507 shown in FIG. 7. To avoid repetition, I won’t repeat them here.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the computer program can be stored in a computer-readable storage medium. When executed by the processor, the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file, or some intermediate forms.
  • the computer-readable medium may at least include: any entity or device capable of carrying the computer program code to the photographing device/terminal device, recording medium, computer memory, read-only memory (ROM, Read-Only Memory), and random access memory (RAM, Random Access Memory), electric carrier signal, telecommunications signal and software distribution medium.
  • ROM read-only memory
  • RAM random access memory
  • electric carrier signal telecommunications signal and software distribution medium.
  • U disk mobile hard disk, floppy disk or CD-ROM, etc.
  • computer-readable media cannot be electrical carrier signals and telecommunication signals.
  • the disclosed apparatus/network equipment and method may be implemented in other ways.
  • the device/network device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division, and there may be other divisions in actual implementation, such as multiple units.
  • components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于智能机器人技术领域，提供了一种去模糊的人脸识别方法、系统和一种巡检机器人，该方法包括：获取来自巡检机器人摄像头的视频流，并对视频流进行视频解码，得到解码后的视频图像；采用人脸检测算法对视频图像进行人脸检测，得到视频图像中包含人脸ROI区域的区域图像；对区域图像进行模糊度判断；若区域图像不是模糊图像，则对视频图像进行人脸识别，得到人脸识别结果；若模区域图像是模糊图像，则提取视频图像前后连续的多帧图像；将多帧图像输入至去模糊网络，得到去模糊图像，去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；对去模糊图像进行人脸识别，得到人脸识别结果。

Description

一种去模糊的人脸识别方法、系统和一种巡检机器人
本申请要求于2020年03月20日在中国专利局提交的、申请号为202010202422.2的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于智能机器人技术领域，尤其涉及一种去模糊的人脸识别方法、系统和一种巡检机器人。
背景技术
随着信息化技术的提升，城市安防系统越来越完善。城市巡检系统离不开巡检机器人，巡检机器人可以在指定安防领域对来往行人进行监控，并通过人脸识别系统进行人脸分析，如果遇到可疑犯罪分子或者突发情况可以通过网络将信息传输到公安局系统进行报警。巡检机器人可以24小时持续巡逻，相比固定的监控摄像头，它的活动范围更大、效率更高。但是巡检机器人在行驶的过程中遇到凹凸不平的地面时会造成机器人机身的抖动，这种抖动会造成机器人上面的摄像头产生图像的运动模糊，这种模糊的人脸图像对人脸识别的精度有很大的影响。
针对巡检机器人抖动产生的人脸图像模糊问题，目前主要的解决方法是通过机器人云台里面的电机对抖动的云台进行矫正，以使得云台上的摄像头采集到的图像是清晰的。然而，这种带有稳像功能的云台成本昂贵，不利于存量巡检机器人的改装或更新。
因此，寻找一种应用范围广泛、成本较低、且适用于巡检机器人的去模糊的人脸识别方法成为本领域技术人员亟需解决的问题。
技术问题
本申请实施例提供了一种去模糊的人脸识别方法、系统和一种巡检机器人，可以解决因巡检机器人抖动产生的人脸图像模糊导致人脸识别不准确的问题。
技术解决方案
第一方面，本申请实施例提供了一种去模糊的人脸识别方法，包括：
获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像；
对所述区域图像进行模糊度判断；
若模糊度判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；
若模糊度判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；
将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
对所述去模糊图像进行人脸识别，得到人脸识别结果。
本方法可以保证人脸识别的图像都是清晰的，且本申请无需安装带有稳像功能的云台，降低了巡检机器人的成本，应用范围广泛，利于对存量巡检机器人进行改造以解决巡检机器人抖动产生的人脸图像模糊问题。
优选地，所述去模糊网络通过以下步骤预先训练得到：
收集多张清晰图像样本，并对每张清晰图像样本进行模糊处理，得到多张连续的、与之对应的模糊图像样本，得到多组训练样本，每组训练样本由一张清晰图像样本和对应的多张模糊图像样本组成；
针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像；
以预设损失函数的计算结果为调整目标，在迭代学习的过程中，通过调整所述去模糊网络的网络参数，以最小化所述损失函数的计算结果，所述损失函数用于计算每组训练样本中清晰图像样本与目标图像之间的误差；
若所述损失函数的计算结果满足预设的训练终止条件，则确定所述去模糊网络已训练完成。
可见，去模糊网络的训练过程能够有效保证去模糊网络的训练完成，通过投入多组训练样本，训练后使得去模糊网络具备对模糊图片的去模糊功能。
优选地，所述去模糊网络包括编码网络和解码网络；
针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像包括：
在编码网络中，将所述每组训练样本中的多张模糊图像样本压缩成第一指定尺寸图像，再将所述第一指定尺寸图像经过两组残差卷积，得到第二指定尺寸图像；
在解码网络中，将所述第二指定尺寸图像经过两组残差反向卷积并解压缩，得到一张与所述模糊图像样本尺寸相同的目标图像。
通过由编码网络和解码网络组成的自编码网络，能够实现深度学习网络的基本功能，具备深度学习的网络结构。
优选地，所述对所述去模糊图像进行人脸识别，得到人脸识别结果包括：
将所述去模糊图像输入人脸特征提取网络进行人脸特征提取，得到第一目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
将所述第一目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述去模糊图像中各张人脸对应的身份信息。
通过人脸特征提取网络对去模糊图像进行人脸特征提取，提高准确率，从而实现后续的人脸身份识别更准确。
优选地，所述对所述视频图像进行人脸识别，得到人脸识别结果包括：
将所述视频图像输入人脸特征提取网络进行人脸特征提取，得到第二目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
将所述第二目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述视频图像中各张人脸对应的身份信息。
通过人脸特征提取网络对视频图像进行人脸特征提取，提高准确率，从而实现后续的人脸身份识别更准确。
优选地，所述对所述区域图像进行模糊度判断包括：
采用Laplacian算法计算所述区域图像的模糊度；
判断计算得到的模糊度是否大于预设的模糊度阈值；
若计算得到的模糊度大于预设的模糊度阈值，则确定所述区域图像不是模糊图像；
若计算得到的模糊度小于或等于预设的模糊度阈值，则确定所述区域图像是模糊图像。
采用Laplacian算法计算模糊度并判断模糊度是否超过阈值，可以实现对区域图像是否为模糊图像的区分。
优选地，所述提取所述视频图像前后连续的多帧图像具体为：提取所述视频图像前后连续的六帧图像。这样，不仅兼顾了处理效率，而且可以融合不同图像之间的信息，深度学习网络学习到更多细节特征，实现对图像的去模糊。
第二方面，本申请实施例提供了一种去模糊的人脸识别系统，包括：
视频解码模块，用于获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
人脸检测模块，用于采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频 图像中包含人脸ROI区域的区域图像；
模糊度判断模块，用于对所述区域图像进行模糊度判断；
第一识别模块，用于若所述模糊度判断模块的判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；
多帧图像提取模块，用于若所述模糊度判断模块的判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；
图像去模糊模块，用于将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
第二识别模块，用于对所述去模糊图像进行人脸识别，得到人脸识别结果。
第三方面，本申请实施例提供了一种巡检机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的去模糊的人脸识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的去模糊的人脸识别方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中去模糊的人脸识别方法的一流程图；
图2是本申请一实施例中上下文模块的示意图；
图3是本申请一实施例中去模糊的人脸识别方法步骤103在一个应用场景下的流程示意图；
图4是本申请一实施例中去模糊的人脸识别方法在一个应用场景下预先训练去模糊网络的流程示意图；
图5是本申请一实施例中去模糊的人脸识别方法步骤302在一个应用场景下的流程示意图；
图6是本申请一实施例去模糊网络在一个应用场景下的结构示意图；
图7是本申请一实施例中去模糊的人脸识别系统的结构示意图；
图8是本申请一实施例中巡检机器人的一示意图。
本发明的实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在一实施例中，如图1所示，提供一种去模糊的人脸识别方法，以该方法应用与巡检机器人为例进行说明，包括如下步骤：
101、获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
本实施例中，巡检机器人在工作时，会通过其云台上的摄像头记录周围的图像信息， 从而在巡检机器人内部形成视频流。巡检机器人的系统可以获取到这些视频流，然后对视频流进行视频解码，得到解码后的视频图像。可以理解的是，得到的视频图像将以一帧一帧的形式得到，且视频图像之间的先后顺序可以根据时间确定。
102、采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像；
巡检机器人在实现人脸识别和人脸分析时，一般无需对每帧图像进行处理，可以根据接收到的指令或者预设的规则确定要检测的图像。比如，当巡检机器人的系统接收到针对某帧视频图像进行人脸识别时，其可以采用人脸检测算法对该视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像。
需要说明的是，本实施例中采用的人脸检测算法可以是基于可分离卷积和上下文模块构建的轻量级神经网络，具有速度快、精度高的优点。如图2所示，网络的上下文模块可以分为三个分支，三个分支采用不同大小的卷积核进行卷积，这样最后特征提取的时离特征中心的远近不同决定了最后的卷积权重参数不同，可以有效提升检测精度。人脸检测算法可以将整帧视频图像中的人脸部分区域提取出来得到ROI(region of interest)区域，即该区域图像，以便后续的分析。
103、对所述区域图像进行模糊度判断，若模糊度判断结果为所述区域图像不是模糊图像，则执行步骤104，若模糊度判断结果为所述区域图像是模糊图像，则执行步骤105；
可以理解的是，系统此时得到的区域图像一般有两种情况。第一种情况为，该区域图像来源的视频图像为巡检机器人在平整路面上运动时拍摄的，因此该区域图像中的人脸应当是清晰的；第二种情况为，该区域图像来源的视频图像为巡检机器人在崎岖、凹凸不平的路面上运动时拍摄的，拍摄过程中存在抖动，因此该区域图像中的人脸很可能是模糊的。可见，对于第一种情况，系统可以直接对图像进行人脸识别，能够得到较为准确的识别结果；而第二种情况，则如背景技术所述，对其直接进行人脸识别得到的识别结果往往并不准确，人脸识别精度降低。
因此，本申请中，系统可以先对所述区域图像进行模糊度判断，以确定该视频图像是清晰的还是模糊的。
进一步地，如图3所示，步骤103可以包括：
201、采用Laplacian算法计算所述区域图像的模糊度；
202、判断计算得到的模糊度是否大于预设的模糊度阈值，若是，则执行步骤203，若否，则执行步骤204；
203、确定所述区域图像不是模糊图像；
204、确定所述区域图像是模糊图像。
对于上述步骤201-204，本申请可以采用Laplacian算法计算所述区域图像的模糊度，Laplacian算法的公式如下所示：
Figure PCTCN2020140410-appb-000001
该Laplacian算法可以通过衡量区域图像的二阶导，能够强调图像中密度快速变化的区域，也就是边界，故常用于边界检测。在正常图像中边界比较清晰，因此其方差会比较大；而在模糊图片中包含的边界信息很少，所以方差会较小。经过该公式的计算可以得到清晰图像对应的模糊度值会比较大，模糊图像对应的模糊度值比较小。由经验确定可知，在一应用场景下，本申请的模糊度阈值可以设定为600。
由此可知，若计算得到的模糊度大于预设的模糊度阈值，则可以确定所述区域图像不是模糊图像；反之，若计算得到的模糊度小于或等于预设的模糊度阈值，则确定所述区域图像是模糊图像。
104、对所述视频图像进行人脸识别，得到人脸识别结果；
由上述内容可知，当模糊度判断结果为所述区域图像不是模糊图像时，说明该视频图像中的人脸是清晰的，因此，系统可以直接对所述视频图像进行人脸识别，得到人脸识别结果。
105、提取所述视频图像前后连续的多帧图像；
当模糊度判断结果为所述区域图像不是模糊图像时，说明该视频图像中的人脸是清模糊的，不适合将其直接进行人脸识别。为此，系统需要对该视频图像进行去模糊处理，首先，可以提取所述视频图像前后连续的多帧图像。由上述步骤101的内容可知，视频图像均有相应的时间信息，因此，对于某一视频图像来说，其前后连续的多帧图像是容易获取到的。
在某一具体应用场景中，为了兼顾处理效率和去模糊成功率，步骤105具体可以为：提取所述视频图像前后连续的六帧图像。也即，选取该视频图像前后连续的6张图像作为所述多帧图像，以用于后续步骤的去模糊处理。可以理解的是，选取六帧图像，不仅兼顾了处理效率，而且可以融合不同图像之间的信息，深度学习网络学习到更多细节特征，实现对图像的去模糊。
106、将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
为了实现图像的去模糊处理，本申请预先训练好一个去模糊网络，该去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络，经过大量训练样本训练后，通过该去模糊网络可以将多帧图像中模糊的人脸信息还原成清晰的人脸信息。
为便于理解，首先对该去模糊网络的训练过程进行详细描述。进一步地，如图4所示，所述去模糊网络可以通过以下步骤预先训练得到：
301、收集多张清晰图像样本，并对每张清晰图像样本进行模糊处理，得到多张连续的、与之对应的模糊图像样本，得到多组训练样本，每组训练样本由一张清晰图像样本和对应的多张模糊图像样本组成；
302、针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像；
303、以预设损失函数的计算结果为调整目标，在迭代学习的过程中，通过调整所述去模糊网络的网络参数，以最小化所述损失函数的计算结果，所述损失函数用于计算每组训练样本中清晰图像样本与目标图像之间的误差；
304若所述损失函数的计算结果满足预设的训练终止条件，则确定所述去模糊网络已训练完成。
对于步骤301，本实施例中，可以收集多张清晰图像样本，然后对每张清晰图像样本进行模糊处理，得到多张连续的、与之对应的模糊图像样本。比如，针对清晰的图像a，可以对图像a进行模糊处理，得到图像a对应的模糊图像a1、a2、a3、a4、a5和a6。从而，得到由图像a、a1、a2、a3、a4、a5和a6组成的一组训练样本。针对每张清晰图像样本均做上述处理，即可得到多组训练样本。
对于步骤302，在训练过程中，系统可以针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像。具体地，本实施例中的去模糊网络可以包括编码网络和解码网络，为此，如图5所示，步骤302可以包括：
401、在编码网络中，将所述每组训练样本中的多张模糊图像样本压缩成第一指定尺寸图像，再将所述第一指定尺寸图像经过两组残差卷积，得到第二指定尺寸图像；
402、在解码网络中，将所述第二指定尺寸图像经过两组残差反向卷积并解压缩，得到一张与所述模糊图像样本尺寸相同的目标图像。
对于步骤401-402，举例说明，该去模糊网络可以是基于深度学习的自编码网络，其是对称的，分成编码和解码两部分。如图6所示，在一个应用场景下，假设一组训练样本 共6帧模糊图样样本，则首先连续输出这6帧模糊图像样本到编码网络，其被压缩成第一指定尺寸图像，假设为256*256，然后，经过两组残差卷积，图像大小变成64*64*128(即第二指定尺寸)，该过程可以称为编码。而解码过程则与编码过程相反，可以将该第二指定尺寸图像经过两组残差反向卷积，即可将图像的尺寸恢复成256*256大小，再经过解压缩，此时，得到的图像为一张与所述模糊图像样本尺寸相同的目标图像。
对于步骤303，可以理解的是，为了评估该去模糊网络是否已训练完成，具体地，系统可以以预设损失函数的计算结果为调整目标，在迭代学习的过程中，通过调整所述去模糊网络的网络参数，以最小化所述损失函数的计算结果。其中，损失函数(即loss函数)用于计算每组训练样本中清晰图像样本与目标图像之间的误差。需要说明的是，损失函数可以为均方误差损失、平均偏差损失、平方损失等多种函数，在具体应用时，可以根据需要选取其中一种，此处不作赘述。
对于步骤304，经过大量训练样本的训练和学习，多次迭代后，若所述损失函数的计算结果满足预设的训练终止条件，则可以确定所述去模糊网络已训练好。其中，该预设的训练终止条件可以根据实际训练需要设定，比如损失函数的计算结果在一定范围内，且迭代次数超过N次，则可确定该去模糊网络训练完成，等等。
107、对所述去模糊图像进行人脸识别，得到人脸识别结果。
可以认为，去模糊网络输出的去模糊图像是清晰的，对其进行人脸识别得到的识别结果是准确的。因此，系统可以对所述去模糊图像进行人脸识别，得到人脸识别结果。
本实施例中，为了提高人脸识别的准确性和效率，进一步地，步骤107具体可以包括：将所述去模糊图像输入人脸特征提取网络进行人脸特征提取，得到第一目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；将所述第一目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述去模糊图像中各张人脸对应的身份信息。需要说明的是，本实施例汇总采用的人脸特征提取网络具体可以是基于resnet50的深度学习网络，在网络训练时，可以采用三元组损失函数，该损失函数可以使同一个人的人脸的特征向量的欧式距离尽可能的小，不同的人的人脸的特征向量的欧式距离比较大。关于该人脸特征提取网络的训练过程，本实施例不再赘述。
同理，上述步骤104也可以具体包括：将所述视频图像输入人脸特征提取网络进行人脸特征提取，得到第二目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；将所述第二目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述视频图像中各张人脸对应的身份信息。可以理解的是，步骤104可以与步骤107采用同一张人脸特征提取网络，也可以训练两张不同的人脸特征提取网络来分别针对视频 图像和去模糊图像进行人脸识别，以取得较好的人脸识别结果。
可以理解的是，在步骤104、步骤107中，将第一目标人脸特征、或第二目标人脸特征与预设人脸特征库中的人脸特征进行比较，可以从该预设人脸特征库中确定出与第一、第二目标人脸特征相同的预留人脸特征，该预留人脸特征记录有对应的人员身份，则该人员身份可以认为就是图像中识别到的人员的身份信息。当然，若比较发现，该预设人脸特征库中不存在与第一目标人脸特征、或第二目标人脸特征相同的人脸特征，则可以认为图像中的该人脸的人员身份无法确认，具体可以在系统中将其身份标注为“未知”或“识别失败”等。
本申请实施例中，首先，获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；然后，采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像；接着，对所述区域图像进行模糊度判断；若模糊度判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；若模糊度判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；再之，将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到；最后，对所述去模糊图像进行人脸识别，得到人脸识别结果。可见，本申请在人脸识别前，可以先对视频图像中的人脸进行模糊度判断，如果人脸不模糊，则可以直接对该视频图像进行人脸识别；反之，如果人脸模糊，则将该视频图像前后连续的多帧图像输入至去模糊网络，得到包含人脸的、清晰的图像(即该去模糊图像)，再对去模糊图像进行人脸识别。从而，可以保证人脸识别的图像都是清晰的，且本申请无需安装带有稳像功能的云台，降低了巡检机器人的成本，应用范围广泛，利于对存量巡检机器人进行改造以解决巡检机器人抖动产生的人脸图像模糊问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种去模糊的人脸识别系统，该去模糊的人脸识别系统与上述实施例中去模糊的人脸识别方法一一对应。如图7所示，该去模糊的人脸识别系统包括视频解码模块501、人脸检测模块502、模糊度判断模块503、第一识别模块504、多帧图像提取模块505、图像去模糊模块506和第二识别模块507。各功能模块详细说明如下：
视频解码模块501，用于获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
人脸检测模块502，用于采用人脸检测算法对所述视频图像进行人脸检测，得到所述 视频图像中包含人脸ROI区域的区域图像；
模糊度判断模块503，用于对所述区域图像进行模糊度判断；
第一识别模块504，用于若所述模糊度判断模块的判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；
多帧图像提取模块505，用于若所述模糊度判断模块的判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；
图像去模糊模块506，用于将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
第二识别模块507，用于对所述去模糊图像进行人脸识别，得到人脸识别结果。
进一步地，所述去模糊网络可以通过以下模块预先训练得到：
样本收集模块，用于收集多张清晰图像样本，并对每张清晰图像样本进行模糊处理，得到多张连续的、与之对应的模糊图像样本，得到多组训练样本，每组训练样本由一张清晰图像样本和对应的多张模糊图像样本组成；
网络训练模块，用于针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像；
网络参数调整模块，用于以预设损失函数的计算结果为调整目标，在迭代学习的过程中，通过调整所述去模糊网络的网络参数，以最小化所述损失函数的计算结果，所述损失函数用于计算每组训练样本中清晰图像样本与目标图像之间的误差；
训练完成模块，用于若所述损失函数的计算结果满足预设的训练终止条件，则确定所述去模糊网络已训练完成。
进一步地，所述去模糊网络可以包括编码网络和解码网络；
所述网络训练模块可以包括：
编码单元，用于在编码网络中，将所述每组训练样本中的多张模糊图像样本压缩成第一指定尺寸图像，再将所述第一指定尺寸图像经过两组残差卷积，得到第二指定尺寸图像；
解码单元，用于在解码网络中，将所述第二指定尺寸图像经过两组残差反向卷积并解压缩，得到一张与所述模糊图像样本尺寸相同的目标图像。
进一步地，所述第一识别模块可以包括：
第一特征提取单元，用于将所述视频图像输入人脸特征提取网络进行人脸特征提取，得到第二目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
第一特征比较单元，用于将所述第二目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述视频图像中各张人脸对应的身份信息。
进一步地，所述第二识别模块可以包括：
第二特征提取单元，用于将所述去模糊图像输入人脸特征提取网络进行人脸特征提取，得到第一目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
第二特征比较单元，用于将所述第一目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述去模糊图像中各张人脸对应的身份信息。
进一步地，所述模糊度判断模块可以包括：
模糊度计算单元，用于采用Laplacian算法计算所述区域图像的模糊度；
判断单元，用于判断计算得到的模糊度是否大于预设的模糊度阈值；
第一确定单元，用于若所述判断单元的判断结果为是，则确定所述区域图像不是模糊图像；
第二确定单元，用于若所述判断单元的判断结果为否，则确定所述区域图像是模糊图像。
进一步地，所述多帧图像提取模块具体用于：提取所述视频图像前后连续的六帧图像。
关于去模糊的人脸识别系统的具体限定可以参见上文中对于去模糊的人脸识别方法的限定，在此不再赘述。上述去模糊的人脸识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种巡检机器人，如图8所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中去模糊的人脸识别方法的步骤，例如图1所示的步骤101至步骤107。或者，处理器执行计算机程序时实现上述实施例中去模糊的人脸识别系统的各模块/单元的功能，例如图7所示模块501至模块507的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中去模糊的人脸识别方法的步骤，例如图1所示的步骤101至步骤107。或者，计算机程序被处理器执行时实现上述实施例中去模糊的人脸识别系统的各模块/单元的功能，例如图7所示模块501至模块507的功能。为避免重复，这里不再赘述。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过 其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种去模糊的人脸识别方法，其特征在于，包括：
    获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
    采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像；
    对所述区域图像进行模糊度判断；
    若模糊度判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；
    若模糊度判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；
    将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
    对所述去模糊图像进行人脸识别，得到人脸识别结果。
  2. 如权利要求1所述的去模糊的人脸识别方法，其特征在于，所述去模糊网络通过以下步骤预先训练得到：
    收集多张清晰图像样本，并对每张清晰图像样本进行模糊处理，得到多张连续的、与之对应的模糊图像样本，得到多组训练样本，每组训练样本由一张清晰图像样本和对应的多张模糊图像样本组成；
    针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像；
    以预设损失函数的计算结果为调整目标，在迭代学习的过程中，通过调整所述去模糊网络的网络参数，以最小化所述损失函数的计算结果，所述损失函数用于计算每组训练样本中清晰图像样本与目标图像之间的误差；
    若所述损失函数的计算结果满足预设的训练终止条件，则确定所述去模糊网络已训练完成。
  3. 如权利要求2所述的去模糊的人脸识别方法，其特征在于，所述去模糊网络包括编码网络和解码网络；
    针对每组训练样本，将所述每组训练样本中的多张模糊图像样本输入去模糊网络，得到所述去模糊网络输出的一张目标图像包括：
    在编码网络中，将所述每组训练样本中的多张模糊图像样本压缩成第一指定尺寸图像，再将所述第一指定尺寸图像经过两组残差卷积，得到第二指定尺寸图像；
    在解码网络中，将所述第二指定尺寸图像经过两组残差反向卷积并解压缩，得到一张与所述模糊图像样本尺寸相同的目标图像。
  4. 如权利要求1所述的去模糊的人脸识别方法，其特征在于，所述对所述去模糊图像进行人脸识别，得到人脸识别结果包括：
    将所述去模糊图像输入人脸特征提取网络进行人脸特征提取，得到第一目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
    将所述第一目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述去模糊图像中各张人脸对应的身份信息。
  5. 如权利要求1所述的去模糊的人脸识别方法，其特征在于，所述对所述视频图像进行人脸识别，得到人脸识别结果包括：
    将所述视频图像输入人脸特征提取网络进行人脸特征提取，得到第二目标人脸特征，所述人脸特征提取网络为由多张人脸样本预先训练好的深度学习网络；
    将所述第二目标人脸特征与预设人脸特征库中的人脸特征进行比较，确定出所述视频图像中各张人脸对应的身份信息。
  6. 如权利要求1所述的去模糊的人脸识别方法，其特征在于，所述对所述区域图像进行模糊度判断包括：
    采用Laplacian算法计算所述区域图像的模糊度；
    判断计算得到的模糊度是否大于预设的模糊度阈值；
    若计算得到的模糊度大于预设的模糊度阈值，则确定所述区域图像不是模糊图像；
    若计算得到的模糊度小于或等于预设的模糊度阈值，则确定所述区域图像是模糊图像。
  7. 如权利要求1至6中任一项所述的去模糊的人脸识别方法，其特征在于，所述提取所述视频图像前后连续的多帧图像具体为：提取所述视频图像前后连续的六帧图像。
  8. 一种去模糊的人脸识别系统，其特征在于，包括：
    视频解码模块，用于获取来自巡检机器人摄像头的视频流，并对所述视频流进行视频解码，得到解码后的视频图像；
    人脸检测模块，用于采用人脸检测算法对所述视频图像进行人脸检测，得到所述视频图像中包含人脸ROI区域的区域图像；
    模糊度判断模块，用于对所述区域图像进行模糊度判断；
    第一识别模块，用于若所述模糊度判断模块的判断结果为所述区域图像不是模糊图像，则对所述视频图像进行人脸识别，得到人脸识别结果；
    多帧图像提取模块，用于若所述模糊度判断模块的判断结果为所述区域图像是模糊图像，则提取所述视频图像前后连续的多帧图像；
    图像去模糊模块，用于将所述多帧图像输入至去模糊网络，得到所述去模糊网络输出的去模糊图像，所述去模糊网络为由多张模糊图像样本和对应的清晰图像样本作为训练样本预先训练得到的深度学习网络；
    第二识别模块，用于对所述去模糊图像进行人脸识别，得到人脸识别结果。
  9. 一种巡检机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的去模糊的人脸识别方法。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的去模糊的人脸识别方法。
PCT/CN2020/140410 2020-03-20 2020-12-28 一种去模糊的人脸识别方法、系统和一种巡检机器人 WO2021184894A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010202422.2A CN111460939A (zh) 2020-03-20 2020-03-20 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN202010202422.2 2020-03-20

Publications (1)

Publication Number Publication Date
WO2021184894A1 true WO2021184894A1 (zh) 2021-09-23

Family

ID=71685660

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/140410 WO2021184894A1 (zh) 2020-03-20 2020-12-28 一种去模糊的人脸识别方法、系统和一种巡检机器人

Country Status (2)

Country Link
CN (1) CN111460939A (zh)
WO (1) WO2021184894A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114240764A (zh) * 2021-11-12 2022-03-25 清华大学 去模糊卷积神经网络训练方法、装置、设备及存储介质
CN114332733A (zh) * 2022-01-04 2022-04-12 桂林电子科技大学 基于残差循环神经网络的视频监控人脸识别方法
CN114565538A (zh) * 2022-03-10 2022-05-31 山东大学齐鲁医院 一种内镜图像处理方法、系统、存储介质及设备
CN114783020A (zh) * 2022-04-03 2022-07-22 南京邮电大学 基于新型对抗学习去模糊理论的动态人脸识别方法
CN115147871A (zh) * 2022-07-19 2022-10-04 北京龙智数科科技服务有限公司 遮挡环境下行人再识别方法
CN115170973A (zh) * 2022-09-05 2022-10-11 广州艾米生态人工智能农业有限公司 一种智能化稻田杂草识别方法、装置、设备及介质
CN115985007A (zh) * 2022-12-06 2023-04-18 杭州未兰石云信息科技有限公司 一种基于低功耗的5g记录仪视频巡检方法与系统
CN116110100A (zh) * 2023-01-14 2023-05-12 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116229518A (zh) * 2023-03-17 2023-06-06 百鸟数据科技(北京)有限责任公司 一种基于机器学习的鸟类物种观测方法及系统
CN116309724A (zh) * 2023-03-29 2023-06-23 上海锡鼎智能科技有限公司 针对实验室考核的人脸模糊方法及人脸模糊装置
CN118015677A (zh) * 2024-01-09 2024-05-10 深圳市中研安创科技发展有限公司 一种用于手持式人脸识别终端的抖动修复系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN112069885A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 人脸属性识别方法、装置及移动终端
CN112069887B (zh) * 2020-07-31 2023-12-29 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN111738230B (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN112381016A (zh) * 2020-11-19 2021-02-19 山东海博科技信息系统股份有限公司 车载人脸识别算法优化方法及系统
CN112966562A (zh) * 2021-02-04 2021-06-15 深圳市街角电子商务有限公司 人脸活体检测方法、系统及存储介质
CN113283397A (zh) * 2021-06-29 2021-08-20 中国平安人寿保险股份有限公司 一种人脸识别系统和方法
CN113436231B (zh) * 2021-06-30 2023-09-15 平安科技（深圳）有限公司 行人轨迹生成方法、装置、设备及存储介质
CN113743220B (zh) * 2021-08-04 2024-06-04 深圳商周智联科技有限公司 一种生物特征活体检测方法、装置及计算机设备
CN113821680A (zh) * 2021-09-15 2021-12-21 深圳市银翔科技有限公司 一种移动电子证据管理方法及装置
CN116543222A (zh) * 2023-05-12 2023-08-04 北京长木谷医疗科技股份有限公司 膝关节病变检测方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、系统和计算机可读介质
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN110210432A (zh) * 2019-06-06 2019-09-06 湖南大学 一种基于智能安防机器人非受限条件下的人脸识别方法
CN110569809A (zh) * 2019-09-11 2019-12-13 淄博矿业集团有限责任公司 一种基于深度学习的煤矿动态人脸识别考勤方法及系统
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900312B2 (en) * 2016-04-06 2024-02-13 Smiota, Inc. Package analysis devices and systems
CN106503669B (zh) * 2016-11-02 2019-12-10 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106682604B (zh) * 2016-12-20 2020-08-11 电子科技大学 一种基于深度学习的模糊图像检测方法
CN108550118B (zh) * 2018-03-22 2022-02-22 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
WO2019204945A1 (en) * 2018-04-26 2019-10-31 C2Ro Cloud Robotics Inc. System and method for scalable cloud-robotics based face recognition and face analysis
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109360171B (zh) * 2018-10-26 2021-08-06 北京理工大学 一种基于神经网络的视频图像实时去模糊方法
CN109461131A (zh) * 2018-11-20 2019-03-12 中山大学深圳研究院 一种基于神经网络算法的智能内后视镜实时去模糊方法
CN110008919A (zh) * 2019-04-09 2019-07-12 南京工业大学 基于视觉的四旋翼无人机人脸识别系统
CN110378235B (zh) * 2019-06-20 2024-05-28 平安科技（深圳）有限公司 一种模糊人脸图像识别方法、装置及终端设备
CN110472566B (zh) * 2019-08-14 2022-04-26 旭辉卓越健康信息科技有限公司 一种高精度的模糊人脸识别方法
CN110750663B (zh) * 2019-10-08 2021-11-23 浙江工业大学 一种面向生活记录的跨模态图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、系统和计算机可读介质
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN110210432A (zh) * 2019-06-06 2019-09-06 湖南大学 一种基于智能安防机器人非受限条件下的人脸识别方法
CN110569809A (zh) * 2019-09-11 2019-12-13 淄博矿业集团有限责任公司 一种基于深度学习的煤矿动态人脸识别考勤方法及系统
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066751B (zh) * 2021-10-29 2024-02-27 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114240764A (zh) * 2021-11-12 2022-03-25 清华大学 去模糊卷积神经网络训练方法、装置、设备及存储介质
CN114240764B (zh) * 2021-11-12 2024-04-23 清华大学 去模糊卷积神经网络训练方法、装置、设备及存储介质
CN114332733A (zh) * 2022-01-04 2022-04-12 桂林电子科技大学 基于残差循环神经网络的视频监控人脸识别方法
CN114332733B (zh) * 2022-01-04 2024-03-15 桂林电子科技大学 基于残差循环神经网络的视频监控人脸识别方法
CN114565538A (zh) * 2022-03-10 2022-05-31 山东大学齐鲁医院 一种内镜图像处理方法、系统、存储介质及设备
CN114565538B (zh) * 2022-03-10 2024-03-01 山东大学齐鲁医院 一种内镜图像处理方法、系统、存储介质及设备
CN114783020A (zh) * 2022-04-03 2022-07-22 南京邮电大学 基于新型对抗学习去模糊理论的动态人脸识别方法
CN115147871A (zh) * 2022-07-19 2022-10-04 北京龙智数科科技服务有限公司 遮挡环境下行人再识别方法
CN115147871B (zh) * 2022-07-19 2024-06-11 北京龙智数科科技服务有限公司 遮挡环境下行人再识别方法
CN115170973B (zh) * 2022-09-05 2022-12-20 广州艾米生态人工智能农业有限公司 一种智能化稻田杂草识别方法、装置、设备及介质
CN115170973A (zh) * 2022-09-05 2022-10-11 广州艾米生态人工智能农业有限公司 一种智能化稻田杂草识别方法、装置、设备及介质
CN115985007A (zh) * 2022-12-06 2023-04-18 杭州未兰石云信息科技有限公司 一种基于低功耗的5g记录仪视频巡检方法与系统
CN116110100B (zh) * 2023-01-14 2023-11-14 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116110100A (zh) * 2023-01-14 2023-05-12 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质
CN116229518A (zh) * 2023-03-17 2023-06-06 百鸟数据科技(北京)有限责任公司 一种基于机器学习的鸟类物种观测方法及系统
CN116229518B (zh) * 2023-03-17 2024-01-16 百鸟数据科技(北京)有限责任公司 一种基于机器学习的鸟类物种观测方法及系统
CN116309724A (zh) * 2023-03-29 2023-06-23 上海锡鼎智能科技有限公司 针对实验室考核的人脸模糊方法及人脸模糊装置
CN116309724B (zh) * 2023-03-29 2024-03-22 上海锡鼎智能科技有限公司 针对实验室考核的人脸模糊方法及人脸模糊装置
CN118015677A (zh) * 2024-01-09 2024-05-10 深圳市中研安创科技发展有限公司 一种用于手持式人脸识别终端的抖动修复系统

Also Published As

Publication number Publication date
CN111460939A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
WO2021184894A1 (zh) 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
CN113284168A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
KR20180109665A (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
US20150104062A1 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
CN111402237B (zh) 基于时空级联自编码器的视频图像异常检测方法及系统
CN110084130B (zh) 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质
WO2014070489A1 (en) Recursive conditional means image denoising
CN112417955B (zh) 巡检视频流处理方法及装置
CN103634593B (zh) 摄像机移动检测方法和系统
CN112257643A (zh) 一种基于视频流的抽烟行为和打电话行为识别方法
CN115358952B (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN115937237A (zh) 一种基于边缘变换域的局部特征提取方法
CN110795998B (zh) 人流量的检测方法、装置、电子设备及可读存储介质
CN105763814A (zh) 夜景拍摄的方法及装置
CN109784215B (zh) 一种基于改进的光流法的活体检测方法及系统
CN113936252A (zh) 基于视频监控的电瓶车智能管理系统及方法
CN112949431B (zh) 视频篡改检测方法和系统、存储介质
CN109670470B (zh) 行人关系识别方法、装置、系统及电子设备
CN113158720A (zh) 一种基于双模特征和注意力机制的视频摘要方法及装置
CN109409325B (zh) 一种识别方法和电子设备
CN112926444A (zh) 抛物行为检测方法及装置
CN110490027B (zh) 人脸特征提取训练方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925530

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20925530

Country of ref document: EP

Kind code of ref document: A1