WO2019033574A1 - 电子装置、动态视频人脸识别的方法、系统及存储介质 - Google Patents

电子装置、动态视频人脸识别的方法、系统及存储介质 Download PDF

Info

Publication number
WO2019033574A1
WO2019033574A1 PCT/CN2017/108759 CN2017108759W WO2019033574A1 WO 2019033574 A1 WO2019033574 A1 WO 2019033574A1 CN 2017108759 W CN2017108759 W CN 2017108759W WO 2019033574 A1 WO2019033574 A1 WO 2019033574A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature point
face
face image
rectangular area
Prior art date
Application number
PCT/CN2017/108759
Other languages
English (en)
French (fr)
Inventor
戴磊
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019033574A1 publication Critical patent/WO2019033574A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to an electronic device, a method, system, and storage medium for dynamic video face recognition.
  • the general product is to identify the first frame of the detected face, but it may be used for recognition due to changes in the posture, image quality, etc. of the face in the dynamic video.
  • the quality of the face of that frame is poor, which will result in lower recognition accuracy.
  • the purpose of the present application is to provide an electronic device, a method and system for dynamic video face recognition, and a storage medium, aiming at improving the accuracy of face recognition.
  • the present application provides an electronic device including a memory and a processor coupled to the memory, wherein the memory stores a multi-frame joint dynamic identification person operable on the processor A system of faces, wherein the multi-frame joint dynamic recognition system is implemented by the processor to implement the following steps:
  • the image quality scoring step obtaining a sequence of face images captured in real time, and scoring the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image;
  • Sorting step sorting the scoring results in descending order, and selecting a preset number of face images from the ranked sequence;
  • a searching step searching, in the face image sample library, a sample image that matches each face image in the preset number of face images;
  • the step of identifying when the face image exceeding the threshold in the preset number of face images matches the same sample image in the face image sample library, determining the real-time face image of the sequence as the matched sample image The video image of the corresponding person.
  • the present application further provides a method for dynamic video face recognition, and the method for dynamic video face recognition includes:
  • Image quality scoring step obtaining a sequence of face images captured in real time, and evaluating the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image Minute;
  • Sorting step sorting the scoring results in descending order, and selecting a preset number of face images from the ranked sequence;
  • a searching step searching, in the face image sample library, a sample image that matches each face image in the preset number of face images;
  • the step of identifying when the face image exceeding the threshold in the preset number of face images matches the same sample image in the face image sample library, determining the real-time face image of the sequence as the matched sample image The video image of the corresponding person.
  • the present application further provides a multi-frame joint dynamic recognition system for a human face, and the multi-frame joint dynamic recognition system includes:
  • a scoring module configured to obtain a sequence of face images captured in real time, and score the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image;
  • a sorting module configured to sort the scoring results in descending order, and select a preset number of face images from the ranked sequence
  • a searching module configured to separately search, in the face image sample library, a sample image that matches each face image in the preset number of face images
  • An identification module configured to determine that a real-time face image of the sequence is matched when a face image exceeding a threshold in the preset number of face images matches a same sample image in the face image sample library The video image of the person corresponding to the sample image.
  • the present application further provides a computer readable storage medium storing a system of multi-frame joint dynamic recognition human face, the multi-frame joint dynamic recognition system is implemented by a processor to implement steps :
  • the image quality scoring step obtaining a sequence of face images captured in real time, and scoring the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image;
  • Sorting step sorting the scoring results in descending order, and selecting a preset number of face images from the ranked sequence;
  • a searching step searching, in the face image sample library, a sample image that matches each face image in the preset number of face images;
  • the step of identifying when the face image exceeding the threshold in the preset number of face images matches the same sample image in the face image sample library, determining the real-time face image of the sequence as the matched sample image The video image of the corresponding person.
  • the present application tracks the face entering the recognition range, performs quality scoring on each face in the tracking sequence, and sorts by the score, and selects the top frames of the score as the candidate face. Performing 1:N face recognition for each candidate face, and finally voting for each recognition result, the number of votes exceeding the threshold is used as the recognition result.
  • This application uses a multi-frame joint discrimination algorithm based on face quality assessment, which does not need to be recognized. In the case of cooperation, the face image with high face quality score is selected for recognition, thereby improving the accuracy of face recognition.
  • FIG. 1 is a schematic diagram of an optional application environment of each embodiment of the present application.
  • FIG. 2 is a schematic flowchart diagram of an embodiment of a method for dynamic video face recognition according to the present application.
  • first, second and the like in the present application are for the purpose of description only, and are not to be construed as indicating or implying their relative importance or implicitly indicating the number of technical features indicated. .
  • features defining “first” and “second” may include at least one of the features, either explicitly or implicitly.
  • the technical solutions between the various embodiments may be combined with each other, but must be based on the realization of those skilled in the art, and when the combination of the technical solutions is contradictory or impossible to implement, it should be considered that the combination of the technical solutions does not exist. Nor is it within the scope of protection required by this application.
  • FIG. 1 it is a schematic diagram of an application environment of a preferred embodiment of the method for dynamic video face recognition of the present application.
  • the application environment diagram includes an electronic device 1 and a camera device 2.
  • the electronic device 1 can perform data interaction with the camera device 2 through a suitable technology such as a network or a near field communication technology.
  • the imaging device 2 may be a camera including a TUBE vacuum tube sensor, a CCD (Charge Coupled Device) charge coupling module sensor, or a CMOS metal oxide semiconductor sensor, and is not limited thereto.
  • the camera device 2 includes one or more devices installed in a specific place (for example, an office place and a monitoring area), and captures a video in real time for a target entering the specific place, and transmits the captured video to the electronic device 1 in real time through the network.
  • the electronic device 1 is an apparatus capable of automatically performing numerical calculation and/or information processing in accordance with an instruction set or stored in advance.
  • the electronic device 1 may be a computer, a single network server, a server group composed of multiple network servers, or a cloud-based cloud composed of a large number of hosts or network servers, where cloud computing is a type of distributed computing.
  • a super virtual computer consisting of a group of loosely coupled computers.
  • the electronic device 1 may include, but is not limited to, a memory 11, a processor 12, and a network interface 13 communicably connected to each other through a system bus, and the memory 11 stores a multi-frame joint that can be run on the processor 12.
  • FIG. 1 only shows the electronic device 1 having the components 11-13, but it should be understood that not all illustrated components may be implemented, and more or fewer components may be implemented instead.
  • the memory 11 may further include a memory and at least one type of readable storage medium, and the memory provides a cache for the operation of the electronic device 1.
  • the readable storage medium can also be used to store a real-time captured video and a library of face image samples received by the electronic device 1.
  • Readable storage media can be as flash, hard Disk, multimedia card, card type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory (SRAM), read only memory (ROM), electrically erasable programmable read only memory ( Non-volatile storage medium such as EEPROM), Programmable Read Only Memory (PROM), magnetic memory, magnetic disk, optical disk, and the like.
  • the readable storage medium may be an internal storage unit of the electronic device 1, such as a hard disk of the electronic device 1; in other embodiments, the readable storage medium may also be an external storage device of the electronic device 1.
  • the readable storage medium may also be an external storage device of the electronic device 1.
  • a plug-in hard disk equipped with an electronic device 1 a smart memory card (SMC), a Secure Digital (SD) card, a flash card, and the like.
  • the memory 11 can also be used to store an operating system installed in the electronic device 1 and various types of application software, such as a program code of a system for multi-frame joint dynamic recognition of human faces in an embodiment of the present application.
  • the processor 12 may be a Central Processing Unit (CPU), controller, microcontroller, microprocessor, or other data processing chip in some embodiments.
  • the processor 12 is typically used to control the overall operation of the electronic device 1, such as performing control and processing associated with data interaction or communication with the camera device 2.
  • the processor 12 is configured to run program code or processing data stored in the memory 11, such as a system that runs a multi-frame joint dynamic recognition of a human face, and the like.
  • the network interface 13 may comprise a wireless network interface or a wired network interface, which is typically used to establish a communication connection between the electronic device 1 and other electronic devices.
  • the network interface 13 is mainly used to connect the electronic device 1 with one or more camera devices 2 to establish a data transmission channel and a communication connection.
  • the multi-frame system for jointly recognizing a human face is stored in the memory 11 and includes at least one computer readable instruction stored in the memory 11, the at least one computer readable instruction being executable by the processor 12 to implement the present application.
  • the method of each embodiment; and the at least one computer readable instruction can be classified into different logic modules according to different functions implemented by the various parts thereof.
  • the embodiment includes a scoring module, a sorting module, a searching module, and an identifying module.
  • the image quality scoring step obtaining a sequence of face images captured in real time, and scoring the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image;
  • the face image based on the feature of the face attempts to frame the face image, and the framed face image is used as a sequence of face images.
  • the feature points include an eye feature point, a nose feature point, and a mouth feature point.
  • the gradient value of the feature point is a mean gradient (mean gradient), and the average gradient refers to the boundary of the feature point of the face image or the gray near the sides of the hatch.
  • the degree of gray that is, the rate of change of gray can be used to represent the sharpness of the image, reflecting the rate of change of the minute detail of the feature point, that is, the rate of density change in the multi-dimensional direction of the feature point, representing the face The relative clarity of the image.
  • the coordinate values of the feature points include at least the x-axis coordinate of the eye feature point and the nose feature point.
  • Sorting step sorting the scoring results in descending order, and selecting a preset number of face images from the ranked sequence;
  • the score results are arranged in descending order, that is, the face image is arranged in front of the face image, and the preset number of people ranked first is selected from the arranged sequence.
  • Face image for example, 7 face images are selected.
  • a searching step searching, in the face image sample library, a sample image that matches each face image in the preset number of face images;
  • a large number of face images are stored in the face image sample library.
  • each face image is matched with the face image in the face image sample library, and the matching method may have one or more methods.
  • the panning may be performed by Rotate, zoom, etc. to correct the two faces to be matched, so that they are aligned in space, the feature points of the image are mapped one by one, and then the similarity between the registration regions is calculated, if the similarity between the two faces is As large as possible, the possibility that the faces of the two faces are the same person is greater, and vice versa.
  • a gray-based matching method, a feature-based matching method, or a matching method based on other principles may be adopted, and are not enumerated here.
  • the step of identifying when the face image exceeding the threshold in the preset number of face images matches the same sample image in the face image sample library, determining the real-time face image of the sequence as the matched sample image The video image of the corresponding person.
  • the threshold value is 3, and the descending order is arranged according to the score result.
  • Seven face images are selected from the face image of the sequence, and a sample image matching each of the seven face images is searched in the face sample library. If four of the seven face images match the same sample image A, and the remaining three images match the other sample images, it is determined that the person in the real-time face image of the sequence is a person in the sample image A.
  • the embodiment tracks the face entering the recognition range, performs quality scoring on each face in the tracking sequence, and sorts by the score, and selects the top frames of the score as the candidate face. Performing 1:N face recognition for each candidate face, and finally voting for each recognition result, and the number of votes exceeding the threshold is used as the recognition result.
  • This embodiment uses a multi-frame joint discrimination algorithm based on face quality evaluation, which is not required. When the recognized person cooperates, the face image with high face quality score is selected for recognition, thereby improving the accuracy of face recognition.
  • the image quality scoring step described above includes the following formula:
  • x_LeftEye represents the X coordinate of the left and right eyeballs
  • x_Nose represents the X coordinate of the tip feature point
  • grad is the eye feature point
  • nose The average gradient of the feature points and the mouth feature points. It can be seen from the formula that the larger the average gradient value, the higher the score of the image, and the greater the probability that the face image is a positive face image.
  • a face image that is a positive face in the face image or a face image that is close to the face can be selected.
  • the calculation of the average gradient comprises:
  • a first rectangular area including the binocular feature points is taken in the converted face image, wherein the length of the first rectangular area is the distance from the left eye corner of the left eye to the right eye corner of the right eye in the face image, and the first rectangular area
  • the width can be included in the upper and lower eyelids, without excessive restrictions;
  • the mean value of the luminance differences of all the pixels in the first rectangular region and the mean value of the luminance differences of all the pixels in the second rectangular region are summed, and the average value is taken as the average gradient grad.
  • FIG. 2 is a schematic flowchart of a method for dynamic video face recognition according to an embodiment of the present disclosure.
  • the method for dynamic video face recognition includes the following steps:
  • Image quality scoring step acquiring a sequence of face images captured in real time, and scoring the quality of each face image in the series according to the gradient values and coordinate values of the feature points in the face image;
  • the face image based on the feature of the face attempts to frame the face image, and the framed face image is used as a sequence of face images.
  • the feature points include an eye feature point, a nose feature point, and a mouth feature point.
  • the gradient value of the feature point is a mean gradient of the feature point, and the average gradient refers to a boundary point or a hatch of the feature point of the face image.
  • the gray scale change rate is large, and the magnitude of the change rate can be used to represent the image sharpness, reflecting the rate of change of the minute detail contrast of the feature point, that is, the rate of density change in the multi-dimensional direction of the feature point, Represents the relative clarity of face images.
  • the coordinate values of the feature points include at least the x-axis coordinate of the eye feature point and the nose feature point.
  • sorting step sorting the scoring results in descending order, and selecting a preset number of face images from the ranked sequence
  • the score results are arranged in descending order, that is, the face image is arranged in front of the face image, and the preset number of people ranked first is selected from the arranged sequence.
  • Face image for example, 7 face images are selected.
  • a searching step searching, in the face image sample library, a sample image that matches each face image in the preset number of face images;
  • a large number of face images are stored in the face image sample library.
  • each face image is matched with the face image in the face image sample library, and the matching method may have one or more methods.
  • the panning may be performed by Rotate, zoom, etc. to correct the two faces to be matched, so that they are aligned in space, the feature points of the image are mapped one by one, and then the similarity between the registration regions is calculated, if the similarity between the two faces is As large as possible, the possibility that the faces of the two faces are the same person is greater, and vice versa.
  • a gray-based matching method, a feature-based matching method, or a matching method based on other principles may be adopted, and are not enumerated here.
  • the threshold value is 3, and the descending order is arranged according to the score result.
  • Seven face images are selected from the face image of the sequence, and a sample image matching each of the seven face images is searched in the face sample library. If four of the seven face images match the same sample image A, and the remaining three images match the other sample images, it is determined that the person in the real-time face image of the sequence is a person in the sample image A.
  • the embodiment tracks the face entering the recognition range, performs quality scoring on each face in the tracking sequence, and sorts by the score, and selects the top frames of the score as the candidate face. Performing 1:N face recognition for each candidate face, and finally voting for each recognition result, and the number of votes exceeding the threshold is used as the recognition result.
  • This embodiment uses a multi-frame joint discrimination algorithm based on face quality evaluation, which is not required. When the recognized person cooperates, the face image with high face quality score is selected for recognition, thereby improving the accuracy of face recognition.
  • the image quality scoring step described above includes the following formula:
  • x_LeftEye represents the X coordinate of the left eyeball and the right eyeball
  • x_Nose represents the X coordinate of the nose tip feature point
  • grad is the average of the eye feature point, the nose feature point, and the mouth feature point. gradient. It can be seen from the formula that the larger the average gradient value, the higher the score of the image, and the greater the probability that the face image is a positive face image.
  • a face image that is a positive face in the face image or a face image that is close to the face can be selected.
  • the calculation of the average gradient comprises:
  • the length of the first rectangular area is the distance from the left eye corner of the left eye to the right eye corner of the right eye in the face image
  • the width of the first rectangular area can include the upper and lower eyelids, and is not excessively limited
  • the mean value of the luminance differences of all the pixels in the first rectangular region and the mean value of the luminance differences of all the pixels in the second rectangular region are summed, and the average value is taken as the average gradient grad.
  • the present application also provides a computer readable storage medium having a system of multi-frame joint dynamic recognition face stored on a computer, wherein the multi-frame joint dynamic recognition system is implemented by a processor to implement the above The steps of the dynamic video face recognition method.
  • the foregoing embodiment method can be implemented by means of software plus a necessary general hardware platform, and of course, can also be through hardware, but in many cases, the former is better.
  • Implementation Based on such understanding, the technical solution of the present application, which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a storage medium (such as ROM/RAM, disk,
  • the optical disc includes a number of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to perform the methods described in various embodiments of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种电子装置、动态视频人脸识别的方法、系统及存储介质，该动态视频人脸识别的方法包括：图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分（S1）；排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像（S2）；查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像（S3）；识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像（S4）。所述方法能够提高人脸识别的精度。

Description

电子装置、动态视频人脸识别的方法、系统及存储介质
优先权申明
本申请基于巴黎公约申明享有2017年08月17日递交的申请号为CN 201710709125.5、名称为“电子装置、动态视频人脸识别的方法及存储介质”中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种电子装置、动态视频人脸识别的方法、系统及存储介质。
背景技术
目前，在视频动态人脸识别中，一般产品的做法是对检测到的人脸的第一帧进行识别，但是由于动态视频中人脸的姿态、画质等的变化，有可能用于识别的那一帧人脸质量较差，会造成识别精度降低。
发明内容
本申请的目的在于提供一种电子装置、动态视频人脸识别的方法、系统及存储介质，旨在提高人脸识别的精度。
为实现上述目的，本申请提供一种电子装置，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被所述处理器执行时实现如下步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
为实现上述目的，本申请还提供一种动态视频人脸识别的方法，所述动态视频人脸识别的方法包括：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评 分；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
为实现上述目的，本申请还提供一种多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统包括：
评分模块，用于获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
排序模块，用于将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找模块，用于在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别模块，用于当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本申请的有益效果是：本申请对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本申请使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
附图说明
图1为本申请各个实施例一可选的应用环境示意图；
图2为本申请动态视频人脸识别的方法一实施例的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
参阅图1所示，是本申请动态视频人脸识别的方法的较佳实施例的应用环境示意图。该应用环境示意图包括电子装置1及摄像装置2。电子装置1可以通过网络、近场通信技术等适合的技术与摄像装置2进行数据交互。
所述摄像装置2可以是包含TUBE真空管式传感器、CCD(Charge Coupled Device)电荷藕合组件传感器或者CMOS金属氧化物半导体传感器的摄像头等，此处不做过多限定。摄像装置2包括一个或者多个，安装于特定场所(例如办公场所、监控区域)，对进入该特定场所的目标实时拍摄得到视频，通过网络将拍摄得到的视频实时传输至电子装置1。
所述电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的多帧联合动态识别人脸的系统。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器11还可以包括内存及至少一种类型的可读存储介质，内存为电子装置1的运行提供缓存。其可读存储介质还可用于存储电子装置1接收到的实时拍摄的视频及人脸图像样本库。可读存储介质可为如闪存、硬 盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该可读存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11还可用于存储安装于电子装置1的操作系统和各类应用软件，例如本申请一实施例中的多帧联合动态识别人脸的系统的程序代码等。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述摄像装置2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行多帧联合动态识别人脸的系统等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。本实施例中，网络接口13主要用于将电子装置1与一个或多个摄像装置2相连，以建立数据传输通道和通信连接。
所述多帧联合动态识别人脸的系统存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器器12执行，以实现本申请各实施例的方法；以及，该至少一个计算机可读指令依据其各部分所实现的功能不同，可被划为不同的逻辑模块本实施例包括评分模块、排序模块、查找模块及识别模块。
在一实施例中，上述多帧联合动态识别人脸的系统被所述处理器12执行时实现如下步骤：
图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征尝试框定出人脸图像，框定出来的人脸图像作为一序列的人脸图像。
其中，特征点包括眼部特征点、鼻部特征点及嘴部特征点，特征点的梯度值为平均梯度(meangradient)，平均梯度指人脸图像的特征点的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，反映了特征点微小细节反差变化的速率，即特征点多维方向上密度变化的速率，表征人脸图像的相对清晰程度。特征点的坐标值至少包括眼部特征点及鼻部特征点的x横坐标。
在对该系列中的每张人脸图像的质量进行评分的过程中，拍摄得到的人 脸图像中，双眼之间距离越大、双眼中心点与鼻尖的x横坐标越接近，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
本实施例中，为了方便选出正脸的人脸图像，将评分结果降序排列，即人脸图像为正脸图像的排列在前，从排列的序列中选取评分靠前的预设数量的人脸图像，例如选取7张人脸图像。
查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
本实施例中，人脸图像样本库中存储有大量的人脸图像。对于选取的预设数量的人脸图像，将每一人脸图像与人脸图像样本库中的人脸图像进行匹配，匹配的方法可以有一种或者多种，在一实施例中，可以通过平移、旋转、缩放等来校正两幅待匹配的人脸图像，使其在空间上对齐配准，图像的特征点一一映射，然后计算配准区域间的相似度，若两人脸图像的相似度尽可能大，则两人脸图像为同一人的可能性越大，反之就比较小。本实施例可以采用基于灰度的匹配法、基于特征的匹配法或者基于其他原理的匹配法等，此处不再一一列举。
识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本实施例中，当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，例如，阈值＝3，依据评分结果的降序排列，从该序列的人脸图像中选取7张人脸图像，在人脸样本库中查找将该7张人脸图像中的每一张图像相匹配的样本图像。若该7张人脸图像中有4张与同一个样本图像A相匹配，其余3张与其他的样本图像匹配，则判定该序列的实时人脸图像中的人物为样本图像A中的人物。
与现有技术相比，本实施例对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本实施例使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
在一优选的实施例中，在上述图1的实施例的基础上，上述的图像质量评分步骤包括如下计算公式：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部 特征点及嘴部特征点三者的平均梯度。从公式可以看出，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
依据上述的对每张人脸图像的质量进行评分的方式，能够选出人脸图像中为正脸的人脸图像或者为接近正脸的人脸图像。
优选地，平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域，其中，第一矩形区域的长为人脸图像中左眼的左眼角到右眼的右眼角的距离，第一矩形区域的宽能够包括上下眼睑即可，不做过多限定；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域，第二矩形区域大小适当即可；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
如图2所示，图2为本申请动态视频人脸识别的方法一实施例的流程示意图，该动态视频人脸识别的方法包括以下步骤：
S1，图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
其中，对于在实时拍摄的动态视频的每一帧图像中，基于人脸的特征尝试框定出人脸图像，框定出来的人脸图像作为一序列的人脸图像。
其中，特征点包括眼部特征点、鼻部特征点及嘴部特征点，特征点的梯度值为特征点的平均梯度(meangradient)，平均梯度指人脸图像的特征点的边界或影线两侧附近灰度有明显差异，即灰度变化率大，这种变化率的大小可用来表示图像清晰度，反映了特征点微小细节反差变化的速率，即特征点多维方向上密度变化的速率，表征人脸图像的相对清晰程度。特征点的坐标值至少包括眼部特征点及鼻部特征点的x横坐标。
在对该系列中的每张人脸图像的质量进行评分的过程中，拍摄得到的人脸图像中，双眼之间距离越大、双眼中心点与鼻尖的x横坐标越接近，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
S2，排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
本实施例中，为了方便选出正脸的人脸图像，将评分结果降序排列，即人脸图像为正脸图像的排列在前，从排列的序列中选取评分靠前的预设数量的人脸图像，例如选取7张人脸图像。
S3，查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
本实施例中，人脸图像样本库中存储有大量的人脸图像。对于选取的预设数量的人脸图像，将每一人脸图像与人脸图像样本库中的人脸图像进行匹配，匹配的方法可以有一种或者多种，在一实施例中，可以通过平移、旋转、缩放等来校正两幅待匹配的人脸图像，使其在空间上对齐配准，图像的特征点一一映射，然后计算配准区域间的相似度，若两人脸图像的相似度尽可能大，则两人脸图像为同一人的可能性越大，反之就比较小。本实施例可以采用基于灰度的匹配法、基于特征的匹配法或者基于其他原理的匹配法等，此处不再一一列举。
S4，识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
本实施例中，当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，例如，阈值＝3，依据评分结果的降序排列，从该序列的人脸图像中选取7张人脸图像，在人脸样本库中查找将该7张人脸图像中的每一张图像相匹配的样本图像。若该7张人脸图像中有4张与同一个样本图像A相匹配，其余3张与其他的样本图像匹配，则判定该序列的实时人脸图像中的人物为样本图像A中的人物。
与现有技术相比，本实施例对进入识别范围的人脸进行追踪，对追踪序列中的每一个人脸进行质量评分并按评分进行排序，挑选分数最靠前的若干帧作为候选人脸，对每一个候选人脸进行1:N人脸识别，最后对各个识别结果进行投票，票数超过阈值者作为识别结果，本实施例使用基于人脸质量评估的多帧联合判别算法，在不需要被识别者配合的情况下，选出人脸质量评分高的人脸图像进行识别，从而提高人脸识别的精度。
在一优选的实施例中，在上述图2的实施例的基础上，上述的图像质量评分步骤包括如下计算公式：
p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。从公式可以看出，平均梯度值越大，图像的评分就越高，表示人脸图像为正脸图像的概率越大。
依据上述的对每张人脸图像的质量进行评分的方式，能够选出人脸图像中为正脸的人脸图像或者为接近正脸的人脸图像。
优选地，平均梯度的计算方式包括：
将所述人脸图像从RGB图像转换为灰度图像；
在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域，其中， 第一矩形区域的长为人脸图像中左眼的左眼角到右眼的右眼角的距离，第一矩形区域的宽能够包括上下眼睑即可，不做过多限定；
计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域，第二矩形区域大小适当即可；
计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现上述的动态视频人脸识别的方法的步骤。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种电子装置，其特征在于，所述电子装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被所述处理器执行时实现如下步骤：
    图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
    排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
    查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
    识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
  2. 根据权利要求1所述的电子装置，其特征在于，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
  3. 根据权利要求2所述的电子装置，其特征在于，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
    p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
    其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
  4. 根据权利要求2所述的电子装置，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  5. 根据权利要求3所述的电子装置，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  6. 一种动态视频人脸识别的方法，其特征在于，所述动态视频人脸识别的方法包括：
    图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
    排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
    查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
    识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
  7. 根据权利要求6所述的动态视频人脸识别的方法，其特征在于，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
  8. 根据权利要求7所述的动态视频人脸识别的方法，其特征在于，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
    p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
    其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
  9. 根据权利要求7所述的动态视频人脸识别的方法，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  10. 根据权利要求8所述的动态视频人脸识别的方法，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  11. 一种多帧联合动态识别人脸的系统，其特征在于，所述多帧联合动态识别人脸的系统包括：
    评分模块，用于获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
    排序模块，用于将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
    查找模块，用于在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
    识别模块，用于当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹配的样本图像对应的人物的视频图像。
  12. 根据权利要求11所述的多帧联合动态识别人脸的系统，其特征在于，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
  13. 根据权利要求12所述的多帧联合动态识别人脸的系统，其特征在于，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
    p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
    其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
  14. 根据权利要求12所述的多帧联合动态识别人脸的系统，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  15. 根据权利要求13所述的多帧联合动态识别人脸的系统，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  16. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多帧联合动态识别人脸的系统，所述多帧联合动态识别人脸的系统被处理器执行时实现步骤：
    图像质量评分步骤：获取实时拍摄的一序列的人脸图像，根据所述人脸图像中特征点的梯度值及坐标值对该系列中的每张人脸图像的质量进行评分；
    排序步骤：将评分结果降序排列，从排列的序列中选取评分靠前的预设数量的人脸图像；
    查找步骤：在人脸图像样本库中分别搜索与该预设数量的人脸图像中每张人脸图像匹配的样本图像；
    识别步骤：当该预设数量的人脸图像中有超过阈值的人脸图像与人脸图像样本库中的同一样本图像相匹配时，判定该序列的实时人脸图像为该相匹 配的样本图像对应的人物的视频图像。
  17. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述人脸图像中特征点包括眼部特征点、鼻部特征点及嘴部特征点，所述梯度值为眼部特征点、鼻部特征点及嘴部特征点的平均梯度。
  18. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述眼部特征点包括左眼球特征点及右眼球特征点，所述嘴部特征点包括左嘴角特征点及右嘴角特征点，所述图像质量评分步骤包括：
    p＝((x_LeftEye-x_RightEye)^2×grad)/|(x_LeftEye+x_RightEye)/2-x_Nose|；
    其中，p为图像质量评分，x_LeftEye、x_RightEye表示左眼球、右眼球的X坐标，x_Nose表示鼻尖特征点的X坐标，grad为眼部特征点、鼻部特征点及嘴部特征点三者的平均梯度。
  19. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
  20. 根据权利要求18所述的计算机可读存储介质，其特征在于，所述平均梯度的计算方式包括：
    将所述人脸图像从RGB图像转换为灰度图像；
    在转换后的人脸图像中取一个包含双眼特征点的第一矩形区域；
    计算该第一矩形区域内每个像素点与相邻像素点之间的亮度差，取该第一矩形区域所有像素点的亮度差的均值；
    在转换后的人脸图像中取一个包含鼻部特征点和嘴部特征点的第二矩形区域；
    计算该第二矩形区域内每个像素点与相邻像素点之间的亮度差，取该第二矩形区域所有像素点的亮度差的均值；
    将该第一矩形区域所有像素点的亮度差的均值、第二矩形区域所有像素点的亮度差的均值求和后取均值，作为所述平均梯度grad。
PCT/CN2017/108759 2017-08-17 2017-10-31 电子装置、动态视频人脸识别的方法、系统及存储介质 WO2019033574A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710709125.5 2017-08-17
CN201710709125.5A CN107633209B (zh) 2017-08-17 2017-08-17 电子装置、动态视频人脸识别的方法及存储介质

Publications (1)

Publication Number Publication Date
WO2019033574A1 true WO2019033574A1 (zh) 2019-02-21

Family

ID=61100213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/108759 WO2019033574A1 (zh) 2017-08-17 2017-10-31 电子装置、动态视频人脸识别的方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN107633209B (zh)
WO (1) WO2019033574A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111369531A (zh) * 2020-03-04 2020-07-03 浙江大华技术股份有限公司 图像清晰度的评分方法、设备及存储装置
CN111652048A (zh) * 2020-04-17 2020-09-11 北京品恩科技股份有限公司 一种基于深度学习的1：n人脸比对方法
CN112036277A (zh) * 2020-08-20 2020-12-04 浙江大华技术股份有限公司 一种人脸识别方法、电子设备以及计算机可读存储介质
CN112381147A (zh) * 2020-11-16 2021-02-19 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
CN112861659A (zh) * 2021-01-22 2021-05-28 平安科技（深圳）有限公司 一种图像模型训练方法、装置及电子设备、存储介质
CN113283305A (zh) * 2021-04-29 2021-08-20 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113435400A (zh) * 2021-07-14 2021-09-24 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
TWI764425B (zh) * 2020-12-10 2022-05-11 鴻海精密工業股份有限公司 基於人臉識別的即時行人統計方法以及裝置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839257B2 (en) 2017-08-30 2020-11-17 Qualcomm Incorporated Prioritizing objects for object recognition
CN110348272A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 动态人脸识别的方法、装置、系统和介质
CN109447006A (zh) * 2018-11-01 2019-03-08 北京旷视科技有限公司 图像处理方法、装置、设备及存储介质
CN110020581B (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
CN112001207B (zh) * 2019-05-27 2024-05-28 北京君正集成电路股份有限公司 一种人脸识别样本库的优化方法
CN112001203A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种人脸识别库中提取正面人脸的方法
CN112000621A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种不同人脸识别的样本库的合并方法
CN110399812B (zh) * 2019-07-08 2023-05-30 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN111091128B (zh) * 2019-12-18 2023-09-22 北京数衍科技有限公司 字符图片分类方法、装置和电子设备
CN111340045B (zh) * 2020-02-12 2023-09-01 浙江大华技术股份有限公司 车牌号码的识别方法、装置及存储介质
CN111429638B (zh) * 2020-04-13 2021-10-26 重庆匠技智能科技有限公司 一种基于语音识别和人脸识别的门禁控制方法
CN112016896A (zh) * 2020-08-28 2020-12-01 平安国际智慧城市科技股份有限公司 操作状态监控方法、装置及存储介质
CN112347849B (zh) * 2020-09-29 2024-03-26 咪咕视讯科技有限公司 视频会议处理方法、电子设备及存储介质
CN112911385B (zh) * 2021-01-12 2021-12-07 平安科技（深圳）有限公司 待识别图片的提取方法、装置、设备以及存储介质
CN113297971A (zh) * 2021-05-25 2021-08-24 云南电网有限责任公司玉溪供电局 融合视频分析技术变电站无人许可现场作业智慧管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN103810466A (zh) * 2012-11-01 2014-05-21 三星电子株式会社 用于面部识别的装置和方法
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN105740758A (zh) * 2015-12-31 2016-07-06 上海极链网络科技有限公司 基于深度学习的互联网视频人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007102021A (ru) * 2007-01-19 2008-07-27 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ и система распознавания личности
CN103914676B (zh) * 2012-12-30 2017-08-25 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置
CN103927520B (zh) * 2014-04-14 2018-04-27 中国华戎控股有限公司 一种逆光环境下人脸检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN103810466A (zh) * 2012-11-01 2014-05-21 三星电子株式会社 用于面部识别的装置和方法
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN105740758A (zh) * 2015-12-31 2016-07-06 上海极链网络科技有限公司 基于深度学习的互联网视频人脸识别方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111369531B (zh) * 2020-03-04 2023-09-01 浙江大华技术股份有限公司 图像清晰度的评分方法、设备及存储装置
CN111369531A (zh) * 2020-03-04 2020-07-03 浙江大华技术股份有限公司 图像清晰度的评分方法、设备及存储装置
CN111652048A (zh) * 2020-04-17 2020-09-11 北京品恩科技股份有限公司 一种基于深度学习的1：n人脸比对方法
CN112036277A (zh) * 2020-08-20 2020-12-04 浙江大华技术股份有限公司 一种人脸识别方法、电子设备以及计算机可读存储介质
CN112036277B (zh) * 2020-08-20 2023-09-29 浙江大华技术股份有限公司 一种人脸识别方法、电子设备以及计算机可读存储介质
CN112381147A (zh) * 2020-11-16 2021-02-19 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
CN112381147B (zh) * 2020-11-16 2024-04-26 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
TWI764425B (zh) * 2020-12-10 2022-05-11 鴻海精密工業股份有限公司 基於人臉識別的即時行人統計方法以及裝置
CN112861659A (zh) * 2021-01-22 2021-05-28 平安科技（深圳）有限公司 一种图像模型训练方法、装置及电子设备、存储介质
CN112861659B (zh) * 2021-01-22 2023-07-14 平安科技（深圳）有限公司 一种图像模型训练方法、装置及电子设备、存储介质
CN113283305A (zh) * 2021-04-29 2021-08-20 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113283305B (zh) * 2021-04-29 2024-03-26 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113435400B (zh) * 2021-07-14 2022-08-30 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
CN113435400A (zh) * 2021-07-14 2021-09-24 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质

Also Published As

Publication number Publication date
CN107633209B (zh) 2018-12-18
CN107633209A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
US20220092882A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2019100608A1 (zh) 摄像装置、人脸识别的方法、系统及计算机可读存储介质
CN110197146B (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
US20120070041A1 (en) System And Method For Face Verification Using Video Sequence
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
US20190114495A1 (en) Live facial recognition method and system
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
WO2019033575A1 (zh) 电子装置、人脸追踪的方法、系统及存储介质
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
JP2013504114A (ja) 目状態検出装置及び方法
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
WO2021143865A1 (zh) 定位方法及装置、电子设备、计算机可读存储介质
JP2010262601A (ja) パターン認識システム及びパターン認識方法
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
CN111222452A (zh) 一种人脸匹配方法、装置、电子设备及可读存储介质
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
TWI526953B (zh) 人臉辨識方法及系統
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN113837006B (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN112418153B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17921933

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 23/09/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17921933

Country of ref document: EP

Kind code of ref document: A1