WO2014146415A1 - 人脸识别方法和设备 - Google Patents

人脸识别方法和设备 Download PDF

Info

Publication number
WO2014146415A1
WO2014146415A1 PCT/CN2013/084159 CN2013084159W WO2014146415A1 WO 2014146415 A1 WO2014146415 A1 WO 2014146415A1 CN 2013084159 W CN2013084159 W CN 2013084159W WO 2014146415 A1 WO2014146415 A1 WO 2014146415A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face image
block
original face
original
Prior art date
Application number
PCT/CN2013/084159
Other languages
English (en)
French (fr)
Inventor
牛胜石
山世光
李岩
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to KR1020147008279A priority Critical patent/KR20140127199A/ko
Priority to JP2015506094A priority patent/JP2015513754A/ja
Priority to EP13836225.6A priority patent/EP2835762B1/en
Priority to US14/444,611 priority patent/US9405969B2/en
Publication of WO2014146415A1 publication Critical patent/WO2014146415A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Definitions

  • the present application claims priority to Chinese Patent Application No. 201310088469.0, entitled “Face Recognition Method and Apparatus”, filed on March 19, 2013, the entire contents of which are incorporated herein by reference. .
  • the present invention relates to the field of information technology, and in particular, to a face recognition method and device.
  • Biometrics are intrinsic properties of human beings, and have strong self-stability and individual differences. Therefore, the use of biometrics for identity authentication is getting more and more attention. Among them, the use of face features for identity authentication is the most natural and direct means. Therefore, in-depth study of face recognition technology has important application value. Feature extraction is the core problem of face recognition technology, which is directly related to the accuracy of final face recognition.
  • a plurality of neighborhood pixels are selected around each pixel in the face image to be recognized, and the gray value of the central pixel is used as a reference, and the gray value is smaller than the gray value of the intermediate pixel.
  • the adjacent pixel is quantized to 0, and the adjacent pixel whose gradation value is greater than or equal to the intermediate pixel gradation value is quantized to 1.
  • the values quantized by the neighborhood pixels are then concatenated in a certain direction to obtain a binary number, and further converted into a decimal number to the central pixel.
  • the above operation is performed on all the pixels in the image in turn, and a local binary pattern (LBP) histogram of the image to be recognized is obtained.
  • the feature vector of the LBP histogram of the image to be identified is compared with the feature vector of the LBP histogram of the pre-registered face image to complete face recognition.
  • LBP local binary pattern
  • the recognition method of the face recognition method is not high.
  • the present invention provides a face recognition method and apparatus for solving the problem of low face recognition accuracy existing in the prior art.
  • the present invention provides a face recognition method, including:
  • the recognition result of the face image is obtained based on the obtained similarity of all the image blocks.
  • the original face image is downloaded to obtain at least one squat-like image that is different in size from the original face image, including:
  • the original face image is subjected to n squatting to obtain n squat-like images of different sizes, and the sizes of the n different-sized squat-like images are respectively l/4 m of the original face image size.
  • n is a natural number
  • m is a natural number less than n+1.
  • the performing the blocking processing on each of the squat image and the original squad image comprises:
  • Each of the squat sample image and the original face image is subjected to blocking processing according to 1/(S*4 n ) of the original face image size, where S is a natural number.
  • the image processed by the partitioning is performed on the block to obtain the features of the image block, including:
  • the method further includes:
  • the present invention provides a face recognition device, including:
  • An obtaining module configured to obtain an original face image to be identified;
  • a sample module configured to perform a sampling on the original face image to obtain at least one squat-like image that is different in size from the original face image;
  • a processing module configured to perform block processing on each of the squat sample image and the original face image to obtain at least two block-processed image blocks;
  • An extraction module configured to perform feature extraction on the image block after the block processing, to obtain a feature of the image block
  • a matching module configured to perform similarity matching on a feature of each of the image blocks and a feature of a corresponding image block of a pre-registered face image to obtain a similarity degree of each image block;
  • an identification module configured to obtain a recognition result of the face image according to the obtained similarity of all the image blocks.
  • the sampling module is specifically configured to: perform n times sampling on the original facial image to obtain n different sizes of lower jaw images,
  • the size of the n different size squat samples is 1/4 m of the original face image size, where n is a natural number and m is a natural number less than n+1.
  • the processing module is specifically configured to:
  • Each of the squat sample image and the original face image is subjected to blocking processing according to 1/(S*4 n ) of the original face image size, where S is a natural number.
  • the extraction module is specifically configured to:
  • the sample module is also used to:
  • the present invention provides a face recognition device, including: a memory and a processor, the memory is configured to store an execution instruction, when the face recognition device is running, the processor and the memory Inter-communication, the processor executing the execution instruction causes the face recognition device to perform the method as described in the first aspect above.
  • the face recognition method and device provided by the present invention obtain a squat-like image different in size from the original face image by performing a squatting of the original face image to be recognized, and perform multi-size face image feature extraction, thereby improving The ability of the face image feature to describe the face image; by segmenting the image of the lower jaw and the original face image, the recognition result of the face image is obtained according to the similarity of all the image blocks obtained after the block processing, and the recognition result is improved.
  • the accuracy of face image recognition is improved.
  • FIG. 1 is a flow chart of an embodiment of a face recognition method provided by the present invention.
  • FIG. 2 is a flowchart of still another embodiment of a face recognition method provided by the present invention.
  • FIG. 3 is a schematic diagram of a partial binary mode LBP descriptor extraction process
  • FIG. 4 is a schematic structural diagram of an embodiment of a face recognition device provided by the present invention.
  • FIG. 5 is a schematic structural diagram of still another embodiment of a face recognition device according to the present invention.
  • FIG. 1 is a flowchart of an embodiment of a face recognition method provided by the present invention.
  • the execution subject of each step in the following method embodiments may specifically be various devices having a face recognition function, such as a mobile phone, a personal computer, a PAD, an access control device, and the like.
  • the method can include:
  • S101 Acquire an original face image to be recognized. 5102. Perform a squatting on the original face image to obtain at least one squat-like image that is different in size from the original face image;
  • the original face image may be sampled one or more times, and each time the sample is downloaded, a lower jaw image having a different size from the original face image may be obtained.
  • the size of the image of the lower jaw obtained after the sample is taken can be 1/n of the original face image, and n can take a natural number.
  • the 2*2 squat sample means that the length of the squat-like image obtained from the lower squat is 1/2 of the length of the original face image, and the width is 1/2 of the width of the original face image; 4*4 The sample is that the length of the lower jaw image obtained by the lower jaw is 1 / 4 of the length of the original face image, and the width is 1/4 of the width of the original face image.
  • any of the original face image and the lower sample image may be subjected to block processing as a primitive block.
  • the original face image is a rectangle or a square, and the original face image is subjected to 2*2 and 4*4, respectively, to obtain the original face image size 1/4 and 1/16.
  • the image of the jaw Then, the squatting image of the original face image size of 1/16 can be subjected to blocking processing as a primitive block.
  • the original face image can be divided into 16 image blocks; the image of the original face image size of 1/4 can be divided into 4 image blocks; and the original face image size is 1/16.
  • the sample image itself is an image block without further segmentation.
  • image blocks of other sizes may be used as a base block.
  • the original face image can be divided into 32 image blocks; the image of the original face image size of 1/4 can be divided into 8 image blocks; and the original face image size is 1/16.
  • the sample image is divided into 2 image blocks.
  • each image block obtained by the block processing may be extracted by using various existing methods.
  • the LBP histogram of each image block can be obtained by using the local binary mode LBP descriptor extraction method. Further, each LBP histogram of each image block can also be extracted. The feature vector of the image block.
  • the pre-registered face image is also obtained and stored according to the above steps.
  • the original face image is divided into 16 image blocks, and the images obtained by the two samples are divided into 4 image blocks and 1 image block, respectively.
  • the pre-registered face image also corresponds to 21 image blocks, and each image block corresponds to a set of feature vectors.
  • the feature vectors of the 21 image blocks of the to-be-recognized face image obtained in step S104 may be similarly matched with the feature vectors of the corresponding image blocks of the pre-registered face image, respectively, to obtain each image block in the face image to be recognized. Similarity.
  • the similarity of the obtained image blocks may be subjected to weighted fusion calculation to obtain a final similarity, and the recognition result of the face image is obtained according to the final similarity. Specifically, weighting the similarity of each image block in the to-be-identified face image obtained in step S105, that is, assigning a weight to each image block, and comparing the similarity of each image block with the product of the corresponding weights. Plus, the final similarity between the face image to be recognized and the face image registered in advance is obtained.
  • the weight assignment may specifically assign a larger weight to the image block where the key part of the face (such as eyes, nose, mouth, etc.) is located, and the image block where the non-key part of the face (such as a cheek, etc.) is assigned a smaller weight,
  • the sum of the weights corresponding to all image blocks is 1.
  • the obtained final similarity exceeds the set threshold, it can be determined whether the face image to be recognized corresponds to the same person as the pre-registered face image, and the identity of the person is recognized.
  • the face recognition method provided in this embodiment is also applicable to the recognition of other images based on biological features (fingerprint, iris, palm print, etc.).
  • the face recognition method provided in this embodiment obtains a squat-like image different in size from the original face image by performing a squatting of the original face image to be recognized, and performs multi-size face image feature extraction, thereby improving the person.
  • the accuracy of face image recognition. 2 is a flow chart of still another embodiment of a face recognition method provided by the present invention. As shown in FIG. 2, the execution body of each step in the following method embodiments may specifically be various devices having a face recognition function. Equipment, such as: mobile phones, personal computers, PAD, access control equipment, etc.
  • the method can include:
  • histogram equalization is an image enhancement method for enhancing the brightness and contrast of an image, improving image quality, increasing the layering of the key parts of the image, and improving the effect of image interpretation and recognition.
  • the original face image is subjected to n times of squatting, and n different sizes of squat-like images are obtained, and the size of the n-sized squat-like images is respectively l/4 m of the original face image size, wherein , n is a natural number, and m is a natural number less than n+1;
  • an image is a technique for reducing image resolution to display, store, and/or transmit an image.
  • the size of the sample image is 1/4, 1/16 of the original face image size, that is, the size is (W/2)*(H/2), (W/4)*(H/4).
  • the original face image size l/4 n , l / ( 2 * 4 n ), l / ( 3 * 4 n ), that is, the size of the smallest size of the image obtained in step S203 or Smaller size, segmentation of the underlying image and the original face image.
  • the original face image size is W*H
  • it is 1/4 2 of the original face image size that is, the size of the smallest size image (W/4). *(H/4)
  • FIG. 3 is a schematic diagram of a partial binary mode LBP descriptor extraction process.
  • a plurality of (eight as an example) neighboring pixel points are selected around each pixel in the image block to be centered.
  • Pixel The gray value of the point (4) is used as a reference, and the adjacent pixel points whose gray value is smaller than the gray value of the intermediate pixel are quantized to 0, and the adjacent pixel points whose gray value is greater than or equal to the gray value of the intermediate pixel are quantized. 1; then the values quantized by the neighborhood pixels are connected in a certain direction (in the clockwise direction) to obtain an 8-bit binary number (11010011), and further converted into a decimal number (211) to the central pixel.
  • the above operation is performed on all the pixels in the image block to obtain the LBP® of the image block.
  • Each pixel in the figure corresponds to a decimal number (0 ⁇ 255), and the LBP descriptor extraction process of the image block is completed.
  • the LBP histogram extracts the feature vector (X l ⁇ ) of the image block, (X 2 , Y 2 )
  • the feature vectors are extracted separately for the 21 image blocks after the block processing.
  • the pre-registered face image is also obtained and stored according to the above steps.
  • n 2
  • the feature vectors of the 21 image blocks of the to-be-recognized face image obtained in step S206 may be similarly matched with the feature vectors of the corresponding image blocks of the pre-registered face image, respectively, to obtain each image block in the face image to be recognized. Similarity.
  • the similarity of the obtained image blocks may be subjected to weighted fusion calculation to obtain a final similarity, and the recognition result of the face image is obtained according to the final similarity.
  • weighting and merging the similarity of each image block in the to-be-identified face image obtained in step S207 that is, assigning a weight to each image block, and comparing the similarity of each image block with the product of the corresponding weights. Plus, the final similarity between the face image to be recognized and the face image registered in advance is obtained.
  • the weight assignment may specifically assign a larger weight to the image block where the key part of the face (such as eyes, nose, mouth, etc.) is located, and the image block where the non-key part of the face (such as a cheek, etc.) is assigned a smaller weight,
  • the sum of the weights corresponding to all image blocks is 1.
  • the image of the face to be recognized can be determined Whether the pre-registered face image corresponds to the same person, and realizes the identification of the person's identity.
  • the method may further include: performing post-processing (for example, principal component analysis, linear discriminant analysis, and the like) on the extracted features of each image block to reduce the dimension of the feature of each image block, and enhancing the subsequent Discriminability of similarity matching.
  • the face recognition method provided in this embodiment is also applicable to the recognition of other images based on biological features (fingerprint, iris, palm print, etc.).
  • the face recognition method provided in this embodiment improves the effect of image interpretation and recognition by preprocessing the original face image to be recognized; by comparing the original face image, the image size is different from the original face image.
  • the image of the lower jaw image is used to extract the feature of the face image of the multi-size image, which improves the ability of the face image feature to describe the face image; by segmenting the image of the lower jaw and the original face image after preprocessing, The recognition result of the face image is obtained according to the similarity of all the image blocks obtained after the block processing, and the accuracy of the face image recognition is improved.
  • FIG. 4 is a schematic structural diagram of an embodiment of a face recognition device provided by the present invention. As shown in FIG.
  • the face recognition device 40 in this embodiment is a specific body that performs the above-described face recognition method, and may specifically include: an acquisition module 41, a sample module 42, a processing module 43, an extraction module 44, and a matching module. 45 and identification module 46, wherein:
  • the obtaining module 41 is configured to obtain an original face image to be identified
  • the sample module 42 is configured to perform a squatting on the original face image to obtain at least one squat-like image that is different in size from the original face image; specifically, the method can: use the original face image to perform n times of sampling, N different sizes of squat-like images are obtained, and the size of the n-sized squat-like images is 1/4 m of the original face image size, where n is a natural number and m is a natural number less than n+1.
  • an image is a technique for reducing image resolution to display, store, and/or transmit an image.
  • the size of the squat image is 1/4, 1/16 of the original face image size, that is, the size is (W/2)*(H/2), (W/4)*(H/4).
  • the processing module 43 is configured to perform block processing on each of the squat sample image and the original face image, Obtaining at least two block-processed image blocks; specifically, the method may be: performing block processing on each of the squat-like image and the original face image according to 1/(S*4 n ) of the original face image size, At least two block-processed image blocks, where S is a natural number.
  • the processing module 43 can follow the original size of the original face image by l/4 n , l / ( 2 * 4 n ), 1 / ( 3 * 4 n ), that is, the minimum size of the sample module 42 is obtained.
  • the size of the image is smaller or smaller, and the lower image and the original face image are subjected to blocking processing.
  • the extracting module 44 is configured to perform feature extraction on the image block after the block processing to obtain the feature of the image block; specifically, the method may be: performing local binary mode LBP descriptor extraction on each block processed image block, and obtaining LBP histogram of each image block; According to the LBP histogram of each image block, the feature vector of each block-processed image block is extracted.
  • the extracting module 44 performs LBP descriptor extraction on each image block obtained by the block processing, and obtains LBP® of each image block, and further obtains an LBP histogram of each image block according to the obtained LBP map, according to which The LBP histogram extracts the feature vector of each image block.
  • LBP descriptor extraction on each image block obtained by the block processing, and obtains LBP® of each image block, and further obtains an LBP histogram of each image block according to the obtained LBP map, according to which The LBP histogram extracts the feature vector of each image block.
  • the matching module 45 is configured to perform similarity matching on the extracted features of each image block with features of the corresponding image blocks of the pre-registered face image to obtain a similarity degree of each image block;
  • the matching module 45 respectively matches the feature vectors of the 21 image blocks of the to-be-recognized face image extracted by the extraction module 44 with the feature vectors of the corresponding image blocks of the pre-registered face image, and obtains each of the to-be-recognized face images. The similarity of the image blocks.
  • the identification module 46 is configured to obtain a recognition result of the face image according to the similarity of all the obtained image blocks.
  • the recognition module 46 may perform a weighted fusion calculation on the similarity of all the obtained image blocks to obtain a final similarity, and obtain a recognition result of the face image according to the final similarity.
  • the recognition model The block 46 performs weighted fusion on the similarity of each image block in the to-be-identified face image obtained by the matching module 45, that is, assigns a weight to each image block, and compares the similarity of each image block with the product of the corresponding weights. Plus, the final similarity between the face image to be recognized and the face image registered in advance is obtained.
  • the weight assignment may specifically assign a larger weight to the image block where the focal part of the face (eg, eyes, nose, mouth, etc.) is located, and the image block where the non-key part of the face (eg, cheek, etc.) is assigned a smaller weight,
  • the sum of the weights corresponding to all image blocks is 1.
  • the identification module 46 determines whether the face image to be recognized corresponds to the same person as the pre-registered face image according to whether the obtained final similarity exceeds the set threshold, so as to realize the recognition of the identity of the person.
  • the sample module 42 is further configured to: perform a histogram equalization process on the original face image before the original face image is downloaded.
  • histogram equalization is an image enhancement method for enhancing the brightness and contrast of an image, improving image quality, increasing the layering of the key parts of the image, and improving the effect of image interpretation and recognition.
  • the matching module 45 is further configured to: before the similarity of the extracted features of each image block with the features of the corresponding image block of the pre-registered face image, each image block extracted by the extraction module 44
  • the features are post-processed (eg principal component analysis, linear discriminant analysis, etc.) to reduce the dimensions of the features of each image block and enhance the discriminability of subsequent similarity matching.
  • the face recognition device 40 provided in this embodiment is also applicable to the recognition of other images based on biometrics (fingerprint, iris, palm print, etc.).
  • the face recognition device improves the effect of image interpretation and recognition by preprocessing the original face image to be recognized; and by comparing the original face image, the image size is different from the original face image.
  • the image of the lower jaw image is used to extract the feature of the face image of the multi-size image, which improves the ability of the face image feature to describe the face image; by segmenting the image of the lower jaw and the original face image after preprocessing, The recognition result of the face image is obtained according to the similarity of all the image blocks obtained after the block processing, and the accuracy of the face image recognition is improved.
  • FIG. 5 is a schematic structural diagram of still another embodiment of a face recognition device according to the present invention. As shown in FIG.
  • the face recognition device of this embodiment includes a memory 51 and a processor 52.
  • the face recognition device may optionally include a module such as a camera to acquire an original face image.
  • the memory 51 may contain a high speed RAM memory and may also include a non-volatile memory such as at least one disk memory.
  • the memory 51 can optionally include at least one storage device.
  • the memory 51 stores the execution The line instructions, when the face recognition device is running, the processor 52 communicates with the memory 51, and the processor 52 executes the instructions such that the face recognition device can perform the face recognition method provided by any of the embodiments of FIG. 1 or FIG.
  • the processor in this embodiment may be an integrated circuit chip with signal processing capabilities.
  • each step of the above method may be completed by an integrated logic circuit of hardware in the processor or an instruction in the form of software.
  • the above processor may be a general purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), an off-the-shelf programmable gate array (FPGA) or other programmable logic device, a discrete gate or transistor logic device, or a discrete hardware component. .
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • FPGA off-the-shelf programmable gate array
  • the methods, steps, and logical block diagrams disclosed in the embodiments of the present invention may be implemented or carried out.
  • the above processor may be a microprocessor or the above processor or any conventional processor or the like.
  • the steps of the method disclosed in connection with the embodiments of the present invention may be directly implemented as a hardware processor, or may be performed by a combination of hardware and software modules in the processor.
  • the software modules can be located in a conventional storage medium such as random access memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, registers, and the like.
  • the storage medium is located in the memory, and the processor reads the information in the memory and combines the hardware to complete the steps of the above method.
  • the embodiment of the present invention further provides a chip for performing face recognition processing, and the chip may include the above processor.
  • the face recognition device provided in this embodiment is also applicable to the recognition of other images based on biological features (fingerprint, iris, palm print, etc.).
  • the face recognition device performs the pre-processing of the original face image to be recognized by the processor 52 executing the instruction stored in the memory 51, thereby improving the effect of image interpretation and recognition; Obtaining a squat-like image with a different size from the original face image, and extracting the feature image of the face image with multiple sizes, improving the ability of the face image feature to describe the face image; the image of the squat and the original after pre-processing
  • the face image is subjected to block processing, and the recognition result of the face image is obtained according to the similarity of all the image blocks obtained by the block processing, thereby improving the accuracy of the face image recognition.
  • the aforementioned program can be stored in a computer readable storage medium.
  • the program when executed, performs the steps including the foregoing method embodiments; and the foregoing storage medium includes: a medium that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸识别方法和设备。该方法包括：对原始人脸图像进行不同尺寸的下采样；对下采样图像和原始人脸图像进行分块处理；对分块处理后得到的每个图像块进行特征提取；将提取的每个图像块的特征与预先注册的人脸图像的对应图像块的特征进行相似度匹配，得到每一个图像块的相似度；根据得到的全部图像块的相似度得到人脸图像的识别结果。本发明提供的人脸识别方法和设备，通过对原始人脸图像进行不同尺寸的下采样，进行多尺寸的人脸图像特征提取，提高了人脸图像特征对人脸图像的描述能力；通过对下采样图像和原始人脸图像进行分块处理，根据得到的全部图像块的相似度得到人脸图像的识别结果，提高了人脸图像识别的精度。

Description

人脸识别方法和设备
本申请要求于 2013年 3月 19日提交中国专利局、申请号为 201310088469.0, 发明名称为 "人脸识别方法和设备" 的中国专利申请优先权， 上述专利的全部 内容通过引用结合在本申请中。 技术领域 本发明涉及信息技术领域， 尤其涉及一种人脸识别方法和设备。
背景技术 在电子信息技术飞速发展的今天， 电子商务、 网上银行、 公共安全等领 域对身份认证的可靠度和方式提出了新的要求。 生物特征是人的内在属性， 具有很强的自身稳定性和个体差异性， 因此利用生物特征进行身份认证越来 越受到人们的关注。 其中， 利用人脸特征进行身份认证又是最自然、 最直接 的手段， 因此， 深入研究人脸识别技术具有重要的应用价值。 特征提取是人 脸识别技术的核心问题， 直接关系到最终人脸识别的精度。
现有技术中， 在待识别的人脸图像中每个像素点周围选取若干个邻域像素 点， 以中心像素点的灰度值作为基准， 将灰度值小于中间像素点灰度值的相邻 像素点量化为 0,将灰度值大于或者等于中间像素点灰度值的相邻像素点量化为 1。 再将邻域像素点量化后的值按照一定方向串联起来得到一个二进制数， 并进 一步转换成十进制数赋予中心像素点。 依次对图像中所有像素点进行上述操作， 得到待识别图像的局部二值模式（Local Binary Pattern, 简称 LBP ) 直方图。 将 待识别图像的 LBP直方图的特征向量，与预先注册的人脸图像的 LBP直方图的 特征向量进行比较， 完成人脸识别。
然而， 该人脸识别方法的识别精度不高。
发明内容 本发明提供一种人脸识别方法和设备， 用以解决现有技术中存在的人脸 图像识别精度不高的问题。
第一方面， 本发明提供了一种人脸识别方法， 包括：
获取待识别的原始人脸图像；
对所述原始人脸图像进行下釆样， 得到至少一个与所述原始人脸图像尺 寸不同的下釆样图像；
对每一个所述下釆样图像和所述原始人脸图像进行分块处理， 得到至少 两个分块处理后的图像块；
对所述分块处理后的图像块进行特征提取， 得到图像块的特征； 将每一个所述图像块的特征与预先注册的人脸图像的对应图像块的特征 进行相似度匹配， 得到每一个图像块的相似度；
根据得到的全部所述图像块的相似度得到人脸图像的识别结果。
在第一方面的第一种可能的实现方式中， 所述对所述原始人脸图像进行 下釆样， 得到至少一个与所述原始人脸图像尺寸不同的下釆样图像， 包括： 对所述原始人脸图像进行 n次下釆样， 得到 n张不同尺寸的下釆样图像， 所述 n张不同尺寸的下釆样图像的尺寸分别为所述原始人脸图像尺寸的 l/4m, 其中， n为自然数， m为小于 n+1的自然数。
根据第一方面的第一种可能的实现方式， 在第二种可能的实现方式中， 所 述对每一个所述下釆样图像和所述原始人脸图像进行分块处理， 包括：
对每一个所述下釆样图像和所述原始人脸图像按照所述原始人脸图像尺 寸的 1/ ( S*4n )进行分块处理， 其中， S为自然数。
根据第一方面的第二种可能的实现方式， 在第三种可能的实现方式中， 所 述 S=l , 所述 n=2。
根据第一方面的第一种可能的实现方式、 第二种可能的实现方式和第三种 可能的实现方式， 在第四种可能的实现方式中， 所述对所述分块处理后的图像 块进行特征提取， 得到图像块的特征， 包括：
对每一个所述分块处理后的图像块进行局部二值模式 LBP描述子提取， 得到每一个图像块的 LBP直方图；
根据所述每一个图像块的 LBP直方图， 提取每一个所述分块处理后的图 像块的特征向量。
根据第一方面的第一种可能的实现方式、 第二种可能的实现方式、 第三种 可能的实现方式和第四种可能的实现方式， 在第五种可能的实现方式中， 所述 对所述原始人脸图像进行下釆样之前， 所述方法还包括：
对所述原始人脸图像进行直方图均衡化预处理。
第二方面， 本发明提供了一种人脸识别设备， 包括：
获取模块， 用于获取待识别的原始人脸图像； 釆样模块， 用于对所述原始人脸图像进行下釆样， 得到至少一个与所述 原始人脸图像尺寸不同的下釆样图像；
处理模块， 用于对每一个所述下釆样图像和所述原始人脸图像进行分块 处理， 得到至少两个分块处理后的图像块；
提取模块， 用于对所述分块处理后的图像块进行特征提取， 得到图像块 的特征；
匹配模块， 用于将每一个所述图像块的特征与预先注册的人脸图像的对 应图像块的特征进行相似度匹配， 得到每一个图像块的相似度；
识别模块， 用于根据得到的全部所述图像块的相似度得到人脸图像的识 别结果。
在第二方面的第一种可能的实现方式中， 所述釆样模块具体用于： 对所述原始人脸图像进行 n次下釆样， 得到 n张不同尺寸的下釆样图像， 所述 n张不同尺寸的下釆样图像的尺寸分别为所述原始人脸图像尺寸的 l/4m, 其中， n为自然数， m为小于 n+1的自然数。
根据第二方面的第一种可能的实现方式， 在第二种可能的实现方式中， 所 述处理模块具体用于：
对每一个所述下釆样图像和所述原始人脸图像按照所述原始人脸图像尺 寸的 1/ ( S*4n )进行分块处理， 其中， S为自然数。
根据第二方面的第二种可能的实现方式， 在第三种可能的实现方式中， 所 述 S=l , 所述 n=2。
根据第二方面的第一种可能的实现方式、 第二种可能的实现方式和第三种 可能的实现方式， 在第四种可能的实现方式中， 所述提取模块具体用于：
对每一个所述分块处理后的图像块进行局部二值模式 LBP描述子提取， 得到每一个图像块的 LBP直方图；
根据所述每一个图像块的 LBP直方图， 提取每一个所述分块处理后的图 像块的特征向量。
根据第二方面的第一种可能的实现方式、 第二种可能的实现方式、 第三种 可能的实现方式和第四种可能的实现方式， 在第五种可能的实现方式中， 所述 釆样模块还用于：
对所述原始人脸图像进行下釆样之前， 对所述原始人脸图像进行直方图 均衡化处理。 第三方面， 本发明提供了一种人脸识别设备， 包括： 存储器和处理器， 所述存储器用于存储执行指令， 当所述人脸识别设备运行时， 所述处理器与 所述存储器之间通信， 所述处理器执行所述执行指令使得所述人脸识别设备 执行如上第一方面所述的方法。
本发明提供的人脸识别方法和设备， 通过对待识别的原始人脸图像进行 下釆样， 得到与原始人脸图像尺寸不同的下釆样图像， 进行多尺寸的人脸图 像特征提取， 提高了人脸图像特征对人脸图像的描述能力； 通过对下釆样图 像和原始人脸图像进行分块处理， 根据分块处理后得到的全部图像块的相似 度得到人脸图像的识别结果， 提高了人脸图像识别的精度。
附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图做一简单地介绍， 显而易见地， 下 面描述中的附图是本发明的一些实施例， 对于本领域普通技术人员来讲， 在 不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1为本发明提供的人脸识别方法一个实施例的流程图；
图 2为本发明提供的人脸识别方法又一个实施例的流程图；
图 3为局部二值模式 LBP描述子提取过程的示意图；
图 4为本发明提供的人脸识别设备一个实施例的结构示意图；
图 5为本发明提供的人脸识别设备又一个实施例的结构示意图。
具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发 明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例， 都属于本发明保护的范围。
图 1为本发明提供的人脸识别方法一个实施例的流程图。 如图 1所示， 以 下方法实施例中各步骤的执行主体具体可以为具有人脸识别功能的各种设 备， 例如： 手机、 个人电脑， PAD , 门禁设备等。 该方法可以包括：
S101 , 获取待识别的原始人脸图像； 5102 , 对原始人脸图像进行下釆样， 得到至少一个与原始人脸图像尺寸 不同的下釆样图像；
具体的， 可以对原始人脸图像进行一次或多次下釆样， 每次下釆样可以 得到一张与原始人脸图像尺寸不同的下釆样图像。 下釆样后得到的下釆样图 像尺寸可以为原始人脸图像的 1/n, n可以取自然数。
例如： 原始图像为长方形或正方形， 则可以分别对原始人脸图像进行 2*2 和 4*4的下釆样。 其中， 2*2的下釆样是指下釆样得到的下釆样图像的长度是 原始人脸图像长度的 1/2 , 宽度是原始人脸图像宽度的 1/2; 4*4的下釆样是指 下釆样得到的下釆样图像的长度是原始人脸图像长度的 1 /4 , 宽度是原始人脸 图像宽度的 1/4。
5103 , 对每一个下釆样图像和原始人脸图像进行分块处理， 得到至少两 个分块处理后的图像块；
具体的， 可以将原始人脸图像和下釆样图像中的任意图像作为基元块来 进行分块处理。
例如： S102中所举的例子， 原始人脸图像为长方形或正方形， 分别对原 始人脸图像进行 2*2和 4*4的下釆样得到为原始人脸图像尺寸 1/4和 1/16的下 釆样图像。 则可以将为原始人脸图像尺寸 1/16的下釆样图像作为基元块来进 行分块处理。 这样可以将原始人脸图像分为 16个图像块； 可以将为原始人脸 图像尺寸 1/4的下釆样图像分为 4个图像块； 而为原始人脸图像尺寸 1/16的下 釆样图像本身即为一个图像块， 而不必进一步分块。
当然， 还可以以其他尺寸的图像块作为基元块。 例如： S102中所举的例 子， 可以以为原始人脸图像尺寸 1/16的下釆样图像 1/2尺寸的图像块作为基元 块。 这样可以将原始人脸图像分为 32个图像块； 可以将为原始人脸图像尺寸 1/4的下釆样图像分为 8个图像块； 而为原始人脸图像尺寸 1/16的下釆样图像 分为 2个图像块。
也就是说， 对下釆样图像和原始人脸图像进行分块有多种划分方法， 在 此不——列举。
5104 , 对分块处理后的图像块进行特征提取， 得到图像块的特征； 该步骤中， 可以釆用现有的各种方法对分块处理后得到的每个图像块进 行特征提取。 例如： 可以釆用局部二值模式 LBP描述子提取方法得到每个图 像块的 LBP直方图， 进一步的， 还可以根据每个图像块的 LBP直方图提取每 个图像块的特征向量。
5105 , 将每一个图像块的特征与预先注册的人脸图像的对应图像块的特 征进行相似度匹配， 得到每一个图像块的相似度；
具体的， 预先注册的人脸图像也是按照上述各步骤得到并储存起来的。 S102中所举的例子， 原始人脸图像分为 16个图像块， 两次下釆样得到的图像 分别分为 4个图像块和 1个图像块。 那么预先注册的人脸图像也对应 21个图像 块， 每个图像块对应一组特征向量。
可以将步骤 S104得到的待识别人脸图像的 21个图像块的特征向量分别 与预先注册的人脸图像的对应图像块的特征向量进行相似度匹配， 得到待识 别人脸图像中每个图像块的相似度。
5106 , 根据得到的全部图像块的相似度得到人脸图像的识别结果。
该步骤中， 可以对得到的全部图像块的相似度进行加权融合计算， 得到 最终相似度， 根据该最终相似度得到人脸图像的识别结果。 具体的， 对步骤 S105得到的待识别人脸图像中各个图像块的相似度进行加权融合， 即为每个 图像块分配一个权值， 将每个图像块的相似度与对应权值的乘积相加， 得到 待识别人脸图像与预先注册的人脸图像的最终相似度。 其中， 权值分配具体 可以为人脸重点部分（例如眼睛、 鼻子、 嘴等）所在图像块分配较大的权值， 人脸非重点部分 （例如脸颊等） 所在图像块分配较小的权值， 所有图像块对 应的权值之和为 1。
根据得到的最终相似度是否超过设定阔值， 可以判断待识别人脸图像与 预先注册的人脸图像是否对应同一个人， 实现对人物身份的识别。
需要说明的是， 本实施例提供的人脸识别方法， 同样适用于其他基于生 物特征 （指紋、 虹膜、 掌紋等） 的图像的识别。
本实施例提供的人脸识别方法， 通过对待识别的原始人脸图像进行下釆 样， 得到与原始人脸图像尺寸不同的下釆样图像， 进行多尺寸的人脸图像特 征提取， 提高了人脸图像特征对人脸图像的描述能力； 通过对下釆样图像和 原始人脸图像进行分块处理， 根据分块处理后得到的全部图像块的相似度得 到人脸图像的识别结果， 提高了人脸图像识别的精度。 图 2为本发明提供的人脸识别方法又一个实施例的流程图。 如图 2所示， 以下方法实施例中各步骤的执行主体具体可以为具有人脸识别功能的各种设 备， 例如： 手机、 个人电脑， PAD, 门禁设备等。 该方法可以包括：
5201 , 获取待识别的原始人脸图像；
5202 , 对原始人脸图像进行直方图均衡化预处理；
具体的， 直方图均衡化是一种图像增强的方法， 用于增强图像的亮度和 对比度， 改善图像质量， 增加图像重点部分的层次感， 提升图像判读和识别 的效果。
5203 ,对原始人脸图像进行 n次下釆样，得到 n张不同尺寸的下釆样图像， n张不同尺寸的下釆样图像的尺寸分别为原始人脸图像尺寸的 l/4m, 其中， n 为自然数， m为小于 n+1的自然数；
具体的， 图像下釆样是一种降低图像分辨率以对图像进行显示、 存储、 和 /或传输等的技术。 本实施例中可以釆用现有的各种下釆样方法， 例如最近 邻差值、 双线性差值等差值方法， 对原始人脸图像进行 n ( n=l , 2 , 3 , ... ... ) 次下釆样。 得到的 n张下釆样图像的尺寸分别为原始人脸图像尺寸的 1/4、 1/42 l/4n。 以 n=2为例， 4叚设原始人脸图像尺寸为 W*H, 对原始人脸 图像进行 2次下釆样，得到 2张尺寸更小的下釆样图像，则这 2张下釆样图像的 尺寸分别为原始人脸图像尺寸的 1/4、 1/16 , 即尺寸分别为（W/2)*(H/2)、 (W/4)*(H/4)。
5204 , 对每一个下釆样图像和原始人脸图像按照原始人脸图像尺寸的 1/ ( S*4n )进行分块处理， 其中， S为自然数；
具体的， 可以按照原始人脸图像尺寸的 l/4n、 l/ ( 2*4n )、 l/ ( 3*4n ) , 即步骤 S203中得到的最小尺寸的下釆样图像的尺寸或更小尺寸， 对下釆样图 像和原始人脸图像进行分块处理。 以 n=2 , S=l为例， 假设原始人脸图像尺寸 为 W*H, 则按照原始人脸图像尺寸的 1/42, 即最小尺寸的下釆样图像的尺寸 (W/4)*(H/4) , 对步骤 S203得到的 2张下釆样图像和原始人脸图像进行分块处 理， 分块处理后得到 1+4+16=21个图像块。
5205 ,对每一个分块处理后的图像块进行局部二值模式 LBP描述子提取， 得到每一个图像块的 LBP直方图；
5206 , 根据每一个图像块的 LBP直方图， 提取每一个分块处理后的图像 块的特征向量；
具体的， 图 3为局部二值模式 LBP描述子提取过程的示意图， 如图 3所示， 在图像块中每个像素点周围选取若干个（以 8个为例）邻域像素点， 以中心像素 点的灰度值（4 )作为基准， 将灰度值小于中间像素点灰度值的相邻像素点量化 为 0, 将灰度值大于或者等于中间像素点灰度值的相邻像素点量化为 1 ; 再将邻 域像素点量化后的值按照一定方向 （以顺时针方向为例） 串联起来得到一个 8位 的二进制数（11010011 ) ， 并进一步转换成十进制数（211 )赋予中心像素点； 依次对图像块中所有像素点进行上述操作，得到该图像块的 LBP® , 图中每个像 素点对应一个十进制数（0~255 ) , 完成对该图像块的 LBP描述子提取过程。
根据上述得到的 LBP图进一步得到该图像块的 LBP直方图， 图中横坐标为 0~255范围内的整数， 纵坐标为 LBP图中与横坐标的十进制数对应的像素点的个 数； 根据此 LBP直方图，提取该图像块的特征向量（Xl Υι ) , ( X2, Y2 )
( Χ255, Υ255 ) , 其中， Χι- Χ255为 LBP直方图中横坐标的值， Y r Y255为 LBP直方 图中与横坐标对应的纵坐标的值。按照上述方法对分块处理后的 21个图像块分 别进行特征向量的提取。
5207 , 将提取的每一个图像块的特征向量与预先注册的人脸图像的对应 图像块的特征向量进行相似度匹配， 得到每一个图像块的相似度；
具体的， 预先注册的人脸图像也是按照上述各步骤得到并储存起来的。
S204中所举的例子， n=2 , S=l , 原始人脸图像和两次下釆样得到的图像分为 21个图像块。 那么预先注册的人脸图像也对应 21个图像块， 每个图像块对应 一组特征向量。
可以将步骤 S206得到的待识别人脸图像的 21个图像块的特征向量分别 与预先注册的人脸图像的对应图像块的特征向量进行相似度匹配， 得到待识 别人脸图像中每个图像块的相似度。
5208 , 根据得到的全部图像块的相似度得到人脸图像的识别结果。
该步骤中， 可以对得到的全部图像块的相似度进行加权融合计算， 得到 最终相似度， 根据该最终相似度得到人脸图像的识别结果。 具体的， 对步骤 S207得到的待识别人脸图像中各个图像块的相似度进行加权融合， 即为每个 图像块分配一个权值， 将每个图像块的相似度与对应权值的乘积相加， 得到 待识别人脸图像与预先注册的人脸图像的最终相似度。 其中， 权值分配具体 可以为人脸重点部分（例如眼睛、 鼻子、 嘴等）所在图像块分配较大的权值， 人脸非重点部分 （例如脸颊等） 所在图像块分配较小的权值， 所有图像块对 应的权值之和为 1。
根据得到的最终相似度是否超过设定阔值， 可以判断待识别人脸图像与 预先注册的人脸图像是否对应同一个人， 实现对人物身份的识别。 可选的， 在步骤 S207之前， 还可以包括： 对提取的每个图像块的特征进 行后处理 （例如主成分分析、 线性判别分析等） ， 以降低每个图像块的特征 的维度， 增强后续相似度匹配的判别性。
需要说明的是， 本实施例提供的人脸识别方法， 同样适用于其他基于生 物特征 （指紋、 虹膜、 掌紋等） 的图像的识别。
本实施例提供的人脸识别方法， 通过对待识别的原始人脸图像进行预处 理， 提升了图像判读和识别的效果； 通过对原始人脸图像进行下釆样， 得到 与原始人脸图像尺寸不同的下釆样图像， 进行多尺寸的人脸图像特征提取， 提高了人脸图像特征对人脸图像的描述能力； 通过对下釆样图像和预处理后 的原始人脸图像进行分块处理， 根据分块处理后得到的全部图像块的相似度 得到人脸图像的识别结果， 提高了人脸图像识别的精度。 图 4为本发明提供的人脸识别设备一个实施例的结构示意图。如图 4所示， 本实施例中的人脸识别设备 40为执行上述人脸识别方法的特定主体，具体可以 包括： 获取模块 41、 釆样模块 42、 处理模块 43、 提取模块 44、 匹配模块 45和 识别模块 46 , 其中：
获取模块 41 , 用于获取待识别的原始人脸图像；
釆样模块 42 , 用于对原始人脸图像进行下釆样， 得到至少一个与原始人 脸图像尺寸不同的下釆样图像； 具体可以用于： 对原始人脸图像进行 n次下釆 样， 得到 n张不同尺寸的下釆样图像， n张不同尺寸的下釆样图像的尺寸分别 为原始人脸图像尺寸的 l/4m, 其中， n为自然数， m为小于 n+1的自然数。
具体的， 图像下釆样是一种降低图像分辨率以对图像进行显示、 存储、 和 /或传输等的技术。 本实施例中， 釆样模块 42可以釆用现有的各种下釆样方 法， 例如最近邻差值、 双线性差值等差值方法， 对获取模块 41获取的原始人 脸图像进行 n ( n=l , 2 , 3 , ... ... ) 次下釆样。 得到的 n张下釆样图像的尺寸 分别为原始人脸图像尺寸的 1/4、 1/42 l/4n。 以 n=2为例， 假设原始人 脸图像尺寸为 W*H, 釆样模块 42对原始人脸图像进行 2次下釆样， 得到 2张尺 寸更小的下釆样图像，则这 2张下釆样图像的尺寸分别为原始人脸图像尺寸的 1/4、 1/16 , 即尺寸分别为（W/2)*(H/2)、 （W/4)*(H/4)。
处理模块 43 , 用于对每一个下釆样图像和原始人脸图像进行分块处理， 得到至少两个分块处理后的图像块； 具体可以用于： 对每一个下釆样图像和 原始人脸图像按照原始人脸图像尺寸的 1/ ( S*4n )进行分块处理， 得到至少两 个分块处理后的图像块， 其中， S为自然数。
具体的， 处理模块 43可以按照原始人脸图像尺寸的 l/4n、 l/ ( 2*4n )、 1/ ( 3*4n ) , 即釆样模块 42下釆样得到的最小尺寸的下釆样图像的尺寸或 更小尺寸， 对下釆样图像和原始人脸图像进行分块处理。 以 n=2 , S=l为例， 假设原始人脸图像尺寸为 W*H , 则处理模块 43按照原始人脸图像尺寸的 1 /42 , 即最小尺寸的下釆样图像的尺寸 W/4)*(H/4) , 对釆样模块 42下釆样得到的 2 张下釆样图像和原始人脸图像进行分块处理， 分块处理后得到 1+4+16=21个 图像块。
提取模块 44 , 用于对分块处理后的图像块进行特征提取， 得到图像块的 特征； 具体可以用于： 对每一个分块处理后的图像块进行局部二值模式 LBP 描述子提取， 得到每一个图像块的 LBP直方图； 根据每一个图像块的 LBP直 方图， 提取每一个分块处理后的图像块的特征向量。
具体的， 提取模块 44对分块处理后得到的每个图像块进行 LBP描述子提 取， 得到每个图像块的 LBP® , 根据得到的 LBP图进一步得到每个图像块的 LBP 直方图， 根据得到的 LBP直方图， 提取每个图像块的特征向量。 具体过程参见 图 2所示实施例步骤 S206中的相关描述， 此处不再赘述。
匹配模块 45 , 用于将提取的每个图像块的特征与预先注册的人脸图像的 对应图像块的特征进行相似度匹配， 得到每个图像块的相似度；
具体的， 预先注册的人脸图像也是按照上述方案得到并储存起来的， 以 n=2 , S=l为例， 原始人脸图像分为 16个图像块， 两次下釆样得到的图像分别 分为 4个图像块和 1个图像块。 那么预先注册的人脸图像也对应 21个图像块， 每个图像块对应一组特征向量。
匹配模块 45将提取模块 44提取的待识别人脸图像的 21个图像块的特征向 量分别与预先注册的人脸图像的对应图像块的特征向量进行相似度匹配， 得 到待识别人脸图像中每个图像块的相似度。
识别模块 46 , 用于根据得到的全部图像块的相似度得到人脸图像的识别 结果。
识别模块 46可以对得到的全部图像块的相似度进行加权融合计算， 得到 最终相似度， 根据该最终相似度得到人脸图像的识别结果。 具体的， 识别模 块 46对匹配模块 45得到的待识别人脸图像中各个图像块的相似度进行加权融 合， 即为每个图像块分配一个权值， 将每个图像块的相似度与对应权值的乘 积相加， 得到待识别人脸图像与预先注册的人脸图像的最终相似度。 其中， 权值分配具体可以为人脸重点部分 （例如眼睛、 鼻子、 嘴等） 所在图像块分 配较大的权值， 人脸非重点部分（例如脸颊等）所在图像块分配较小的权值， 所有图像块对应的权值之和为 1。
识别模块 46根据得到的最终相似度是否超过设定阔值， 判断待识别人脸 图像与预先注册的人脸图像是否对应同一个人， 以实现对人物身份的识别。
可选的， 釆样模块 42还可以用于： 对原始人脸图像进行下釆样之前， 对 原始人脸图像进行直方图均衡化处理。
具体的， 直方图均衡化是一种图像增强的方法， 用于增强图像的亮度和 对比度， 改善图像质量， 增加图像重点部分的层次感， 提升图像判读和识别 的效果。
可选的， 匹配模块 45还可以用于： 将提取的每个图像块的特征与预先注 册的人脸图像的对应图像块的特征进行相似度匹配之前， 对提取模块 44提取 的每个图像块的特征进行后处理 （例如主成分分析、 线性判别分析等） ， 以 降低每个图像块的特征的维度， 增强后续相似度匹配的判别性。
需要说明的是， 本实施例提供的人脸识别设备 40 , 同样适用于其他基于 生物特征 （指紋、 虹膜、 掌紋等） 的图像的识别。
本实施例提供的人脸识别设备， 通过对待识别的原始人脸图像进行预处 理， 提升了图像判读和识别的效果； 通过对原始人脸图像进行下釆样， 得到 与原始人脸图像尺寸不同的下釆样图像， 进行多尺寸的人脸图像特征提取， 提高了人脸图像特征对人脸图像的描述能力； 通过对下釆样图像和预处理后 的原始人脸图像进行分块处理， 根据分块处理后得到的全部图像块的相似度 得到人脸图像的识别结果， 提高了人脸图像识别的精度。 图 5为本发明提供的人脸识别设备又一个实施例的结构示意图。如图 5所示 , 本实施例的人脸识别设备包括：存储器 51和处理器 52。该人脸识别设备可选的 还可以包括摄像头等模块以获取原始人脸图像。 存储器 51可能包含高速 RAM存 储器， 也可能还包含非不稳定的存储器 （ non-volatile memory ) , 例如至少一个 磁盘存储器。 存储器 51可选的可以包含至少一个存储装置。 存储器 51存储了执 行指令， 当人脸识别设备运行时， 处理器 52与存储器 51之间通信， 处理器 52执 行指令使得人脸识别设备可以执行图 1或图 2任一实施例所提供的人脸识别方 法。
本实施例中的处理器可能是一种集成电路芯片， 具有信号处理能力。 在实 现过程中， 上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软 件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（DSP ) 、 专用集成电路（ASIC )、现成可编程门阵列（FPGA )或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、 分立硬件组件。 可以实现或者执行本发明实施例 中的公开的各方法、 步骤及逻辑框图。 上述处理器可以是微处理器或者上述处 理器也可以是任何常规的处理器等。 结合本发明实施例所公开的方法的步骤可 以直接体现为硬件处理器执行完成， 或者用处理器中的硬件及软件模块组合执 行完成。 软件模块可以位于随机存储器， 闪存、 只读存储器， 可编程只读存储 器或者电可擦写可编程存储器、 寄存器等本领域成熟的存储介质中。 该存储介 质位于存储器， 处理器读取存储器中的信息， 结合其硬件完成上述方法的步骤。
本发明实施例还提供一种芯片， 该芯片用于进行人脸识别处理， 该芯片可 以包括上述的处理器。
需要说明的是， 本实施例提供的人脸识别设备， 同样适用于其他基于生 物特征 （指紋、 虹膜、 掌紋等） 的图像的识别。
本实施例提供的人脸识别设备， 通过处理器 52执行存储器 51存储的指令， 对待识别的原始人脸图像进行预处理， 提升了图像判读和识别的效果； 对原 始人脸图像进行下釆样， 得到与原始人脸图像尺寸不同的下釆样图像， 进行 多尺寸的人脸图像特征提取， 提高了人脸图像特征对人脸图像的描述能力； 对下釆样图像和预处理后的原始人脸图像进行分块处理， 根据分块处理后得 到的全部图像块的相似度得到人脸图像的识别结果， 提高了人脸图像识别的 精度。
本领域普通技术人员可以理解： 实现上述各方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成。 前述的程序可以存储于一计算机可 读取存储介质中。 该程序在执行时， 执行包括上述各方法实施例的步骤； 而 前述的存储介质包括： ROM, RAM, 磁碟或者光盘等各种可以存储程序代码 的介质。
最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对 其限制； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

权 利 要 求
1、 一种人脸识别方法， 其特征在于， 包括：
获取待识别的原始人脸图像；
对所述原始人脸图像进行下釆样， 得到至少一个与所述原始人脸图像尺 寸不同的下釆样图像；
对每一个所述下釆样图像和所述原始人脸图像进行分块处理， 得到至少 两个分块处理后的图像块；
对所述分块处理后的图像块进行特征提取， 得到图像块的特征； 将每一个所述图像块的特征与预先注册的人脸图像的对应图像块的特征 进行相似度匹配， 得到每一个图像块的相似度；
根据得到的全部所述图像块的相似度得到人脸图像的识别结果。
2、 根据权利要求 1所述的方法， 其特征在于， 所述对所述原始人脸图像 进行下釆样， 得到至少一个与所述原始人脸图像尺寸不同的下釆样图像， 包 括：
对所述原始人脸图像进行 n次下釆样， 得到 n张不同尺寸的下釆样图像， 所述 n张不同尺寸的下釆样图像的尺寸分别为所述原始人脸图像尺寸的 l/4m, 其中， n为自然数， m为小于 n+1的自然数。
3、 根据权利要求 2所述的方法， 其特征在于， 所述对每一个所述下釆样 图像和所述原始人脸图像进行分块处理， 包括：
对每一个所述下釆样图像和所述原始人脸图像按照所述原始人脸图像尺 寸的 1/ ( S*4n )进行分块处理， 其中， S为自然数。
4、 根据权利要求 3所述的方法， 其特征在于， 所述 S=l , 所述 n=2。
5、 根据权利要求 1-4任一项所述的方法， 其特征在于， 所述对所述分块 处理后的图像块进行特征提取， 得到图像块的特征， 包括：
对每一个所述分块处理后的图像块进行局部二值模式 LBP描述子提取， 得到每一个图像块的 LBP直方图；
根据所述每一个图像块的 LBP直方图， 提取每一个所述分块处理后的图 像块的特征向量。
6、 根据权利要求 1-5任一项所述的方法， 其特征在于， 所述对所述原始 人脸图像进行下釆样之前， 所述方法还包括： 对所述原始人脸图像进行直方图均衡化预处理。
7、 一种人脸识别设备， 其特征在于， 包括：
获取模块， 用于获取待识别的原始人脸图像；
釆样模块， 用于对所述原始人脸图像进行下釆样， 得到至少一个与所述 原始人脸图像尺寸不同的下釆样图像；
处理模块， 用于对每一个所述下釆样图像和所述原始人脸图像进行分块 处理， 得到至少两个分块处理后的图像块；
提取模块， 用于对所述分块处理后的图像块进行特征提取， 得到图像块 的特征；
匹配模块， 用于将每一个所述图像块的特征与预先注册的人脸图像的对 应图像块的特征进行相似度匹配， 得到每一个图像块的相似度；
识别模块， 用于根据得到的全部所述图像块的相似度得到人脸图像的识 别结果。
8、 根据权利要求 7所述的设备， 其特征在于， 所述釆样模块具体用于： 对所述原始人脸图像进行 n次下釆样， 得到 n张不同尺寸的下釆样图像， 所述 n张不同尺寸的下釆样图像的尺寸分别为所述原始人脸图像尺寸的 l/4m, 其中， n为自然数， m为小于 n+1的自然数。
9、 根据权利要求 8所述的设备， 其特征在于， 所述处理模块具体用于： 对每一个所述下釆样图像和所述原始人脸图像按照所述原始人脸图像尺 寸的 1/ ( S*4n )进行分块处理， 其中， S为自然数。
10、 根据权利要求 9所述的设备， 其特征在于， 所述 S=l , 所述 n=2。
11、 根据权利要求 7-10任一项所述的设备， 其特征在于， 所述提取模块 具体用于：
对每一个所述分块处理后的图像块进行局部二值模式 LBP描述子提取， 得到每一个图像块的 LBP直方图；
根据所述每一个图像块的 LBP直方图， 提取每一个所述分块处理后的图 像块的特征向量。
12、 根据权利要求 7-11任一项所述的设备， 其特征在于， 所述釆样模块 还用于：
对所述原始人脸图像进行下釆样之前， 对所述原始人脸图像进行直方图 均衡化处理。
13、 一种人脸识别设备， 其特征在于， 包括： 存储器和处理器， 所述存 储器用于存储执行指令， 当所述人脸识别设备运行时， 所述处理器与所述存 储器之间通信， 所述处理器执行所述执行指令使得所述人脸识别设备执行如 权利要求 1至 6任一项所述的方法。
PCT/CN2013/084159 2013-03-19 2013-09-25 人脸识别方法和设备 WO2014146415A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020147008279A KR20140127199A (ko) 2013-03-19 2013-09-25 얼굴 인식 방법 및 장치
JP2015506094A JP2015513754A (ja) 2013-03-19 2013-09-25 顔認識方法及びデバイス
EP13836225.6A EP2835762B1 (en) 2013-03-19 2013-09-25 Face recognition method and device
US14/444,611 US9405969B2 (en) 2013-03-19 2014-07-28 Face recognition method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2013100884690A CN103150561A (zh) 2013-03-19 2013-03-19 人脸识别方法和设备
CN201310088469.0 2013-03-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/444,611 Continuation US9405969B2 (en) 2013-03-19 2014-07-28 Face recognition method and device

Publications (1)

Publication Number Publication Date
WO2014146415A1 true WO2014146415A1 (zh) 2014-09-25

Family

ID=48548624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/084159 WO2014146415A1 (zh) 2013-03-19 2013-09-25 人脸识别方法和设备

Country Status (6)

Country Link
US (1) US9405969B2 (zh)
EP (1) EP2835762B1 (zh)
JP (1) JP2015513754A (zh)
KR (1) KR20140127199A (zh)
CN (1) CN103150561A (zh)
WO (1) WO2014146415A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备
JP6235730B2 (ja) * 2013-11-30 2017-11-22 ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 顔を認識するための方法、システムおよびコンピュータ可読記憶媒体
CN104751108B (zh) * 2013-12-31 2019-05-17 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
CN104899820B (zh) * 2014-03-11 2018-11-20 腾讯科技（北京）有限公司 为图像添加标签的方法、系统和装置
KR102450971B1 (ko) * 2015-05-08 2022-10-05 삼성전자주식회사 객체 인식 장치 및 방법
CN105631285A (zh) * 2015-09-28 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种生物特征身份识别方法及装置
US9830506B2 (en) * 2015-11-09 2017-11-28 The United States Of America As Represented By The Secretary Of The Army Method of apparatus for cross-modal face matching using polarimetric image data
CN107135664B (zh) * 2015-12-21 2020-09-11 厦门熵基科技有限公司 一种人脸识别的方法以及人脸识别装置
KR102707594B1 (ko) 2016-11-11 2024-09-19 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US10609383B2 (en) * 2017-04-07 2020-03-31 Hulu, LLC Video compression using down-sampling patterns in two phases
CN107133590B (zh) * 2017-05-04 2018-09-21 上海天使印记信息科技有限公司 一种基于人脸图像的身份识别系统
US20190007536A1 (en) * 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
CN107563336A (zh) * 2017-09-07 2018-01-09 廖海斌 用于名人匹配游戏的人脸相似度分析方法、装置和系统
CN108304775B (zh) 2017-12-26 2021-06-11 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备
CN110059520B (zh) * 2018-01-18 2024-04-09 京东科技控股股份有限公司 虹膜特征提取的方法、装置及虹膜识别系统
CN108921084A (zh) * 2018-06-29 2018-11-30 努比亚技术有限公司 一种图像分类处理方法、移动终端及计算机可读存储介质
CN108985224A (zh) * 2018-07-13 2018-12-11 江苏慧学堂系统工程有限公司 一种提升人脸识别准确率的方法和人脸识别系统
CN109543579A (zh) * 2018-11-14 2019-03-29 杭州登虹科技有限公司 一种图像中目标对象的识别方法、装置和存储介质
US12003850B2 (en) * 2019-01-31 2024-06-04 Huawei Technologies Co., Ltd. Method for selecting image based on burst shooting and electronic device
CN109829448B (zh) * 2019-03-07 2021-05-28 苏州市科远软件技术开发有限公司 人脸识别方法、装置及存储介质
CN110147727A (zh) * 2019-04-15 2019-08-20 深圳壹账通智能科技有限公司 基于面部特征识别的地铁抽查方法及相关设备
CN110298249A (zh) * 2019-05-29 2019-10-01 平安科技（深圳）有限公司 人脸识别方法、装置、终端及存储介质
CN110321858B (zh) * 2019-07-08 2022-06-14 北京字节跳动网络技术有限公司 视频相似度确定方法、装置、电子设备及存储介质
CN110807139B (zh) * 2019-10-23 2023-09-01 腾讯科技（深圳）有限公司 图片识别方法、装置、计算机可读存储介质和计算机设备
CN111507304B (zh) * 2020-04-29 2023-06-27 广州市百果园信息技术有限公司 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
CN111814535B (zh) * 2020-05-20 2024-05-07 平安科技（深圳）有限公司 掌纹图像的识别方法、装置、设备及计算机可读存储介质
CN112488062B (zh) * 2020-12-18 2023-04-07 浙江大华技术股份有限公司 一种图像识别方法、装置、设备及介质
CN112906652A (zh) * 2021-03-26 2021-06-04 建信金融科技有限责任公司 一种人脸图像的识别方法、装置、电子设备及存储介质
CN113449708B (zh) * 2021-08-31 2022-01-07 深圳市爱深盈通信息技术有限公司 人脸识别方法、装置、设备终端和可读存储介质
CN115457644B (zh) * 2022-11-10 2023-04-28 成都智元汇信息技术股份有限公司 一种基于扩展空间映射获得目标的识图方法及装置
CN117333928B (zh) * 2023-12-01 2024-03-22 深圳市宗匠科技有限公司 一种人脸特征点检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020076088A1 (en) * 2000-12-15 2002-06-20 Kun-Cheng Tsai Method of multi-level facial image recognition and system using the same
CN1975759A (zh) * 2006-12-15 2007-06-06 中山大学 一种基于结构主元分析的人脸识别方法
CN102136062A (zh) * 2011-03-08 2011-07-27 西安交通大学 一种基于多分辨lbp的人脸检索方法
US20120213419A1 (en) * 2011-02-22 2012-08-23 Postech Academy-Industry Foundation Pattern recognition method and apparatus using local binary pattern codes, and recording medium thereof
CN102799870A (zh) * 2012-07-13 2012-11-28 复旦大学 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099722A (ja) * 1998-09-22 2000-04-07 Toshiba Corp 人物顔認識装置及び人物顔認識方法
CN101079104A (zh) * 2007-06-14 2007-11-28 上海交通大学 基于切信息的人脸识别方法
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image
KR101033098B1 (ko) 2009-02-09 2011-05-06 성균관대학교산학협력단 실시간 얼굴 검출 장치
KR20100102949A (ko) 2009-03-12 2010-09-27 한국전자통신연구원 블록 단위 기반 얼굴 인식 방법 및 그 장치
TWI453680B (zh) 2010-10-08 2014-09-21 Micro Star Int Co Ltd 可抑制雜訊及環境影響之臉部辨識方法
CN102163283B (zh) * 2011-05-25 2012-08-29 电子科技大学 一种基于局部三值模式的人脸特征提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020076088A1 (en) * 2000-12-15 2002-06-20 Kun-Cheng Tsai Method of multi-level facial image recognition and system using the same
CN1975759A (zh) * 2006-12-15 2007-06-06 中山大学 一种基于结构主元分析的人脸识别方法
US20120213419A1 (en) * 2011-02-22 2012-08-23 Postech Academy-Industry Foundation Pattern recognition method and apparatus using local binary pattern codes, and recording medium thereof
CN102136062A (zh) * 2011-03-08 2011-07-27 西安交通大学 一种基于多分辨lbp的人脸检索方法
CN102799870A (zh) * 2012-07-13 2012-11-28 复旦大学 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
CN103150561A (zh) * 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079670A (zh) * 2019-12-20 2020-04-28 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质
CN111079670B (zh) * 2019-12-20 2023-11-03 北京百度网讯科技有限公司 人脸识别方法、装置、终端和介质

Also Published As

Publication number Publication date
KR20140127199A (ko) 2014-11-03
EP2835762A1 (en) 2015-02-11
EP2835762A4 (en) 2015-02-11
EP2835762B1 (en) 2018-06-27
US9405969B2 (en) 2016-08-02
JP2015513754A (ja) 2015-05-14
CN103150561A (zh) 2013-06-12
US20140334736A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
WO2014146415A1 (zh) 人脸识别方法和设备
Lu et al. Exploring finger vein based personal authentication for secure IoT
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
WO2021248733A1 (zh) 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
CN109543548A (zh) 一种人脸识别方法、装置及存储介质
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
Lu et al. Finger vein identification using polydirectional local line binary pattern
CN105512683A (zh) 基于卷积神经网络的目标定位方法及装置
JPWO2010044214A1 (ja) 顔認識装置および顔認識方法
CN107169479A (zh) 基于指纹验证的智能移动设备敏感数据防护方法
CN106650568B (zh) 一种人脸识别方法及装置
Zhu et al. Detection of spoofing medium contours for face anti-spoofing
CN105681324B (zh) 互联网金融交易系统及方法
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
WO2017113083A1 (zh) 一种虹膜识别方法及装置
Fischer et al. A novel palm vein recognition approach based on enhanced local Gabor binary patterns histogram sequence
Purnapatra et al. Presentation attack detection with advanced cnn models for noncontact-based fingerprint systems
Bruno et al. Palmprint principal lines extraction
CN112686191A (zh) 基于人脸三维信息的活体防伪方法、系统、终端及介质
CN108182375B (zh) 一种基于手机支付的指纹识别系统
Mali et al. Indian sign language recognition using SVM classifier
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
Chowdhury et al. Fuzzy rule based approach for face and facial feature extraction in biometric authentication
CN113743371B (zh) 一种指纹识别方法及指纹识别装置
Alharbi et al. Spoofing Face Detection Using Novel Edge-Net Autoencoder for Security.

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2013836225

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015506094

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20147008279

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13836225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE