WO2019192121A1 - 双通道神经网络模型训练及人脸比对方法、终端及介质 - Google Patents

双通道神经网络模型训练及人脸比对方法、终端及介质 Download PDF

Info

Publication number
WO2019192121A1
WO2019192121A1 PCT/CN2018/100152 CN2018100152W WO2019192121A1 WO 2019192121 A1 WO2019192121 A1 WO 2019192121A1 CN 2018100152 W CN2018100152 W CN 2018100152W WO 2019192121 A1 WO2019192121 A1 WO 2019192121A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature
face image
neural network
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/100152
Other languages
English (en)
French (fr)
Inventor
王义文
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019192121A1 publication Critical patent/WO2019192121A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present application relates to the field of image recognition technologies, and in particular, to a two-channel neural network model training and a face comparison method, a terminal, and a medium.
  • biometrics have been widely used in identity authentication because of their portability, loss, no forgetting, no borrowing, and no misappropriation.
  • face recognition technology is the most direct, friendly and convenient, and is our ideal choice.
  • Face matching is a sub-area of face recognition. Face comparison is to judge whether two faces are the same person. The most common scene is to judge whether the certificate is the person or not. Face recognition is given a face. The picture, and then judge who this person is, its essence is equivalent to multiple face comparisons.
  • the face image in the dynamic environment has many effects such as insufficient illumination, occlusion, insufficient resolution, and incorrect posture, the face matching in the dynamic environment is very difficult, resulting in a decrease in the accuracy of face comparison.
  • a first aspect of the present application provides a two-channel neural network model training method, the method comprising:
  • each original face image has a size of 182*182;
  • the dual channel neural network model training End and update the weights and offsets in the two-channel neural network model.
  • a second aspect of the present application provides a method for face alignment using the two-channel neural network model, the method comprising:
  • the histogram of the target user After receiving the face image of the target user to be compared, the histogram of the target user is subjected to histogram equalization processing to obtain a histogram equalized face image of the target user;
  • the face comparison result is determined according to the relationship between the calculated similarity and the preset confidence threshold.
  • a third aspect of the present application provides a terminal, the terminal comprising a processor, the processor is configured to implement the dual channel neural network model training method or implement the face ratio when executing computer readable instructions stored in a memory The method.
  • a fourth aspect of the present application provides a non-volatile readable storage medium having stored thereon computer readable instructions, the computer readable instructions being implemented by a processor to implement the The two-channel neural network model training method or the face matching method is implemented.
  • the two-channel neural network model training method, the face comparison method, the terminal and the medium described in the present application apply the trained two-channel neural network model to the face comparison, and can solve the existence of the face image in the dynamic environment. Insufficient illumination, occlusion, insufficient resolution, incorrect posture, etc.; only a small number of samples are needed in the training phase of the two-channel neural network model, thus solving the problem of the data volume requirement of the algorithm and increasing the practicability of the algorithm. Improve the accuracy and efficiency of witness verification.
  • FIG. 1 is a flowchart of a two-channel neural network model training method according to Embodiment 1 of the present application.
  • Embodiment 2 is a flow chart of a two-channel neural network model training method provided by Embodiment 2 of the present application.
  • FIG. 3 is a flowchart of a face matching method according to Embodiment 3 of the present application.
  • Embodiment 4 is a flowchart of a face matching method provided in Embodiment 4 of the present application.
  • FIG. 5 is a structural diagram of a two-channel neural network model training apparatus according to Embodiment 5 of the present application.
  • FIG. 6 is a structural diagram of a face matching device according to Embodiment 6 of the present application.
  • FIG. 7 is a schematic diagram of a terminal provided in Embodiment 7 of the present application.
  • the face matching method of the present application is applied to one or more terminals.
  • the two-channel neural network model training method and the face comparison method can also be applied to a hardware environment composed of a terminal and a server connected to the terminal through a network.
  • the two-channel neural network model training method and the face comparison method of the embodiment of the present application may be performed by the server at the same time, or may be performed by the terminal at the same time; or may be performed by the server and the terminal together, for example, the dual channel nerve
  • the network model training method is performed by a server, and the face matching method is executed by a terminal, or the face matching method is executed by a server, and the two-channel neural network model training method is executed by a terminal.
  • This application is not limited herein.
  • FIG. 1 is a flowchart of a two-channel neural network model training method according to Embodiment 1 of the present application.
  • the obtaining of the original face image may include the following two methods:
  • the resolution of the photographing device for example, camera, camera, etc.
  • the face of different people can be photographed in a dynamic environment to obtain the original face image of size 182*182;
  • the LFW data set was created to investigate the face recognition problem in an unrestricted environment, which contains more than 13,000 face images, all of which are from the Internet, not the lab environment.
  • each original face image is randomly cut into five first face images of the same size, and each first face image is Both contain face areas.
  • Randomly crop each original face image to obtain the first face image under arbitrary angle and arbitrary illumination conditions is the process of collecting the original face image in the simulated dynamic environment; secondly, by cutting In this way, multiple first face images can be obtained, thereby increasing the number of face sample data sets, and more face sample data sets can improve the robustness of the two-channel neural network model.
  • the specific steps of performing histogram equalization processing on the first face image in the face sample data set include:
  • n is the sum of the number of pixels in the first face picture
  • n k is the number of pixels of the gray level r k
  • L is the total number of gray levels in the first face picture
  • the calculated pixel grayscale distribution density is transformed according to formula (1-2).
  • the gray value is mapped to obtain a new pixel gray level, and the new pixel gray level is rounded to obtain a transformed new pixel gray level.
  • Performing a histogram equalization process on each of the first face images in the face sample data set which can further enhance the contrast of the first face image in the face sample data set, especially for exposure
  • the first face image that is excessive or underexposed can better maintain the detail information of the face region in the first face image after the histogram equalization processing.
  • the color picture needs to be The color space is converted into an HSV (Hue Chroma, Value Saturation) color space from the RGB color space, and then the histogram equalization process is performed on the V component.
  • HSV Human Chroma, Value Saturation
  • the first deep neural network and the second deep neural network are neural networks having the same number of layers (for example, 200 layers).
  • the first depth neural network and the second deep neural network adopt a perceptron-based Inception-Resnet-V2 (Inception-V2 and Resnet combined neural network) neural network.
  • the perceptron-based Inception-Resnet-V2 neural network is a prior art, and the present application does not repeat here.
  • the step 104 may further include: the dimension of the first facial feature extracted by the first depth neural network is 64 dimensions, and the second person extracted by the second deep neural network The dimension of the face feature is 64 dimensions.
  • the first facial feature and the second facial feature may be normalized by a normalization function, and the normalization function may be a Euclidean distance function or a Manhattan Distance function, minimum absolute error.
  • the first normalized face feature is obtained by using the Euclidean distance function on the first facial feature, and the second facial feature is normalized to obtain a second normalized facial feature.
  • Normalization can compress light, shadows, and edges so that the first normalized face feature and the second normalized face feature are robust to illumination, shadow, and edge changes, further enhancing the two-channel neural network. Model robustness.
  • normalization using the Euclidean distance function can avoid over-fitting of the two-channel neural network model, thereby improving the generalization ability of the two-channel neural network model, and optimizing the weight and offset of the subsequent two-channel neural network model. Become more stable and fast.
  • the preset connection rule may be a cross connection.
  • the first normalized face feature is (x 1 , x 2 , x 3 , . . . , x m )
  • the second normalized face feature is (y 1 , y 2 , y 3 , . . . , y m )
  • the final face features obtained by the cross-connection connection are expressed as (x 1 , y 1 , x 2 , y 2 , x 3 , y 3 , . . . , x m , y m ).
  • the preset connection rules may be sequential connections.
  • the first normalized face feature is (x 1 , x 2 , x 3 , . . . , x m )
  • the second normalized face feature is (y 1 , y 2 , y 3 , . . . , y m )
  • the final face features obtained by sequential connection are expressed as (x 1 , x 2 , x 3 , . . . , x m , y 1 , y 2 , y 3 , . . . , y m ).
  • 107 normalize the final facial feature representation and input to a preset loss function to calculate a loss function value.
  • the loss function value is less than or equal to a preset loss function threshold, the dual channel neural network model training Ending and updating the weights and offsets in the two-channel neural network model; when the loss function value is greater than a preset loss function threshold, acquiring more original face images and re-executing based on the increased original face images.
  • the preset loss function L is represented by the following formula (1-3):
  • L S represents the result of the cross-entropy loss function (softmax loss). Represents the actual output of the yi person, L C represents the result of the center loss function, cyi represents the feature center of the yi person, and xi represents the feature before the fully connected layer.
  • the preset loss function can make the distance between different face images larger, and the distance between different face images of the same person is reduced, thereby improving the classification of the two-channel neural network model.
  • the dual-channel neural network model trained in the present application can significantly enhance the feature extraction capability of the face image in the input face sample data set and the face image processed by the histogram equalization process. It can reduce the risk of performance degradation when the network level is deepened, and improve the robustness of the two-channel neural network model, which is convenient for improving the recognition rate of face recognition or face comparison.
  • Embodiment 2 is a flow chart of a two-channel neural network model training method provided by Embodiment 2 of the present application.
  • the step 201 in this embodiment is the same as the step 101 in the first embodiment, and the application is not described in detail herein.
  • the second face image size obtained after random cropping is 171*160, which not only can maintain the facial detail information in the original face image to the greatest extent, but also utilizes the original face image.
  • the training time of the two-channel neural network model can be shortened, and the training speed of the two-channel neural network model can be improved.
  • the pre-stored face detection algorithm may be one of the following algorithms: a template-based face detection method, an artificial neural network-based face detection method, a model-based face detection method, and a skin color-based face detection method. The method or the face detection method based on the feature sub-face, and the like.
  • the pre-stored face detection algorithm is not limited to the above enumeration, and any algorithm capable of detecting whether the face image is included in the cropped face image may be referred to herein.
  • the face detection algorithm pre-stored in this embodiment is a prior art, and will not be described in detail herein.
  • each of the second face images in the cropped second face image includes a face region
  • performing the following step 204 when determining each of the cropped second face images or When the face area is not included in the partial face picture, the following step 205 is performed.
  • the face region that is not included in the cropped second face image includes the following two situations: there is no face region at all; only a part of the face region exists.
  • the step 204 in this embodiment is the same as the step 103 in the first embodiment, and the application is not described in detail herein.
  • the step 206 in this embodiment is the same as the step 104 in the first embodiment, and the application is not described in detail herein.
  • the step 207 in this embodiment is the same as the step 105 in the first embodiment, and the application is not described in detail herein.
  • the step 208 in this embodiment is the same as the step 106 in the first embodiment, and the application is not described in detail herein.
  • the step 209 in this embodiment is the same as the step 107 in the first embodiment, and the present application will not be described in detail herein.
  • the two-channel neural network model trained in the present application detects each of the cropped second face images by a pre-stored face detection algorithm to ensure that each second face image is included. All the face regions can ensure the validity of the extracted face features, which can further improve the robustness of the two-channel neural network model, and facilitate the subsequent recognition of face recognition or face comparison.
  • FIG. 3 is a flowchart of a face matching method according to Embodiment 3 of the present application.
  • the feature vector A represents the final feature representation of the target user
  • the feature vector B represents the final feature representation of the registered user.
  • the cosine value between the feature vector A and each of the feature vectors B in the database is calculated according to the equation (2-1), and the range of the calculated cosine value is [-1, 1].
  • the SIM calculated according to equation (2-2) is the similarity, and the value of the similarity is normalized to [0, 1].
  • the results of the face alignment include alignment results and comparison failure results.
  • the calculated similarity is greater than or equal to the preset confidence threshold, it is determined that the user matches, that is, the registered user who is the same person as the target user is matched in the database.
  • the calculated similarity is less than the preset confidence threshold, it is determined that the user comparison fails, that is, the registered user who is the same person as the target user is not matched in the database.
  • the preset confidence threshold is 0.5.
  • the dual-channel neural network model is used for face comparison, which can improve the accuracy of face comparison, shorten the time of face comparison, and improve the efficiency of face comparison.
  • Embodiment 4 is a flowchart of a face matching method provided in Embodiment 4 of the present application.
  • the pre-processing may include, but is not limited to, image denoising, illumination normalization, pose calibration, grayscale normalization, and the like.
  • the face image of the target user After receiving the face image of the target user to be compared, the face image of the target user is pre-processed to further improve the face image of the target user, so as to extract more discriminative power. Face features.
  • 403 Input the pre-processed target user's face image into the first deep neural network in the trained two-channel neural network model to extract the third facial feature, and simultaneously equalize the target user's histogram.
  • the fourth face feature is extracted from the second deep neural network in the trained two-channel neural network model.
  • the pre-set sorting method includes, but is not limited to, sorting from large to small, and sorting from small to large.
  • the results of the face alignment include alignment results and comparison failure results.
  • the maximum similarity is greater than or equal to the preset confidence threshold, it is determined that the user matches, that is, the registered user who is the same person as the target user is matched in the database.
  • the maximum similarity is less than the preset confidence threshold, it is determined that the user comparison fails, that is, the registered user who is the same person as the target user is not matched in the database.
  • the preset confidence threshold is 0.5.
  • the user comparison is determined. by.
  • the maximum similarity is less than the preset confidence threshold, it is determined that the user comparison fails. This can shorten the comparison time, and only need to compare once to determine whether the target user is a registered user.
  • the face matching method described in the present application can extract a better facial feature representation by using a two-channel neural network model, and a better face can be obtained by taking a shorter face comparison time. Compare effects.
  • FIG. 5 is a functional block diagram of a preferred embodiment of the dual channel neural network model training device of the present application.
  • the two-channel neural network model training device 50 operates in the terminal 7.
  • the dual channel neural network model training device 50 can include a plurality of functional modules comprised of computer readable instruction code segments. Each of the computer readable instruction code segments in the dual channel neural network model training device 50 may be stored in the memory 71 and executed by the at least one processor 72 for execution (see Figures 1 and 2 for details). Description) Training for a two-channel neural network model.
  • the dual channel neural network model training device 50 can be divided into multiple functional modules according to the functions performed by the dual channel neural network model.
  • the function module may include: an obtaining module 501, a cropping module 502, a first histogram processing module 503, a first feature extraction module 504, a first normalization module 505, a first feature connection module 506, and a model update module 507. And a face detection module 508.
  • the obtaining module 501 is configured to obtain a raw face image of different people, and the size of each original face image is 182*182.
  • the cropping module 502 is configured to randomly cut each original face image into a preset number of first face images to obtain a face sample data set.
  • the preset number can be adjusted or modified according to actual needs.
  • the cropping module 502 randomly cuts each original face image into five first face images of the same size, each of which The first face image contains a face area.
  • Randomly crop each original face image to obtain the first face image under arbitrary angle and arbitrary illumination conditions is the process of collecting the original face image in the simulated dynamic environment; secondly, by cutting In this way, multiple first face images can be obtained, thereby increasing the number of face sample data sets, and more face sample data sets can improve the robustness of the two-channel neural network model.
  • the histogram processing module 503 is configured to perform histogram equalization processing on each first face image in the face sample data set to obtain a histogram equalized face image.
  • the first feature extraction module 504 is configured to input each first face image in the face sample data into the first depth neural network to extract the first facial feature, and simultaneously equalize the corresponding histogram.
  • the picture input second depth neural network extracts the second face feature.
  • the first deep neural network and the second deep neural network are neural networks having the same number of layers (for example, 200 layers).
  • the first depth neural network and the second deep neural network adopt a perceptron-based Inception-Resnet-V2 (Inception-V2 and Resnet combined neural network) neural network.
  • the perceptron-based Inception-Resnet-V2 neural network is a prior art, and the present application does not repeat here.
  • the first feature extraction module 504 is further configured to: the dimension of the first facial feature extracted by the first depth neural network is 64 dimensions, and the second depth neural network extracts The dimension of the second face feature is 64 dimensions.
  • a first normalization module 505 configured to normalize the first facial feature to obtain a first normalized facial feature, and normalize the second facial feature to obtain a second normalized Face features.
  • a first feature connection module 506 configured to connect the first normalized face feature and the second normalized face feature according to a preset connection rule to obtain a new normalized face feature, as a final face Feature representation.
  • the model update module 507 is configured to normalize the final facial feature representation and input the value to the preset loss function to calculate a loss function value.
  • the loss function value is less than or equal to a preset loss function threshold
  • the double The channel neural network model training ends and updates the weights and offsets in the two-channel neural network model; when the loss function value is greater than the preset loss function threshold, more original face images are acquired, and based on the increased original The face picture re-executes the above modules 501-507.
  • the cropping module 502 is further configured to randomly cut each original face image into a preset number of second face images to obtain a face sample data set, where each of the face sample data sets The size of the second face image is 171*160.
  • the second face image size obtained after random cropping is 171*160, which not only can maintain the facial detail information in the original face image to the greatest extent, but also utilizes the original face image.
  • the training time of the two-channel neural network model can be shortened, and the training speed of the two-channel neural network model can be improved.
  • the dual-channel neural network model training device 50 further includes: a face detection module 508, configured to detect each of the cropped second face images by using a pre-stored face detection algorithm, and determine the cropping Whether or not the face area is included in each second face picture in all the second face pictures.
  • a face detection module 508 configured to detect each of the cropped second face images by using a pre-stored face detection algorithm, and determine the cropping Whether or not the face area is included in each second face picture in all the second face pictures.
  • the pre-stored face detection algorithm may be one of the following algorithms: a template-based face detection method, an artificial neural network-based face detection method, a model-based face detection method, and a skin color-based face detection method. The method or the face detection method based on the feature sub-face, and the like.
  • the pre-stored face detection algorithm is not limited to the above enumeration, and any algorithm capable of detecting whether the face image is included in the cropped face image may be referred to herein.
  • the face detection algorithm pre-stored in this embodiment is a prior art, and will not be described in detail herein.
  • the first histogram processing module 503 is further configured to: when the face detection module 508 determines that each of the second face images in the cropped second face image includes a face region, Histogram equalization processing is performed on each second face image in the face sample data set to obtain a histogram equalization face image.
  • the cropping module 502 is further configured to: when the face detection module 508 determines that each of the second face images that are cropped includes no face region in the face image, the pair does not include The original face image corresponding to the second face image of the face region is randomly cropped until the preset number of second face images are obtained.
  • the face region that is not included in the cropped second face image includes the following two situations: there is no face region at all; only a part of the face region exists.
  • the first normalization module 505 is further configured to input each second face image in the face sample data into the first depth neural network to extract the first facial feature, and correspondingly The histogram equalization face image input second depth neural network extracts the second face feature.
  • the dual-channel neural network model trained in the present application can significantly enhance the feature extraction capability of the face image in the input face sample data set and the face image processed by the histogram equalization process. It mitigates the risk of performance degradation when the network level is deepened, and improves the robustness of the two-channel neural network model.
  • each second face image that is cropped is detected by a pre-stored face detection algorithm to ensure each piece.
  • the second face image contains all the face regions, which can ensure the validity of the extracted face features, and can further improve the robustness of the two-channel neural network model, and facilitate the subsequent improvement of face recognition or face comparison. Recognition rate.
  • FIG. 6 is a functional block diagram of a preferred embodiment of the applicant's face matching device.
  • the face matching device 60 operates in the terminal 7.
  • the face matching device 60 can include a plurality of functional modules comprised of computer readable instruction code segments.
  • the instruction codes of the respective computer readable instruction segments in the face matching device 60 may be stored in the memory 71 and executed by the at least one processor 72 for execution (see Figures 3 and 4 for details). Description) The comparison of faces.
  • the face matching device 60 of the terminal 7 can be divided into a plurality of functional modules according to the functions performed by the terminal 7.
  • the function module may include: a second histogram processing module 601, a second feature extraction module 602, a second normalization module 603, a second feature connection module 604, a calculation module 605, a result determination module 606, and a pre-processing module 607. And sorting module 608.
  • the second histogram processing module 601 is configured to perform histogram equalization processing on the face image of the target user after receiving the face image of the target user to be compared by the face, and obtain a histogram equalization of the target user. Face picture.
  • a second feature extraction module 602 configured to input a face image of the target user into a first depth neural network in the trained two-channel neural network model, and extract a third facial feature, and simultaneously The fourth facial feature is extracted from the second deep neural network in the two-channel neural network model trained by the histogram equalization face image input;
  • the second normalization module 603 is configured to normalize the third facial feature to obtain a third normalized facial feature, and normalize the fourth facial feature to obtain a fourth normalized facial feature. ;
  • the second feature connection module 604 is configured to connect the third normalized face feature and the fourth normalized face feature according to the preset connection rule to obtain a new normalized face feature. The final feature representation of the target user.
  • the calculating module 605 is configured to calculate a similarity between the final feature representation of the target user and the final feature representation of the registered user in the database.
  • the result determining module 606 is configured to determine a face comparison result according to a relationship between the calculated similarity and a preset confidence threshold.
  • the results of the face alignment include alignment results and comparison failure results.
  • the result determination module 606 determines that the user matches, that is, the registered user who is the same person as the target user is matched in the database.
  • the result determination module 606 determines that the user comparison fails, that is, the registered user who is the same person as the target user is not matched in the database.
  • the preset confidence threshold is 0.5.
  • the face matching device 60 further includes: a pre-processing module 607, configured to pre-process the face image of the target user after receiving the face image of the target user to be compared by the face deal with.
  • the pre-processing may include, but is not limited to, image denoising, illumination normalization, pose calibration, grayscale normalization, and the like.
  • the face image of the target user After receiving the face image of the target user to be compared, the face image of the target user is pre-processed to further improve the face image of the target user, so as to extract more discriminative power. Face features.
  • the second histogram processing module 601 further performs histogram equalization processing on the pre-processed target user's face image to obtain a histogram equalized face image of the target user.
  • the second feature extraction module 602 is further configured to input the face image of the pre-processed target user into the first deep neural network in the trained two-channel neural network model to extract the third facial feature. And extracting the fourth facial feature from the second deep neural network in the trained two-channel neural network model by inputting the histogram equalized face image of the target user;
  • the face matching device 60 further includes: a sorting module 608, configured to sort the calculated similarities according to a preset sorting method.
  • the pre-set sorting method includes, but is not limited to, sorting from large to small, and sorting from small to large.
  • the result determining module 606 is further configured to compare a relationship between the maximum similarity and a preset confidence threshold to determine a face comparison result.
  • the results of the face alignment include alignment results and comparison failure results.
  • the result determination module 606 determines that the user has passed the comparison, ie, the registered user who is the same person as the target user is matched in the database.
  • the result determination module 606 determines that the user comparison failed, ie, the registered user who is the same person as the target user is not matched in the database.
  • the face matching method described in the present application can extract a better facial feature representation by using a two-channel neural network model, and a better face can be obtained by taking a shorter face comparison time. Compare effects.
  • FIG. 7 it is a hardware structure diagram of a terminal for implementing the dual channel neural network model training method and/or the face matching method described in the present application.
  • the terminal 7 includes a memory 71, at least one processor 72, and at least one communication bus 73.
  • the structure of the terminal 7 shown in FIG. 7 does not constitute a limitation of the embodiment of the present application, and may be a bus type structure or a star structure, and the terminal 7 may further include a ratio More or less other hardware or software, or different component arrangements.
  • the memory 71 is configured to store computer readable instruction code and various data, such as the dual channel neural network model training device 50 and the face matching device 60 installed in the terminal 7, and The high speed, automatic completion of computer readable instructions or data access during the operation of the terminal 7.
  • the at least one processor 72 may be composed of an integrated circuit, for example, may be composed of a single packaged integrated circuit, or may be composed of multiple integrated circuits of the same function or different functions, including one. Or a combination of a plurality of central processing units, microprocessors, digital processing chips, graphics processors, and various control chips.
  • the at least one processor 72 is a control core of the terminal 7, connecting various components of the entire terminal 7 using various interfaces and lines, by running or executing computer readable instructions or modules stored in the memory 71, and The data stored in the memory 71 is invoked to perform various functions and processing data of the terminal 7, such as executing the two-channel neural network model training device 50 and/or the face matching device 60.
  • the at least one communication bus 73 is arranged to effect connection communication between the memory 71, the at least one processor 72, and the like.
  • the functional modules in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of hardware plus software function modules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种双通道神经网络模型训练方法，包括：将人脸样本数据中的每张人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的经过直方图均衡化处理后的人脸图片输入第二深度神经网络中提取出第二人脸特征；对第一人脸特征和第二人脸特征进行归一化后连接作为最终人脸特征表示；将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。还提供一种人脸比对方法、终端及介质。所述训练方法可以训练出适合人脸比对的双通道神经网络模型，获得较佳的人脸比对效果。

Description

双通道神经网络模型训练及人脸比对方法、终端及介质
本申请要求于2018年04月04日提交中国专利局，申请号为201810299180.6发明名称为“双通道神经网络模型训练及人脸比对方法、终端及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像识别技术领域，具体涉及一种双通道神经网络模型训练及人脸比对方法、终端及介质。
背景技术
最近几年，随着机器学习和深度学习的发展，生物特征凭借便于携带、不会丢失、不会遗忘、不会借用和不会盗用等特点，被广泛应用在身份认证中。人脸识别技术作为生物特征识别技术之一，它具有最直接、友好和方便的特点，是我们的理想选择。人脸比对是人脸识别的子领域，人脸比对是判断两张人脸图片是不是同一个人，最常用的场景是判断证件是不是本人，人脸识别则是给定一张人脸图片，然后判断这个人是谁，其实质相当于多次的人脸比对。
由于动态环境下的人脸图片存在光照不足、遮挡、分辨率不够、姿态不正确等多种影响，使得动态环境下的人脸比对难度非常大，造成人脸比对准确度下降。
发明内容
鉴于以上内容，有必要提出一种双通道神经网络模型训练方法及人脸比对方法、终端及介质，其可以训练出适合人脸比对的分类模型，训练出的特征的区分能力较强，获得较佳的人脸比对效果。
本申请的第一方面提供一种双通道神经网络模型训练方法，所述方法包括：
a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则 双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
本申请的第二方面提供一种利用所述的双通道神经网络模型进行人脸比对的方法，所述方法包括：
在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
本申请的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现所述双通道神经网络模型训练方法或者实现所述人脸比对方法。
本申请的第四方面提供一种非易失性可读存储介质，所述非易失性可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现所述双通道神经网络模型训练方法或者实现所述人脸比对方法。
本申请所述的双通道神经网络模型训练方法及人脸比对方法、终端及介质，将训练出的双通道神经网络模型应用在人脸比对上，能够解决动态环境下的人脸图片存在光照不足、遮挡、分辨率不够、姿态不正确等多种影响；在双通道神经网络模型训练阶段只需要少量样本即可，从而解决了算法对数据量的需求问题，增加了算法的实用性，提高了人证验证的准确率及效率。
附图说明
图1是本申请实施例一提供的双通道神经网络模型训练方法的流程图。
图2是本申请实施例二提供的双通道神经网络模型训练方法的流程图。
图3是本申请实施例三提供的人脸比对方法的流程图。
图4是本申请实施例四提供的人脸比对方法的流程图。
图5是本申请实施例五提供的双通道神经网络模型训练装置的结构图。
图6是本申请实施例六提供的人脸比对装置的结构图。
图7是本申请实施例七提供的终端的示意图。
具体实施方式
本申请的人脸比对方法应用在一个或者多个终端中。所述双通道神经网络模型训练方法及人脸比对方法也可以应用于由终端和通过网络与所述终端 进行连接的服务器所构成的硬件环境中。本申请实施例的双通道神经网络模型训练方法及人脸比对方法可以同时由服务器来执行，也可以同时由终端来执行；还可以是由服务器和终端共同执行，比如，所述双通道神经网络模型训练方法由服务器来执行，所述人脸比对方法由终端来执行，或者，所述人脸比对方法由服务器来执行，所述双通道神经网络模型训练方法由终端来执行。本申请在此不加以限制。
实施例一
图1是本申请实施例一提供的双通道神经网络模型训练方法的流程图。
101：获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
本较佳实施例中，所述原始人脸图片的获取可包括以下两种方法：
(1)事先设置拍照设备(例如，摄像机、照相机等)的分辨率为182*182，则在动态环境下对不同人的人脸进行拍摄即可得到尺寸为182*182的原始人脸图片；
(2)从人脸数据集中获取不同人的原始人脸图片，将原始人脸图片设置为182*182的尺寸。
所述LFW数据集是为了研究非限制环境下的人脸识别问题而建立，其中包含了超过13000张人脸图像，人脸图像全部来自于Internet，而不是实验室环境。
将原始人脸图片分辨率设置为182*182，不仅能获得较多的人脸面部细节信息，且能适配现有通用的传输、存储和管理系统及设备。
102：将每张原始人脸图片进行随机裁剪成预设数量的第一人脸图片，得到人脸样本数据集。
所述预设数量可以根据实际需要自行调整或修改，本较佳实施例中，将每张原始人脸图片进行随机裁剪成大小相同的5张第一人脸图片，每张第一人脸图片均包含人脸区域。
将每张原始人脸图片进行随机裁剪，可得到任意角度、任意光照等条件下的第一人脸图片，随机的过程即是模拟动态环境下采集原始人脸图片的过程；其次，通过裁剪的方式可得到多张第一人脸图片，从而增加人脸样本数据集的数量，较多的人脸样本数据集能够提高双通道神经网络模型的鲁棒性。
103：分别对所述人脸样本数据集中的每张第一人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
本实施例中，对所述人脸样本数据集中的第一人脸图片进行直方图均衡化处理的具体步骤包括：
1)对所述第一人脸图片进行像素灰度统计；
统计所述第一人脸图片中每个像素灰度级出现的次数，将相同的灰度级像素点数量进行累加。
2)计算像素灰度分布密度；
根据公式(1-1)计算第k灰度级在整张所述第一人脸图片中出现的概率Pr(r k)，
Figure PCTCN2018100152-appb-000001
其中，n是所述第一人脸图片中像素个数的总和，n k是灰度级r k的像素个数，L是所述第一人脸图片中灰度级的总数。
3)根据累积分布函数对所计算的像素灰度分布密度进行变换；
根据公式(1-2)对所计算的像素灰度分布密度进行变换。
Figure PCTCN2018100152-appb-000002
4)计算变换后的新像素灰度；
对灰度值进行映射得到新像素灰度，并对所述新像素灰度进行取整，得到变换后的新像素灰度。
对所述人脸样本数据集中的每张所述第一人脸图片进行直方图均衡化处理，能够进一步增强所述人脸样本数据集中的所述第一人脸图片的对比度，尤其是对于曝光过度或者曝光不足的所述第一人脸图片，经过所述直方图均衡化处理后能够更好的保持所述第一人脸图片中的人脸区域的细节信息。
优选地，若人脸样本数据集中的所述第一人脸图片为彩色图片，由于无法直接对彩色图片中的R、G、B三个分量进行直方图均衡化处理，因而需要将彩色图片的颜色空间由RGB色彩空间转换成HSV(Hue色度，Saturation饱和度，Value纯度)色彩空间，然后对V分量进行所述直方图均衡化处理。
104：将人脸样本数据中的每张所述第一人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本较佳实施例中，所述第一深度神经网络与所述第二深度神经网路为具有相同层数(例如，200多层)的神经网络。可选地，所述第一深度神经网络与所述第二深度神经网路采用基于感知机的Inception-Resnet-V2(Inception-V2和Resnet相结合的神经网络)神经网络。所述基于感知机的Inception-Resnet-V2神经网络为现有技术，本申请在此不再赘述。
优选地，所述步骤104还可以包括：所述第一深度神经网络提取出的所述第一人脸特征的维数为64维，所述第二深度神经网络提取出的所述第二人脸特征的维数为64维。
105：对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
本较佳实施例中，可以采用归一化函数对所述第一人脸特征及所述第二人脸特征进行归一化，所述归一化函数可以是欧式距离函数，也可以是曼哈顿距离函数、最小绝对误差。可选地，采用欧式距离函数对所述第一人脸特征得到第一归一化人脸特征，及对所述第二人脸特征进行归一化得到第二归一化人脸特征。
归一化能够对光照、阴影和边缘进行压缩，使得第一归一化人脸特征和第二归一化人脸特征对光照、阴影和边缘变化具有鲁棒性，从而进一步提高 双通道神经网络模型的鲁棒性。另外，采用欧式距离函数进行归一化，能避免双通道神经网络模型过拟合，进而提升了双通道神经网络模型的泛化能力，对后续双通道神经网络模型的权重和偏置的优化求解变得更稳定和快速。
106：根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
本较佳实施例中，所述预设连接规则可以是交叉连接。例如，第一归一化人脸特征为(x 1,x 2,x 3,…,x m)，第二归一化人脸特征为(y 1,y 2,y 3,…,y m)，则采用交叉连接方式连接得到的最终人脸特征表示为(x 1,y 1,x 2,y 2,x 3,y 3,…,x m,y m)。
可替换地，所述预设连接规则可以是顺序连接。例如，第一归一化人脸特征为(x 1,x 2,x 3,…,x m)，第二归一化人脸特征为(y 1,y 2,y 3,…,y m)，则采用顺序连接方式连接得到的最终人脸特征表示为(x 1,x 2,x 3,…,x m,y 1,y 2,y 3,…,y m)。
107：将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤101-107。
本较佳实施例中，所述预先设置的损失函数L为下式(1-3)所示：
Figure PCTCN2018100152-appb-000003
其中，m表示mini-batch的大小。L S表示的是交叉熵损失函数(softmax loss)的结果，
Figure PCTCN2018100152-appb-000004
代表的是第yi个人的实际输出，L C表示的是中心损失函数(center loss)的结果，cyi表示第yi个人的特征中心，xi表示全连接层之前的特征。预先设置的损失函数L越小，代表模型越好。
对所述最终人脸特征表示再次进行归一化，是为了使得归一化后的最终人脸特征表示分布在0-1之间，具有统一的批判标准，不仅可以方便后续的数据处理，还能使得损失函数的收敛加快；其次，预先设置的损失函数能够使得不同人脸图片间的距离变大，同一个人的不同人脸图片间的距离减少，从而提高所述双通道神经网络模型的分类能力，进而提高人脸识别的准确度。
综上所述，本申请所训练出的双通道神经网络模型，能够显著增强对输入的人脸样本数据集中的人脸图片及经过直方图均衡化处理的所述人脸图片的特征提取能力，减轻网络层次加深时而性能降低的风险，提高了双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例二
图2是本申请实施例二提供的双通道神经网络模型训练方法的流程图。
201：获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
本实施例中的所述步骤201同实施例一中的所述步骤101，本申请在此 不再详细赘述。
202：将每张原始人脸图片进行随机裁剪成预设数量的第二人脸图片，得到人脸样本数据集，其中，所述人脸样本数据集中的每张第二人脸图片的尺寸为171*160。
本较佳实施例中，设置随机裁剪后得到的第二人脸图片尺寸为171*160，不仅能最大程度的保持原始人脸图片中的面部细节信息，相较于利用所述原始人脸图片作为人脸样本数据集参与训练时，能缩短双通道神经网络模型的训练时间，提高双通道神经网络模型的训练速度。
203：利用预先存储的人脸检测算法分别对裁剪出的每张第二人脸图片进行检测，判断裁剪出的所有第二人脸图片中的每张第二人脸图片中是否包含人脸区域。
所述预先存储的人脸检测算法可以为以下算法中的一种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。
本实施例中，所述预先存储的人脸检测算法不限于上述列举的，任何能够检测裁剪出的人脸图片中是否包含人脸区域的算法均可引用与此。另外，本实施例中预先存储的人脸检测算法为现有技术，本文在此不再详细介绍。
当确定裁剪出的所有第二人脸图片中的每张第二人脸图片中包含人脸区域时，则执行下述步骤204；当确定裁剪出的所有第二人脸图片中的每张或部分人脸图片中不包含人脸区域时，则执行下述步骤205。
所述裁剪出的第二人脸图片中不包含人脸区域包括以下两种情形：完全不存在人脸区域；仅存在部分人脸区域。
204：分别对所述人脸样本数据集中的每张第二人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
本实施例中的所述步骤204同实施例一中的所述步骤103，本申请在此不再详细赘述。
205：继续对不包含人脸区域的第二人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的第二人脸图片。
206：将人脸样本数据中的每张所述第二人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本实施例中的所述步骤206同实施例一中的所述步骤104，本申请在此不再详细赘述。
207：对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
本实施例中的所述步骤207同实施例一中的所述步骤105，本申请在此不再详细赘述。
208：根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
本实施例中的所述步骤208同实施例一中的所述步骤106，本申请在此 不再详细赘述。
209：将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤201-209。
本实施例中的所述步骤209同实施例一中的所述步骤107，本申请在此不再详细赘述。
综上所述，本申请所训练出的双通道神经网络模型，通过预先存储的人脸检测算法对裁剪出的每张第二人脸图片进行检测，以确保每张第二人脸图片中包含了全部的人脸区域，如此可以保障提取的人脸特征的有效性，能够进一步提高双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例三
图3是本申请实施例三提供的人脸比对方法的流程图。
301：在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
302：将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征。
303：对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征。
304：根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
305：计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
根据式(2-1)和(2-2)计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
Figure PCTCN2018100152-appb-000005
SIM＝0.5+0.5*COSθ    (2-2)
其中，特征向量A代表目标用户的最终特征表示，特征向量B代表注册用户的最终特征表示。根据式(2-1)计算特征向量A和数据库中的每一个特征向量B之间的余弦值，计算出的余弦值的范围为[-1，1]。根据式(2-2)计算出的SIM即为相似度，此时相似度的值归一化到[0，1]。
306：根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定 人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当计算得到的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当计算得到的相似度小于预先设置的置信度阈值时，则确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
综上所述，将所述双通道神经网络模型用于人脸比对，能够提高人脸比对的准确度，缩短人脸比对的时间，提高人脸比对的效率。
实施例四
图4是本申请实施例四提供的人脸比对方法的流程图。
401：在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理。
本较佳实施例中，所述预处理可以包括，但不限于：图像去噪，光照归一化，姿态校准，灰度归一化等。
在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理，是为了进一步提高目标用户的人脸图片，便于提取出更具辨别力的人脸特征。
402：对经过预处理后目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
403：将经过预处理后的目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征。
404：对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征。
405：根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
406：计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
407：根据预先设置的排序方法对计算得到的相似度进行排序。
本较佳实施例中，所述预先设置的排序方法包括，但不限于：由大到小排序，由小到大排序。
408：比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当最大的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当最大的相似度小于预先设置的置信度阈值时，则确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
通过对计算得到的相似度进行排序，并直接比较最大的相似度与预先设置的置信度阈值之间的关系，当最大的相似度大于或等于预先设置的置信度阈值时，则确定用户比对通过。当最大的相似度小于预先设置的置信度阈值时，则确定用户比对失败。如此可以缩短比对时间，仅需比对一次即可确定目标用户是否为已注册用户。
综上所述，本申请所述的人脸比对方法，使用双通道神经网络模型能够提取出较佳的人脸特征表示，花费较短的人脸比对时间即可获得较佳的人脸比对效果。
上述对图1、图2、图3和图4的流程图中各步骤的描述，根据不同的需求，流程图中的执行顺序可以改变，某些步骤可以省略。
以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出改进，但这些均属于本申请的保护范围。
下面结合第5至7图，分别对实现上述双通道神经网络模型训练方法及人脸比对方法的终端的功能模块及硬件结构进行介绍。
实施例五
图5为本申请双通道神经网络模型训练装置较佳实施例中功能模块图。
在一些实施例中，所述双通道神经网络模型训练装置50运行于所述终端7中。所述双通道神经网络模型训练装置50可以包括多个由计算机可读指令代码段所组成的功能模块。所述双通道神经网络模型训练装置50中的各个计算机可读指令代码段可以存储于所述存储器71中，并由所述至少一个处理器72所执行，以执行(详见图1和图2描述)对双通道神经网络模型的训练。
本实施例中，所述双通道神经网络模型训练装置50根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块501、裁剪模块502、第一直方图处理模块503、第一特征提取模块504、第一归一化模块505、第一特征连接模块506、模型更新模块507及人脸检测模块508。
获取模块501，用于获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182。
裁剪模块502，用于将每张原始人脸图片进行随机裁剪成预设数量的第一人脸图片，得到人脸样本数据集。
所述预设数量可以根据实际需要自行调整或修改，本较佳实施例中，所述裁剪模块502将每张原始人脸图片进行随机裁剪成大小相同的5张第一人脸图片，每张第一人脸图片均包含人脸区域。
将每张原始人脸图片进行随机裁剪，可得到任意角度、任意光照等条件下的第一人脸图片，随机的过程即是模拟动态环境下采集原始人脸图片的过程；其次，通过裁剪的方式可得到多张第一人脸图片，从而增加了人脸样本数据集的数量，较多的人脸样本数据集能够提高双通道神经网络模型的鲁棒性。
第一直方图处理模块503，用于分别对所述人脸样本数据集中的每张第 一人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
第一特征提取模块504，用于将人脸样本数据中的每张所述第一人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
本较佳实施例中，所述第一深度神经网络与所述第二深度神经网路为具有相同层数(例如，200多层)的神经网络。可选地，所述第一深度神经网络与所述第二深度神经网路采用基于感知机的Inception-Resnet-V2(Inception-V2和Resnet相结合的神经网络)神经网络。所述基于感知机的Inception-Resnet-V2神经网络为现有技术，本申请在此不再赘述。
优选地，所述第一特征提取模块504，还用于所述第一深度神经网络提取出的所述第一人脸特征的维数为64维，所述第二深度神经网络提取出的所述第二人脸特征的维数为64维。
第一归一化模块505，用于对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征。
第一特征连接模块506，用于根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示。
模型更新模块507，用于将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置；当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述模块501-507。
进一步地，所述裁剪模块502还用于将每张原始人脸图片进行随机裁剪成预设数量的第二人脸图片，得到人脸样本数据集，其中，所述人脸样本数据集中的每张第二人脸图片的尺寸为171*160。
本较佳实施例中，设置随机裁剪后得到的第二人脸图片尺寸为171*160，不仅能最大程度的保持原始人脸图片中的面部细节信息，相较于利用所述原始人脸图片作为人脸样本数据集参与训练时，能缩短双通道神经网络模型的训练时间，提高双通道神经网络模型的训练速度。
进一步地，所述双通道神经网路模型训练装置50还包括：人脸检测模块508，用于利用预先存储的人脸检测算法分别对裁剪出的每张第二人脸图片进行检测，判断裁剪出的所有第二人脸图片中的每张第二人脸图片中是否包含人脸区域。
所述预先存储的人脸检测算法可以为以下算法中的一种：基于模板的人脸检测方法、基于人工神经网络的人脸检测方法、基于模型的人脸检测方法、基于肤色的人脸检测方法或者基于特征子脸的人脸检测方法等。
本实施例中，所述预先存储的人脸检测算法不限于上述列举的，任何能够检测裁剪出的人脸图片中是否包含人脸区域的算法均可引用与此。另外， 本实施例中预先存储的人脸检测算法为现有技术，本文在此不再详细介绍。
进一步地，所述第一直方图处理模块503还用于当所述人脸检测模块508确定裁剪出的所有第二人脸图片中的每张第二人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张第二人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片。
进一步地，所述裁剪模块502还用于当所述人脸检测模块508确定裁剪出的所有第二人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的第二人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的第二人脸图片。
所述裁剪出的第二人脸图片中不包含人脸区域包括以下两种情形：完全不存在人脸区域；仅存在部分人脸区域。
进一步地，所述第一归一化模块505还用于将人脸样本数据中的每张所述第二人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征。
综上所述，本申请所训练出的双通道神经网络模型，能够显著增强对输入的人脸样本数据集中的人脸图片及经过直方图均衡化处理的所述人脸图片的特征提取能力，减轻网络层次加深时而性能降低的风险，提高了双通道神经网络模型的鲁棒性；其次，通过预先存储的人脸检测算法对裁剪出的每张第二人脸图片进行检测，以确保每张第二人脸图片中包含了全部的人脸区域，如此可以保障提取的人脸特征的有效性，能够进一步提高双通道神经网络模型的鲁棒性，便于后续提高人脸识别或人脸比对的识别率。
实施例六
图6为本申请人脸比对装置的较佳实施例中的功能模块图。
在一些实施例中，所述人脸比对装置60运行于所述终端7中。所述人脸比对装置60可以包括多个由计算机可读指令代码段所组成的功能模块。所述人脸比对装置60中的各个计算机可读指令段的指令代码可以存储于所述存储器71中，并由所述至少一个处理器72所执行，以执行(详见图3和图4描述)对人脸的比对。
本实施例中，所述终端7的人脸比对装置60根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：第二直方图处理模块601、第二特征提取模块602、第二归一化模块603、第二特征连接模块604、计算模块605、结果确定模块606、预处理模块607及排序模块608。
第二直方图处理模块601，用于在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
第二特征提取模块602，用于将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
第二归一化模块603，用于对第三人脸特征进行归一化得到第三归一化 人脸特征，同时对第四人脸特征进行归一化得到第四归一化人脸特征；
第二特征连接模块604，用于根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示。
计算模块605，用于计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度。
结果确定模块606，用于根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当计算得到的相似度大于或等于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当计算得到的相似度小于预先设置的置信度阈值时，则所述结果确定模块606确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
优选地，所述预先设置的置信度阈值为0.5。
优选地，所述人脸比对装置60还包括：预处理模块607，用于在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理。本较佳实施例中，所述预处理可以包括，但不限于：图像去噪，光照归一化，姿态校准，灰度归一化等。
在收到待进行人脸比对的目标用户的人脸图片后，对所述目标用户的人脸图片进行预处理，是为了进一步提高目标用户的人脸图片，便于提取出更具辨别力的人脸特征。
进一步的，所述第二直方图处理模块601还对经过预处理后目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片。
进一步的，所述第二特征提取模块602还用于将经过预处理后的目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
优选地，所述人脸比对装置60还包括：排序模块608，用于根据预先设置的排序方法对计算得到的相似度进行排序。本较佳实施例中，所述预先设置的排序方法包括，但不限于：由大到小排序，由小到大排序。
进一步的，所述结果确定模块606还用于比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
所述人脸比对的结果包括比对通过结果和比对失败结果。当最大的相似度大于或等于预先设置的置信度阈值时，则结果确定模块606确定用户比对通过，即在数据库中匹配出了与目标用户为同一个人的已注册用户。当最大的相似度小于预先设置的置信度阈值时，则结果确定模块606确定用户比对失败，即在数据库中没有匹配出与目标用户为同一个人的已注册用户。
综上所述，本申请所述的人脸比对方法，使用双通道神经网络模型能够提取出较佳的人脸特征表示，花费较短的人脸比对时间即可获得较佳的人脸 比对效果。
实施例七
如图7所示，是实现本申请所述双通道神经网络模型训练方法及/或所述人脸比对方法的终端的硬件结构示意图。
在本申请较佳实施例中，所述终端7包括存储器71、至少一个处理器72、至少一条通信总线73。
本领域技术人员应该了解，图7示出的终端7的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端7还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述存储器71用于存储计算机可读指令代码和各种数据，例如安装在所述终端7中的双通道神经网络模型训练装置50及人脸比对装置60，并在终端7的运行过程中实现高速、自动地完成计算机可读指令或数据的存取。
在一些实施例中，所述至少一个处理器72可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器72是所述终端7的控制核心，利用各种接口和线路连接整个终端7的各个部件，通过运行或执行存储在所述存储器71内的计算机可读指令或者模块，以及调用存储在所述存储器71内的数据，以执行终端7的各种功能和处理数据，例如执行双通道神经网络模型训练装置50及/或人脸比对装置60。
在一些实施例中，所述至少一条通信总线73被设置为实现所述存储器71、所述至少一个处理器72等之间的连接通信。
具体地，所述至少一个处理器72对上述指令的具体实现方法可参考图1至图4对应实施例中相关步骤的描述，在此不赘述。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种双通道神经网络模型训练方法，其特征在于，所述方法包括：
    a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
    b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
    c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
    d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
    e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
    f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
    g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    当损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤a-g。
  3. 如权利要求1至2任意一项所述的方法，其特征在于，所述方法还包括：
    利用预先存储的人脸检测算法分别对裁剪出的每张人脸图片进行检测，判断裁剪出的所有人脸图片中的每张人脸图片中是否包含人脸区域；及
    当确定裁剪出的所有人脸图片中的每张人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；或
    当确定裁剪出的所有人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的人脸图片。
  4. 一种利用如权利要求1至3任意一项所述的双通道神经网络模型进行人脸比对的方法，其特征在于，所述方法包括：
    在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
    将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
    对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
    根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
    计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
    根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  5. 如权利要求4所述的方法，其特征在于，所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度为SIM＝0.5+0.5*COSθ，而
    Figure PCTCN2018100152-appb-100001
    其中，COSθ为特征向量A与特征向量B之间的余弦值，所述特征向量A为上述目标用户的最终特征表示，所述特征向量B为所述注册用户的最终特征表示。
  6. 如权利要求5所述的方法，其特征在于，在所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度之后，所述方法还包括：
    根据预先设置的排序方法对计算得到的相似度进行排序；
    比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  7. 如权利要求6所述的方法，其特征在于，所述确定人脸比对结果包括：
    当所述最大的相似度大于或等于所述预先设置的置信度阈值时，则确定用户比对通过；
    当所述最大的相似度小于所述预先设置的置信度阈值时，则确定用户比对失败。
  8. 一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行至少一个存储器中存储的计算机可读指令以实现以下步骤：
    a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
    b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
    c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
    d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
    e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
    f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
    g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通 道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
  9. 如权利要求8所述的终端，其特征在于，所述处理器还用于执行计算机可读指令以实现以下步骤：
    当所述损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤a-g。
  10. 如权利要求8-9任一项所述的终端，其特征在于，所述处理器还用于执行计算机可读指令以实现以下步骤：
    利用预先存储的人脸检测算法分别对裁剪出的每张人脸图片进行检测，判断裁剪出的所有人脸图片中的每张人脸图片中是否包含人脸区域；及
    当确定裁剪出的所有人脸图片中的每张人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；或
    当确定裁剪出的所有人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的人脸图片。
  11. 一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行至少一个存储器中存储的计算机可读指令以实现以下步骤：
    在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
    将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
    对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
    根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
    计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
    根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  12. 如权利要求11所述的终端，其特征在于，所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度为SIM＝0.5+0.5*COSθ，而
    Figure PCTCN2018100152-appb-100002
    其中，COSθ为特征向量A与特征向量B之间的余弦值，所述特征向量A为上述目标用户的最终特征表示，所述特征向量B为所述注册用户的最终特征表示。
  13. 如权利要求12所述的终端，其特征在于，在所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度之后，所述处 理器执行至少一个计算机可读指令还用以实现以下步骤：
    根据预先设置的排序方法对计算得到的相似度进行排序；
    比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  14. 如权利要求13所述的终端，其特征在于，所述确定人脸比对结果包括：
    当所述最大的相似度大于或等于所述预先设置的置信度阈值时，则确定用户比对通过；
    当所述最大的相似度小于所述预先设置的置信度阈值时，则确定用户比对失败。
  15. 一种非易失性可读存储介质，所述非易失性可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现以下步骤：
    a.获取不同人的一张原始人脸图片，每张原始人脸图片的尺寸为182*182；
    b.将每张原始人脸图片进行随机裁剪成预设数量的人脸图片，得到人脸样本数据集；
    c.分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；
    d.将人脸样本数据中的每张所述人脸图片输入第一深度神经网络中提取出第一人脸特征，同时将对应的直方图均衡化人脸图片输入第二深度神经网络中提取出第二人脸特征；
    e.对所述第一人脸特征进行归一化得到第一归一化人脸特征，同时对所述第二人脸特征进行归一化得到第二归一化人脸特征；
    f.根据预设连接规则连接所述第一归一化人脸特征和所述第二归一化人脸特征得到新的归一化人脸特征，作为最终人脸特征表示；及
    g.将所述最终人脸特征表示进行归一化后输入至预先设置的损失函数中计算损失函数值，当损失函数值小于或等于预先设置的损失函数阈值时，则双通道神经网络模型训练结束并更新所述双通道神经网络模型中的权重和偏置。
  16. 如权利要求15所述的存储介质，其特征在于，所述计算机可读指令被处理器执行时还实现以下步骤：
    当所述损失函数值大于预先设置的损失函数阈值，则获取更多的原始人脸图片，并基于增加后的原始人脸图片重新执行上述步骤a-g。
  17. 如权利要求15-16任一项所述的存储介质，其特征在于，所述计算机可读指令被处理器执行时还实现以下步骤：
    利用预先存储的人脸检测算法分别对裁剪出的每张人脸图片进行检测，判断裁剪出的所有人脸图片中的每张人脸图片中是否包含人脸区域；及
    当确定裁剪出的所有人脸图片中的每张人脸图片中包含人脸区域时，分别对所述人脸样本数据集中的每张人脸图片进行直方图均衡化处理，得到直方图均衡化人脸图片；或
    当确定裁剪出的所有人脸图片中的每张或部分人脸图片中不包含人脸区域时，继续对不包含人脸区域的人脸图片所对应的原始人脸图片进行随机裁剪，直到得到所述预设数量的人脸图片。
  18. 一种非易失性可读存储介质，所述非易失性可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现以下步骤：
    在收到待进行人脸比对的目标用户的人脸图片后，对目标用户的人脸图片进行直方图均衡化处理，得到目标用户的直方图均衡化人脸图片；
    将所述目标用户的人脸图片输入训练好的双通道神经网络模型中的第一深度神经网络中提取出第三人脸特征，同时将所述目标用户的直方图均衡化人脸图片输入训练好的双通道神经网络模型中的第二深度神经网络中提取出第四人脸特征；
    对所述第三人脸特征进行归一化得到第三归一化人脸特征，同时对所述第四人脸特征进行归一化得到第四归一化人脸特征；
    根据所述预设连接规则连接所述第三归一化人脸特征和所述第四归一化人脸特征得到新的归一化人脸特征，作为所述目标用户的最终特征表示；
    计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度；及
    根据计算得到的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  19. 如权利要求18所述的存储介质，其特征在于，在所述计算所述目标用户的最终特征表示与数据库中注册用户的最终特征表示之间的相似度之后，所述计算机可读指令被处理器执行时还实现以下步骤：
    根据预先设置的排序方法对计算得到的相似度进行排序；
    比较最大的相似度与预先设置的置信度阈值之间的关系，确定人脸比对结果。
  20. 如权利要求19所述的存储介质，其特征在于，所述确定人脸比对结果包括：
    当所述最大的相似度大于或等于所述预先设置的置信度阈值时，则确定用户比对通过；
    当所述最大的相似度小于所述预先设置的置信度阈值时，则确定用户比对失败。
PCT/CN2018/100152 2018-04-04 2018-08-13 双通道神经网络模型训练及人脸比对方法、终端及介质 Ceased WO2019192121A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810299180.6 2018-04-04
CN201810299180.6A CN108446666A (zh) 2018-04-04 2018-04-04 双通道神经网络模型训练及人脸比对方法、终端及介质

Publications (1)

Publication Number Publication Date
WO2019192121A1 true WO2019192121A1 (zh) 2019-10-10

Family

ID=63199349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/100152 Ceased WO2019192121A1 (zh) 2018-04-04 2018-08-13 双通道神经网络模型训练及人脸比对方法、终端及介质

Country Status (2)

Country Link
CN (1) CN108446666A (zh)
WO (1) WO2019192121A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械（集团）有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111027421A (zh) * 2019-11-26 2020-04-17 西安宏规电子科技有限公司 一种基于图的直推式半监督行人再识别方法
CN111144566A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111144332A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 一种图片聚档方法、装置和电子设备
CN111198963A (zh) * 2019-12-11 2020-05-26 智慧眼科技股份有限公司 基于平均特征的目标检索方法、装置及其相关设备
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111324589A (zh) * 2020-02-14 2020-06-23 中国平安人寿保险股份有限公司 基于相似程度值的日志发送方法、装置和计算机设备
CN111582358A (zh) * 2020-04-30 2020-08-25 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN111612785A (zh) * 2020-06-03 2020-09-01 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN111709890A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质
CN112883213A (zh) * 2019-11-29 2021-06-01 深圳云天励飞技术有限公司 一种图片归档方法、装置及电子设备
CN113657289A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统
CN114444679A (zh) * 2020-11-06 2022-05-06 山东产研鲲云人工智能研究院有限公司 二值化输入模型的量化方法及系统、计算机可读存储介质
CN114663313A (zh) * 2022-03-25 2022-06-24 清华大学 用于增强人脸斑纹特征的视觉方法、装置、设备及介质
CN115485767A (zh) * 2020-05-07 2022-12-16 谷歌有限责任公司 使用端到端模型发出单词定时
CN115545172A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 兼顾隐私保护和公平性的图神经网络的训练方法及装置
CN115953820A (zh) * 2022-12-30 2023-04-11 北京龙智数科科技服务有限公司 人脸识别深度学习模型训练方法、装置、设备及存储介质
CN117054396A (zh) * 2023-10-11 2023-11-14 天津大学 基于双路径无乘法神经网络的拉曼光谱检测方法及装置
CN117058739A (zh) * 2023-08-28 2023-11-14 联通在线信息科技有限公司 一种人脸聚类更新方法及装置
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统
CN120496152A (zh) * 2025-07-15 2025-08-15 四川交通职业技术学院 一种景区游客密度统计方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271891A (zh) * 2018-08-30 2019-01-25 成都考拉悠然科技有限公司 一种动态的人脸布控方法和系统
CN109284700B (zh) * 2018-09-05 2021-03-16 武汉斗鱼网络科技有限公司 图像中多个人脸检测的方法、存储介质、设备及系统
CN109497986A (zh) * 2018-11-22 2019-03-22 杭州脉流科技有限公司 基于深度神经网络的心电图智能分析方法、装置、计算机设备和系统
CN110163169A (zh) * 2019-05-27 2019-08-23 北京达佳互联信息技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN110717377B (zh) * 2019-08-26 2021-01-12 平安科技（深圳）有限公司 人脸驾驶风险预测模型训练及其预测方法及相关设备
CN111401430B (zh) * 2020-03-12 2022-04-01 四川大学 一种基于双通道深度神经网络的图像在线分类方法
CN112529040A (zh) * 2020-11-16 2021-03-19 深圳壹账通智能科技有限公司 模型生成的方法、装置、电子设备及介质
CN113487698B (zh) * 2021-07-27 2023-12-12 深圳赛安特技术服务有限公司 基于双通道神经网络模型的表单生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置
CN105426963A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法、装置及应用
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、系统和装置
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405960B2 (en) * 2014-06-17 2016-08-02 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
WO2017214968A1 (en) * 2016-06-17 2017-12-21 Nokia Technologies Oy Method and apparatus for convolutional neural networks
CN106778684A (zh) * 2017-01-12 2017-05-31 易视腾科技股份有限公司 深度神经网络训练方法及人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426860A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 人脸识别的方法和装置
CN105426963A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法、装置及应用
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、系统和装置

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027421A (zh) * 2019-11-26 2020-04-17 西安宏规电子科技有限公司 一种基于图的直推式半监督行人再识别方法
CN110992329B (zh) * 2019-11-28 2023-06-30 上海微创卜算子医疗科技有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN110992329A (zh) * 2019-11-28 2020-04-10 上海微创医疗器械（集团）有限公司 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN112883213B (zh) * 2019-11-29 2023-11-17 深圳云天励飞技术有限公司 一种图片归档方法、装置及电子设备
CN112883213A (zh) * 2019-11-29 2021-06-01 深圳云天励飞技术有限公司 一种图片归档方法、装置及电子设备
CN111198963A (zh) * 2019-12-11 2020-05-26 智慧眼科技股份有限公司 基于平均特征的目标检索方法、装置及其相关设备
CN111144566B (zh) * 2019-12-30 2024-03-22 深圳云天励飞技术有限公司 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111144566A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111144332A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 一种图片聚档方法、装置和电子设备
CN111209839A (zh) * 2019-12-31 2020-05-29 上海涛润医疗科技有限公司 人脸识别方法
CN111209839B (zh) * 2019-12-31 2023-05-23 上海涛润医疗科技有限公司 人脸识别方法
CN111324589A (zh) * 2020-02-14 2020-06-23 中国平安人寿保险股份有限公司 基于相似程度值的日志发送方法、装置和计算机设备
CN111582358B (zh) * 2020-04-30 2024-05-10 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN111582358A (zh) * 2020-04-30 2020-08-25 上海添玑网络服务有限公司 户型识别模型的训练方法及装置、户型判重的方法及装置
CN115485767A (zh) * 2020-05-07 2022-12-16 谷歌有限责任公司 使用端到端模型发出单词定时
CN111612785A (zh) * 2020-06-03 2020-09-01 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN111612785B (zh) * 2020-06-03 2024-02-02 浙江大华技术股份有限公司 人脸图片质量评估方法、装置及存储介质
CN111709890A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质
CN111709890B (zh) * 2020-06-12 2023-11-24 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置
CN114444679A (zh) * 2020-11-06 2022-05-06 山东产研鲲云人工智能研究院有限公司 二值化输入模型的量化方法及系统、计算机可读存储介质
CN113657289B (zh) * 2021-08-19 2023-08-08 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN113657289A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN114187309A (zh) * 2022-01-11 2022-03-15 盛视科技股份有限公司 一种基于卷积神经网络的头发分割方法及系统
CN114663313A (zh) * 2022-03-25 2022-06-24 清华大学 用于增强人脸斑纹特征的视觉方法、装置、设备及介质
CN115545172A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 兼顾隐私保护和公平性的图神经网络的训练方法及装置
CN115545172B (zh) * 2022-11-29 2023-02-07 支付宝(杭州)信息技术有限公司 兼顾隐私保护和公平性的图神经网络的训练方法及装置
CN115953820A (zh) * 2022-12-30 2023-04-11 北京龙智数科科技服务有限公司 人脸识别深度学习模型训练方法、装置、设备及存储介质
CN117058739A (zh) * 2023-08-28 2023-11-14 联通在线信息科技有限公司 一种人脸聚类更新方法及装置
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统
CN117173854B (zh) * 2023-09-13 2024-04-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统
CN117054396B (zh) * 2023-10-11 2024-01-05 天津大学 基于双路径无乘法神经网络的拉曼光谱检测方法及装置
CN117054396A (zh) * 2023-10-11 2023-11-14 天津大学 基于双路径无乘法神经网络的拉曼光谱检测方法及装置
CN120496152A (zh) * 2025-07-15 2025-08-15 四川交通职业技术学院 一种景区游客密度统计方法
CN120496152B (zh) * 2025-07-15 2025-09-30 四川交通职业技术学院 一种景区游客密度统计方法

Also Published As

Publication number Publication date
CN108446666A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
WO2019192121A1 (zh) 双通道神经网络模型训练及人脸比对方法、终端及介质
CN112200136B (zh) 证件真伪识别方法、装置、计算机可读介质及电子设备
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN112232323B (zh) 人脸验证方法、装置、计算机设备和存储介质
CN100580691C (zh) 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN111783629B (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
US20240013572A1 (en) Method for face detection, terminal device and non-transitory computer-readable storage medium
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
TW202105329A (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
US9525866B1 (en) Building a digital camera fingerprint from cropped or corrupted images
CN111597933A (zh) 人脸识别方法和装置
US20240193987A1 (en) Face liveness detection method, terminal device and non-transitory computer-readable storage medium
CN112883959B (zh) 身份证照完整性检测方法、装置、设备及存储介质
US20240127631A1 (en) Liveness detection method and apparatus, and computer device
TWI796063B (zh) 真人辨識方法及其系統
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법
CN115410245A (zh) 基于双目的活体检测方法、装置及存储介质
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
WO2026040301A1 (zh) 身份识别方法及系统
CN115035572A (zh) 人脸识别方法及装置
CN110738174B (zh) 手指静脉识别方法、装置、设备和存储介质
CN107844735B (zh) 生物特征的认证方法和装置
CN120496155B (zh) 基于不确定性建模的虹膜识别方法、装置、介质及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18913215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18913215

Country of ref document: EP

Kind code of ref document: A1