WO2019196308A1 - 人脸识别模型的生成装置、方法及计算机可读存储介质 - Google Patents

人脸识别模型的生成装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
WO2019196308A1
WO2019196308A1 PCT/CN2018/102401 CN2018102401W WO2019196308A1 WO 2019196308 A1 WO2019196308 A1 WO 2019196308A1 CN 2018102401 W CN2018102401 W CN 2018102401W WO 2019196308 A1 WO2019196308 A1 WO 2019196308A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
matching
point pairs
dimensional coordinates
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/102401
Other languages
English (en)
French (fr)
Inventor
王义文
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019196308A1 publication Critical patent/WO2019196308A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present application relates to the field of face recognition technologies, and in particular, to a device, a method, and a computer readable storage medium for generating a face recognition model.
  • Face recognition is a biometric recognition technology based on human facial feature information for identification.
  • the face recognition technology is a two-dimensional face recognition.
  • the two-dimensional face recognition usually uses a camera or a camera to collect a two-dimensional image containing a human face, and detects and tracks the face in the two-dimensional image, and further The detected face is identified.
  • a two-dimensional face image is acquired for recognition, it is easily affected by changes in non-geometric appearance such as posture, expression, illumination, and facial makeup, resulting in low accuracy of face recognition.
  • the present application provides a device, a method, and a computer readable storage medium for generating a face recognition model, the main purpose of which is to improve the accuracy of face recognition.
  • the present application provides a device for generating a face recognition model, the device comprising a memory and a processor, wherein the memory stores a model generation program executable on the processor, the model generation program The following steps are implemented when executed by the processor:
  • A1. Collecting a plurality of facial images of a user photographed from a plurality of perspectives, and acquiring camera parameters for capturing the plurality of facial images;
  • the acquired multiple face images are matched by two to two, and the matched feature point pairs are obtained, and the matched feature point pairs are filtered by a preset feature point screening algorithm to delete the matching. Wrong feature point pairs and obtain two-dimensional coordinates matching the correct feature point pairs on the face image;
  • A3 calculating, according to the two-dimensional coordinates and the camera parameter, matching the corresponding three-dimensional coordinates of the feature point pair, and constructing the three-dimensional point cloud data of the user face according to the calculated three-dimensional coordinates;
  • A4. Convert the three-dimensional point cloud data into a depth image, and use any one of the plurality of facial images as a color image of the user's face;
  • steps A1 to A4 to obtain a preset number of depth images and color images of the user, and use the depth image and the color image as inputs of a preset two-channel convolutional neural network model to train the pair.
  • the channel convolutional neural network model determines model parameters
  • a two-channel convolutional neural network model that determines model parameters is used as a face recognition model, wherein the two-channel convolutional neural network model takes the results of the fully connected layer as an output.
  • the present application further provides a method for generating a face recognition model, the method comprising:
  • B2 Matching the acquired plurality of facial images according to a preset feature matching algorithm to obtain matching feature point pairs, and filtering the matched feature point pairs by a preset feature point screening algorithm to delete the matching Wrong feature point pairs and obtain two-dimensional coordinates matching the correct feature point pairs on the face image;
  • step B1 to step B4 are repeatedly performed to obtain a preset number of depth images and color images of the user, and the depth image and the color image are used as inputs of a preset two-channel convolutional neural network model, and the pair is trained.
  • the channel convolutional neural network model determines model parameters
  • a two-channel convolutional neural network model that determines model parameters is used as a face recognition model, wherein the two-channel convolutional neural network model takes the results of the fully connected layer as an output.
  • the present application further provides a computer readable storage medium having a model generation program stored thereon, the model generation program being executable by one or more processors to implement The steps of the method of generating a face recognition model as described above.
  • FIG. 1 is a schematic diagram of a preferred embodiment of a device for generating a face recognition model of the present applicant
  • FIG. 2 is a flow chart of a preferred embodiment of a method for generating a face recognition model of the present applicant.
  • the application provides a device for generating a face recognition model.
  • FIG. 1 a schematic diagram of a preferred embodiment of a device for generating a face recognition model of the present invention is shown.
  • the face recognition model generating device 1 may be a PC (Personal Computer), or may be a terminal device such as a smart phone, a tablet computer, or a portable computer.
  • PC Personal Computer
  • terminal device such as a smart phone, a tablet computer, or a portable computer.
  • the face recognition model generating apparatus 1 includes at least a memory 11, a processor 12, a communication bus 13, and a network interface 14.
  • the memory 11 includes at least one type of readable storage medium including a flash memory, a hard disk, a multimedia card, a card type memory (for example, an SD or DX memory, etc.), a magnetic memory, a magnetic disk, an optical disk, and the like.
  • the memory 11 may be an internal storage unit of the face recognition model generating device 1 in some embodiments, such as a hard disk of the face recognition model generating device 1.
  • the memory 11 may also be an external storage device of the face recognition model generating device 1 in other embodiments, such as a plug-in hard disk equipped with a face recognition model generating device 1 and a smart memory card (Smart Media Card, SMC). ), Secure Digital (SD) card, Flash Card, etc.
  • the memory 11 may also include an internal storage unit of the generating device 1 of the face recognition model and an external storage device.
  • the memory 11 can be used not only for storing application software of the face recognition model generating device 1 and various types of data, such as code of the model generation program 01, but also for temporarily storing data that has been output or is to be output.
  • the processor 12 may be a central processing unit (CPU), controller, microcontroller, microprocessor or other data processing chip for running program code or processing stored in the memory 11.
  • Data such as execution model generation program 01 and the like.
  • Communication bus 13 is used to implement connection communication between these components.
  • the network interface 14 can optionally include a standard wired interface, a wireless interface (such as a WI-FI interface), and is typically used to establish a communication connection between the device 1 and other electronic devices.
  • a standard wired interface such as a WI-FI interface
  • Figure 1 shows only the face recognition model generation device 1 with components 11-14 and model generation program 01, but it should be understood that not all illustrated components may be implemented, alternative implementations may be more or more Less components.
  • the device 1 may further include a user interface
  • the user interface may include a display
  • an input unit such as a keyboard
  • the optional user interface may further include a standard wired interface and a wireless interface.
  • the display may be an LED display, a liquid crystal display, a touch-sensitive liquid crystal display, an OLED (Organic Light-Emitting Diode) touch sensor, or the like.
  • the display may also be appropriately referred to as a display screen or display unit for displaying information processed in the face recognition model generating device 1 and a user interface for displaying visualization.
  • model generation program 01 is stored in the memory 11; when the processor 12 executes the model generation program 01 stored in the memory 11, the following steps are implemented:
  • A1 Acquire a plurality of facial images of a user photographed from a plurality of angles of view, and acquire camera parameters for capturing the plurality of facial images.
  • the acquired multiple face images are matched by two to two, and the matched feature point pairs are obtained, and the matched feature point pairs are filtered by a preset feature point screening algorithm to delete the matching. Wrong feature point pairs and get the 2D coordinates of the correct feature point pair on the face image.
  • two cameras set at different viewing angles are set to capture the facial image of the user, and two facial images of different angles are obtained.
  • the relative positional relationship between the two cameras and the effective focal length of the camera are known.
  • Feature point matching is performed on two facial images according to a preset feature matching algorithm.
  • the preset feature matching algorithm may be an ORB (Oriented FAST and Rotated BRIEF) algorithm, and the ORB algorithm is a fast feature point extraction and description.
  • the algorithm can detect and match the feature points of the two facial images to find matching feature point pairs in the two images.
  • a SIFT (Scale-invariant feature transform) algorithm may be used to perform feature pair calculation.
  • the number of feature point pairs matched by these feature matching algorithms is small, and there may be a certain amount of feature points matching errors. Therefore, after the feature matching is completed, the acquired feature point pairs need to be filtered to delete the feature point pairs that match the errors, and the accuracy of the face recognition is improved.
  • step A2 may include the following refinement steps:
  • the screening is stopped, and the two-dimensional coordinates of the matching feature point pair on the facial image are obtained; if not, the matching feature point pair is further obtained according to the feature matching algorithm, and the feature point filtering algorithm is obtained according to the feature point matching algorithm.
  • the matched feature point pairs are filtered until the number of matching feature point pairs is greater than the first preset threshold.
  • the preset feature point screening algorithm is specifically as follows: the acquired facial image is divided into K ⁇ K grid regions, wherein the size of the K value may be determined according to pixels of the collected facial image, for example, a photo The size is 1600 ⁇ 1600, then the K value can be set to 80, then there are 20 ⁇ 20 pixel points in each grid area, wherein one feature point corresponds to one pixel point, and the matching in each grid area is counted.
  • the number of feature point pairs that the feature points match in their L ⁇ L neighborhood, preferably, in one embodiment, L 3, then the neighborhood of a grid area is the other 8 networks adjacent to it. Grid area. Based on the principle of motion smoothness, there must be more matching feature points in the neighborhood of the matched feature points.
  • the feature point pairs matched according to the preset feature matching algorithm are counted to determine whether the matching result is correct. If the number of statistical feature point pairs is smaller than the second preset threshold in the neighborhood of a feature point, the feature point is determined to be a pair of feature points that match the error.
  • the statistical feature point pair If a feature point is in the neighborhood of the feature point, the statistical feature point pair If the number is greater than or less than the second predetermined threshold, then the feature point is determined to be the correct feature point pair.
  • the second preset threshold may be set to a reasonable value according to the actual situation.
  • the number of correct feature point pairs after matching is determined, and it is determined whether it is greater than the first preset threshold. If the value is smaller than the first preset threshold, the feature matching is performed according to the preset feature matching algorithm, and the matching result is filtered again. According to this process, the calculation is iteratively continued until the number of matching feature point pairs is greater than the first predetermined threshold.
  • the number of iteration calculations may be set in advance. In the actual calculation process, the number of iteration calculations is counted. When the number of iterations reaches a preset number of times, the iteration is stopped, and the matching of the complete feature point pairs is performed. And screening.
  • A3. Calculate corresponding three-dimensional coordinates of the matching feature point pair according to the two-dimensional coordinates and the camera parameter, and construct three-dimensional point cloud data of the user face according to the calculated three-dimensional coordinates.
  • A4. Convert the three-dimensional point cloud data into a depth image, and use any one of the plurality of facial images as a color image of the user's face.
  • the coordinates of the feature point pairs on the two face images are obtained.
  • the spatial transformation matrix between the cameras is calculated according to the camera parameters; the corresponding three-dimensional coordinates of the correct feature point pairs are calculated according to the spatial transformation matrix and the two-dimensional coordinates.
  • the coordinate system of the image captured by the left camera is defined as O l -X l Y l , and the effective focal length of the left camera is f L; defined for the right camera coordinate system O r -x r y r z r , then the right camera coordinate system is defined as the effective focal length of the image O r -X r Y r, left camera is f r.
  • the projection model of the camera the following relationship can be obtained:
  • t x , t y , and t z are the amounts of translation of the second camera in three directions relative to the first camera, respectively.
  • ⁇ , ⁇ , ⁇ , t x , t y , t z represent the spatial relationship between the two cameras.
  • the coordinates of the correctly matched feature points calculated in the above step A2 are (X 1 , Y 1 ), (Xr, Y r ) on the two images, and the camera focal lengths f l and f r are known numbers.
  • the positional relationship between the cameras can calculate the space conversion matrix M. Therefore, the values of x and y can be calculated by the above relational expression 1, and the value of z can be calculated according to the above relational expression 4. That is, the coordinates (x, y, z) of the three-dimensional space points corresponding to (X 1 , Y 1 ), (X r , Y r ) are obtained.
  • the three-dimensional coordinates corresponding to each matched feature point are calculated, and the spatial points corresponding to the three-dimensional coordinates constitute a three-dimensional point cloud forming a face.
  • the obtained three-dimensional point cloud is converted into a depth image, and any one of the corresponding two images is used as the color image of the user.
  • steps A1 to A4 to obtain a preset number of depth images and color images of the user, and use the depth image and the color image as inputs of a preset two-channel convolutional neural network model to train the pair.
  • the channel convolutional neural network model determines model parameters
  • a two-channel convolutional neural network model that determines model parameters is used as a face recognition model, wherein the two-channel convolutional neural network model takes the results of the fully connected layer as an output.
  • Construct a two-channel convolutional neural network model which does not need to classify the output, and takes the result of the fully connected layer as an output, and outputs the result as a feature vector.
  • the input of one channel of the model is a color image
  • the input of the other channel is a depth image.
  • the depth image and the color image of the plurality of users are obtained as sample data, and all the sample data are divided into training samples and test samples according to a preset ratio, and the above model is trained and verified to obtain model parameters.
  • a two-channel convolutional neural network model with model parameters is determined as a face recognition model.
  • the face recognition model is applied to the face recognition process as follows:
  • Face registration process acquiring a multi-view face image of a user to be registered, acquiring a depth image and a color image of a face of the user to be registered according to the multi-view face image, and inputting the depth image and the color image into the trained face recognition In the model, a feature vector corresponding to the face image of the user is obtained.
  • the face recognition process acquiring a multi-view face image of the user to be recognized, acquiring a depth image and a color image of the face of the user to be registered according to the multi-view face image, and inputting the acquired depth image and color image to the trained person
  • a feature vector corresponding to the face image of the user to be identified is obtained; and an Euclidean distance between the feature vector of the user to be identified and the feature vector of the registered user is calculated, and if the calculated Euclidean distance is less than a preset threshold, It is determined that the user to be identified is the same person as the registered user, otherwise, it is determined that the user to be identified is not the same person as the registered user.
  • three or more cameras may be set to collect facial images of users with more viewing angles.
  • pairwise matching is performed to obtain multiple sets of three-dimensional point cloud data, and multiple sets of three-dimensional point cloud data are merged into a complete set of point cloud data.
  • the device for generating a face recognition model collects a plurality of face images of a user photographed from a plurality of angles of view, and acquires camera parameters for capturing a plurality of face images, according to a preset feature matching algorithm.
  • the acquired facial images are matched by two pairs, and the matched feature point pairs are obtained, and the matched feature point pairs are filtered by a preset feature point screening algorithm to delete the matching feature point pairs, and the correct feature point pairs are retained.
  • the three-dimensional coordinates are used to construct the three-dimensional point cloud data of the user's face according to the calculated three-dimensional coordinates, and the three-dimensional point cloud data is converted into a depth image to construct a two-channel convolutional neural network model, and the two channels are respectively used to input the depth image and a color image into which the depth image and color image of a plurality of users collected according to the above process are input to the two-channel convolutional neural network In the model, the model parameters are obtained.
  • the depth image is used as the input feature of the model, which reflects the three-dimensional characteristics of the facial features. Compared with the recognition of the traditional two-dimensional facial features, this recognition method is not easily accepted by the gesture. The influence of non-geometric appearance changes such as expressions and illumination improves the accuracy of face recognition.
  • the present application also provides a method for generating a face recognition model.
  • FIG. 2 it is a flowchart of a preferred embodiment of a method for generating a face recognition model of the present applicant. The method can be performed by a device that can be implemented by software and/or hardware.
  • the method for generating a face recognition model includes:
  • Step S10 collecting a plurality of face images of the user photographed from the plurality of angles of view, and acquiring camera parameters for capturing the plurality of face images.
  • Step S20 Matching the acquired plurality of facial images according to a preset feature matching algorithm to obtain matching feature point pairs, and screening the matched feature point pairs by a preset feature point screening algorithm to delete Match the wrong feature point pairs and obtain the 2D coordinates of the matching feature point pair on the face image.
  • two cameras set at different viewing angles are set to capture the facial image of the user, and two facial images of different angles are obtained.
  • the relative positional relationship between the two cameras and the effective focal length of the camera are known.
  • Feature point matching is performed on two facial images according to a preset feature matching algorithm.
  • the preset feature matching algorithm may be an ORB (Oriented FAST and Rotated BRIEF) algorithm, and the ORB algorithm is a fast feature point extraction and description.
  • the algorithm can detect and match the feature points of the two facial images to find matching feature point pairs in the two images.
  • a SIFT (Scale-invariant feature transform) algorithm may also be used to perform feature pair calculation.
  • the number of feature point pairs matched by these feature matching algorithms is small, and there may be a certain amount of feature points matching errors. Therefore, after the feature matching is completed, the acquired feature point pairs need to be filtered to delete the feature point pairs that match the errors, and the accuracy of the face recognition is improved.
  • step S20 may include the following refinement steps:
  • the screening is stopped, and the two-dimensional coordinates of the matching feature point pair on the facial image are obtained; if not, the matching feature point pair is further obtained according to the feature matching algorithm, and the feature point filtering algorithm is obtained according to the feature point matching algorithm.
  • the matched feature point pairs are filtered until the number of matching feature point pairs is greater than the first preset threshold.
  • the preset feature point screening algorithm is specifically as follows: the acquired facial image is divided into K ⁇ K grid regions, wherein the size of the K value may be determined according to pixels of the collected facial image, for example, a photo The size is 1600 ⁇ 1600, then the K value can be set to 80, then there are 20 ⁇ 20 pixel points in each grid area, wherein one feature point corresponds to one pixel point, and the matching in each grid area is counted.
  • the number of feature point pairs that the feature points match in their L ⁇ L neighborhood, preferably, in one embodiment, L 3, then the neighborhood of a grid area is the other 8 networks adjacent to it. Grid area. Based on the principle of motion smoothness, there must be more matching feature points in the neighborhood of the matched feature points.
  • the feature point pairs matched according to the preset feature matching algorithm are counted to determine whether the matching result is correct. If the number of statistical feature point pairs is smaller than the second preset threshold in the neighborhood of a feature point, the feature point is determined to be a pair of feature points that match the error.
  • the statistical feature point pair If a feature point is in the neighborhood of the feature point, the statistical feature point pair If the number is greater than or less than the second predetermined threshold, then the feature point is determined to be the correct feature point pair.
  • the second preset threshold may be set to a reasonable value according to actual conditions.
  • the number of correct feature point pairs after matching is determined, and it is determined whether it is greater than the first preset threshold. If the value is smaller than the first preset threshold, the feature matching is performed according to the preset feature matching algorithm, and the matching result is filtered again. According to this process, the calculation is iteratively continued until the number of matching feature point pairs is greater than the first predetermined threshold.
  • the number of iteration calculations may be set in advance. In the actual calculation process, the number of iteration calculations is counted. When the number of iterations reaches a preset number of times, the iteration is stopped, and the matching of the complete feature point pairs is performed. And screening.
  • Step S30 calculating corresponding three-dimensional coordinates of the matching feature point pair according to the two-dimensional coordinates and the camera parameter, and constructing three-dimensional point cloud data of the user face according to the calculated three-dimensional coordinates.
  • Step S40 converting the three-dimensional point cloud data into a depth image, and using any one of the plurality of facial images as a color image of the user's face.
  • the coordinates of the feature point pairs on the two face images are obtained.
  • the spatial transformation matrix between the cameras is calculated according to the camera parameters; the corresponding three-dimensional coordinates of the correct feature point pairs are calculated according to the spatial transformation matrix and the two-dimensional coordinates.
  • the coordinate system of the image captured by the left camera is defined as O l -X l Y l , and the effective focal length of the left camera is f L; defined for the right camera coordinate system O r -x r y r z r , then the right camera coordinate system is defined as the effective focal length of the image O r -X r Y r, left camera is f r.
  • the projection model of the camera the following relationship can be obtained:
  • t x , t y , and t z are the amounts of translation of the second camera in three directions relative to the first camera, respectively.
  • ⁇ , ⁇ , ⁇ , t x , t y , t z represent the spatial relationship between the two cameras.
  • the coordinates of the correctly matched feature points calculated in the above step S20 are (X 1 , Y 1 ), (X r , Y r ) on the two images, and the camera focal lengths f l and f r are known numbers.
  • the spatial transformation matrix M can be calculated by the positional relationship between the cameras, and therefore, the values of x and y can be calculated by the above relational expression 1, and the value of z can be calculated according to the above relational expression 4. That is, the coordinates (x, y, z) of the three-dimensional space points corresponding to (X 1 , Y 1 ), (X r , Y r ) are obtained.
  • the three-dimensional coordinates corresponding to each matched feature point are calculated, and the spatial points corresponding to the three-dimensional coordinates constitute a three-dimensional point cloud forming a face.
  • the obtained three-dimensional point cloud is converted into a depth image, and any one of the corresponding two images is used as the color image of the user.
  • Step S50, step S10 to step S40 are repeatedly performed to acquire a preset number of depth images and color images of the user, and the depth image and the color image are used as inputs of a preset two-channel convolutional neural network model, and the training is performed.
  • a two-channel convolutional neural network model is used to determine model parameters, and a two-channel convolutional neural network model that determines model parameters is used as a face recognition model, wherein the two-channel convolutional neural network model takes the results of the fully connected layer as an output.
  • Construct a two-channel convolutional neural network model which does not need to classify the output, and takes the result of the fully connected layer as an output, and outputs the result as a feature vector.
  • the input of one channel of the model is a color image
  • the input of the other channel is a depth image.
  • the depth image and the color image of the plurality of users are acquired as sample data, and all the sample data are divided into training samples and test samples according to a preset ratio, and the model is trained and verified to obtain model parameters.
  • a two-channel convolutional neural network model with model parameters is determined as a face recognition model.
  • the face recognition model is applied to the face recognition process as follows:
  • Face registration process acquiring a multi-view face image of a user to be registered, acquiring a depth image and a color image of a face of the user to be registered according to the multi-view face image, and inputting the depth image and the color image into the trained face recognition In the model, a feature vector corresponding to the face image of the user is obtained.
  • the face recognition process acquiring a multi-view face image of the user to be recognized, acquiring a depth image and a color image of the face of the user to be registered according to the multi-view face image, and inputting the acquired depth image and color image to the trained person
  • a feature vector corresponding to the face image of the user to be identified is obtained; and an Euclidean distance between the feature vector of the user to be identified and the feature vector of the registered user is calculated, and if the calculated Euclidean distance is less than a preset threshold, It is determined that the user to be identified is the same person as the registered user, otherwise, it is determined that the user to be identified is not the same person as the registered user.
  • three or more cameras may be set to collect facial images of users with more viewing angles.
  • pairwise matching is performed to obtain multiple sets of three-dimensional point cloud data, and multiple sets of three-dimensional point cloud data are merged into a complete set of point cloud data.
  • a method for generating a face recognition model collecting a plurality of face images of a user photographed from a plurality of angles of view, and acquiring camera parameters for capturing a plurality of face images, according to a preset feature matching algorithm
  • the acquired facial images are matched by two pairs, and the matched feature point pairs are obtained, and the matched feature point pairs are filtered by a preset feature point screening algorithm to delete the matching feature point pairs, and the correct feature point pairs are retained.
  • the three-dimensional coordinates are used to construct the three-dimensional point cloud data of the user's face according to the calculated three-dimensional coordinates, and the three-dimensional point cloud data is converted into a depth image to construct a two-channel convolutional neural network model, and the two channels are respectively used to input the depth image and a color image into which the depth image and color image of a plurality of users collected according to the above process are input to the two-channel convolutional neural network In the model, the model parameters are obtained.
  • the depth image is used as the input feature of the model, which reflects the three-dimensional characteristics of the facial features. Compared with the recognition of the traditional two-dimensional facial features, this recognition method is not easily accepted by the gesture. The influence of non-geometric appearance changes such as expressions and illumination improves the accuracy of face recognition.
  • the embodiment of the present application further provides a computer readable storage medium, where the model generation program 01 is stored, and the model generation program 01 can be executed by one or more processors to implement the following operating:
  • the specific embodiment of the computer readable storage medium of the present application is substantially the same as the foregoing embodiments of the apparatus and method for generating a face recognition model, and is not described herein.
  • B2 Matching the acquired plurality of facial images according to a preset feature matching algorithm to obtain matching feature point pairs, and filtering the matched feature point pairs by a preset feature point screening algorithm to delete the matching Wrong feature point pairs and obtain two-dimensional coordinates matching the correct feature point pairs on the face image;
  • step B1 to step B4 are repeatedly performed to obtain a preset number of depth images and color images of the user, and the depth image and the color image are used as inputs of a preset two-channel convolutional neural network model, and the pair is trained.
  • the channel convolutional neural network model determines model parameters
  • a two-channel convolutional neural network model that determines model parameters is used as a face recognition model, wherein the two-channel convolutional neural network model takes the results of the fully connected layer as an output.
  • the technical solution of the present application which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a storage medium (such as ROM/RAM as described above). , a disk, an optical disk, including a number of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, or a network device, etc.) to perform the methods described in the various embodiments of the present application.
  • a terminal device which may be a mobile phone, a computer, a server, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别模型的生成装置，包括存储器和处理器，存储器上存储有可在处理器上运行的模型生成程序，该程序被处理器执行时实现如下步骤：采集从多个视角拍摄的用户的多张脸部图像并获取相机参数；将多张脸部图像两两匹配，获取匹配的特征点对，对特征点对筛选，获取匹配正确的特征点对的二维坐标。计算特征点对的三维坐标并构建用户脸部的三维点云数据；将三维点云数据转换为深度图像；获取预设数量的用户的深度图像和颜色图像，作为双通道卷积神经网络模型的输入，训练模型以确定模型参数。本申请还提出一种人脸识别模型的生成方法以及一种计算机可读存储介质。本申请提高了人脸识别的准确度。

Description

人脸识别模型的生成装置、方法及计算机可读存储介质
本申请要求于2018年4月9日提交中国专利局，申请号为201810311642.1、发明名称为“人脸识别模型的生成装置、方法及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种人脸识别模型的生成装置、方法及计算机可读存储介质。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术。现有技术中人脸识别技术均为二维人脸识别，二维人脸识别通常是利用摄像机或摄像头采集含有人脸的二维图像，并对该二维图像中检测和跟踪人脸，进而对该检测到的人脸进行识别。但是采集二维的人脸图像进行识别时，很容易受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，导致人脸识别的准确度低。
发明内容
本申请提供一种人脸识别模型的生成装置、方法及计算机可读存储介质，其主要目的在于提高人脸识别的准确度。
为实现上述目的，本申请提供一种人脸识别模型的生成装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的模型生成程序，所述模型生成程序被所述处理器执行时实现如下步骤：
A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
A2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取 匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
A3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
此外，为实现上述目的，本申请还提供一种人脸识别模型的生成方法，该方法包括：
B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述 计算机可读存储介质上存储有模型生成程序，所述模型生成程序可被一个或者多个处理器执行，以实现如上所述的人脸识别模型的生成方法的步骤。
附图说明
图1为本申请人脸识别模型的生成装置较佳实施例的示意图；
图2为本申请人脸识别模型的生成方法较佳实施例的流程图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种人脸识别模型的生成装置。参照图1所示，为本申请人脸识别模型的生成装置较佳实施例的示意图。
在本实施例中，人脸识别模型的生成装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。
该人脸识别模型的生成装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是人脸识别模型的生成装置1的内部存储单元，例如该人脸识别模型的生成装置1的硬盘。存储器11在另一些实施例中也可以是人脸识别模型的生成装置1的外部存储设备，例如人脸识别模型的生成装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括人脸识别模型的生成装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于人脸识别模型的生成装置1的应用软件及各类数据，例如模型生成程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit, CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行模型生成程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
图1仅示出了具有组件11-14以及模型生成程序01的人脸识别模型的生成装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在人脸识别模型的生成装置1中处理的信息以及用于显示可视化的用户界面。
在图1所示的装置实施例中，存储器11中存储有模型生成程序01；处理器12执行存储器11中存储的模型生成程序01时实现如下步骤：
A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数。
A2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标。
以下实施例中，为了便于对方案进行说明，设定有两台设置在不同视角的相机采集用户的脸部图像，得到两张不同角度的脸部图像。同时，这两台相机之间的相对位置关系，和相机的有效焦距均为已知。
按照预设的特征匹配算法对两张脸部图像进行特征点匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施 例中，也可以采用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法进行特征对的计算。但是，现有这些特征匹配算法匹配到的特征点对的数量都较少，且其中可能存在一定量的匹配错误的特征点。因此，在完成特征匹配后，需要对获取到的特征点对进行筛选，以删除那些匹配错误的特征点对，提高人脸识别的准确度。具体地，步骤A2可以包括如下细化步骤：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
其中，预设的特征点筛选算法具体如下，将获取的脸部图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第二预设阈值，则判定该特征点为匹配正确的特征点对。其中，第二预设阈值可 以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第一预设阈值。若小于第一预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第一预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
A3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据。
A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像。
在获取到匹配正确的特征点对之后，获取特征点对分别在两张脸部图像上的坐标。根据相机参数计算相机的之间的空间转换矩阵；根据空间转换矩阵和二维坐标计算匹配正确的特征点对对应的三维坐标。
具体地，在本实施例中，假设左相机位于世界坐标系O-xyz，并且没有发生旋转，左相机拍摄的图像的坐标系定义为O l-X lY l，左相机的有效焦距为f l；定义右相机的坐标系为O r-x ry rz r，则右相机拍摄的图像的坐标系定义为O r-X rY r，左相机的有效焦距为f r。则根据摄像机的投射模型可以得到如下关系式：
关系式1：
Figure PCTCN2018102401-appb-000001
关系式2：
Figure PCTCN2018102401-appb-000002
其中，s 1、s r为比例系数。
根据相机参数计算相机的之间的空间转换矩阵M：
Figure PCTCN2018102401-appb-000003
其中，r 1＝cosγcosβ+sin 2γsinβ，r 2＝-sinγcosα，r 3＝sinβsinγ-sin 2γcosβ，r 4＝sinγcosβ+sinαsinβcosγ，r 5＝cos 2γ，r 6＝sinγsinβ-sinαcosγsinβ，r 7＝-sinβcosα，r 8＝sinα，r 9＝cosαcosβ。α、β、γ分别第二台相机相对于第一台相机在三个方向上的角度变换。t x、t y、t z分别为第二台 相机相对于第一台相机在三个方向上的平移量。α、β、γ、t x、t y、t z体现了两台相机之间的空间关系。
而O-xyz坐标系与O r-x ry rz r坐标系之间的位置关系可通过空间转换矩阵M表示为：
关系式3：
Figure PCTCN2018102401-appb-000004
将关系式2代入到关系式3可以得到如下关系式4，即对于O-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为关系式4。
关系式4：
Figure PCTCN2018102401-appb-000005
在上述步骤A2中计算得到的匹配正确的特征点在两张图像上的坐标分别为(X 1，Y 1)、(Xr，Y r)，相机焦距f l和f r为已知数，通过相机之间的位置关系可以计算出空间转换矩阵M，因此，通过上述关系式1可计算出x和y的值，根据上述关系式4可以计算出z的值。即得到与(X 1，Y 1)、(X r，Y r)对应的三维空间点的坐标(x，y，z)。
按照上述方法计算出每一个匹配的特征点对应的三维坐标，这些三维坐标对应的空间点构成形成脸部的三维点云。按照三维点云与深度图像之间的转换关系，将得到的三维点云转换为深度图像，将对应的多张两部图像中的任意一张作为该用户的颜色图像。
A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
构建一个双通道卷积神经网络模型，该模型不需要对输出进行分类，将全连接层的结果作为输出，输出结果为一个特征向量。该模型的一个通道的输入为颜色图像，另一个通道的输入为深度图像。按照上述过程获取多个用户的深度图像和颜色图像作为样本数据，将所有的样本数据按照预设比例分 为训练样本和测试样本，对上述模型进行训练和验证，得到模型参数。将确定了模型参数的双通道卷积神经网络模型作为人脸识别模型。
该人脸识别模型在应用时对人脸识别的过程如下：
人脸注册过程：获取待注册用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将深度图像和颜色图像输入到训练好的人脸识别模型中，得到该用户的人脸图像对应的特征向量。
人脸识别过程：获取待识别用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将获取的深度图像和颜色图像输入到训练好的人脸识别模型中，得到待识别用户的人脸图像对应的特征向量；计算待识别用户的特征向量与注册用户的特征向量之间的欧氏距离，若计算得到的欧式距离小于预设阈值，则判定待识别用户与已注册的用户为同一个人，否则，则判定待识别用户与已注册的用户不是同一个人。
可以理解的是，在其他实施例中，也可以设置三台或者三台以上的相机采集更多视角的用户的脸部图像。在进行特征匹配时，进行两两匹配，得到多组三维点云数据，将多组三维点云数据融合为一组完整的点云数据。
本实施例提出的人脸识别模型的生成装置，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄多张脸部图像的相机参数，根据预设的特征匹配算法对获取到的脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，保留正确的特征点对，提高后续步骤中获取脸部的深度图像的准确度，然后，获取匹配正确的特征点对在脸部图像上的二维坐标，根据二维坐标和相机参数计算匹配正确的特征点对对应的三维坐标，根据计算得到的三维坐标构建用户的脸部的三维点云数据，将三维点云数据转换为深度图像，构建一个双通道卷积神经网络模型，两个通道分别用于输入深度图像和颜色图像，将按照上述过程采集的多个用户的深度图像和颜色图像输入到该双通道卷积神经网络模型中进行训练，获取模型参数，本申请中采用深度图像作为模型的输入特征，体现出面部特征的三维特性，相较于传统的二维人脸特征的识别，这种识别方式不容易受到姿态、表情、光照等非几何外观变化的影响，提高了人脸识别的准确度。
此外，本申请还提供一种人脸识别模型的生成方法。参照图2所示，为本申请人脸识别模型的生成方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，人脸识别模型的生成方法包括：
步骤S10，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数。
步骤S20，根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标。
以下实施例中，为了便于对方案进行说明，设定有两台设置在不同视角的相机采集用户的脸部图像，得到两张不同角度的脸部图像。同时，这两台相机之间的相对位置关系，和相机的有效焦距均为已知。
按照预设的特征匹配算法对两张脸部图像进行特征点匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施例中，也可以采用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法进行特征对的计算。但是，现有这些特征匹配算法匹配到的特征点对的数量都较少，且其中可能存在一定量的匹配错误的特征点。因此，在完成特征匹配后，需要对获取到的特征点对进行筛选，以删除那些匹配错误的特征点对，提高人脸识别的准确度。具体地，步骤S20可以包括如下细化步骤：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述 特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
其中，预设的特征点筛选算法具体如下，将获取的脸部图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第二预设阈值，则判定该特征点为匹配正确的特征点对。其中，第二预设阈值可以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第一预设阈值。若小于第一预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第一预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
步骤S30，根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据。
步骤S40，将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像。
在获取到匹配正确的特征点对之后，获取特征点对分别在两张脸部图像上的坐标。根据相机参数计算相机的之间的空间转换矩阵；根据空间转换矩阵和二维坐标计算匹配正确的特征点对对应的三维坐标。
具体地，在本实施例中，假设左相机位于世界坐标系O-xyz，并且没有发生旋转，左相机拍摄的图像的坐标系定义为O l-X lY l，左相机的有效焦距为f l；定义右相机的坐标系为O r-x ry rz r，则右相机拍摄的图像的坐标系定义为O r-X rY r，左相机的有效焦距为f r。则根据摄像机的投射模型可以得到如下关系式：
关系式1：
Figure PCTCN2018102401-appb-000006
关系式2：
Figure PCTCN2018102401-appb-000007
其中，s 1、s r为比例系数。
根据相机参数计算相机的之间的空间转换矩阵M：
Figure PCTCN2018102401-appb-000008
其中，r 1＝cosγcosβ+sin 2γsinβ，r 2＝-sinγcosα，r 3＝sinβsinγ-sin 2γcosβ，r 4＝sinγcosβ+sinαsinβcosγ，r 5＝cos 2γ，r 6＝sinγsinβ-sinαcosγsinβ，r 7＝-sinβcosα，r 8＝sinα，r 9＝cosαcosβ。α、β、γ分别第二台相机相对于第一台相机在三个方向上的角度变换。t x、t y、t z分别为第二台相机相对于第一台相机在三个方向上的平移量。α、β、γ、t x、t y、t z体现了两台相机之间的空间关系。
而O-xyz坐标系与O r-x ry rz r坐标系之间的位置关系可通过空间转换矩阵M表示为：
关系式3：
Figure PCTCN2018102401-appb-000009
将关系式2代入到关系式3可以得到如下关系式4，对于O-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为关系式4。
关系式4：
Figure PCTCN2018102401-appb-000010
在上述步骤S20中计算得到的匹配正确的特征点在两张图像上的坐标分别为(X 1，Y 1)、(X r，Y r)，相机焦距f l和f r为已知数，通过相机之间的位置关系可以计算出空间转换矩阵M，因此，通过上述关系式1可计算出x和y的值，根据上述关系式4可以计算出z的值。即得到与(X 1，Y 1)、(X r，Y r)对应的三维空间点的坐标(x，y，z)。
按照上述方法计算出每一个匹配的特征点对应的三维坐标，这些三维坐标对应的空间点构成形成脸部的三维点云。按照三维点云与深度图像之间的转换关系，将得到的三维点云转换为深度图像，将对应的多张两部图像中的任意一张作为该用户的颜色图像。
步骤S50，重复执行步骤S10至步骤S40，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
构建一个双通道卷积神经网络模型，该模型不需要对输出进行分类，将全连接层的结果作为输出，输出结果为一个特征向量。该模型的一个通道的输入为颜色图像，另一个通道的输入为深度图像。按照上述过程获取多个用户的深度图像和颜色图像作为样本数据，将所有的样本数据按照预设比例分为训练样本和测试样本，对上述模型进行训练和验证，得到模型参数。将确定了模型参数的双通道卷积神经网络模型作为人脸识别模型。
该人脸识别模型在应用时对人脸识别的过程如下：
人脸注册过程：获取待注册用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将深度图像和颜色图像输入到训练好的人脸识别模型中，得到该用户的人脸图像对应的特征向量。
人脸识别过程：获取待识别用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将获取的深度图像和颜色图像输入到训练好的人脸识别模型中，得到待识别用户的人脸图像对应的特征向量；计算待识别用户的特征向量与注册用户的特征向量之间的欧氏距离，若计算得到的欧式距离小于预设阈值，则判定待识别用户与已注册的用户为同一个人，否则，则判定待识别用户与已注册的用户不是同一个人。
可以理解的是，在其他实施例中，也可以设置三台或者三台以上的相机采集更多视角的用户的脸部图像。在进行特征匹配时，进行两两匹配，得到多组三维点云数据，将多组三维点云数据融合为一组完整的点云数据。
本实施例提出的人脸识别模型的生成方法，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄多张脸部图像的相机参数，根据预设的特征匹配算法对获取到的脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，保留正确的特征点对，提高后续步骤中获取脸部的深度图像的准确度，然后，获取匹配正确的特征点对在脸部图像上的二维坐标，根据二维坐标和相机参数计算匹配正确的特征点对对应的三维坐标，根据计算得到的三维坐标构建用户的脸部的三维点云数据，将三维点云数据转换为深度图像，构建一个双通道卷积神经网络模型，两个通道分别用于输入深度图像和颜色图像，将按照上述过程采集的多个用户的深度图像和颜色图像输入到该双通道卷积神经网络模型中进行训练，获取模型参数，本申请中采用深度图像作为模型的输入特征，体现出面部特征的三维特性，相较于传统的二维人脸特征的识别，这种识别方式不容易受到姿态、表情、光照等非几何外观变化的影响，提高了人脸识别的准确度。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有模型生成程序01，所述模型生成程序01可被一个或多个处理器执行，以实现如下操作：
本申请计算机可读存储介质具体实施方式与上述人脸识别模型的生成装置和方法各实施例基本相同，在此不作累述。
B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种人脸识别模型的生成装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的模型生成程序，所述模型生成程序被所述处理器执行时实现如下步骤：
    A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
    A2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    A3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
    A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
    A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
  2. 如权利要求1所述的人脸识别模型的生成装置，其特征在于，所述步骤A2包括：
    根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
    按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
    计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
    若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述 特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
  3. 如权利要求2所述的人脸识别模型的生成装置，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
    将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
    若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
  4. 如权利要求1至3中任一项所述的人脸识别模型的生成装置，其特征在于，所述根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标的步骤包括：
    根据所述相机参数计算相机的之间的空间转换矩阵；
    根据所述空间转换矩阵和所述二维坐标计算匹配正确的特征点对对应的三维坐标。
  5. 如权利要求1所述的人脸识别模型的生成装置，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  6. 如权利要求2所述的人脸识别模型的生成装置，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  7. 如权利要求3所述的人脸识别模型的生成装置，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  8. 一种人脸识别模型的生成方法，其特征在于，所述方法包括：
    B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
    B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选， 以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
    B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
    B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
  9. 如权利要求8所述的人脸识别模型的生成方法，其特征在于，所述步骤B2包括：
    根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
    按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
    计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
    若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
  10. 如权利要求9所述的人脸识别模型的生成方法，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
    将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
    若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点 对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
  11. 如权利要求8至10中任一项所述的人脸识别模型的生成方法，其特征在于，所述根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标的步骤包括：
    根据所述相机参数计算相机的之间的空间转换矩阵；
    根据所述空间转换矩阵和所述二维坐标计算匹配正确的特征点对对应的三维坐标。
  12. 如权利要求8所述的人脸识别模型的生成方法，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  13. 如权利要求9所述的人脸识别模型的生成方法，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  14. 如权利要求10所述的人脸识别模型的生成方法，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型生成程序，所述模型生成程序可被一个或者多个处理器执行，以实现如下步骤：
    B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
    B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
    B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
    B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述步骤B2包括：
    根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
    按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
    计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
    若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
    若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
  17. 如权利要求16所述的计算机可读存储介质，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
    将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
    若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
  18. 如权利要求15至17中任一项所述的计算机可读存储介质，其特征在于，所述根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标的步骤包括：
    根据所述相机参数计算相机的之间的空间转换矩阵；
    根据所述空间转换矩阵和所述二维坐标计算匹配正确的特征点对对应的三维坐标。
  19. 如权利要求15或16所述的计算机可读存储介质，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
  20. 如权利要求17所述的计算机可读存储介质，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
PCT/CN2018/102401 2018-04-09 2018-08-27 人脸识别模型的生成装置、方法及计算机可读存储介质 Ceased WO2019196308A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810311642.1 2018-04-09
CN201810311642.1A CN108764024B (zh) 2018-04-09 2018-04-09 人脸识别模型的生成装置、方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019196308A1 true WO2019196308A1 (zh) 2019-10-17

Family

ID=63981561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/102401 Ceased WO2019196308A1 (zh) 2018-04-09 2018-08-27 人脸识别模型的生成装置、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108764024B (zh)
WO (1) WO2019196308A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969085A (zh) * 2019-10-30 2020-04-07 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN111144483A (zh) * 2019-12-26 2020-05-12 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111161395A (zh) * 2019-11-19 2020-05-15 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN111160278A (zh) * 2019-12-31 2020-05-15 河南中原大数据研究院有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别
CN111696196A (zh) * 2020-05-25 2020-09-22 北京的卢深视科技有限公司 一种三维人脸模型重建方法及装置
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN111815698A (zh) * 2020-07-20 2020-10-23 广西安良科技有限公司 人工智能单目3d点云生成方法、装置、终端及存储介质
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法
CN112052730A (zh) * 2020-07-30 2020-12-08 广州市标准化研究院 一种3d动态人像识别监控设备及方法
CN112308912A (zh) * 2020-11-03 2021-02-02 长安大学 一种路面病害同源多特征图像获取系统、装置及方法
CN112348957A (zh) * 2020-11-05 2021-02-09 上海影创信息科技有限公司 一种基于多视角深度相机的三维人像实时重建及渲染方法
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN112614166A (zh) * 2020-12-11 2021-04-06 北京影谱科技股份有限公司 基于cnn-knn的点云匹配方法和装置
CN112767484A (zh) * 2021-01-25 2021-05-07 脸萌有限公司 定位模型的融合方法、定位方法、电子装置
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN112883920A (zh) * 2021-03-22 2021-06-01 清华大学 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN113034345A (zh) * 2019-12-25 2021-06-25 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN113095116A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN113591602A (zh) * 2021-07-08 2021-11-02 娄浩哲 一种基于单视角的人脸三维轮廓特征重建装置及重建方法
CN113688784A (zh) * 2021-09-10 2021-11-23 平安医疗健康管理股份有限公司 基于人脸识别的医保卡盗用风险识别方法及其相关设备
CN113807217A (zh) * 2021-09-02 2021-12-17 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质
CN113971715A (zh) * 2020-07-22 2022-01-25 虹软科技股份有限公司 基于深度学习的三维脸部重建的系统
CN114049675A (zh) * 2021-11-29 2022-02-15 合肥工业大学 基于轻量双通道神经网络的人脸表情识别方法
CN115294626A (zh) * 2022-06-30 2022-11-04 盛视科技股份有限公司 一种化妆后人脸识别方法
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115830244A (zh) * 2022-12-30 2023-03-21 广州紫为云科技有限公司 一种三维模型重建方法及装置
CN116079263A (zh) * 2023-01-09 2023-05-09 湖南中南智能装备有限公司 一种切割工料下料分拣方法
CN116664863A (zh) * 2023-05-16 2023-08-29 重庆中科摇橹船信息科技有限公司 基于局部感受野的深度学习特征点匹配方法、设备及介质
CN118555486A (zh) * 2024-07-29 2024-08-27 广州乐庚信息科技有限公司 基于双目数据采集设备的多目标采集路径优化算法及系统
CN120259558A (zh) * 2025-06-03 2025-07-04 长沙美莱医疗美容医院有限公司 一种用于面部美容整形的3d面部模型构建方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685713B (zh) * 2018-11-13 2024-05-10 平安科技（深圳）有限公司 化妆模拟控制方法、装置、计算机设备及存储介质
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
RU2703327C1 (ru) * 2018-12-10 2019-10-16 Самсунг Электроникс Ко., Лтд. Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
CN111325059A (zh) * 2018-12-14 2020-06-23 技嘉科技股份有限公司 脸部识别方法、装置及计算机可读取媒体
CN109753885B (zh) * 2018-12-14 2020-10-16 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN109635770A (zh) * 2018-12-20 2019-04-16 上海瑾盛通信科技有限公司 活体检测方法、装置、存储介质及电子设备
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
CN109508701B (zh) * 2018-12-28 2020-09-22 北京亿幕信息技术有限公司 一种人脸识别和追踪方法
CN109740511B (zh) * 2018-12-29 2022-11-22 广州方硅信息技术有限公司 一种人脸表情匹配方法、装置、设备及存储介质
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
WO2020215250A1 (zh) * 2019-04-24 2020-10-29 深圳市汇顶科技股份有限公司 人脸注册方法、人脸识别装置、识别设备和可存储介质
CN110210322A (zh) * 2019-05-06 2019-09-06 深圳市华芯技研科技有限公司 一种通过3d原理进行人脸识别的方法
CN110222573B (zh) * 2019-05-07 2024-05-28 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110287776B (zh) * 2019-05-15 2020-06-26 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN111986246B (zh) * 2019-05-24 2024-04-30 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN110472494A (zh) * 2019-06-21 2019-11-19 深圳壹账通智能科技有限公司 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN110414358B (zh) * 2019-06-28 2022-11-25 平安科技（深圳）有限公司 基于人脸智能识别的信息输出方法、装置及存储介质
WO2021097744A1 (zh) * 2019-11-21 2021-05-27 北京机电研究所有限公司 用于三维尺寸的动态测量装置及其测量方法
CN111047703B (zh) * 2019-12-23 2023-09-26 杭州电力设备制造有限公司 一种用户高压配电设备识别与空间重建方法
CN111160232B (zh) * 2019-12-25 2021-03-12 上海骏聿数码科技有限公司 正面人脸重建方法、装置及系统
CN111667570B (zh) * 2020-06-05 2023-06-02 深圳市瑞立视多媒体科技有限公司 Marker点的三维重建方法、装置、设备及存储介质
CN111651954B (zh) * 2020-06-10 2023-08-18 嘉兴市像景智能装备有限公司 基于深度学习对smt电子元件三维重建的方法
CN114170640B (zh) * 2020-08-19 2024-02-02 腾讯科技（深圳）有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
CN112580583B (zh) * 2020-12-28 2024-03-15 深圳市普汇智联科技有限公司 一种台球花色识别参数自动校准方法及系统
CN112699795B (zh) * 2020-12-30 2024-09-10 珠海格力电器股份有限公司 一种人脸识别方法、装置、电子设备和存储介质
CN113989617A (zh) * 2021-10-28 2022-01-28 青岛海尔科技有限公司 烘焙控制方法和装置、存储介质及电子装置
CN114581985B (zh) * 2022-03-07 2025-11-04 广州虎牙科技有限公司 三维人脸模型训练方法、装置、电子设备和可读存储介质
CN115035237A (zh) * 2022-03-31 2022-09-09 广东美的厨房电器制造有限公司 控制方法、烹饪设备和储存介质
CN114494389B (zh) * 2022-04-01 2022-07-15 深圳数字视界科技有限公司 基于特征点识别连接的多段扫描的空间物体三维构建系统
CN116485902B (zh) * 2023-03-14 2026-04-24 深圳数马电子技术有限公司 标志点匹配方法、装置、计算机设备和存储介质
CN116524569A (zh) * 2023-05-10 2023-08-01 深圳大器时代科技有限公司 一种基于归类算法的多并发人脸识别系统及方法
CN118230397B (zh) * 2024-05-22 2024-07-23 珠海汇金科技股份有限公司 一种基于区块链的人脸识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969085A (zh) * 2019-10-30 2020-04-07 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN110969085B (zh) * 2019-10-30 2024-03-19 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN112816949B (zh) * 2019-11-18 2024-04-16 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN111161395A (zh) * 2019-11-19 2020-05-15 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN111161395B (zh) * 2019-11-19 2023-12-08 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN113095116B (zh) * 2019-12-23 2024-03-22 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN113095116A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN113034345B (zh) * 2019-12-25 2023-02-28 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN113034345A (zh) * 2019-12-25 2021-06-25 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
US12051233B2 (en) 2019-12-26 2024-07-30 Goertek Inc. Method for filtering image feature points and terminal
CN111144483A (zh) * 2019-12-26 2020-05-12 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111144483B (zh) * 2019-12-26 2023-10-17 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111160278A (zh) * 2019-12-31 2020-05-15 河南中原大数据研究院有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111488856A (zh) * 2020-04-28 2020-08-04 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别
CN111488856B (zh) * 2020-04-28 2023-04-18 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别方法
CN111696196B (zh) * 2020-05-25 2023-12-08 合肥的卢深视科技有限公司 一种三维人脸模型重建方法及装置
CN111696196A (zh) * 2020-05-25 2020-09-22 北京的卢深视科技有限公司 一种三维人脸模型重建方法及装置
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN111815698A (zh) * 2020-07-20 2020-10-23 广西安良科技有限公司 人工智能单目3d点云生成方法、装置、终端及存储介质
CN113971715A (zh) * 2020-07-22 2022-01-25 虹软科技股份有限公司 基于深度学习的三维脸部重建的系统
CN112052730B (zh) * 2020-07-30 2024-03-29 广州市标准化研究院 一种3d动态人像识别监控设备及方法
CN112052730A (zh) * 2020-07-30 2020-12-08 广州市标准化研究院 一种3d动态人像识别监控设备及方法
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法
CN112017225B (zh) * 2020-08-04 2023-06-09 华东师范大学 一种基于点云配准的深度图像匹配方法
CN112308912A (zh) * 2020-11-03 2021-02-02 长安大学 一种路面病害同源多特征图像获取系统、装置及方法
CN112308912B (zh) * 2020-11-03 2023-09-15 长安大学 一种路面病害同源多特征图像获取系统、装置及方法
CN112348957A (zh) * 2020-11-05 2021-02-09 上海影创信息科技有限公司 一种基于多视角深度相机的三维人像实时重建及渲染方法
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN112614166A (zh) * 2020-12-11 2021-04-06 北京影谱科技股份有限公司 基于cnn-knn的点云匹配方法和装置
CN112767484B (zh) * 2021-01-25 2023-09-05 脸萌有限公司 定位模型的融合方法、定位方法、电子装置
CN112767484A (zh) * 2021-01-25 2021-05-07 脸萌有限公司 定位模型的融合方法、定位方法、电子装置
CN112883920A (zh) * 2021-03-22 2021-06-01 清华大学 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN113591602B (zh) * 2021-07-08 2024-04-30 娄浩哲 一种基于单视角的人脸三维轮廓特征重建装置及重建方法
CN113591602A (zh) * 2021-07-08 2021-11-02 娄浩哲 一种基于单视角的人脸三维轮廓特征重建装置及重建方法
CN113807217B (zh) * 2021-09-02 2023-11-21 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质
CN113807217A (zh) * 2021-09-02 2021-12-17 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质
CN113688784A (zh) * 2021-09-10 2021-11-23 平安医疗健康管理股份有限公司 基于人脸识别的医保卡盗用风险识别方法及其相关设备
CN113688784B (zh) * 2021-09-10 2024-05-14 平安医疗健康管理股份有限公司 基于人脸识别的医保卡盗用风险识别方法及其相关设备
CN114049675B (zh) * 2021-11-29 2024-02-13 合肥工业大学 基于轻量双通道神经网络的人脸表情识别方法
CN114049675A (zh) * 2021-11-29 2022-02-15 合肥工业大学 基于轻量双通道神经网络的人脸表情识别方法
CN115294626A (zh) * 2022-06-30 2022-11-04 盛视科技股份有限公司 一种化妆后人脸识别方法
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115830244A (zh) * 2022-12-30 2023-03-21 广州紫为云科技有限公司 一种三维模型重建方法及装置
CN116079263A (zh) * 2023-01-09 2023-05-09 湖南中南智能装备有限公司 一种切割工料下料分拣方法
CN116664863A (zh) * 2023-05-16 2023-08-29 重庆中科摇橹船信息科技有限公司 基于局部感受野的深度学习特征点匹配方法、设备及介质
CN116664863B (zh) * 2023-05-16 2025-09-16 重庆中科摇橹船信息科技有限公司 基于局部感受野的深度学习特征点匹配方法、设备及介质
CN118555486A (zh) * 2024-07-29 2024-08-27 广州乐庚信息科技有限公司 基于双目数据采集设备的多目标采集路径优化算法及系统
CN120259558A (zh) * 2025-06-03 2025-07-04 长沙美莱医疗美容医院有限公司 一种用于面部美容整形的3d面部模型构建方法

Also Published As

Publication number Publication date
CN108764024A (zh) 2018-11-06
CN108764024B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
WO2019196308A1 (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
CN110135246B (zh) 一种人体动作的识别方法及设备
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN106096582B (zh) 区分真人面部与平坦表面
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
CN103425964B (zh) 图像处理设备和图像处理方法
WO2021012494A1 (zh) 基于深度学习的人脸识别方法、装置及计算机可读存储介质
TWI394093B (zh) 一種影像合成方法
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
WO2018032861A1 (zh) 一种手指静脉识别方法及装置
CN111989689A (zh) 用于识别图像内目标的方法和用于执行该方法的移动装置
CN105205462A (zh) 一种拍照提示方法及装置
WO2015172679A1 (zh) 一种图像处理方法和装置
CN107944420B (zh) 人脸图像的光照处理方法和装置
CN104246793A (zh) 移动设备的三维脸部识别
WO2016177259A1 (zh) 一种相似图像识别方法及设备
Boutellaa et al. On the use of Kinect depth data for identity, gender and ethnicity classification from facial images
CN111079470B (zh) 人脸活体检测的方法和装置
CN110199296A (zh) 人脸识别方法、处理芯片以及电子设备
WO2019200807A1 (zh) 图像合成装置、方法及计算机可读存储介质
CN109993021A (zh) 人脸正脸检测方法、装置及电子设备
WO2022002262A1 (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
TW202011284A (zh) 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914104

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18914104

Country of ref document: EP

Kind code of ref document: A1