WO2020024484A1 - 用于输出数据的方法和装置 - Google Patents

用于输出数据的方法和装置 Download PDF

Info

Publication number
WO2020024484A1
WO2020024484A1 PCT/CN2018/116177 CN2018116177W WO2020024484A1 WO 2020024484 A1 WO2020024484 A1 WO 2020024484A1 CN 2018116177 W CN2018116177 W CN 2018116177W WO 2020024484 A1 WO2020024484 A1 WO 2020024484A1
Authority
WO
WIPO (PCT)
Prior art keywords
human eye
data
face
keypoint
sample
Prior art date
Application number
PCT/CN2018/116177
Other languages
English (en)
French (fr)
Inventor
何茜
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to US16/967,771 priority Critical patent/US11436863B2/en
Publication of WO2020024484A1 publication Critical patent/WO2020024484A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • Embodiments of the present application relate to the field of computer technology, and in particular, to a method and device for outputting data.
  • image processing applications can perform transformations, color corrections, etc. on captured face images.
  • image processing applications can recognize an eye image from a face image of a person and enlarge the eye image.
  • the embodiments of the present application provide a method and device for outputting data.
  • determining human eye feature data used to characterize the appearance features of the human eye based on the face key point data set includes: extracting the face key point data representing the human eye region from the face key point data set. As the human eye keypoint data, and based on the human eye keypoint data, determine at least two distance values, where the distance value is used to represent the distance of the human eye keypoints respectively indicated by the two human eye keypoint data; based on the at least two distances Value, determine at least one distance ratio as human eye characteristic data.
  • the method further includes determining a magnification factor for magnifying the human eye image in the target face image based on the degree value, and outputting the magnification factor.
  • the human eye size recognition model is obtained by training as follows: obtaining a training sample set, wherein the training sample includes sample human eye feature data for characterizing the shape features of the human eye indicated by the training sample, and the sample human Eye feature data is labeled with a value indicating the degree of the size of the human eye indicated by the training sample.
  • the sample human eye feature data is determined in advance based on the face keypoint data set corresponding to the training sample; using machine learning methods, the The determined sample human eye feature data is used as an input, and the labeling degree value corresponding to the input sample human eye feature data is used as a desired output, and a human eye size recognition model is trained.
  • the labeled degree value included in the training sample indicates whether the size of the human eye indicated by the human eye characteristic data of the sample is large or medium or small.
  • an embodiment of the present application provides a device for outputting data.
  • the device includes: an obtaining unit configured to obtain a set of facial keypoint data, wherein the facial keypoint data is used to characterize a target face. The position of the key points of the face in the image; the first determining unit is configured to determine the human eye feature data for characterizing the appearance of the human eye based on the facial key point data set; the recognition unit is configured to convert the human eye
  • the feature data is input into a pre-trained human eye size recognition model to obtain a degree value that represents the size of the human eye and an output degree value.
  • the human eye size recognition model is used to represent the correspondence between the human eye feature data and the degree value.
  • the acquisition unit includes: an acquisition module configured to acquire a target face image; an extraction module configured to input the target face image into a pre-trained face keypoint extraction model to obtain face keypoint data Set, where a face keypoint extraction model is used to characterize the correspondence between a face image and a face keypoint data set.
  • the first determining unit includes: a first determining module configured to extract facial keypoint data representing human eye regions from the facial keypoint data set as human eye keypoint data, and based on the human eye Key point data to determine at least two distance values, wherein the distance values are used to characterize the distances of the human eye key points respectively indicated by the two human eye key point data; the second determination module is configured to determine based on the at least two distance values At least one distance ratio is used as human eye characteristic data.
  • the apparatus further includes: a second determining unit configured to determine a magnification coefficient for magnifying a human eye image in the target face image based on the degree value, and output a magnification coefficient.
  • the human eye size recognition model is obtained by training as follows: obtaining a training sample set, wherein the training sample includes sample human eye feature data for characterizing the shape features of the human eye indicated by the training sample, and the sample human Eye feature data is labeled with a value indicating the degree of the size of the human eye indicated by the training sample.
  • the sample human eye feature data is determined in advance based on the face keypoint data set corresponding to the training sample; using machine learning methods, the The determined sample human eye feature data is used as an input, and the labeling degree value corresponding to the input sample human eye feature data is used as a desired output, and a human eye size recognition model is trained.
  • the labeled degree value included in the training sample indicates whether the size of the human eye indicated by the human eye characteristic data of the sample is large or medium or small.
  • an embodiment of the present application provides an electronic device.
  • the electronic device includes: one or more processors; a storage device on which one or more programs are stored; and when one or more programs are read by one or more Each processor executes such that one or more processors implement the method as described in any implementation of the first aspect.
  • an embodiment of the present application provides a computer-readable medium having stored thereon a computer program that, when executed by a processor, implements the method as described in any implementation manner of the first aspect.
  • the method and device for outputting data obtained in the embodiments of the present application obtain human face keypoint data sets, and then determine human eye feature data according to the human face keypoint data sets.
  • the human eye feature data is input into human eye size recognition.
  • the model obtains a degree value that characterizes the size of the human eye, thereby effectively utilizing the key point data of the face to determine the size of the human eye, and improving the accuracy of identifying the size of the human eye.
  • FIG. 1 is an exemplary system architecture diagram to which an embodiment of the present application can be applied;
  • FIG. 1 is an exemplary system architecture diagram to which an embodiment of the present application can be applied;
  • FIG. 2 is a flowchart of an embodiment of a method for outputting data according to an embodiment of the present application
  • 3A is an exemplary schematic diagram of a human eye key point extracted from a face key point set according to a method for outputting data according to an embodiment of the present application;
  • 3B is an exemplary schematic diagram of at least two distance values of a method for outputting data according to an embodiment of the present application
  • FIG. 4 is a schematic diagram of an application scenario of a method for outputting data according to an embodiment of the present application
  • FIG. 5 is a flowchart of still another embodiment of a method for outputting data according to an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of an embodiment of an apparatus for outputting data according to an embodiment of the present application
  • FIG. 7 is a schematic structural diagram of a computer system suitable for implementing an electronic device according to an embodiment of the present application.
  • FIG. 1 illustrates an exemplary system architecture 100 to which a method for outputting data or an apparatus for outputting data of an embodiment of the present application can be applied.
  • the system architecture 100 may include terminal devices 101, 102, and 103, a network 104, and a server 105.
  • the network 104 is a medium for providing a communication link between the terminal devices 101, 102, 103 and the server 105.
  • the network 104 may include various connection types, such as wired, wireless communication links, or fiber optic cables, and so on.
  • the user can use the terminal devices 101, 102, 103 to interact with the server 105 through the network 104 to receive or send messages and the like.
  • Various applications can be installed on the terminal devices 101, 102, and 103, such as video playback applications, image processing applications, and social platform software.
  • the terminal devices 101, 102, and 103 may be hardware or software.
  • the terminal device 101, 102, 103 can be various electronic devices with data processing functions, including but not limited to smartphones, tablets, e-book readers, MP3 players (Moving Pictures Experts Group Audio Audio Layer III) , Motion Picture Expert Compression Standard Audio Level 3), MP4 (Moving Picture Experts Group Audio Layer 4), Motion Picture Expert Compression Standard Audio Level 4) player, laptop portable computer and desktop computer, etc.
  • the terminal devices 101, 102, and 103 are software, they can be installed in the electronic devices listed above. It can be implemented as multiple software or software modules (such as software or software modules used to provide distributed services), or it can be implemented as a single software or software module. It is not specifically limited here.
  • the method for outputting data may be executed by the server 105 or by the terminal devices 101, 102, and 103. Accordingly, a device for outputting data may be set on the server 105 It can also be installed in the terminal devices 101, 102, and 103.
  • the server may be hardware or software.
  • the server can be implemented as a distributed server cluster consisting of multiple servers or as a single server.
  • the server can be implemented as multiple software or software modules (such as software or software modules used to provide distributed services) or as a single software or software module. It is not specifically limited here.
  • terminal devices, networks, and servers in FIG. 1 are merely exemplary. According to implementation needs, there can be any number of terminal devices, networks, and servers.
  • the above system architecture may not include a network, but only a terminal device or a server.
  • Step 201 Obtain a keypoint data set of a face.
  • the above target face image may be a face image obtained in advance and performing face key point recognition on the face.
  • the target face image may be an image obtained by shooting a target face (for example, a face of a user using a terminal device shown in FIG. 1 or a face of another person) by a preset camera.
  • the above-mentioned execution subject may obtain the face keypoint data set according to the following steps:
  • the above-mentioned execution subject may obtain a target face image from a local or a remote location, and the target face image may be an image to be subjected to face key point recognition.
  • the above-mentioned execution subject may be communicatively connected with a camera, and the camera may photograph a target face (for example, a face of a user using a terminal device shown in FIG. 1 or a face of another person) to obtain a target face image.
  • the target face image may be a single image; it may also be an image frame extracted from the target video.
  • the target face image may be a currently displayed image frame included in a video played on the execution subject.
  • the target face image is input into a pre-trained face key point extraction model to obtain a face key point data set.
  • the face keypoint extraction model is used to characterize the correspondence between the face image and the face keypoint data set.
  • the face keypoint extraction model can be based on training samples and using machine learning methods to perform initial models (such as Convolutional Neural Network (CNN), Active Shape Model (ASM), etc.) The model obtained after training.
  • CNN Convolutional Neural Network
  • ASM Active Shape Model
  • the method of training to obtain a keypoint extraction model of a face is a well-known technique widely studied and applied at present, and will not be repeated here.
  • Step 202 Determine human eye feature data used to characterize the appearance features of the human eye based on the facial keypoint data set.
  • the above-mentioned execution subject may determine human eye feature data used to characterize the appearance features of the human eye based on the facial keypoint data set obtained in step 201. Specifically, the above-mentioned execution subject may extract part of the face key point data from the face key point data set, and then determine human eye feature data based on the extracted face key point data. Human eye feature data can be used to characterize the appearance features of the human eye (such as the length of a single human eye, the distance between two eyeballs, etc.).
  • each face keypoint data in the face keypoint data set may have a corresponding number, and the above-mentioned execution subject may extract a face representing the superficial eye area from the face keypoint data set according to a number designated by a technician.
  • the key point data is used as the key point data of the human eye.
  • the execution subject may determine the extracted human eye keypoint data as human eye feature data; or, the execution subject may calculate at least two distance values as human eye features based on the extracted human eye keypoint data as specified by a technician Data, where each distance value represents the distance between the human eye keypoints indicated by the two human eye keypoint data.
  • 301-310 are human eye keypoints represented by human eye keypoint data extracted from a face keypoint data set.
  • L1 is the distance between the human eye key point 301 and the human eye key point 302
  • L2 is the distance between 303 and 306
  • L3 is the distance between 304 and 305
  • L4 is the distance between 307 and 310
  • the distance L5 is the distance between 308 and 309.
  • the distances L1, L2, L3, L4, and L5 can be used as human eye characteristic data.
  • the above-mentioned execution subject may determine human eye characteristic data according to the following steps:
  • the above-mentioned execution subject may determine at least two distance values according to key points of the human eye specified by a technician.
  • the above-mentioned execution body can calculate five distance values, which are L1, L2, L3, L4, and L5, respectively.
  • At least one distance ratio value is determined as human eye characteristic data.
  • the execution subject may calculate the distance values included in the at least two distance values according to the designation of a technician to obtain at least one distance ratio.
  • multiple distance ratios can be calculated, which are: L3 / L2, L4 / L5, L2 / L1, L3 / L1, L4 / L1, L5 / L1.
  • the distance ratios listed in the above examples are merely exemplary. In practice, the determined distance ratios may not be limited to the distance ratios listed above.
  • the obtained distance ratios can be used as human eye feature data in the form of vectors.
  • the human eye feature data can be vectors (L3 / L2, L4 / L5, L2 / L1, L3 / L1, L4 / L1, L5 / L1).
  • Step 203 Enter human eye feature data into a pre-trained human eye size recognition model, and obtain a degree value representing the size of the human eye and an output degree value.
  • the above-mentioned execution subject may input human eye characteristic data into a pre-trained human eye size recognition model, obtain a degree value representing the degree of human eye size, and then output the obtained degree value.
  • the degree value can represent the size of the human eye.
  • the degree value may be a value greater than or equal to zero and less than or equal to 2.
  • a larger degree value indicates a larger human eye, and a smaller degree value indicates a smaller human eye.
  • the human eye size recognition model can be used to characterize the correspondence between human eye feature data and degree values.
  • the degree value output by the human eye size recognition model may be the probability that the human eye indicated by the characteristic data of the human eye is big eye, for example, the degree value is 0.8, and the probability that the human eye is big eye is 0.8; or, the degree value may be It is a numerical value calculated based on the probability value. For example, multiplying the probability that the human eye is a large eye by 2 to obtain a degree value, that is, if the probability is 0.5, the degree value is 1.
  • the human eye size recognition model may be a correspondence table prepared in advance by a technician based on statistics of a large amount of human eye feature data and degree values, and storing a plurality of human eye feature data and degree values; It may be a model obtained by supervised training based on an existing model for classification (for example, a Logistic Regression model, a Support Vector Machine (SVM), etc.).
  • SVM Support Vector Machine
  • the execution subject or other electronic device may be trained to obtain a human eye size recognition model according to the following steps:
  • the training sample may include sample human eye feature data used to characterize the appearance features of the human eye indicated by the training sample, and a label value indicating the size of the human eye indicated by the training sample.
  • the sample human eye feature data may be determined in advance based on a face keypoint data set corresponding to the training sample.
  • the face keypoint data set corresponding to the training sample can be a face keypoint data set extracted from a preset sample face image.
  • a human eye size recognition model is trained to obtain
  • the execution subject or other electronic equipment can obtain sample human eye characteristic data. It should be noted that the method for obtaining sample human eye feature data based on the face keypoint data set may be the same as the method described in step 202, and details are not described herein again.
  • the determined sample human eye feature data is used as an input, and the labeled degree value corresponding to the input sample human eye feature data is used as a desired output, and a human eye size recognition model is trained.
  • the value of the labeling degree may be a value set by a technician and representing the size of the human eye indicated by the sample human eye characteristic data.
  • the value of the labeling degree may be 0 or 1, wherein 0 indicates that the human eye characteristic data indicated by the sample human eye is smaller, and 1 indicates that the human eye characteristic data indicated by the sample human eye is larger.
  • the labeled degree value included in the training sample indicates whether the size of the human eye indicated by the human eye characteristic data of the sample is large or medium or small.
  • the value of the labeling degree may be 0 or 1 or 2, where 0 indicates that the human eye characteristic data indicated by the sample is smaller, 1 indicates that the human eye indicated by the characteristic data of the human eye is medium-sized, and 2 indicates that the human eye of the sample indicates that The feature data indicates a larger human eye.
  • the trained human eye size recognition model can output a degree value greater than or equal to zero and less than or equal to two.
  • the human eye size recognition model can obtain three probability values, which respectively represent the probability that the size of the human eye indicated by the input human eye characteristic data is large, medium, and small.
  • the human eye recognition model can be calculated based on the three probability values.
  • Degree value For example, if the three probability values obtained are P0, P1, and P2, respectively, and the corresponding degree values are 0, 1, 2, respectively, the output degree value may be P0 ⁇ 0 + P1 ⁇ 1 + P2 ⁇ 2.
  • FIG. 4 is a schematic diagram of an application scenario of the method for outputting data according to this embodiment.
  • the terminal device 401 first obtains a face keypoint data set 402.
  • the face keypoint data is data that the terminal device 401 extracts from the target face image 403 in advance, and characterizes the position of the keypoints of the face.
  • the target face image 403 is the terminal device 401 performing the face of the user using the terminal device 401. Captured image.
  • the terminal device 401 determines human eye feature data 404 for characterizing the appearance features of the human eye based on the facial key point data set 402 (for example, the human eye characterizing the position of the human eye is extracted from the facial key point data set 402 Key point data, and then calculate the distance between the positions of the human eye key points indicated by the human eye key point data, and then calculate the ratio between each distance to obtain human eye characteristic data).
  • the terminal device inputs human eye characteristic data 404 into a pre-trained human eye size recognition model 405, and obtains a degree value 406 (for example, "1.5") and output that characterizes the degree of human eye size.
  • the facial keypoint data set is obtained, and then the human eye characteristic data is determined according to the facial keypoint data set.
  • the human eye characteristic data is input into the human eye size recognition model to obtain a representative person.
  • the value of the degree of eye size which effectively uses the key point data of the face to determine the size of the human eye, and improves the accuracy of identifying the size of the human eye.
  • a flowchart 500 of still another embodiment of a method for outputting data is shown.
  • the process 500 of the method for outputting data includes the following steps:
  • Step 501 Obtain a keypoint data set of a face.
  • step 501 is substantially the same as step 201 in the embodiment corresponding to FIG. 2, and details are not described herein again.
  • Step 502 Determine human eye feature data used to characterize the appearance features of the human eye based on the facial keypoint data set.
  • step 502 is substantially the same as step 202 in the embodiment corresponding to FIG. 2, and details are not described herein again.
  • Step 503 Enter human eye feature data into a pre-trained human eye size recognition model, and obtain a degree value representing the size of the human eye and an output degree value.
  • step 503 is substantially the same as step 203 in the embodiment corresponding to FIG. 2, and details are not described herein again.
  • Step 504 Determine, based on the degree value, an enlargement factor used to enlarge the human eye image in the target face image, and output an enlargement factor.
  • the execution subject of the method for outputting data may determine an image of the human eye in the target face image.
  • the execution body may look up the amplification coefficient corresponding to the output degree value from a preset correspondence table of the correspondence relationship between the characterization degree value and the amplification coefficient; or, the execution body may follow a preset calculation formula,
  • the degree of output is calculated to obtain the amplification factor.
  • the larger the degree value the smaller the amplification factor.
  • the value range of the degree value is [0, 2], and accordingly, the value range of the amplification factor can be [1.5, 0.5]. That is, when the degree value is 0, the amplification factor is 1.5; when the degree value is 1, the amplification factor is 1; when the degree value is 2, the amplification factor is 0.5.
  • the above-mentioned execution body can output the amplification factor in various ways. For example, the above-mentioned execution subject may display the magnification factor on a display device connected to the above-mentioned execution subject, or the above-mentioned execution subject may send the amplification factor to other electronic devices communicatively connected thereto.
  • the above-mentioned execution subject or other electronic device may enlarge the human eye image in the target face image according to the existing algorithm for enlarging the human eye image based on the output amplification factor.
  • the degree value is 1
  • the size of the human eye is medium
  • the corresponding magnification factor is 1.
  • the above-mentioned executing subject may enlarge the human eye image in the target face image according to a preset normal magnification ratio; When the degree value is 0, the size of the human eye is small, and the corresponding magnification factor is 1.5.
  • the above-mentioned execution subject can enlarge the human eye image by 1.5 times the preset normal magnification ratio; when the degree value is 2, Characterizing that the size of the human eye is large and the corresponding magnification factor is 0.5, the above-mentioned execution subject or other electronic equipment may enlarge the human eye image according to a preset normal magnification ratio of 0.5 times. Thereby, the human eye image can be enlarged according to different enlargement ratios according to different human eye sizes.
  • the process 500 of the method for outputting data in this embodiment highlights the determination of a person's face in the target face image based on the output degree value.
  • the step of enlarging the eye image with a magnification factor so that different human eye magnification factors can be obtained according to different human eye sizes, which helps to achieve different proportions of human eye images according to different human eye sizes.
  • this application provides an embodiment of a device for outputting data.
  • the device embodiment corresponds to the method embodiment shown in FIG. 6.
  • the device can be specifically applied to various electronic devices.
  • the apparatus 600 for outputting data in this embodiment includes: an acquiring unit 601 configured to acquire a key set of face data, wherein the key point data of the face is used to represent a target face image in a target face image.
  • the position of the key points of the face is configured to determine the human eye feature data for characterizing the appearance of the human eye based on the facial key point data set;
  • the recognition unit 603 is configured to determine the human eye features
  • the data is input into a pre-trained human eye size recognition model to obtain a degree value that represents the size of the human eye and an output degree value.
  • the human eye size recognition model is used to represent the correspondence between human eye feature data and the degree value.
  • the obtaining unit 601 may obtain a face keypoint data set from a local or remote location through a wired connection method or a wireless connection method.
  • the face keypoint data is used to characterize the position of the face keypoint in the target face image.
  • the face keypoint data may include coordinate values, and the positions of the face keypoints may be determined in the target face image according to the coordinate values.
  • Face key points can be points with obvious semantic discrimination, which can be used to characterize the position of the face's component parts in the face image.
  • face key points can be points for noses, eyes for Click and so on.
  • the above target face image may be a face image obtained in advance and performing face key point recognition on the face.
  • the target face image may be an image obtained by shooting a target face (for example, a face of a user using a terminal device shown in FIG. 1 or a face of another person) by a preset camera.
  • the first determining unit 602 may determine human eye feature data used to characterize the appearance features of the human eye based on the facial keypoint data set obtained by the obtaining unit 601. Specifically, the above-mentioned first determining unit 602 may extract human face key point data representing human eye position data from human face key point data sets. As an example, each face keypoint data in the face keypoint data set may have a corresponding number, and the first determining unit 602 may extract the face keypoint data from the face keypoint data set according to a number designated by a technician. As key point data of the human eye. Human eye feature data can be used to characterize the appearance features of the human eye (such as the length of a single human eye, the distance between two eyeballs, etc.).
  • the recognition unit 603 may input human eye characteristic data into a pre-trained human eye size recognition model, obtain a degree value representing the degree of human eye size, and then output the obtained degree value.
  • the degree value can represent the size of the human eye.
  • the degree value may be a value greater than or equal to zero and less than or equal to 2.
  • a larger degree value indicates a larger human eye, and a smaller degree value indicates a smaller human eye.
  • the human eye size recognition model can be used to characterize the correspondence between human eye feature data and degree values.
  • the degree value output by the human eye size recognition model may be the probability that the human eye indicated by the characteristic data of the human eye is big eye, for example, the degree value is 0.8, and the probability that the human eye is big eye is 0.8; or, the degree value may be It is a numerical value calculated based on the probability value. For example, multiplying the probability that the human eye is a large eye by 2 to obtain a degree value, that is, if the probability is 0.5, the degree value is 1.
  • the human eye size recognition model may be a correspondence table prepared in advance by a technician based on statistics of a large amount of human eye feature data and degree values, and storing a plurality of human eye feature data and degree values; It may be a model obtained by supervised training based on an existing model for classification (for example, a Logistic Regression model, a Support Vector Machine (SVM), etc.).
  • SVM Support Vector Machine
  • the acquisition unit may include: an acquisition module (not shown in the figure) configured to acquire a target face image; and an extraction module (not shown in the figure) configured to The target face image is input into a pre-trained face key point extraction model to obtain a face key point data set, wherein the face key point extraction model is used to characterize the correspondence between the face image and the face key point data set.
  • the apparatus 600 may further include: a second determining unit (not shown in the figure) configured to determine a human eye in the target face image based on the degree value. Magnification factor for image magnification, and output magnification factor.
  • the labeled degree value included in the training sample may indicate whether the size of the human eye indicated by the sample human eye feature data is large or medium or small.
  • FIG. 7 shows a schematic structural diagram of a computer system 700 suitable for implementing an electronic device (such as a server or a terminal device shown in FIG. 1) in the embodiment of the present application.
  • an electronic device such as a server or a terminal device shown in FIG. 1
  • the electronic device shown in FIG. 7 is only an example, and should not impose any limitation on the functions and scope of use of the embodiments of the present application.
  • the computer system 700 includes a central processing unit (CPU) 701, which can be loaded into a random access memory (RAM) 703 from a program stored in a read-only memory (ROM) 702 or from a storage section 708. Instead, perform various appropriate actions and processes.
  • RAM random access memory
  • ROM read-only memory
  • various programs and data required for the operation of the system 700 are also stored.
  • the CPU 701, ROM 702, and RAM 703 are connected to each other through a bus 704.
  • An input / output (I / O) interface 705 is also connected to the bus 704.
  • the following components are connected to the I / O interface 705: an input portion 706 including a keyboard, a mouse, etc .; an output portion 707 including a liquid crystal display (LCD), etc .; and a speaker; a storage portion 708 including a hard disk, etc .; A communication section 709 of a network interface card such as a modem.
  • the communication section 709 performs communication processing via a network such as the Internet.
  • the driver 710 is also connected to the I / O interface 705 as needed.
  • a removable medium 711 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, etc., is installed on the drive 710 as needed, so that a computer program read out therefrom is installed into the storage section 708 as needed.
  • the process described above with reference to the flowchart may be implemented as a computer software program.
  • embodiments of the present disclosure include a computer program product including a computer program carried on a computer-readable medium, the computer program containing program code for performing a method shown in a flowchart.
  • the computer program may be downloaded and installed from a network through the communication section 709, and / or installed from a removable medium 711.
  • CPU central processing unit
  • Computer program code for performing the operations of the present application may be written in one or more programming languages, or combinations thereof, including programming languages such as Java, Smalltalk, C ++, and also conventional Procedural programming language—such as "C" or a similar programming language.
  • the program code can be executed entirely on the user's computer, partly on the user's computer, as an independent software package, partly on the user's computer, partly on a remote computer, or entirely on a remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (such as through an Internet service provider) Internet connection).
  • LAN local area network
  • WAN wide area network
  • Internet service provider Internet service provider
  • each block in the flowchart or block diagram may represent a module, a program segment, or a part of code, which contains one or more functions to implement a specified logical function Executable instructions.
  • the functions noted in the blocks may also occur in a different order than those marked in the drawings. For example, two successively represented boxes may actually be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending on the functions involved.
  • the units described in the embodiments of the present application may be implemented by software or hardware.
  • the described unit may also be provided in a processor, for example, it may be described as: a processor includes an obtaining unit, a first determining unit, and an identifying unit. Among them, the names of these units do not constitute a limitation on the unit itself in some cases.
  • the obtaining unit may also be described as a “unit for obtaining key point data collection of a face”.
  • the present application also provides a computer-readable medium, which may be included in the electronic device described in the foregoing embodiments; or may exist alone without being assembled into the electronic device in.
  • the computer-readable medium carries one or more programs.
  • the electronic device is configured to obtain a facial keypoint data set, where the facial keypoint data is used for characterization.
  • the position of the key points of the face in the target face image based on the key point data set of the face, determine the eye feature data used to characterize the shape of the human eye; enter the eye feature data into a pre-trained human eye size recognition model , To obtain a degree value that characterizes the size of the human eye, and an output degree value, wherein the human eye size recognition model is used to characterize the correspondence between the feature data of the human eye and the degree value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

用于输出数据的方法和装置。该方法包括：获取人脸关键点数据集合（201），其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据（202）；将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值（203），其中，人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。上述方法有效地利用了人脸关键点数据来确定人眼的大小程度，提高了对人眼的大小进行识别的准确性。

Description

用于输出数据的方法和装置
本专利申请要求于2018年8月3日提交的、申请号为201810875904.7、申请人为北京字节跳动网络技术有限公司、发明名称为“用于输出数据的方法和装置”的中国专利申请的优先权，该申请的全文以引用的方式并入本申请中。
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于输出数据的方法和装置。
背景技术
随着计算机技术的发展，目前，出现了很多图像处理类的应用。这些应用可以对拍摄的人脸图像进行变形、调色等处理。例如，一些图像处理应用可以从人的脸部图像中，识别出眼睛图像，并对眼睛图像进行放大。
发明内容
本申请实施例提出了用于输出数据的方法和装置。
第一方面，本申请实施例提供了一种用于输出数据的方法，该方法包括：获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值，其中，人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
在一些实施例中，获取人脸关键点数据集合，包括：获取目标人脸图像；将目标人脸图像输入预先训练的人脸关键点提取模型，得到人脸 关键点数据集合，其中，人脸关键点提取模型用于表征人脸图像和人脸关键点数据集合的对应关系。
在一些实施例中，基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据，包括：从人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离；基于至少两个距离值，确定至少一个距离比值作为人眼特征数据。
在一些实施例中，在输出程度值之后，该方法还包括：基于程度值，确定用于将目标人脸图像中的人眼图像进行放大的放大系数，以及输出放大系数。
在一些实施例中，人眼大小识别模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值，样本人眼特征数据是预先基于训练样本对应的人脸关键点数据集合所确定的；利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。
在一些实施例中，训练样本包括的标注程度值表征样本人眼特征数据指示的人眼的大小为大或中等或小。
第二方面，本申请实施例提供了一种用于输出数据的装置，该装置包括：获取单元，被配置成获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；第一确定单元，被配置成基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；识别单元，被配置成将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值，其中，人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
在一些实施例中，获取单元包括：获取模块，被配置成获取目标人脸图像；提取模块，被配置成将目标人脸图像输入预先训练的人脸关键点提取模型，得到人脸关键点数据集合，其中，人脸关键点提取模型用 于表征人脸图像和人脸关键点数据集合的对应关系。
在一些实施例中，第一确定单元包括：第一确定模块，被配置成从人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离；第二确定模块，被配置成基于至少两个距离值，确定至少一个距离比值作为人眼特征数据。
在一些实施例中，该装置还包括：第二确定单元，被配置成基于程度值，确定用于将目标人脸图像中的人眼图像进行放大的放大系数，以及输出放大系数。
在一些实施例中，人眼大小识别模型通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值，样本人眼特征数据是预先基于训练样本对应的人脸关键点数据集合所确定的；利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。
在一些实施例中，训练样本包括的标注程度值表征样本人眼特征数据指示的人眼的大小为大或中等或小。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于输出数据的方法和装置，通过获取人脸关键点数据集合，然后根据人脸关键点数据集合，确定人眼特征数据，在将人眼特征数据输入人眼大小识别模型，得到表征人眼大小程度的程度值，从而有效地利用了人脸关键点数据来确定人眼的大小程度， 提高了对人眼的大小进行识别的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请实施例的用于输出数据的方法的一个实施例的流程图；
图3A是根据本申请实施例的用于输出数据的方法的从人脸关键点集合中提取的人眼关键点的示例性示意图；
图3B是根据本申请实施例的用于输出数据的方法的至少两个距离值的示例性示意图；
图4是根据本申请实施例的用于输出数据的方法的一个应用场景的示意图；
图5是根据本申请实施例的用于输出数据的方法的又一个实施例的流程图；
图6是根据本申请实施例的用于输出数据的装置的一个实施例的结构示意图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于输出数据的方法或用于输出数据的装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如视频播放类应用、图像处理类应用、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有数据处理功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的图像提供支持的后台图像处理服务器。后台图像处理服务器可以对接收到的图像等数据进行处理，并将处理结果(例如表征人眼大小程度的程度值)输出。
需要说明的是，本申请实施例所提供的用于输出数据的方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，用于输出数据的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模 块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在人脸关键点数据集合不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本申请的用于输出数据的方法的一个实施例的流程200。该用于输出数据的方法，包括以下步骤：
步骤201，获取人脸关键点数据集合。
在本实施例中，用于输出数据的方法的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从本地或从远程获取人脸关键点数据集合。其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置。例如，人脸关键点数据可以包括坐标值，根据坐标值可以在目标人脸图像中确定人脸关键点的位置。人脸关键点可以为具有明显语义区分度的点，可以用于表征人脸的组成部位在人脸图像中的位置，例如人脸关键点可以为用于表征鼻子的点、用于表征眼睛的点等。上述目标人脸图像可以是预先获取的、对其进行人脸关键点识别的人脸图像。例如，目标人脸图像可以是由预设的摄像头对目标人脸(例如使用如图1所示的终端设备的用户的人脸或其他人物的人脸)进行拍摄得到的图像。
在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤获取人脸关键点数据集合：
首先，获取目标人脸图像。具体地，上述执行主体可以从本地或从远程获取目标人脸图像，目标人脸图像可以是待对其进行人脸关键点识别的图像。作为示例，上述执行主体可以与摄像头通信连接，摄像头可以对目标人脸(例如使用如图1所示的终端设备的用户的人脸或其他人物的人脸)进行拍摄，得到目标人脸图像。
需要说明的是，目标人脸图像可以是单幅图像；也可以是从目标视频中提取的图像帧。例如，目标人脸图像可以是在上述执行主体上 播放的视频包括的、当前显示的图像帧。
然后，将目标人脸图像输入预先训练的人脸关键点提取模型，得到人脸关键点数据集合。其中，人脸关键点提取模型用于表征人脸图像和人脸关键点数据集合的对应关系。具体地，人脸关键点提取模型可以为基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(Convolutional Neural Network，CNN)、主动形状模型(Active Shape Model，ASM)等)进行训练后得到的模型。需要说明的是，训练得到人脸关键点提取模型的方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤202，基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据。
在本实施例中，上述执行主体可以基于步骤201中获取的人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据。具体地，上述执行主体可以从人脸关键点数据集合中，提取部分人脸关键点数据，再基于所提取出的人脸关键点数据确定人眼特征数据。人眼特征数据可以用于表征人眼的外形特征(例如单个人眼的长度、两个眼球之间的距离等)。作为示例，人脸关键点数据集合中的每个人脸关键点数据可以具有对应的编号，上述执行主体可以按照技术人员指定的编号，从人脸关键点数据集合中提取表征表眼区域的人脸关键点数据作为人眼关键点数据。上述执行主体可以将提取的人眼关键点数据确定为人眼特征数据；或者，上述执行主体可以按照技术人员的指定，根据提取的人眼关键点数据，计算出至少两个距离值作为人眼特征数据，其中的每个距离值表征两个人眼关键点数据指示的人眼关键点之间的距离。作为示例，如图3A所示，301-310是从人脸关键点数据集合中提取的人眼关键点数据表征的人眼关键点。如图3B所示，L1是人眼关键点301与人眼关键点302之间的距离，L2是303与306之间的距离，L3是304与305之间的距离，L4是307与310之间的距离，L5是308与309之间的距离，距离L1、L2、L3、L4、L5可以作为人眼特征数据。
在本实施例的一些可选的实现方式中，上述执行主体可以按照如 下步骤确定人眼特征数据：
首先，从人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离。。具体地，上述执行主体可以根据技术人员指定的人眼关键点，确定出至少两个距离值。作为示例，再次参考图3A和图3B，上述执行主体可以计算出五个距离值，分别为L1、L2、L3、L4、L5。需要说明的是，提取的人眼关键点数据表征的人眼区域可以不仅仅包括人眼图像，还可以包括眉毛图像、额头图像等其他图像，位于人眼区域内的人脸关键点可以确定为人眼关键点。还需要说明的是，图3A和图3B所示的人眼关键点301-310和距离值L1-L5仅仅是示例性的，实践中，提取出的人眼关键点可以不限于图3A所示的301-310，相应地，距离值可以不限于图3B所示的L1-L5。
然后，基于至少两个距离值，确定至少一个距离比值作为人眼特征数据。具体地，上述执行主体可以按照技术人员的指定，对上述至少两个距离值包括的距离值进行计算，得到至少一个距离比值。作为示例，继续参考图3B，基于L1-L5，可以计算出多个距离比值，分别为：L3/L2、L4/L5、L2/L1、L3/L1、L4/L1、L5/L1。需要说明的是上述示例列举的距离比值仅仅是示例性的，实践中，所确定出的距离比值可以不限于上述列举的距离比值。通常，所得到的各个距离比值可以以向量的形式作为人眼特征数据，例如，人眼特征数据可以是向量(L3/L2，L4/L5，L2/L1，L3/L1，L4/L1，L5/L1)。
步骤203，将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值。
在本实施例中，上述执行主体可以将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，然后将所得到的程度值输出。其中，程度值可以表征人眼的大小程度。作为示例，程度值可以是大于等于零且小于等于2的数值，程度值越大，表征人眼越大，程度值越小，表征人眼越小。人眼大小识别模型可以用于表征人眼特征数据与程度值的对应关系。通常，人眼大小识别模型输出的程度值可以 是表征人眼特征数据指示的人眼是大眼的概率，例如程度值为0.8，表征人眼是大眼的概率是0.8；或者，程度值可以是基于概率值进行计算得到的数值，例如将表征人眼是大眼的概率乘以2得到程度值，即如果概率是0.5，程度值为1。
作为示例，人眼大小识别模型可以是技术人员基于对大量的人眼特征数据和程度值进行的统计而预先制定的、存储有多个人眼特征数据与程度值的对应关系的对应关系表；也可以是基于现有的用于分类的模型(例如逻辑回归(Logistic Regression)模型、支持向量机(Support Vector Machine，SVM)等)进行有监督地训练而得到的模型。
在本实施例的一些可选的实现方式中，上述执行主体或其他电子设备可以按照如下步骤训练得到人眼大小识别模型：
首先，获取训练样本集合。其中，训练样本可以包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值。样本人眼特征数据可以是预先基于训练样本对应的人脸关键点数据集合所确定的。通常，训练样本对应的人脸关键点数据集合可以是从预设的样本人脸图像中提取的人脸关键点数据集合，基于所提取的人脸关键点数据集合，训练得到人眼大小识别模型的执行主体或其他电子设备可以得到样本人眼特征数据。需要说明的是，基于人脸关键点数据集合得到样本人眼特征数据的方法可以与步骤202描述的方法相同，在此不再赘述。
然后，利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。作为示例，标注程度值可以为技术人员设置的、表征样本人眼特征数据指示的人眼的大小程度的数值。例如，标注程度值可以是0或1，其中，0表征样本人眼特征数据指示的人眼较小，1表征样本人眼特征数据指示的人眼较大。
在本实施例的一些可选的实现方式中，训练样本包括的标注程度值表征样本人眼特征数据指示的人眼的大小为大或中等或小。作为示例，标注程度值可以为0或1或2，其中，0表征样本人眼特征数据指示的 人眼较小，1表征样本人眼特征数据指示的人眼为中等大小，2表征样本人眼特征数据指示的人眼较大。训练得到的人眼大小识别模型可以输出大于等于零且小于等于二的程度值。通常，人眼大小识别模型可以得到三个概率值，分别表征输入的人眼特征数据指示的人眼的大小是大、中等、小的概率，人眼识别模型可以基于三个概率值，计算出程度值。例如，得到的三个概率值分别为P0、P1、P2，分别对应于标注程度值0、1、2，则输出的程度值可以为P0×0+P1×1+P2×2。
继续参见图4，图4是根据本实施例的用于输出数据的方法的应用场景的一个示意图。在图4的应用场景中，终端设备401首先获取人脸关键点数据集合402。人脸关键点数据是终端设备401预先从目标人脸图像403中提取的、表征人脸关键点的位置的数据，目标人脸图像403是终端设备401对使用终端设备401的用户的人脸进行拍摄得到的图像。然后，终端设备401基于人脸关键点数据集合402，确定用于表征人眼的外形特征的人眼特征数据404(例如从人脸关键点数据集合402中提取出表征人眼的位置的人眼关键点数据，再计算出人眼关键点数据指示的人眼关键点的位置之间的距离，再计算出各个距离之间的比值，得到人眼特征数据)。最后，终端设备将人眼特征数据404输入预先训练的人眼大小识别模型405，得到表征人眼大小程度的程度值406(例如“1.5”)及输出。
本申请的上述实施例提供的方法，通过获取人脸关键点数据集合，然后根据人脸关键点数据集合，确定人眼特征数据，在将人眼特征数据输入人眼大小识别模型，得到表征人眼大小程度的程度值，从而有效地利用了人脸关键点数据来确定人眼的大小程度，提高了对人眼的大小进行识别的准确性。
进一步参考图5，其示出了用于输出数据的方法的又一个实施例的流程500。该用于输出数据的方法的流程500，包括以下步骤：
步骤501，获取人脸关键点数据集合。
在本实施例中，步骤501与图2对应实施例中的步骤201基本一致，这里不再赘述。
步骤502，基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据。
在本实施例中，步骤502与图2对应实施例中的步骤202基本一致，这里不再赘述。
步骤503，将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值。
在本实施例中，步骤503与图2对应实施例中的步骤203基本一致，这里不再赘述。
步骤504，基于程度值，确定用于将目标人脸图像中的人眼图像进行放大的放大系数，以及输出放大系数。
在本实施例中，基于步骤503输出的程度值，用于输出数据的方法的执行主体(例如图1所示的服务器或终端设备)可以确定用于将目标人脸图像中的人眼图像进行放大的放大系数，以及将所确定的放大系数输出。具体地，上述执行主体可以从预设的、表征程度值和放大系数的对应关系的对应关系表中，查找输出的程度值对应的放大系数；或者，上述执行主体可以按照预设的计算公式，对输出的程度值进行计算，得到放大系数。通常，程度值越大，放大系数越小。作为示例，假设程度值的取值范围为[0,2]，相应地，放大系数的取值范围可以为[1.5,0.5]。即当程度值为0时，放大系数为1.5；当程度值为1时，放大系数为1；当程度值为2时，放大系数为0.5。上述执行主体可以以各种方式将放大系数输出。例如，上述执行主体可以将放大系数在与上述执行主体连接的显示设备显示，或者，上述执行主体可以将放大系数发送至与其通信连接的其他电子设备。
可选地，上述执行主体或其他电子设备可以基于输出的放大系数，按照现有的对人眼图像进行放大的算法，对目标人脸图像中的人眼图像进行放大。继续上述示例，当程度值为1时，表征人眼的大小为中等，对应的放大系数为1，上述执行主体可以按照预设的正常放大比例对目标人脸图像中的人眼图像进行放大；当程度值为0时，表征人眼的大小为小，对应的放大系数为1.5，上述执行主体可以按照预设的正常放大比例的1.5倍对人眼图像进行放大；当程度值为2时，表征人眼的大小为大， 对应的放大系数为0.5，上述执行主体或其他电子设备可以按照预设的正常放大比例的0.5倍对人眼图像进行放大。从而可以实现根据不同的人眼大小，对人眼图像按照不同的放大比例进行放大。
从图5中可以看出，与图2对应的实施例相比，本实施例中的用于输出数据的方法的流程500突出了基于输出的程度值确定用于将目标人脸图像中的人眼图像进行放大的放大系数的步骤，从而可以实现根据不同的人眼大小得到不同的人眼放大系数，有助于实现按照不同的人眼大小对人眼图像进行不同比例地放大。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种用于输出数据的装置的一个实施例，该装置实施例与图6所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的用于输出数据的装置600包括：获取单元601，被配置成获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；第一确定单元602，被配置成基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；识别单元603，被配置成将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值，其中，人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
在本实施例中，获取单元601可以通过有线连接方式或者无线连接方式从本地或从远程获取人脸关键点数据集合。其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置。例如，人脸关键点数据可以包括坐标值，根据坐标值可以在目标人脸图像中确定人脸关键点的位置。人脸关键点可以为具有明显语义区分度的点，可以用于表征人脸的组成部位在人脸图像中的位置，例如人脸关键点可以为用于表征鼻子的点、用于表征眼睛的点等。上述目标人脸图像可以是预先获取的、对其进行人脸关键点识别的人脸图像。例如，目标人脸图像可以是由预设的摄像头对目标人脸(例如使用如图1所示的终端设备的用户的人脸或其他人物的人脸)进行拍摄得到的图像。
在本实施例中，第一确定单元602可以基于获取单元601获取的人 脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据。具体地，上述第一确定单元602可以从人脸关键点数据集合中，提取表征人眼位置的人脸关键点数据作为人眼关键点数据。作为示例，人脸关键点数据集合中的每个人脸关键点数据可以具有对应的编号，第一确定单元602可以按照技术人员指定的编号，从人脸关键点数据集合中提取人脸关键点数据作为人眼关键点数据。人眼特征数据可以用于表征人眼的外形特征(例如单个人眼的长度、两个眼球之间的距离等)。第一确定单元602可以按照各种方式确定人眼特征数据。例如，第一确定单元602可以将提取的人眼关键点数据确定为人眼特征数据；或者，第一确定单元602可以按照技术人员的指定，根据提取的人眼关键点数据，计算出至少两个距离值作为人眼特征数据，其中的每个距离值表征两个人眼关键点数据指示的人眼关键点之间的距离。
在本实施例中，识别单元603可以将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，然后将所得到的程度值输出。其中，程度值可以表征人眼的大小程度。作为示例，程度值可以是大于等于零且小于等于2的数值，程度值越大，表征人眼越大，程度值越小，表征人眼越小。人眼大小识别模型可以用于表征人眼特征数据与程度值的对应关系。通常，人眼大小识别模型输出的程度值可以是表征人眼特征数据指示的人眼是大眼的概率，例如程度值为0.8，表征人眼是大眼的概率是0.8；或者，程度值可以是基于概率值进行计算得到的数值，例如将表征人眼是大眼的概率乘以2得到程度值，即如果概率是0.5，程度值为1。
作为示例，人眼大小识别模型可以是技术人员基于对大量的人眼特征数据和程度值进行的统计而预先制定的、存储有多个人眼特征数据与程度值的对应关系的对应关系表；也可以是基于现有的用于分类的模型(例如逻辑回归(Logistic Regression)模型、支持向量机(Support Vector Machine，SVM)等)进行有监督地训练而得到的模型。
在本实施例的一些可选的实现方式中，获取单元可以包括：获取模块(图中未示出)，被配置成获取目标人脸图像；提取模块(图中未示出)，被配置成将目标人脸图像输入预先训练的人脸关键点提取模型， 得到人脸关键点数据集合，其中，人脸关键点提取模型用于表征人脸图像和人脸关键点数据集合的对应关系。
在本实施例的一些可选的实现方式中，第一确定单元可以包括：第一确定模块(图中未示出)，被配置成从人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离；第二确定模块(图中未示出)，被配置成基于至少两个距离值，确定至少一个距离比值作为人眼特征数据。
在本实施例的一些可选的实现方式中，装置600还可以包括：第二确定单元(图中未示出)，被配置成基于程度值，确定用于将目标人脸图像中的人眼图像进行放大的放大系数，以及输出放大系数。
在本实施例的一些可选的实现方式中，人眼大小识别模型可以通过如下步骤训练得到：获取训练样本集合，其中，训练样本包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值，样本人眼特征数据是预先基于训练样本对应的人脸关键点数据集合所确定的；利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。
在本实施例的一些可选的实现方式中，训练样本包括的标注程度值可以表征样本人眼特征数据指示的人眼的大小为大或中等或小。
本申请的上述实施例提供的装置，通过获取人脸关键点数据集合，然后根据人脸关键点数据集合，确定人眼特征数据，在将人眼特征数据输入人眼大小识别模型，得到表征人眼大小程度的程度值，从而有效地利用了人脸关键点数据来确定人眼的大小程度，提高了对人眼的大小进行识别的准确性。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机系统700的结构示意 图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携 式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一确定单元和识别单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取人脸关键点数据集合的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；基于人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；将人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出程度值，其中，人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

  1. 一种用于输出数据的方法，包括：
    获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；
    基于所述人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；
    将所述人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出所述程度值，其中，所述人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
  2. 根据权利要求1所述的方法，其中，所述获取人脸关键点数据集合，包括：
    获取目标人脸图像；
    将所述目标人脸图像输入预先训练的人脸关键点提取模型，得到人脸关键点数据集合，其中，所述人脸关键点提取模型用于表征人脸图像和人脸关键点数据集合的对应关系。
  3. 根据权利要求1所述的方法，其中，所述基于所述人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据，包括：
    从所述人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于所述人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离；
    基于所述至少两个距离值，确定至少一个距离比值作为人眼特征数据。
  4. 根据权利要求1所述的方法，其中，在所述输出所述程度值之后，所述方法还包括：
    基于所述程度值，确定用于将所述目标人脸图像中的人眼图像进行 放大的放大系数，以及输出所述放大系数。
  5. 根据权利要求1-4之一所述的方法，其中，所述人眼大小识别模型通过如下步骤训练得到：
    获取训练样本集合，其中，训练样本包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值，样本人眼特征数据是预先基于训练样本对应的人脸关键点数据集合所确定的；
    利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。
  6. 根据权利要求5所述的方法，其中，训练样本包括的标注程度值表征样本人眼特征数据指示的人眼的大小为大或中等或小。
  7. 一种用于输出数据的装置，包括：
    获取单元，被配置成获取人脸关键点数据集合，其中，人脸关键点数据用于表征目标人脸图像中的人脸关键点的位置；
    第一确定单元，被配置成基于所述人脸关键点数据集合，确定用于表征人眼的外形特征的人眼特征数据；
    识别单元，被配置成将所述人眼特征数据输入预先训练的人眼大小识别模型，得到表征人眼大小程度的程度值，以及输出所述程度值，其中，所述人眼大小识别模型用于表征人眼特征数据与程度值的对应关系。
  8. 根据权利要求7所述的装置，其中，所述获取单元包括：
    获取模块，被配置成获取目标人脸图像；
    提取模块，被配置成将所述目标人脸图像输入预先训练的人脸关键点提取模型，得到人脸关键点数据集合，其中，所述人脸关键点提取模型用于表征人脸图像和人脸关键点数据集合的对应关系。
  9. 根据权利要求7所述的装置，其中，所述第一确定单元包括：
    第一确定模块，被配置成从所述人脸关键点数据集合中提取表征人眼区域的人脸关键点数据作为人眼关键点数据，以及基于所述人眼关键点数据，确定至少两个距离值，其中，距离值用于表征两个人眼关键点数据分别指示的人眼关键点的距离；
    第二确定模块，被配置成基于所述至少两个距离值，确定至少一个距离比值作为人眼特征数据。
  10. 根据权利要求7所述的装置，其中，所述装置还包括：
    第二确定单元，被配置成基于所述程度值，确定用于将所述目标人脸图像中的人眼图像进行放大的放大系数，以及输出所述放大系数。
  11. 根据权利要求7-10之一所述的装置，其中，所述人眼大小识别模型通过如下步骤训练得到：
    获取训练样本集合，其中，训练样本包括用于表征训练样本指示的人眼的外形特征的样本人眼特征数据，以及对样本人眼特征数据进行标注的、表征训练样本指示的人眼的大小程度的标注程度值，样本人眼特征数据是预先基于训练样本对应的人脸关键点数据集合所确定的；
    利用机器学习方法，将所确定的样本人眼特征数据作为输入，将与输入的样本人眼特征数据对应的标注程度值作为期望输出，训练得到人眼大小识别模型。
  12. 根据权利要求11所述的装置，其中，训练样本包括的标注程度值表征样本人眼特征数据指示的人眼的大小为大或中等或小。
  13. 一种电子设备，包括：
    一个或多个处理器；
    存储装置，其上存储有一个或多个程序，
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
  14. 一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
PCT/CN2018/116177 2018-08-03 2018-11-19 用于输出数据的方法和装置 WO2020024484A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/967,771 US11436863B2 (en) 2018-08-03 2018-11-19 Method and apparatus for outputting data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810875904.7A CN109086719A (zh) 2018-08-03 2018-08-03 用于输出数据的方法和装置
CN201810875904.7 2018-08-03

Publications (1)

Publication Number Publication Date
WO2020024484A1 true WO2020024484A1 (zh) 2020-02-06

Family

ID=64833401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/116177 WO2020024484A1 (zh) 2018-08-03 2018-11-19 用于输出数据的方法和装置

Country Status (3)

Country Link
US (1) US11436863B2 (zh)
CN (1) CN109086719A (zh)
WO (1) WO2020024484A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN112464809A (zh) * 2020-11-26 2021-03-09 北京奇艺世纪科技有限公司 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112869746A (zh) * 2020-11-10 2021-06-01 南方医科大学南方医院 一种检测提上睑肌肌力的方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931617B (zh) * 2020-07-29 2023-11-21 中国工商银行股份有限公司 基于图像处理的人眼图像识别方法、装置及自助终端
CN112733700A (zh) * 2021-01-05 2021-04-30 风变科技（深圳）有限公司 人脸关键点检测方法、装置、计算机设备和存储介质
CN113283305B (zh) * 2021-04-29 2024-03-26 百度在线网络技术（北京）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113723214B (zh) * 2021-08-06 2023-10-13 武汉光庭信息技术股份有限公司 一种人脸关键点标注方法、系统、电子设备及存储介质
CN113838189B (zh) * 2021-09-13 2024-02-02 厦门美图之家科技有限公司 一种睫毛渲染方法及装置
CN116059601B (zh) * 2023-04-06 2023-06-09 北京奥康达体育产业股份有限公司 一种基于智能传感技术的考核训练系统
CN116597427B (zh) * 2023-07-18 2023-10-20 山东科技大学 一种基于深度学习的舰船驾驶台身份识别方法
CN116993929B (zh) * 2023-09-27 2024-01-16 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质
CN117456063B (zh) * 2023-12-22 2024-04-16 四川封面传媒科技有限责任公司 基于语音的人脸驱动方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN107358151A (zh) * 2017-06-02 2017-11-17 广州视源电子科技股份有限公司 一种眼部运动检测方法和装置及活体识别方法和系统
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置
CN108229301A (zh) * 2017-11-03 2018-06-29 北京市商汤科技开发有限公司 眼睑线检测方法、装置和电子设备
CN108288023A (zh) * 2017-12-20 2018-07-17 深圳和而泰数据资源与云技术有限公司 人脸识别的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
JP6051391B2 (ja) * 2014-12-12 2016-12-27 株式会社メイクソフトウェア 写真撮影遊戯機、及び制御プログラム
CN106919913A (zh) * 2017-02-21 2017-07-04 上海蔚来汽车有限公司 基于计算机视觉的疲劳驾驶检测方法及装置
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN107358151A (zh) * 2017-06-02 2017-11-17 广州视源电子科技股份有限公司 一种眼部运动检测方法和装置及活体识别方法和系统
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置
CN108229301A (zh) * 2017-11-03 2018-06-29 北京市商汤科技开发有限公司 眼睑线检测方法、装置和电子设备
CN108288023A (zh) * 2017-12-20 2018-07-17 深圳和而泰数据资源与云技术有限公司 人脸识别的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111368685B (zh) * 2020-02-27 2023-09-29 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN112869746A (zh) * 2020-11-10 2021-06-01 南方医科大学南方医院 一种检测提上睑肌肌力的方法及装置
CN112464809A (zh) * 2020-11-26 2021-03-09 北京奇艺世纪科技有限公司 一种人脸关键点检测方法、装置、电子设备及存储介质
CN112464809B (zh) * 2020-11-26 2023-06-06 北京奇艺世纪科技有限公司 一种人脸关键点检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109086719A (zh) 2018-12-25
US20210042504A1 (en) 2021-02-11
US11436863B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
WO2020024484A1 (zh) 用于输出数据的方法和装置
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN108509915B (zh) 人脸识别模型的生成方法和装置
US11978245B2 (en) Method and apparatus for generating image
US10936919B2 (en) Method and apparatus for detecting human face
CN109726624B (zh) 身份认证方法、终端设备和计算机可读存储介质
US10691928B2 (en) Method and apparatus for facial recognition
WO2020006961A1 (zh) 用于提取图像的方法和装置
WO2020000879A1 (zh) 图像识别方法和装置
CN109902659B (zh) 用于处理人体图像的方法和装置
WO2019242222A1 (zh) 用于生成信息的方法和装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109034069B (zh) 用于生成信息的方法和装置
WO2021083069A1 (zh) 用于训练换脸模型的方法和设备
CN109993150B (zh) 用于识别年龄的方法和装置
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
JP7394809B2 (ja) ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム
WO2020000876A1 (zh) 用于生成模型的方法和装置
WO2020062493A1 (zh) 图像处理方法和装置
WO2020006964A1 (zh) 图像检测方法和装置
WO2020029466A1 (zh) 图像处理方法和装置
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN109582825B (zh) 用于生成信息的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928310

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 18.05.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18928310

Country of ref document: EP

Kind code of ref document: A1