WO2023005164A1 - 人脸关键点检测方法、装置、设备及计算机可读存储介质 - Google Patents

人脸关键点检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2023005164A1
WO2023005164A1 PCT/CN2022/072184 CN2022072184W WO2023005164A1 WO 2023005164 A1 WO2023005164 A1 WO 2023005164A1 CN 2022072184 W CN2022072184 W CN 2022072184W WO 2023005164 A1 WO2023005164 A1 WO 2023005164A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
loss value
offset
key point
gaussian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/072184
Other languages
English (en)
French (fr)
Inventor
胡魁
戴磊
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2023005164A1 publication Critical patent/WO2023005164A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present application relates to the field of face recognition, and in particular to a face key point detection method, device, equipment and computer-readable storage medium.
  • Face key point detection is a key step in the field of face recognition and analysis. It is the premise and breakthrough of other face-related problems such as automatic face recognition, expression analysis, 3D face reconstruction and 3D animation.
  • face key point detection algorithms there are two mainstream face key point detection algorithms: one is to use the fully connected layer to directly return face key points. The other is to use the Gaussian kernel to generate a heat map as a label for training. The heat map is also generated during prediction, and the key points of the face are determined according to the index of the peak value of the generated heat map.
  • the inventor realizes that based on the above two face key point detection algorithms, the accuracy of the detected face key points cannot be guaranteed. Therefore, how to improve the detection accuracy of face key points is an urgent problem to be solved.
  • Embodiments of the present application provide a face key point detection method, device, device, and computer-readable storage medium, aiming at improving the detection accuracy of human face key points.
  • the embodiment of the present application provides a face key point detection method, including:
  • sample data includes a face image, a marked first face key point, and a marked first Gaussian heat map
  • the first Gaussian heat map and the first face key point determine the first offset of the face key point, and determine the first face pose angle according to the first face key point;
  • the first Gaussian heatmap the first offset, the first face pose angle, the second Gaussian heatmap, the second offset, and the second face pose angle, determine model loss value
  • the neural network model does not converge, then update the model parameters of the neural network model, and continue to train the updated neural network model until convergence to obtain the face key point detection model;
  • the key points of the human face in the target human face image are determined.
  • the embodiment of the present application also provides a human face key point detection device, and the human face key point detection device includes:
  • An acquisition module configured to acquire sample data, wherein the sample data includes a face image, a marked first face key point, and a marked first Gaussian heat map;
  • a determining module configured to determine a first offset of a face key point according to the first Gaussian heat map and the first face key point, and determine a first person’s face according to the first face key point face posture angle;
  • the training module is used to input the preset neural network model of the human face image to obtain the second Gaussian heat map, the second offset of the key points of the human face, and the second human face pose angle;
  • the training module is further configured to use the first Gaussian heatmap, the first offset, the first face pose angle, the second Gaussian heatmap, the second offset, the The second face pose angle determines the model loss value;
  • the training module is also used to determine whether the neural network model converges according to the model loss value
  • the training module is also used to update the model parameters of the neural network model if the neural network model does not converge, and continue to train the updated neural network model until it converges to obtain a face key point detection model;
  • the key point detection module is used to obtain the target human face image to be detected, and input the target human face image into the human face key point detection model to obtain the target Gaussian heat map and the target offset of the human face key point;
  • the key point detection module is further configured to determine face key points in the target face image according to the target Gaussian heat map and the target offset.
  • the embodiment of the present application further provides a computer device, the computer device includes a processor, a memory, and a computer program stored in the memory and executable by the processor, wherein the computer program is executed by When the processor is executed, the steps of the method for detecting key points of a human face as described above are realized.
  • the embodiment of the present application also provides a computer-readable storage medium, on which a computer program is stored, wherein when the computer program is executed by a processor, the face keying as described above is realized. Steps of the point detection method.
  • the embodiment of the present application provides a face key point detection method, device, device, and computer-readable storage medium, which iterates the neural network model by combining the Gaussian heat map, the offset of the face key points, and the face pose angle Training to obtain the face key point detection model can improve the accuracy and precision of the face key point detection model, so that after the target face image to be detected is input into the face key point detection model, an accurate target Gaussian can be obtained The target offset of the heat map and face key points, and finally combine the target Gaussian heat map and target offset to determine the face key points in the target face image, which can greatly improve the detection accuracy of face key points.
  • Fig. 1 is a schematic flow chart of a method for detecting key points of a human face provided by an embodiment of the present application
  • Fig. 2 is a schematic diagram of a hierarchical structure of the neural network model provided by the embodiment of the present application;
  • Fig. 3 is a schematic diagram of the sub-step flow chart of the face key point detection method in Fig. 1;
  • FIG. 4 is a schematic diagram of a layered structure of a human face key point detection model provided in an embodiment of the present application
  • Fig. 5 is a schematic block diagram of a human face key point detection device provided by an embodiment of the present application.
  • Fig. 6 is a schematic block diagram of a submodule of the human face key point detection device in Fig. 5;
  • Fig. 7 is a schematic structural block diagram of a computer device provided by an embodiment of the present application.
  • Artificial intelligence basic technologies generally include technologies such as sensors, dedicated artificial intelligence chips, cloud computing, distributed storage, big data processing technology, operation/interaction systems, and mechatronics.
  • Artificial intelligence software technology mainly includes computer vision technology, robot technology, biometric technology, speech processing technology, natural language processing technology, and machine learning/deep learning.
  • Embodiments of the present application provide a face key point detection method, device, equipment, and computer-readable storage medium.
  • the face key point detection method can be applied to a terminal device or a server
  • the terminal device can be a mobile phone, a tablet computer, a notebook computer, a desktop computer, a personal digital assistant and a wearable device, etc.
  • the server can be an independent server or a It provides cloud services, cloud databases, cloud computing, cloud functions, cloud storage, network services, cloud communications, middleware services, domain name services, security services, content delivery network (Content Delivery Network, CDN), and big data and artificial intelligence Cloud servers for basic cloud computing services such as platforms.
  • cloud databases cloud computing, cloud functions, cloud storage, network services, cloud communications, middleware services, domain name services, security services, content delivery network (Content Delivery Network, CDN), and big data and artificial intelligence Cloud servers for basic cloud computing services such as platforms.
  • cloud computing cloud functions
  • cloud storage network services
  • cloud communications middleware services
  • middleware services domain name services
  • security services
  • FIG. 1 is a schematic flowchart of a method for detecting key points of a human face provided by an embodiment of the present application.
  • the face key point detection method may include steps S101 to S108.
  • Step S101 Obtain sample data, wherein the sample data includes a face image, a marked first face key point, and a marked first Gaussian heat map.
  • the number of key points of the first human face may be set based on actual conditions, which is not specifically limited in this embodiment.
  • the number of key points of the first human face may be 68, 96, 98, 106, 186 and so on.
  • Step S102 Determine the first offset of the key points of the face according to the first Gaussian heat map and the key points of the face, and determine the first pose angle of the face according to the key points of the face.
  • the first coordinate information of the key points of the face is obtained from the first Gaussian heat map, and the second coordinate information of the first key points of the face is obtained; the deviation between the first coordinate information and the second coordinate information is determined Shift to get the first offset of the key points of the face.
  • the first offset of the face key points includes an x-axis offset and a y-axis offset.
  • the first coordinate information of the face key point is (x i , y i )
  • the second coordinate information of the first face key point is (x gt , y gt )
  • the x-axis of the ith face key point The offset is x gt -x i
  • the y-axis offset of the i-th face key point is y gt -y i .
  • obtaining the first coordinate information of the face key point from the first Gaussian heat map may include: determining the pixel point with the largest pixel value in the first Gaussian heat map as the face key point; Obtain the pixel coordinates of the key points of the face, so as to obtain the first coordinate information of the key points of the face.
  • the method of determining the first face pose angle may be as follows: input a plurality of first face key points into a preset face pose angle detection model to obtain the first face pose angle horn.
  • the face pose angle detection model is obtained by training and iterating the neural network model based on the key points of the face and the marked face pose angle.
  • the neural network model can include a convolutional neural network model, a recurrent neural network product neural network models, etc.
  • Step S103 inputting the face image into the preset neural network model to obtain a second Gaussian heat map, a second offset of key points of the face, and a second pose angle of the face.
  • the preset neural network model includes an offset prediction subnetwork, a face attitude angle prediction subnetwork, and a Gaussian heat map generation subnetwork. It can be understood that the offset amount prediction subnetwork, the face attitude angle prediction The specific hierarchical structure of the subnetwork and the Gaussian heatmap generation subnetwork can be set based on actual conditions, which is not specifically limited in this embodiment. Among them, the neural network model can be stored in the blockchain to improve the security of the neural network model.
  • the face pose angle prediction sub-network 11 includes a first convolutional layer, a second convolutional layer, a third convolutional layer and a first fully connected layer, and the first convolutional layer and the second convolutional layer
  • the convolutional layer is connected
  • the second convolutional layer is connected to the third convolutional layer
  • the third convolutional layer is connected to the first fully connected layer
  • the offset prediction sub-network 12 includes the first convolutional layer and the second convolutional layer , the fourth convolutional layer and the second fully connected layer
  • the second convolutional layer is connected to the fourth convolutional layer
  • the fourth convolutional layer is connected to the second fully connected layer
  • the Gaussian heat map generation subnetwork 13 includes the first The convolutional layer, the second convolutional layer, and the fourth convolutional layer, that is, the offset prediction subnetwork, the face pose angle prediction subnetwork, and the Gaussian heatmap generation subnetwork can share one or more convolutional layers.
  • the method of inputting the face image into the preset neural network model to obtain the second Gaussian heat map, the second offset of the key points of the face, and the second face pose angle can be as follows: input the face image The first convolution layer performs convolution processing to obtain the first feature map; input the first feature map to the second convolution layer for convolution processing to obtain the second feature map; input the second feature map to the third convolution layer respectively Perform convolution processing with the fourth convolutional layer, output the third feature map from the third convolutional layer, output the fourth feature map and the second Gaussian heat map from the fourth convolutional layer; input the third feature map into the first full
  • the connection layer obtains the second face pose angle; the fourth feature map is input into the second fully connected layer to obtain the second offset of the key points of the face.
  • Step S104 Determine the model loss value according to the first Gaussian heatmap, the first offset, the first face pose angle, the second Gaussian heatmap, the second offset, and the second face pose angle.
  • the model's performance can be improved. Accuracy and speed of guaranteed model forward inference.
  • step S104 includes: sub-steps S1041 to sub-steps S1044.
  • Sub-step S1041 determine a first loss value according to the first face pose angle, the second face pose angle, the first offset and the second offset.
  • the first candidate loss value is determined according to the first face pose angle and the second face pose angle; the second candidate loss value is determined according to the first offset and the second offset; for the first candidate The loss value is multiplied by the second candidate loss value to obtain the first loss value.
  • the manner of determining the first candidate loss value may be: determining an attitude angle difference between the first human face attitude angle and the second human face attitude angle, wherein the attitude angle difference includes a pitch angle difference, Yaw angle difference and roll angle difference; determine the first cosine value of the pitch angle difference value, the second cosine value of the yaw angle difference value and the third cosine value of the roll angle difference value; determine the first cosine value The average cosine value of the sine value, the second cosine value and the third cosine value, and the average cosine value is subtracted from 1 to obtain the first candidate loss value.
  • the method of determining the second candidate loss value may be: determine the absolute value of the difference between the first offset and the second offset to obtain the offset difference; if the offset difference is less than 1 , then determine half of the square value of the offset difference to obtain the loss value corresponding to the key point of the face; if the offset difference is greater than or equal to 1, then calculate the difference between the offset difference and 0.5
  • the difference between the key points of the face is obtained to obtain the loss value corresponding to the key points of the face; the loss value of each key point of the face is accumulated to obtain the total loss value, and the total loss value is divided by the number of key points of the face to obtain the second candidate loss value.
  • the first loss value can be determined by the following first loss function:
  • ⁇ j is the first face pose angle, that is, ⁇ 1 is the pitch angle in the first face pose angle, ⁇ 2 is the yaw angle in the first face pose angle, and ⁇ 3 is the first face pose the roll angle in the corner, is the second face pose angle, that is, is the pitch angle in the pose angle of the second face, is the yaw angle in the second face pose angle, is the roll angle in the second face attitude angle, m is the number of key points of the face, and ⁇ i is the first offset of the key point i of the face, is the second offset of face key point i.
  • Sub-step S1042 Determine a second loss value according to the first Gaussian heat map and the second Gaussian heat map.
  • the second loss value can be determined by the following second loss function:
  • N is the total number of pixels
  • v i is the pixel value of the i-th pixel in the first Gaussian heat map
  • i-th pixel in the second Gaussian heatmap is the pixel value of the i-th pixel in the second Gaussian heatmap.
  • Sub-step S1043 Determine a third loss value according to the first face pose angle and the second face pose angle.
  • the attitude angle difference between the first face attitude angle and the second face attitude angle is determined, wherein the attitude angle difference includes a pitch angle difference, a yaw angle difference and a roll angle difference; If the absolute value of the attitude angle difference is less than 1, then one-half of the square value of the attitude angle difference is determined as the attitude angle loss value, wherein the attitude angle loss value includes the pitch angle loss value, the yaw angle loss value and Roll angle loss value; if the absolute value of the attitude angle difference is greater than or equal to 1, then subtract 0.5 from the absolute value of the attitude angle difference to obtain the attitude angle loss value; according to the pitch angle loss value, yaw angle loss value and roll A corner loss value, an average loss value is determined, and the average loss value is determined as a third loss value.
  • the third loss value can be determined by the following third loss function:
  • ⁇ j is the first face pose angle, that is, ⁇ 1 is the pitch angle in the first face pose angle, ⁇ 2 is the yaw angle in the first face pose angle, and ⁇ 3 is the first face pose the roll angle in the corner, is the second face pose angle, that is, is the pitch angle in the pose angle of the second face, is the yaw angle in the second face pose angle, is the roll angle in the attitude angle of the second face.
  • Sub-step S1044 Determine the model loss value according to the first loss value, the second loss value and the third loss value.
  • the product of the second loss value and the preset first weighting coefficient is determined to obtain the first weighted loss value; the product of the third loss value and the preset second weighting coefficient is determined to obtain the second A weighted loss value; the first loss value, the first weighted loss value and the second weighted loss value are summed to obtain a model loss value.
  • the model loss value may be determined by a target loss function, and the target loss function is determined based on the first loss function, the second function function and the third function function.
  • a weighting coefficient, and ⁇ is the second weighting coefficient.
  • Step S105 determine whether the neural network model is converged.
  • the model loss value is greater than or equal to the preset loss value, and if the model loss value is greater than or equal to the preset loss value, it is determined that the neural network model is converged, and if the model loss value is less than the preset loss value, then Determine that the neural network model has not converged.
  • the preset loss value may be set based on actual conditions, which is not specifically limited in this embodiment.
  • Step S106 if the neural network model has not converged, update the model parameters of the neural network model, and continue to train the updated neural network model until it converges to obtain a facial key point detection model.
  • Continuing to train the updated neural network model includes: repeatedly executing step S101-step S105, and the sample data obtained each time step S101 is executed is different.
  • the model parameters of the neural network model may include the first weighting coefficient, the second weighting coefficient, and parameters of each level of the neural network model.
  • Step S107 Acquire the target face image to be detected, and input the target face image into the face key point detection model to obtain the target Gaussian heat map and the target offset of the face key points.
  • the face key point detection model includes an offset prediction subnetwork and a Gaussian heatmap generation subnetwork. It can be understood that the specific hierarchical structure of the offset prediction subnetwork and the Gaussian heatmap generation subnetwork can be determined based on the actual situation. setting, which is not specifically limited in this embodiment.
  • the offset prediction sub-network 21 includes a fifth convolutional layer, a sixth convolutional layer, a seventh convolutional layer and a third fully connected layer, and the fifth convolutional layer and the sixth convolutional layer Multilayer connection, the sixth convolutional layer is connected to the seventh convolutional layer, the seventh convolutional layer is connected to the third fully connected layer, and the Gaussian heat map generation subnetwork 22 includes the fifth convolutional layer and the sixth convolutional layer and the seventh convolutional layer.
  • the method of inputting the target face image into the face key point detection model to obtain the target Gaussian heatmap and the target offset of the face key points can be as follows: input the target face image into the fifth convolutional layer for convolution The fifth feature map is obtained by product processing; the fifth feature map is input into the sixth convolutional layer for convolution processing to obtain the sixth feature map; the sixth feature map is input into the seventh convolutional layer for convolution processing to obtain the target Gaussian The heat map and the seventh feature map; the seventh feature map is input to the third fully connected layer for processing, and the target offset of the key points of the face is obtained.
  • Step S108 according to the target Gaussian heat map and the target offset, determine the key points of the face in the target face image.
  • the third coordinate information of the face key points is obtained from the target Gaussian heat map, and the downsampling rate of the face key point detection model is obtained; the third coordinate information is multiplied by the downsampling rate to obtain the face The fourth coordinate information of the key point; adding the fourth coordinate information and the target offset to obtain the target coordinate information of the key point of the face in the target face image.
  • the target offset includes an x-axis offset and a y-axis offset.
  • the face key point detection method provided in the above-mentioned embodiment, by combining the Gaussian heat map, the offset of the face key point and the face pose angle, iteratively trains the neural network model to obtain the face key point detection model, which can improve
  • the accuracy and precision of the face key point detection model make it possible to obtain accurate target Gaussian heatmaps and target offsets of face key points after inputting the target face image to be detected into the face key point detection model , and finally combine the target Gaussian heatmap and the target offset to determine the key points of the face in the target face image, which can greatly improve the detection accuracy of the key points of the face.
  • FIG. 5 is a schematic block diagram of a human face key point detection device provided by an embodiment of the present application.
  • the human face key point detection device 200 includes:
  • An acquisition module 210 configured to acquire sample data, wherein the sample data includes a face image, a marked first face key point, and a marked first Gaussian heat map;
  • the determining module 220 is configured to determine a first offset of a human face key point according to the first Gaussian heat map and the first human face key point, and determine a first face key point according to the first human face key point. Face pose angle;
  • a training module 230 configured to input the face image into a preset neural network model to obtain a second Gaussian heat map, a second offset of key points of the face, and a second face pose angle;
  • the training module 230 is further configured to use the first Gaussian heatmap, the first offset, the first face pose angle, the second Gaussian heatmap, the second offset, the Describe the second face pose angle, determine the model loss value;
  • the training module 230 is further configured to determine whether the neural network model converges according to the model loss value
  • the training module 230 is also used to update the model parameters of the neural network model if the neural network model does not converge, and continue to train the updated neural network model until it converges to obtain a human face key point detection model ;
  • the key point detection module 240 is used to obtain the target human face image to be detected, and input the target human face image into the human face key point detection model to obtain the target Gaussian heat map and the target offset of the human face key point ;
  • the key point detection module 240 is further configured to determine the key points of the face in the target face image according to the target Gaussian heat map and the target offset.
  • the determination module 220 is also used for:
  • An offset between the first coordinate information and the second coordinate information is determined to obtain a first offset of the key points of the human face.
  • the training module 230 includes:
  • the first determination sub-module 231 is configured to determine a first loss value according to the first face pose angle, the second face pose angle, the first offset, and the second offset;
  • the second determination sub-module 232 is configured to determine a second loss value according to the first Gaussian heat map and the second Gaussian heat map;
  • the third determination sub-module 233 is configured to determine a third loss value according to the first face pose angle and the second face pose angle;
  • the fourth determination sub-module 234 is configured to determine a model loss value according to the first loss value, the second loss value and the third loss value.
  • the first determining submodule 231 is also used for:
  • the first determining submodule 231 is also used for:
  • attitude angle difference Determining an attitude angle difference between the first human face attitude angle and the second human face attitude angle, wherein the attitude angle difference includes a pitch angle difference, a yaw angle difference and a roll angle difference ;
  • the fourth determining submodule 234 is also used for:
  • the key point detection module 240 is also used for:
  • the apparatus provided in the foregoing embodiments may be implemented in the form of a computer program, and the computer program may run on a computer device as shown in FIG. 7 .
  • FIG. 7 is a schematic structural block diagram of a computer device provided by an embodiment of the present application.
  • the computer device can be a server or a terminal device.
  • the computer device includes a processor, a memory, and a network interface connected through a system bus, where the memory may include a storage medium and an internal memory.
  • the storage medium may store operating systems and computer programs.
  • the computer program includes program instructions. When the program instructions are executed, the processor can be executed to perform any method for detecting key points of a human face.
  • the processor is used to provide computing and control capabilities and support the operation of the entire computer equipment.
  • This network interface is used for network communication, such as sending assigned tasks, etc.
  • Those skilled in the art can understand that the structure shown in Figure 7 is only a block diagram of a part of the structure related to the solution of this application, and does not constitute a limitation to the computer equipment on which the solution of this application is applied.
  • the specific computer equipment can be More or fewer components than shown in the figures may be included, or some components may be combined, or have a different arrangement of components.
  • the processor may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the processor is used to run a computer program stored in the memory to implement the following steps:
  • sample data includes a face image, a marked first face key point, and a marked first Gaussian heat map
  • the first Gaussian heat map and the first face key point determine the first offset of the face key point, and determine the first face pose angle according to the first face key point;
  • the first Gaussian heatmap the first offset, the first face pose angle, the second Gaussian heatmap, the second offset, the second face pose angle , to determine the model loss value
  • the neural network model does not converge, then update the model parameters of the neural network model, and continue to train the updated neural network model until convergence to obtain the face key point detection model;
  • the key points of the human face in the target human face image are determined.
  • the processor determines the first offset of the key points of the face according to the first Gaussian heat map and the first key points of the face, it is used to realize:
  • An offset between the first coordinate information and the second coordinate information is determined to obtain a first offset of the key points of the human face.
  • the processor implements the first Gaussian heat map, the first offset, the first face pose angle, the second Gaussian heat map, the second Offset, the second face pose angle, when determining the model loss value, are used to achieve:
  • a model loss value is determined according to the first loss value, the second loss value, and the third loss value.
  • the processor when the processor realizes determining the model loss value according to the first loss value, the second loss value and the third loss value, it is used to realize:
  • the processor determines the first face pose angle, the second face pose angle, the first offset, and the second offset after realizing When loss value is used to implement:
  • the processor determines the first candidate loss value according to the first face pose angle and the second face pose angle, it is used to realize:
  • attitude angle difference Determining an attitude angle difference between the first human face attitude angle and the second human face attitude angle, wherein the attitude angle difference includes a pitch angle difference, a yaw angle difference and a roll angle difference ;
  • the processor determines the key points of the face in the target face image according to the target Gaussian heat map and the target offset, it is used to:
  • the embodiment of the present application also provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, the computer program includes program instructions, and the method implemented when the program instructions are executed can refer to this Various embodiments of applicant's face key point detection method.
  • the computer-readable storage medium may be volatile or non-volatile.
  • the computer-readable storage medium may be an internal storage unit of the computer device described in the foregoing embodiments, such as a hard disk or memory of the computer device.
  • the computer-readable storage medium can also be an external storage device of the computer device, such as a plug-in hard disk equipped on the computer device, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD ) card, flash memory card (Flash Card), etc.
  • the computer-readable storage medium may mainly include a program storage area and a data storage area, wherein the program storage area may store an operating system, an application program required by at least one function, etc.; The data created using the node, etc.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with each other using cryptographic methods. Each data block contains a batch of network transaction information, which is used to verify its Validity of information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能中的人脸识别领域，提供一种人脸关键点检测方法，包括：根据第一高斯热图和第一人脸关键点确定人脸关键点的第一偏移量，并根据第一人脸关键点确定第一人脸姿态角；将人脸图像输入神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；根据第一高斯热图、第一偏移量、第一人脸姿态角、第二高斯热图、第二偏移量、第二人脸姿态角确定模型损失值；根据模型损失值，确定神经网络模型是否收敛；若未收敛，则更新模型参数，并继续对更新后的神经网络模型进行训练。该方法提高了人脸关键点的检测准确性。本申请还涉及区块链技术，上述神经网络模型和样本数据可存储在区块链中。

Description

人脸关键点检测方法、装置、设备及计算机可读存储介质
本申请要求于2021年7月29日提交中国专利局、申请号为2021108668637、发明名称为“人脸关键点检测方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人脸识别领域，尤其涉及一种人脸关键点检测方法、装置、设备及计算机可读存储介质。
背景技术
人脸关键点检测是人脸识别和分析领域中的关键一步，它是自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。目前，主流的人脸关键点检测算法有两种：一种是使用全连接层直接回归人脸关键点。另外一种是使用高斯核生成热图作为标签进行训练，预测时同样生成热图，并根据生成的热图峰值的索引，确定人脸关键点。然而，发明人意识到基于上述两种人脸关键点检测算法，无法保证检测到的人脸关键点的准确性。因此，如何提高人脸关键点的检测准确性是目前亟待解决的问题。
发明内容
本申请实施例提供一种人脸关键点检测方法、装置、设备及计算机可读存储介质，旨在提高人脸关键点的检测准确性。
第一方面，本申请实施例提供一种人脸关键点检测方法，包括：
获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
根据所述模型损失值，确定所述神经网络模型是否收敛；
若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
第二方面，本申请实施例还提供一种人脸关键点检测装置，所述人脸关键点检测装置包括：
获取模块，用于获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
确定模块，用于根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
训练模块，用于将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸 关键点的第二偏移量、第二人脸姿态角；
所述训练模块，还用于根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
所述训练模块，还用于根据所述模型损失值，确定所述神经网络模型是否收敛；
所述训练模块，还用于若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
关键点检测模块，用于获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
所述关键点检测模块，还用于根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
第三方面，本申请实施例还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的人脸关键点检测方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的人脸关键点检测方法的步骤。
本申请实施例提供一种人脸关键点检测方法、装置、设备及计算机可读存储介质，通过结合高斯热图、人脸关键点的偏移量以及人脸姿态角来对神经网络模型进行迭代训练，得到人脸关键点检测模型，可以提高人脸关键点检测模型的准确性和精度，使得在将待检测的目标人脸图像输入该人脸关键点检测模型后，可以得到准确的目标高斯热图和人脸关键点的目标偏移量，最后结合目标高斯热图和目标偏移量，确定目标人脸图像中的人脸关键点，可以极大地提高人脸关键点的检测准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人脸关键点检测方法的流程示意图；
图2是本申请实施例提供的神经网络模型的一层级结构示意图；
图3是图1中的人脸关键点检测方法的子步骤流程示意图；
图4是本申请实施例提供的人脸关键点检测模型的一层级结构示意图；
图5是本申请实施例提供的一种人脸关键点检测装置的示意性框图；
图6是图5中的人脸关键点检测装置的子模块的示意性框图；
图7是本申请实施例提供的一种计算机设备的结构示意性框图。
本申请目的的实现、功能特点及优点将结合实施例，参阅附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视 觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供一种人脸关键点检测方法、装置、设备及计算机可读存储介质。其中，该人脸关键点检测方法可应用于终端设备或服务器，该终端设备可以手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请实施例提供的一种人脸关键点检测方法的流程示意图。
如图1所示，该人脸关键点检测方法可以包括步骤S101至步骤S108。
步骤S101、获取样本数据，其中，样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图。
其中，第一人脸关键点的数量可以基于实际情况进行设置，本实施例对此不做具体限定。例如，第一人脸关键点的数量可以为68个、96个、98个、106个、186个等。
步骤S102、根据第一高斯热图和第一人脸关键点，确定人脸关键点的第一偏移量，并根据第一人脸关键点，确定第一人脸姿态角。
示例性的，从第一高斯热图中获取人脸关键点的第一坐标信息，并获取第一人脸关键点的第二坐标信息；确定第一坐标信息与第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
其中，人脸关键点的第一偏移量包括x轴偏移量和y轴偏移量。例如，人脸关键点的第一坐标信息为(x i,y i)，第一人脸关键点的第二坐标信息为(x gt,y gt)，则第i个人脸关键点的x轴偏移量为x gt-x i，第i个人脸关键点的y轴偏移量为y gt-y i。
示例性的，从第一高斯热图中获取人脸关键点的第一坐标信息可以包括：将第一高斯热图中像素值最大的像素点确定为人脸关键点；从第一高斯热图中获取人脸关键点的像素坐标，从而得到人脸关键点的第一坐标信息。
示例性的，根据第一人脸关键点，确定第一人脸姿态角的方式可以为：将多个第一人脸关键点输入预设的人脸姿态角检测模型，得到第一人脸姿态角。其中，人脸姿态角检测模型是基于人脸关键点和标注的人脸姿态角对神经网络模型进行训练迭代得到的，该神经网络模型可以包括卷积神经网络模型、循环神经网络模型、循环卷积神经网络模型等。
步骤S103、将人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角。
示例性的，预设的神经网络模型包括偏移量预测子网络、人脸姿态角预测子网络和高斯热图生成子网络，可以理解的是，偏移量预测子网络、人脸姿态角预测子网络和高斯热图生成子网络的具体层级结构可基于实际情况进行设置，本实施例对此不做具体限定。其中，神经网络模型可存储于区块链中，以提高神经网络模型的安全性。
例如，如图2所示，人脸姿态角预测子网络11包括第一卷积层、第二卷积层、第三卷积层和第一全连接层，且第一卷积层与第二卷积层连接、第二卷积层与第三卷积层连接，第三卷积层与第一全连接层连接，偏移量预测子网络12包括第一卷积层、第二卷积层、第四卷积层和第二全连接层，且第二卷积层与第四卷积层连接，第四卷积层与第二全连接层连接，高斯热图生成子网络13包括第一卷积层、第二卷积层、第四卷积层，也即偏移量预测子网络、人脸姿态角预测子网络和高斯热图生成子网络可以共用一个或多个卷积层。
示例性的，将人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角的方式可以为：将人脸图像输入第一卷积层进行卷积处理， 得到第一特征图；将第一特征图输入第二卷积层进行卷积处理，得到第二特征图；将第二特征图分别输入第三卷积层和第四卷积层进行卷积处理，由第三卷积层输出第三特征图，由第四卷积层输出第四特征图和第二高斯热图；将第三特征图输入第一全连接层，得到第二人脸姿态角；将第四特征图输入第二全连接层，得到人脸关键点的第二偏移量。
步骤S104、根据第一高斯热图、第一偏移量、第一人脸姿态角、第二高斯热图、第二偏移量、第二人脸姿态角，确定模型损失值。
通过综合考虑第一高斯热图、第一偏移量、第一人脸姿态角、第二高斯热图、第二偏移量、第二人脸姿态角来确定模型损失值，可以提高模型的精度和保证模型前向推理的速度。
在一实施例中，如图3所示，步骤S104包括：子步骤S1041至子步骤S1044。
子步骤S1041，根据第一人脸姿态角、第二人脸姿态角、第一偏移量和第二偏移量，确定第一损失值。
示例性的，根据第一人脸姿态角、第二人脸姿态角，确定第一候选损失值；根据第一偏移量和第二偏移量，确定第二候选损失值；对第一候选损失值与第二候选损失值进行乘法运算，得到第一损失值。
示例性的，确定第一候选损失值的方式可以为：确定第一人脸姿态角与第二人脸姿态角之间的姿态角差值，其中，该姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；确定俯仰角差值的第一余弦值、偏航角差值的第二余弦值和翻滚角差值的第三余弦值；确定第一余弦值、第二余弦值和第三余弦值的平均余弦值，并用1减去该平均余弦值，得到第一候选损失值。
示例性的，确定第二候选损失值的方式可以为：确定第一偏移量与第二偏移量的差值的绝对值，得到偏移量差值；若该偏移量差值小于1，则确定偏移量差值的平方值的二分之一，得到人脸关键点对应的损失值；若该偏移量差值大于或等于1，则计算该偏移量差值与0.5之间的差值，得到人脸关键点对应的损失值；累加每个人脸关键点的损失值，得到总损失值，并用该总损失值除人脸关键点数量，得到第二候选损失值。
例如，第一损失值可以通过以下第一损失函数确定：
Figure PCTCN2022072184-appb-000001
其中，θ j为第一人脸姿态角，即θ 1为第一人脸姿态角中的俯仰角，θ 2为第一人脸姿态角中的偏航角，θ 3为第一人脸姿态角中的横滚角，
Figure PCTCN2022072184-appb-000002
为第二人脸姿态角，即
Figure PCTCN2022072184-appb-000003
为第二人脸姿态角中的俯仰角，
Figure PCTCN2022072184-appb-000004
为第二人脸姿态角中的偏航角，
Figure PCTCN2022072184-appb-000005
为第二人脸姿态角中的横滚角，m为人脸关键点数量，δ i为人脸关键点i的第一偏移量，
Figure PCTCN2022072184-appb-000006
为人脸关键点i的第二偏移量。
子步骤S1042、根据第一高斯热图和第二高斯热图，确定第二损失值。
示例性的，确定第一高斯热图中的每个像素点与第二高斯热图中的对应像素点之间的像素值差值，并确定该像素值差值的平方值；累加每个像素点对应的像素值差值的平方值，得到总像素值，并统计第一高斯热图中的像素点的个数，得到总像素点个数，并用总像素值除总像素点个数，得到第二损失值。
例如，第二损失值可以通过以下第二损失函数确定：
Figure PCTCN2022072184-appb-000007
其中，N为总像素点个数，v i为第一高斯热图中的第i个像素点的像素值，
Figure PCTCN2022072184-appb-000008
为第二高斯热图中的第i个像素点的像素值。
子步骤S1043、根据第一人脸姿态角和第二人脸姿态角，确定第三损失值。
示例性的，确定第一人脸姿态角与第二人脸姿态角之间的姿态角差值，其中，该姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；若姿态角差值的绝对值小于1，则将姿态角差值的平方值的二分之一确定为姿态角损失值，其中，姿态角损失值包括俯仰角损失值、偏航角损失值和翻滚角损失值；若姿态角差值的绝对值大于或等于1，则用姿态角差值的绝对值减去0.5，得到姿态角损失值；根据俯仰角损失值、偏航角损失值和翻滚角损失值，确定平均损失值，并将该平均损失值确定为第三损失值。
例如，第三损失值可以通过以下第三损失函数确定：
Figure PCTCN2022072184-appb-000009
其中，θ j为第一人脸姿态角，即θ 1为第一人脸姿态角中的俯仰角，θ 2为第一人脸姿态角中的偏航角，θ 3为第一人脸姿态角中的横滚角，
Figure PCTCN2022072184-appb-000010
为第二人脸姿态角，即
Figure PCTCN2022072184-appb-000011
为第二人脸姿态角中的俯仰角，
Figure PCTCN2022072184-appb-000012
为第二人脸姿态角中的偏航角，
Figure PCTCN2022072184-appb-000013
为第二人脸姿态角中的横滚角。
子步骤S1044、根据第一损失值、第二损失值和第三损失值，确定模型损失值。
示例性的，确定第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；确定第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值；对第一损失值、第一加权损失值和第二加权损失值进行求和，得到模型损失值。
其中，模型损失值可以通过目标损失函数确定，且目标损失函数是基于第一损失函数、第二函数函数和第三函数函数确定的。例如目标损失函数为：L＝L 1+α*L 2+β*L 3，其中，L 1为第一损失函数，L 2为第二损失函数，L 3为第三损失函数，α为第一加权系数，β为第二加权系数。
步骤S105、根据模型损失值，确定神经网络模型是否收敛。
示例性的，确定该模型损失值是否大于或等于预设损失值，若该模型损失值大于或等于预设损失值，则确定神经网络模型收敛，若该模型损失值小于预设损失值，则确定神经网络模型未收敛。其中，预设损失值可基于实际情况进行设置，本实施例对此不做具体限定。
步骤S106、若神经网络模型未收敛，则更新神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型。
继续对更新后的神经网络模型进行训练包括：重复执行步骤S101-步骤S105，且每次执行步骤S101时所获取到的样本数据不同。其中，神经网络模型的模型参数可以包括第一加权系数、第二加权系数、神经网络模型的各层级的参数。
步骤S107、获取待检测的目标人脸图像，并将目标人脸图像输入人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量。
其中，人脸关键点检测模型包括偏移量预测子网络和高斯热图生成子网络，可以理解的是，偏移量预测子网络和高斯热图生成子网络的具体层级结构可基于实际情况进行设置，本实施例对此不做具体限定。
例如，如图4所示，偏移量预测子网络21包括第五卷积层、第六卷积层、第七卷积层和第三全连接层，且第五卷积层与第六卷积层连接、第六卷积层与第七卷积层连接，第七卷积层与第三全连接层连接，而高斯热图生成子网络22包括第五卷积层、第六卷积层和第七卷积层。
示例性的，将目标人脸图像输入人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量的方式可以为：将目标人脸图像输入第五卷积层进行卷积处理，得到第五特征图；将第五特征图输入第六卷积层进行卷积处理，得到第六特征图；将第六特征图输 入第七卷积层进行卷积处理，得到目标高斯热图和第七特征图；将第七特征图输入第三全连接层进行处理，得到人脸关键点的目标偏移量。
步骤S108、根据目标高斯热图和目标偏移量，确定目标人脸图像中的人脸关键点。
示例性的，从目标高斯热图中获取人脸关键点的第三坐标信息，并获取人脸关键点检测模型的下采样率；对第三坐标信息与下采样率进行乘法运算，得到人脸关键点的第四坐标信息；对第四坐标信息与目标偏移量进行加法运算，得到目标人脸图像中的人脸关键点的目标坐标信息。其中，目标偏移量包括x轴偏移量和y轴偏移量。
例如，人脸关键点i的第三坐标信息为(x i,y i)，人脸关键点检测模型的下采样率为s，人脸关键点i对应的目标偏移量中的x轴偏移量和y轴偏移量分别为δ xi和δ yi，则人脸关键点i的目标坐标信息为(x gt,y gt)，且x gt＝s*x i+δ xi，y gt＝s*y i+δ yi。
上述实施例提供的人脸关键点检测方法，通过结合高斯热图、人脸关键点的偏移量以及人脸姿态角来对神经网络模型进行迭代训练，得到人脸关键点检测模型，可以提高人脸关键点检测模型的准确性和精度，使得在将待检测的目标人脸图像输入该人脸关键点检测模型后，可以得到准确的目标高斯热图和人脸关键点的目标偏移量，最后结合目标高斯热图和目标偏移量，确定目标人脸图像中的人脸关键点，可以极大地提高人脸关键点的检测准确性。
请参阅图5，图5是本申请实施例提供的一种人脸关键点检测装置的示意性框图。
如图5所示，该人脸关键点检测装置200包括：
获取模块210，用于获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
确定模块220，用于根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
训练模块230，用于将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
所述训练模块230，还用于根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
所述训练模块230，还用于根据所述模型损失值，确定所述神经网络模型是否收敛；
所述训练模块230，还用于若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
关键点检测模块240，用于获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
所述关键点检测模块240，还用于根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
在一实施例中，所述确定模块220还用于：
从所述第一高斯热图中获取人脸关键点的第一坐标信息，并获取所述第一人脸关键点的第二坐标信息；
确定所述第一坐标信息与所述第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
在一实施例中，如图6所示，所述训练模块230包括：
第一确定子模块231，用于根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值；
第二确定子模块232，用于根据所述第一高斯热图和所述第二高斯热图，确定第二损失值；
第三确定子模块233，用于根据所述第一人脸姿态角和所述第二人脸姿态角，确定第三损失值；
第四确定子模块234，用于根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值。
在一实施例中，所述第一确定子模块231还用于：
根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值；
根据所述第一偏移量和所述第二偏移量，确定第二候选损失值；
对所述第一候选损失值与所述第二候选损失值进行乘法运算，得到所述第一损失值。
在一实施例中，所述第一确定子模块231还用于：
确定所述第一人脸姿态角与所述第二人脸姿态角之间的姿态角差值，其中，所述姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；
确定所述俯仰角差值的第一余弦值、所述偏航角差值的第二余弦值和翻滚角差值的第三余弦值；
确定所述第一余弦值、所述第二余弦值和所述第三余弦值的平均余弦值，并用1减去所述平均余弦值，得到第一候选损失值。
在一实施例中，所述第四确定子模块234还用于：
确定所述第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；
确定所述第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值，其中，所述模型参数包括所述第一加权系数和第二加权系数；
对所述第一损失值、所述第一加权损失值和所述第二加权损失值进行求和，得到模型损失值。
在一实施例中，所述关键点检测模块240，还用于：
从所述目标高斯热图中获取人脸关键点的第三坐标信息，并获取所述人脸关键点检测模型的下采样率；
对所述第三坐标信息与所述下采样率进行乘法运算，得到人脸关键点的第四坐标信息；
对所述第四坐标信息与所述目标偏移量进行加法运算，得到所述目标人脸图像中的人脸关键点的目标坐标信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述人脸关键点检测方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为服务器或终端设备。
如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括存储介质和内存储器。
存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种人脸关键点检测方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻 辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现以下步骤：
获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
根据所述模型损失值，确定所述神经网络模型是否收敛；
若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
在一实施例中，所述处理器在实现根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量时，用于实现：
从所述第一高斯热图中获取人脸关键点的第一坐标信息，并获取所述第一人脸关键点的第二坐标信息；
确定所述第一坐标信息与所述第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
在一实施例中，所述处理器在实现根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值时，用于实现：
根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值；
根据所述第一高斯热图和所述第二高斯热图，确定第二损失值；
根据所述第一人脸姿态角和所述第二人脸姿态角，确定第三损失值；
根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值。
在一实施例中，所述处理器在实现根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值时，用于实现：
确定所述第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；
确定所述第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值，其中，所述模型参数包括所述第一加权系数和第二加权系数；
对所述第一损失值、所述第一加权损失值和所述第二加权损失值进行求和，得到模型损失值。
在一实施例中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值时，用于实现：
根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值；
根据所述第一偏移量和所述第二偏移量，确定第二候选损失值；
对所述第一候选损失值与所述第二候选损失值进行乘法运算，得到所述第一损失值。
在一实施例中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角， 确定第一候选损失值时，用于实现：
确定所述第一人脸姿态角与所述第二人脸姿态角之间的姿态角差值，其中，所述姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；
确定所述俯仰角差值的第一余弦值、所述偏航角差值的第二余弦值和翻滚角差值的第三余弦值；
确定所述第一余弦值、所述第二余弦值和所述第三余弦值的平均余弦值，并用1减去所述平均余弦值，得到第一候选损失值。
在一实施例中，所述处理器在实现根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点时，用于实现：
从所述目标高斯热图中获取人脸关键点的第三坐标信息，并获取所述人脸关键点检测模型的下采样率；
对所述第三坐标信息与所述下采样率进行乘法运算，得到人脸关键点的第四坐标信息；
对所述第四坐标信息与所述目标偏移量进行加法运算，得到所述目标人脸图像中的人脸关键点的目标坐标信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述人脸关键点检测方法实施例中的对应过程，在此不再赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参阅本申请人脸关键点检测方法的各个实施例。
其中，所述计算机可读存储介质可以是易失性的，也可以是非易失性的。所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种人脸关键点检测方法，包括：
    获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
    根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
    将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
    根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
    根据所述模型损失值，确定所述神经网络模型是否收敛；
    若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
    获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
    根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
  2. 根据权利要求1所述的人脸关键点检测方法，其中，所述根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，包括：
    从所述第一高斯热图中获取人脸关键点的第一坐标信息，并获取所述第一人脸关键点的第二坐标信息；
    确定所述第一坐标信息与所述第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
  3. 根据权利要求1所述的人脸关键点检测方法，其中，所述根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值，包括：
    根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值；
    根据所述第一高斯热图和所述第二高斯热图，确定第二损失值；
    根据所述第一人脸姿态角和所述第二人脸姿态角，确定第三损失值；
    根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值。
  4. 根据权利要求3所述的人脸关键点检测方法，其中，所述根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值，包括：
    确定所述第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；
    确定所述第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值，其中，所述模型参数包括所述第一加权系数和第二加权系数；
    对所述第一损失值、所述第一加权损失值和所述第二加权损失值进行求和，得到模型损失值。
  5. 根据权利要求3所述的人脸关键点检测方法，其中，所述根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值，包括：
    根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值；
    根据所述第一偏移量和所述第二偏移量，确定第二候选损失值；
    对所述第一候选损失值与所述第二候选损失值进行乘法运算，得到所述第一损失值。
  6. 根据权利要求5所述的人脸关键点检测方法，其中，所述根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值，包括：
    确定所述第一人脸姿态角与所述第二人脸姿态角之间的姿态角差值，其中，所述姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；
    确定所述俯仰角差值的第一余弦值、所述偏航角差值的第二余弦值和翻滚角差值的第三余弦值；
    确定所述第一余弦值、所述第二余弦值和所述第三余弦值的平均余弦值，并用1减去所述平均余弦值，得到第一候选损失值。
  7. 根据权利要求1-5中任一项所述的人脸关键点检测方法，其中，所述根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点，包括：
    从所述目标高斯热图中获取人脸关键点的第三坐标信息，并获取所述人脸关键点检测模型的下采样率；
    对所述第三坐标信息与所述下采样率进行乘法运算，得到人脸关键点的第四坐标信息；
    对所述第四坐标信息与所述目标偏移量进行加法运算，得到所述目标人脸图像中的人脸关键点的目标坐标信息。
  8. 一种人脸关键点检测装置，其中，所述人脸关键点检测装置包括：
    获取模块，用于获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
    确定模块，用于根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
    训练模块，用于将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
    所述训练模块，还用于根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
    所述训练模块，还用于根据所述模型损失值，确定所述神经网络模型是否收敛；
    所述训练模块，还用于若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
    关键点检测模块，用于获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
    所述关键点检测模块，还用于根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
  9. 一种计算机设备，其中，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现以下步骤：
    获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
    根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
    将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
    根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
    根据所述模型损失值，确定所述神经网络模型是否收敛；
    若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
    获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
    根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
  10. 根据权利要求9所述的计算机设备，其中，所述处理器在实现根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量时，用于实现：
    从所述第一高斯热图中获取人脸关键点的第一坐标信息，并获取所述第一人脸关键点的第二坐标信息；
    确定所述第一坐标信息与所述第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
  11. 根据权利要求9所述的计算机设备，其中，所述处理器在实现根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值时，用于实现：
    根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值；
    根据所述第一高斯热图和所述第二高斯热图，确定第二损失值；
    根据所述第一人脸姿态角和所述第二人脸姿态角，确定第三损失值；
    根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值。
  12. 根据权利要求11所述的计算机设备，其中，所述处理器在实现根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值时，用于实现：
    确定所述第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；
    确定所述第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值，其中，所述模型参数包括所述第一加权系数和第二加权系数；
    对所述第一损失值、所述第一加权损失值和所述第二加权损失值进行求和，得到模型损失值。
  13. 根据权利要求11所述的计算机设备，其中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值时，用于实现：
    根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值；
    根据所述第一偏移量和所述第二偏移量，确定第二候选损失值；
    对所述第一候选损失值与所述第二候选损失值进行乘法运算，得到所述第一损失值。
  14. 根据权利要求13所述的计算机设备，其中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值时，用于实现：
    确定所述第一人脸姿态角与所述第二人脸姿态角之间的姿态角差值，其中，所述姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；
    确定所述俯仰角差值的第一余弦值、所述偏航角差值的第二余弦值和翻滚角差值的第三余弦值；
    确定所述第一余弦值、所述第二余弦值和所述第三余弦值的平均余弦值，并用1减去所述平均余弦值，得到第一候选损失值。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现以下步骤：
    获取样本数据，其中，所述样本数据包括人脸图像、标注的第一人脸关键点、标注的第一高斯热图；
    根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量，并根据所述第一人脸关键点，确定第一人脸姿态角；
    将所述人脸图像输入预设的神经网络模型，得到第二高斯热图、人脸关键点的第二偏移量、第二人脸姿态角；
    根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、 所述第二偏移量、所述第二人脸姿态角，确定模型损失值；
    根据所述模型损失值，确定所述神经网络模型是否收敛；
    若所述神经网络模型未收敛，则更新所述神经网络模型的模型参数，并继续对更新后的神经网络模型进行训练，直至收敛得到人脸关键点检测模型；
    获取待检测的目标人脸图像，并将所述目标人脸图像输入所述人脸关键点检测模型，得到目标高斯热图和人脸关键点的目标偏移量；
    根据所述目标高斯热图和所述目标偏移量，确定所述目标人脸图像中的人脸关键点。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述处理器在实现根据所述第一高斯热图和所述第一人脸关键点，确定人脸关键点的第一偏移量时，用于实现：
    从所述第一高斯热图中获取人脸关键点的第一坐标信息，并获取所述第一人脸关键点的第二坐标信息；
    确定所述第一坐标信息与所述第二坐标信息之间的偏移量，得到人脸关键点的第一偏移量。
  17. 根据权利要求15所述的计算机可读存储介质，其中，所述处理器在实现根据所述第一高斯热图、所述第一偏移量、所述第一人脸姿态角、所述第二高斯热图、所述第二偏移量、所述第二人脸姿态角，确定模型损失值时，用于实现：
    根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值；
    根据所述第一高斯热图和所述第二高斯热图，确定第二损失值；
    根据所述第一人脸姿态角和所述第二人脸姿态角，确定第三损失值；
    根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值。
  18. 根据权利要求17所述的计算机可读存储介质，其中，所述处理器在实现根据所述第一损失值、所述第二损失值和所述第三损失值，确定模型损失值时，用于实现：
    确定所述第二损失值与预设的第一加权系数之间的乘积，得到第一加权损失值；
    确定所述第三损失值与预设的第二加权系数之间的乘积，得到第二加权损失值，其中，所述模型参数包括所述第一加权系数和第二加权系数；
    对所述第一损失值、所述第一加权损失值和所述第二加权损失值进行求和，得到模型损失值。
  19. 根据权利要求17所述的计算机可读存储介质，其中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角、所述第一偏移量和所述第二偏移量，确定第一损失值时，用于实现：
    根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值；
    根据所述第一偏移量和所述第二偏移量，确定第二候选损失值；
    对所述第一候选损失值与所述第二候选损失值进行乘法运算，得到所述第一损失值。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述处理器在实现根据所述第一人脸姿态角、所述第二人脸姿态角，确定第一候选损失值时，用于实现：
    确定所述第一人脸姿态角与所述第二人脸姿态角之间的姿态角差值，其中，所述姿态角差值包括俯仰角差值、偏航角差值和翻滚角差值；
    确定所述俯仰角差值的第一余弦值、所述偏航角差值的第二余弦值和翻滚角差值的第三余弦值；
    确定所述第一余弦值、所述第二余弦值和所述第三余弦值的平均余弦值，并用1减去所述平均余弦值，得到第一候选损失值。
PCT/CN2022/072184 2021-07-29 2022-01-14 人脸关键点检测方法、装置、设备及计算机可读存储介质 Ceased WO2023005164A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110866863.7A CN113569754B (zh) 2021-07-29 2021-07-29 人脸关键点检测方法、装置、设备及计算机可读存储介质
CN202110866863.7 2021-07-29

Publications (1)

Publication Number Publication Date
WO2023005164A1 true WO2023005164A1 (zh) 2023-02-02

Family

ID=78169181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/072184 Ceased WO2023005164A1 (zh) 2021-07-29 2022-01-14 人脸关键点检测方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113569754B (zh)
WO (1) WO2023005164A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152862A (zh) * 2023-02-28 2023-05-23 济南博观智能科技有限公司 一种提取图像特征点的方法、装置、设备和介质
CN120196215A (zh) * 2025-05-23 2025-06-24 南京城市职业学院(南京开放大学) 一种虚拟数字人多媒体教学交互方法、系统及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569754B (zh) * 2021-07-29 2024-05-07 平安科技（深圳）有限公司 人脸关键点检测方法、装置、设备及计算机可读存储介质
CN114399803A (zh) * 2021-11-30 2022-04-26 际络科技(上海)有限公司 人脸关键点检测方法及装置
CN114565955B (zh) * 2021-12-27 2024-09-27 深圳云天励飞技术股份有限公司 人脸属性识别模型训练、社区人员监控方法、装置、设备
CN116030517A (zh) * 2022-12-26 2023-04-28 浙江大华技术股份有限公司 模型训练方法、人脸识别方法、装置以及计算机存储介质
CN116012913A (zh) * 2022-12-29 2023-04-25 杭州网易智企科技有限公司 模型训练方法、人脸关键点检测方法、介质及装置
CN116311447A (zh) * 2023-03-06 2023-06-23 北京基骨智能科技有限公司 人像标志点检测模型的构建方法、装置及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860300A (zh) * 2020-07-17 2020-10-30 广州视源电子科技股份有限公司 一种关键点检测方法、装置、终端设备及存储介质
CN112580515A (zh) * 2020-12-21 2021-03-30 浙江大学 一种基于高斯热图回归的轻量级人脸关键点检测方法
CN112801043A (zh) * 2021-03-11 2021-05-14 河北工业大学 基于深度学习的实时视频人脸关键点检测方法
CN113569754A (zh) * 2021-07-29 2021-10-29 平安科技（深圳）有限公司 人脸关键点检测方法、装置、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229488B (zh) * 2016-12-27 2021-01-01 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860300A (zh) * 2020-07-17 2020-10-30 广州视源电子科技股份有限公司 一种关键点检测方法、装置、终端设备及存储介质
CN112580515A (zh) * 2020-12-21 2021-03-30 浙江大学 一种基于高斯热图回归的轻量级人脸关键点检测方法
CN112801043A (zh) * 2021-03-11 2021-05-14 河北工业大学 基于深度学习的实时视频人脸关键点检测方法
CN113569754A (zh) * 2021-07-29 2021-10-29 平安科技（深圳）有限公司 人脸关键点检测方法、装置、设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152862A (zh) * 2023-02-28 2023-05-23 济南博观智能科技有限公司 一种提取图像特征点的方法、装置、设备和介质
CN120196215A (zh) * 2025-05-23 2025-06-24 南京城市职业学院(南京开放大学) 一种虚拟数字人多媒体教学交互方法、系统及存储介质

Also Published As

Publication number Publication date
CN113569754A (zh) 2021-10-29
CN113569754B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
WO2023005164A1 (zh) 人脸关键点检测方法、装置、设备及计算机可读存储介质
CN111967467B (zh) 图像目标检测方法、装置、电子设备和计算机可读介质
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111311485B (zh) 图像处理方法及相关装置
CN113297973B (zh) 关键点检测方法、装置、设备和计算机可读介质
CN115423691A (zh) 图像矫正模型的训练方法、图像矫正方法、设备及存储介质
CN113763249A (zh) 文本图像超分辨率重建方法及其相关设备
CN113673439A (zh) 基于人工智能的宠物狗识别方法、装置、设备及存储介质
CN113239996A (zh) 基于目标检测的主动学习方法、装置、设备及存储介质
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
WO2024021504A1 (zh) 人脸识别模型训练方法、识别方法、装置、设备及介质
CN116311460B (zh) 图像生成方法、装置、设备及存储介质
CN114266948A (zh) 图像标志点识别模型训练方法和装置
CN114882024B (zh) 目标对象的缺陷检测方法、装置、电子设备以及存储介质
CN112949576B (zh) 姿态估计方法、装置、设备及存储介质
CN117830701B (zh) 基于注意力机制的多尺度特征融合星图识别方法和装置
CN119339416B (zh) 一种人脸关键点定位方法、装置、电子设备及存储介质
CN118365693A (zh) 目标对象尺寸检测方法、装置、设备及存储介质
CN113657321B (zh) 基于人工智能的狗脸关键点检测方法、装置、设备及介质
CN117152223B (zh) 深度图像生成方法、系统、电子设备及可读存储介质
CN113643348B (zh) 一种人脸属性分析方法及装置
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质
CN116343216A (zh) 图像矫正模型的获取方法、处理方法、装置、设备与介质
CN114399495A (zh) 图像清晰度的计算方法、装置、设备及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22847785

Country of ref document: EP

Kind code of ref document: A1