WO2019033573A1 - 面部情绪识别方法、装置及存储介质 - Google Patents

面部情绪识别方法、装置及存储介质 Download PDF

Info

Publication number
WO2019033573A1
WO2019033573A1 PCT/CN2017/108753 CN2017108753W WO2019033573A1 WO 2019033573 A1 WO2019033573 A1 WO 2019033573A1 CN 2017108753 W CN2017108753 W CN 2017108753W WO 2019033573 A1 WO2019033573 A1 WO 2019033573A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
classification model
probability
real
image
Prior art date
Application number
PCT/CN2017/108753
Other languages
English (en)
French (fr)
Inventor
陈林
张国辉
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019033573A1 publication Critical patent/WO2019033573A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present application relates to the field of computer vision processing technologies, and in particular, to a facial emotion recognition method, apparatus, and computer readable storage medium.
  • facial expression is an important carrier of human communication and an important way of non-verbal communication. It can not only express human emotional state, cognitive activity and personality characteristics, but also its rich human behavior information and human Other factors such as emotional state, mental state, and health status are closely related. Face emotion recognition is an important part of human-computer interaction and emotion calculation research, involving psychology, sociology, anthropology, life sciences, cognitive science, computer science and other research fields. It is very intelligent and intelligent for human-computer interaction. significance.
  • facial emotion recognition is generally done by collecting a large number of emotional samples, sorting the samples, classifying them into several categories, and training the emotion recognition model for emotion recognition, but the method is recognized in a single way, however, the single Emotion recognition method can not achieve accurate recognition of facial emotions, and the single method has limited data acquired in emotion recognition, and the judgment mechanism is single. Therefore, there are problems such as low accuracy of recognition, large error and being easily affected by external factors.
  • the present invention provides a facial emotion recognition method, device and computer readable storage medium, the main purpose of which is to calculate the motion information of the lips in the real-time facial image according to the coordinates of the lip feature points, and realize the analysis of the lip region and the action on the lips. Capture in real time.
  • the present application provides an electronic device, including: a memory, a processor, and an imaging device, wherein the memory includes a facial emotion recognition program, and the facial emotion recognition program is implemented by the processor to implement the following step:
  • a real-time facial image acquisition step acquiring a real-time image captured by the camera device, and extracting a real-time facial image from the real-time image by using a face recognition algorithm;
  • the emotion recognition step inputting the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, and obtaining a first probability and a second probability of each emotion;
  • the emotion judgment step determining the emotion in the real-time facial image according to the emotion and probability recognized by the first emotion classification model and the second emotion classification model.
  • the training steps of the first emotion classification model and the second emotion classification model include:
  • Feature point extraction step establishing a face sample library, marking t facial feature points in each face sample image;
  • Feature vector calculation step dividing the coordinates of each facial feature point and the width and height of the normalized face region in the face sample image to obtain a feature vector of the face sample image;
  • a first model training step using the face sample image and its feature vector to perform learning training on the support vector machine classifier to obtain a first emotion classification model
  • Emotional label allocation step assigning an emotion label to each face sample image, and classifying the face sample image in the face sample library according to the emotion label;
  • the second model training step learning and training the convolutional neural network by using the classified face sample image to obtain a second emotion classification model.
  • the emotional judgment step includes:
  • the step of determining the emotion further includes:
  • the first emotion classification model and the second emotion classification model identify the same one or more emotions, calculating a first probability of each emotion and a mean value of the second probability, in the mean of the first probability and the second probability
  • the emotion corresponding to the larger value is taken as the emotion recognized from the real-time image; or
  • the emotion corresponding to the larger one of the first probability and the second probability is used as the emotion recognized from the real-time image.
  • the present application further provides a facial emotion recognition method, the method comprising:
  • a real-time facial image acquisition step acquiring a real-time image captured by the camera device, and extracting a real-time facial image from the real-time image by using a face recognition algorithm;
  • the emotion recognition step inputting the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, and obtaining a first probability and a second probability of each emotion;
  • the emotion judgment step determining the emotion in the real-time facial image according to the emotion and probability recognized by the first emotion classification model and the second emotion classification model.
  • the training steps of the first emotion classification model and the second emotion classification model include:
  • Feature point extraction step establishing a face sample library, marking t facial feature points in each face sample image;
  • Feature vector calculation step dividing the coordinates of each facial feature point and the width and height of the normalized face region in the face sample image to obtain a feature vector of the face sample image;
  • a first model training step using the face sample image and its feature vector to perform learning training on the support vector machine classifier to obtain a first emotion classification model
  • Emotional label allocation step assigning an emotion label to each face sample image, and classifying the face sample image in the face sample library according to the emotion label;
  • the second model training step learning and training the convolutional neural network by using the classified face sample image to obtain a second emotion classification model.
  • the emotional judgment step includes:
  • the step of determining the emotion further includes:
  • the first emotion classification model and the second emotion classification model identify the same one or more emotions, calculating a first probability of each emotion and a mean value of the second probability, in the mean of the first probability and the second probability
  • the emotion corresponding to the larger value is taken as the emotion recognized from the real-time image; or
  • the emotion corresponding to the larger one of the first probability and the second probability is used as the emotion recognized from the real-time image.
  • the present application further provides a computer readable storage medium including a facial emotion recognition program, when the facial emotion recognition program is executed by a processor, implementing the above Any step in the facial emotion recognition method.
  • the facial emotion recognition method, the electronic device and the computer readable storage medium provided by the present application respectively obtain the first probability and the second probability of each emotion by inputting the real-time facial image into the first emotion classification model and the second emotion classification model. Combining the results of the two emotion classification models, the emotions in the current facial image are judged, and the accuracy of facial emotion recognition is improved.
  • FIG. 1 is a schematic diagram of a preferred embodiment of an electronic device of the present application.
  • FIG. 2 is a block diagram of a facial emotion recognition program of FIG. 1;
  • FIG. 3 is a flowchart of a first embodiment of a facial emotion recognition method according to the present application.
  • step S30 is a detailed flowchart of step S30 in the first embodiment of the facial emotion recognition method of the present application.
  • FIG. 5 is a detailed flowchart of step S30 in the second embodiment of the facial emotion recognition method of the present application.
  • the application provides an electronic device 1 .
  • FIG. 1 it is a schematic diagram of a preferred embodiment of the electronic device 1 of the present application.
  • the electronic device 1 may be a terminal device having a computing function, such as a server, a smart phone, a tablet computer, a portable computer, or a desktop computer.
  • a computing function such as a server, a smart phone, a tablet computer, a portable computer, or a desktop computer.
  • the electronic device 1 includes a processor 12, a memory 11, an imaging device 13, a network interface 14, and a communication bus 15.
  • the camera device 13 is installed in a specific place, such as an office place and a monitoring area, and real-time images are taken in real time for the target entering the specific place, and the captured real-time image is transmitted to the processor 12 through the network.
  • Network interface 14 may optionally include a standard wired interface, a wireless interface (such as a WI-FI interface).
  • Communication bus 15 is used to implement connection communication between these components.
  • the memory 11 includes at least one type of readable storage medium.
  • the at least one type of readable storage medium may be a non-volatile storage medium such as a flash memory, a hard disk, a multimedia card, a card type memory, or the like.
  • the readable storage medium may be an internal storage unit of the electronic device 1, such as a hard disk of the electronic device 1.
  • the readable storage medium may also be an external memory of the electronic device 1, such as a plug-in hard disk equipped on the electronic device 1, a smart memory card (SMC), Secure Digital (SD) card, Flash Card, etc.
  • SMC smart memory card
  • SD Secure Digital
  • the readable storage medium of the memory 11 is generally used to store the facial emotion recognition program 10 installed on the electronic device 1, the face image sample library, and a pre-trained emotion classification model.
  • the memory 11 can also be used to temporarily store data that has been output or is about to be output.
  • the processor 12 in some embodiments, may be a Central Processing Unit (CPU), microprocessor or other data processing chip for running program code or processing data stored in the memory 11, such as performing facial emotion recognition. Program 10 and so on.
  • CPU Central Processing Unit
  • microprocessor or other data processing chip for running program code or processing data stored in the memory 11, such as performing facial emotion recognition.
  • Program 10 and so on.
  • Figure 1 shows only the electronic device 1 with components 11-15, but it should be understood that not all illustrated components may be implemented, and more or fewer components may be implemented instead.
  • the electronic device 1 may further include a user interface
  • the user interface may include an input unit such as a keyboard, a voice input device such as a microphone, a device with a voice recognition function, a voice output device such as an audio, a headphone, and the like.
  • the user interface may also include a standard wired interface and a wireless interface.
  • the electronic device 1 may further include a display, which may also be appropriately referred to as a display screen or a display unit.
  • a display may also be appropriately referred to as a display screen or a display unit.
  • it may be an LED display, a liquid crystal display, a touch liquid crystal display, and an Organic Light-Emitting Diode (OLED) touch sensor.
  • the display is used to display information processed in the electronic device 1 and a user interface for displaying visualizations.
  • the electronic device 1 further comprises a touch sensor.
  • the area provided by the touch sensor for the user to perform a touch operation is referred to as a touch area.
  • the touch sensor described herein may be a resistive touch sensor, a capacitive touch sensor, or the like.
  • the touch sensor not only includes Including touch sensors can also include proximity touch sensors and the like.
  • the touch sensor may be a single sensor or a plurality of sensors arranged, for example, in an array.
  • the area of the display of the electronic device 1 may be the same as or different from the area of the touch sensor.
  • a display is stacked with the touch sensor to form a touch display. The device detects a user-triggered touch operation based on a touch screen display.
  • the electronic device 1 may further include a radio frequency (RF) circuit, a sensor, an audio circuit, and the like, and details are not described herein.
  • RF radio frequency
  • an operating system and a facial emotion recognition program 10 may be included in the memory 11 as a computer storage medium; when the processor 12 executes the facial emotion recognition program 10 stored in the memory 11, the following is realized as follows step:
  • the real-time facial image acquisition step acquiring a real-time image captured by the imaging device 13, and extracting a real-time facial image from the real-time image using a face recognition algorithm.
  • the camera 13 captures a real-time image
  • the camera 13 transmits the real-time image to the processor 12.
  • the processor 12 receives the real-time image, the image is first acquired to create a grayscale image of the same size.
  • the face recognition algorithm for extracting the real-time facial image from the real-time image may also be: a geometric feature-based method, a local feature analysis method, a feature face method, an elastic model-based method, a neural network method, and the like.
  • the emotion recognition step inputting the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, and obtaining a first probability and a second probability of each emotion.
  • the first emotion classification model and the second emotion classification model are obtained by the following steps:
  • SVM Support Vector Machine
  • the convolutional neural network (CNN) is trained by using the classified face sample image to obtain a second emotion classification model.
  • each face sample image is Collecting n face images, normalizing the face regions in each face image to form a face sample library, and manually marking t facial feature points in each face sample image, the facial feature points including : Positional feature points of the outline of the eyes, eyebrows, nose, mouth, and face.
  • the normalized face area in each face image is an a*b rectangle with a width of a and a height of b.
  • the coordinates of each facial feature point in the face sample image are (x, y). Divide x to a, divide y The dividing operation is performed on b to obtain the feature vector of the face sample image.
  • each face sample image is assigned a corresponding emotion tag.
  • the SVM is learned and trained by using n face sample images in the sample library and the obtained n feature vectors to obtain a first emotion classification model.
  • the CNN is trained by using the face sample image classified according to the emotion type to obtain a second emotion classification model.
  • the result of the output of the first emotion model and the result of the output of the second model are only one type, the emotion category is consistent, and the probability is not necessarily the same.
  • the result of the first emotion classification model output is: the probability value of the facial emotion being "joy" in the real-time facial image A is 0.62;
  • the result output by the second emotion classification model is: the facial emotion in the real-time facial image A is " The probability value of "joy” is 0.68;
  • the result of the first emotion model output and the emotion category in the result output by the second model are two or more, the emotion category is consistent, and the probability is not necessarily the same.
  • the result of the first emotion classification model output is: the first probability values of facial emotions in the real-time facial image A are “anger” and “sadness” are 0.51 and 0.49, respectively; and the output of the second emotion classification model is: real-time The second probability values of facial emotions in the facial image A as "anger” and “sadness” are 0.41 and 0.59, respectively;
  • the result of the first emotion model output is different from the emotion category in the result of the second model output, and the probabilities are not necessarily the same.
  • the result of the first emotion classification model output is: the probability value of the facial emotion being "joy" in the real-time facial image A is 0.65
  • the result of the second emotion classification model output is: the facial emotion in the real-time facial image A is " The probability of anger is 0.61
  • the probability value of the facial emotion being "joy" in the real-time facial image A is 0.65
  • the result of the second emotion classification model output is: the facial emotion in the real-time facial image A is " The probability of anger is 0.61;
  • the fourth case the result of the first emotional model output and the emotional category of the second model output have two or more types, and the emotion categories are different, and the probabilities are not necessarily the same.
  • the result of the first emotion classification model output is: the first probability values of facial emotions in the real-time facial image A are “anger” and “sadness” are 0.51 and 0.49, respectively; and the output of the second emotion classification model is: real-time The second probability values of facial emotions in the facial image A as "joy” and “surprise” are 0.45 and 0.55, respectively.
  • the emotion judgment step determining the emotion in the real-time facial image according to the emotion and probability recognized by the first emotion classification model and the second emotion classification model.
  • the emotional judgment step includes:
  • the first emotion classification model and the second emotion classification model identify the same one or more emotions, calculating a first probability of each emotion and a mean value of the second probability, in the mean of the first probability and the second probability
  • the emotion corresponding to the larger value is taken as the emotion recognized from the real-time image; or
  • the emotion corresponding to the larger one of the first probability and the second probability is used as the emotion recognized from the real-time image.
  • the results of the two emotion classification models output the same one or more emotions, then the first probability and the second probability of each emotion are averaged:
  • the first case emotional “joy”: averages the first probability 0.62 and the second probability 0.68, and obtains an average probability of 0.65, and finally uses “joy” as the facial emotion in the current real-time facial image A.
  • the results of the two emotion classification models output are different one or more emotions, then the first probability and the second probability of each emotion take a larger value:
  • the probability value of emotion as "joy” is 0.65
  • the probability value of emotion as “anger” is 0.61
  • "joy” is taken as the facial emotion in the current real-time facial image A.
  • the fourth situation the first probability values of emotions for "anger” and “sadness” are 0.51 and 0.49 respectively, and the second probability values for emotions of "joy” and “surprise” are 0.45 and 0.55 respectively, and will eventually be “surprised”.
  • the facial emotion in the current real-time face image A As the facial emotion in the current real-time face image A.
  • the emotional judgment step includes:
  • the first emotion classification model and the second emotion classification model identify the same one or more emotions, the first probability and the second probability of each emotion are averaged, and the larger of the average values is taken;
  • first emotion classification model and the second emotion classification model identify different one or more emotions, take a larger value of the first probability and the second probability of each emotion;
  • the emotion corresponding to the larger value is identified as being from the real-time image to the emotion.
  • the average probability of emotional "anger” and “sadness” is 0.46, 0.54, respectively, and the larger of the average probability is 0.54, 0.54 ⁇ 0.55, then it is considered that the facial emotion fails from the current real-time facial image A;
  • the third case the first probability of emotional "joy”, “anger”, the larger value of the second probability is 0.65, 0.65>0.6, and "joy" is used as the facial emotion in the current real-time facial image A;
  • the emotion determining step further includes prompting facial emotions when a larger one of the first probability and the second probability and a larger one of the first probability and the second probability are smaller than a preset threshold
  • the recognition fails and returns to the real-time facial image acquisition step.
  • the larger of the first probability of "anger” and “sadness” and the mean of the second probability (0.54) is smaller than the first preset threshold (0.55).
  • the emotions “anger” and “sadness” The first probability of the "joy”, “surprise” and the second probability (0.55) are smaller than the second preset threshold (0.6), which indicates that the current real-time facial image A cannot be recognized.
  • the facial emotion pops up a prompt box on the display screen of the electronic device 1, indicating that the emotion type cannot be recognized from the real-time facial image A, and the flow returns to the real-time facial image acquisition step, and the subsequent steps are performed.
  • the electronic device 1 of the embodiment extracts a real-time facial image from a real-time image, and inputs the real-time facial image into a first emotional classification model and a second emotional classification model to obtain a first probability and a second of each emotion respectively. Probability, combined with the results of the two emotion classification models, determines the emotions in the current facial image and improves the accuracy of facial emotion recognition.
  • facial emotion recognition program 10 may also be partitioned into one or more modules, one or more modules being stored in memory 11 and executed by processor 12 to complete the application.
  • a module as referred to in this application refers to a series of computer program instructions that are capable of performing a particular function.
  • FIG. 2 it is a block diagram of the facial emotion recognition program 10 of FIG.
  • the facial emotion recognition program 10 can be divided into: an acquisition module 110, an identification module 120, and a determination module 130.
  • the functions or operational steps implemented by the modules 110-130 are similar to the above, and are not described in detail herein, by way of example, for example:
  • the acquiring module 110 is configured to acquire a real-time image captured by the camera device 13 and extract a real-time face image from the real-time image by using a face recognition algorithm;
  • the identification module 120 is configured to input the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, to obtain a first probability and a second probability of each emotion;
  • the determining module 130 is configured to determine an emotion in the real-time facial image according to the emotion and probability recognized by the first emotion classification model and the second emotion classification model.
  • the present application also provides a facial emotion recognition method.
  • FIG. 3 it is a flowchart of the first embodiment of the facial emotion recognition method of the present application.
  • the method can be performed by a device that can be implemented by software and/or hardware.
  • the facial emotion recognition method includes: step S10 - step S30.
  • Step S10 Acquire a real-time image captured by the camera device, and extract a real-time face image from the real-time image by using a face recognition algorithm.
  • the camera captures a real-time image
  • the camera sends the real-time image to the processor.
  • the processor receives the real-time image
  • the image is first acquired to create a grayscale image of the same size;
  • the color image is converted into a grayscale image, and a memory space is created at the same time;
  • the grayscale image histogram is equalized, the amount of grayscale image information is reduced, the detection speed is accelerated, and then the face image training library is loaded to detect the face in the image.
  • return an object containing face information obtain the data of the location of the face, and record the number; finally obtain the area of the avatar and save it, thus completing a real-time facial image extraction process.
  • the face recognition algorithm for extracting a real-time facial image from the real-time image may also be: Geometric feature based methods, local feature analysis methods, feature face methods, elastic model based methods, neural network methods, and the like.
  • Step S20 input the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, and obtain a first probability and a second probability of each emotion.
  • the first emotion classification model and the second emotion classification model are obtained by the following steps:
  • the CNN is trained by using the classified face sample image to obtain a second emotion classification model.
  • each face sample image is assigned a corresponding emotion tag.
  • the SVM is learned and trained by using n face sample images in the sample library and the obtained n feature vectors to obtain a first emotion classification model.
  • the CNN is trained by using the face sample image classified according to the emotion type to obtain a second emotion classification model.
  • the result of the output of the first emotion model and the result of the output of the second model are only one type, the emotion category is consistent, and the probability is not necessarily the same.
  • the result of the first emotion classification model output is: the probability value of the facial emotion being "joy" in the real-time facial image A is 0.62;
  • the result output by the second emotion classification model is: the facial emotion in the real-time facial image A is " The probability value of "joy” is 0.68;
  • the result of the first emotion model output and the emotion category in the result output by the second model are two or more, the emotion category is consistent, and the probability is not necessarily the same.
  • the result of the first emotion classification model output is: the first probability values of facial emotions in the real-time facial image A are “anger” and “sadness” are 0.51 and 0.49, respectively; and the output of the second emotion classification model is: real-time The second probability values of facial emotions in the facial image A as "anger” and “sadness” are 0.41 and 0.59, respectively;
  • the result of the first emotion model output is different from the emotion category in the result of the second model output, and the probabilities are not necessarily the same.
  • the result of the first emotion classification model output is: the probability value of the facial emotion being "joy" in the real-time facial image A is 0.65; the output of the second emotion classification model The result is: the probability value of facial emotion in the real-time facial image A is "anger" is 0.61;
  • the fourth case the result of the first emotional model output and the emotional category of the second model output have two or more types, and the emotion categories are different, and the probabilities are not necessarily the same.
  • the result of the first emotion classification model output is: the first probability values of facial emotions in the real-time facial image A are “anger” and “sadness” are 0.51 and 0.49, respectively; and the output of the second emotion classification model is: real-time The second probability values of facial emotions in the facial image A as "joy” and “surprise” are 0.45 and 0.55, respectively.
  • Step S30 determining emotions in the real-time facial image according to the emotions and probabilities recognized by the first emotion classification model and the second emotion classification model.
  • step S30 includes:
  • Step S31 determining whether the one or more emotions identified by the first emotion classification model and the second emotion classification model are the same;
  • Step S32 when the first emotion classification model and the second emotion classification model identify the same one or more emotions, calculate the first probability of each emotion and the mean value of the second probability, with the first probability and the second probability.
  • Step S33 when the first emotion classification model and the second emotion classification model identify different one or more emotions, the emotion corresponding to the larger one of the first probability and the second probability is used as the recognition from the real-time image.
  • the results of the two emotion classification models output the same one or more emotions, then the first probability and the second probability of each emotion are averaged:
  • the first case emotional “joy”: averages the first probability 0.62 and the second probability 0.68, and obtains an average probability of 0.65, and finally uses “joy” as the facial emotion in the current real-time facial image A.
  • the results of the two emotion classification models output are different one or more emotions, then the first probability and the second probability of each emotion take a larger value:
  • the probability value of emotion as "joy” is 0.65
  • the probability value of emotion as “anger” is 0.61
  • "joy” is taken as the facial emotion in the current real-time facial image A.
  • the fourth situation the first probability values of emotions for "anger” and “sadness” are 0.51 and 0.49 respectively, and the second probability values for emotions of "joy” and “surprise” are 0.45 and 0.55 respectively, and will eventually be “surprised”.
  • the facial emotion in the current real-time face image A As the facial emotion in the current real-time face image A.
  • the facial emotion recognition method proposed in this embodiment extracts a real-time facial image from a real-time image, and inputs the real-time facial image into a first emotional classification model and a second emotional classification model to obtain a first probability and a first
  • the two probabilities combined with the results of the two emotion classification models, determine the emotions in the current facial image and improve the accuracy of facial emotion recognition.
  • a second embodiment of the facial emotion recognition method is proposed based on the first embodiment.
  • the method includes: step S10 - step S30.
  • the steps S10 and S20 are substantially the same as those in the first embodiment, and are not described herein again.
  • Step S30 determining emotions in the real-time facial image according to the emotions and probabilities recognized by the first emotion classification model and the second emotion classification model.
  • step S30 includes:
  • Step S31 determining whether the one or more emotions identified by the first emotion classification model and the second emotion classification model are the same;
  • Step S32 when the first emotion classification model and the second emotion classification model identify the same one or more emotions, the first probability and the second probability of each emotion are averaged, and the larger of the average values is obtained. ;
  • Step S33 determining whether a larger one of the first probability and the second probability is greater than a first preset threshold
  • Step S34 when a larger one of the average values of the first probability and the second probability is greater than the first preset threshold, determining an emotion corresponding to the larger value in the mean as the emotion recognized from the real-time image; or
  • Step S35 when the first emotion classification model and the second emotion classification model identify different one or more emotions, take a larger value of the first probability and the second probability of each emotion;
  • Step S36 determining whether a larger value of each of the first probability and the second probability of each emotion is greater than a second preset threshold
  • step S37 when the larger of the first probability and the second probability is greater than the second preset threshold, the emotion corresponding to the larger value is recognized as the emotion from the real-time image.
  • the average probability of emotional "anger” and “sadness” is 0.46, 0.54, respectively, and the larger of the average probability is 0.54, 0.54 ⁇ 0.55, then it is considered that the facial emotion fails from the current real-time facial image A;
  • the third case the first probability of emotional "joy”, “anger”, the larger value of the second probability is 0.65, 0.65>0.6, and "joy" is used as the facial emotion in the current real-time facial image A;
  • the step S30 further includes a step S38, when the greater value of the average of the first probability and the second probability, and the larger of the first probability and the second probability being less than a preset threshold, prompting facial emotion recognition Failed and returned to the real-time facial image acquisition step.
  • the larger of the first probability of the emotions “anger”, “sadness” and the mean of the second probability (0.54) is smaller than the first preset threshold (0.55)
  • the first probability of the emotions “anger”, “sadness”, “joy”, “surprise” and the larger of the second probability (0.55) are smaller than the second preset threshold (0.6), which indicates that the current real time cannot be obtained.
  • the facial image A recognizes the facial emotion, and a prompt box is popped up on the display screen of the electronic device, indicating that the emotion type cannot be recognized from the real-time facial image A, the flow returns to step S10, and the subsequent steps are performed.
  • the facial emotion recognition method proposed in this embodiment extracts a real-time facial image from a real-time image. Inputting the real-time facial image into the first emotion classification model and the second emotion classification model, and setting a first preset threshold and a second preset threshold to filter the output of the two emotion classification models, and then the real-time facial The facial emotion of the face in the image is judged, and the accuracy of the facial emotion recognition is improved.
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium includes a facial emotion recognition program, and when the facial emotion recognition program is executed by the processor, the following operations are implemented:
  • a real-time facial image acquisition step acquiring a real-time image captured by the camera device, and extracting a real-time facial image from the real-time image by using a face recognition algorithm;
  • the emotion recognition step inputting the real-time facial image into the pre-trained first emotion classification model and the second emotion classification model for emotion recognition, and obtaining a first probability and a second probability of each emotion;
  • the emotion judgment step determining the emotion in the real-time facial image according to the emotion and probability recognized by the first emotion classification model and the second emotion classification model.
  • the emotional judgment step includes:
  • the step of determining the emotion further includes:
  • the first emotion classification model and the second emotion classification model identify the same one or more emotions, calculating a first probability of each emotion and a mean value of the second probability, in the mean of the first probability and the second probability
  • the emotion corresponding to the larger value is taken as the emotion recognized from the real-time image; or
  • the emotion corresponding to the larger one of the first probability and the second probability is used as the emotion recognized from the real-time image.
  • the computer software product is stored in a storage medium (such as a ROM/RAM, a magnetic disk, an optical disk) as described above, and includes a plurality of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, a network device, etc.)
  • a terminal device which may be a mobile phone, a computer, a server, a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种面部情绪识别方法、电子装置及一种计算机可读存储介质。方法包括：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像(S10)；将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率(S20)；根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪(S30)。该方法通过结合两个模型的输出结果，对实时图像中人脸的情绪进行识别，提高了面部情绪识别的准确性。

Description

面部情绪识别方法、装置及存储介质
优先权申明
本申请基于巴黎公约申明享有2017年8月17日递交的申请号为CN201710707943.1、名称为“面部情绪识别方法、装置及存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请涉及计算机视觉处理技术领域，尤其涉及一种面部情绪识别方法、装置及计算机可读存储介质。
背景技术
在人们的日常交流中，通过语言来传递的信息占7％，通过声音来传递的信息占38％，而通过面部表情来传递的信息则达到55％。由此可见人脸表情是人类交流的重要载体和非语言交流的一种重要方式，它不仅能够表达人类的情感状态、认知活动和人格特征，而且它所富含的人体行为信息与人的情感状态、精神状态、健康状态等其他因素有着极为密切的关联。人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化和谐化极具意义。
随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已逐渐开始替代一些传统的人机交互方式，且对人脸情绪识别的要求也不断提高。
现阶段的人脸情绪识别一般是通过收集大量情绪样本，对样本进行整理，分成几类，训练出情绪识别模型，用来进行情绪识别，但该方法以单一的方式进行识别，然而，单一的情绪识别方法无法达到准确识别面部情绪效果，且单一方法在情绪识别所获取的数据有限，判断机制单一，故存在识别的准确度低、误差大和容易受外界因素影响等问题。
发明内容
本申请提供一种面部情绪识别方法、装置及计算机可读存储介质，其主要目的在于根据嘴唇特征点的坐标计算实时脸部图像中嘴唇的运动信息，实现对嘴唇区域的分析及对嘴唇动作的实时捕捉。
为实现上述目的，本申请提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括面部情绪识别程序，所述面部情绪识别程序被所述处理器执行时实现如下步骤：
实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：
特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；
第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；
情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。
可选地，所述情绪判断步骤包括：
判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
可选地，所述情绪判断步骤还包括：
当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
此外，为实现上述目的，本申请还提供一种面部情绪识别方法，该方法包括：
实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：
特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；
第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；
情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。
可选地，所述情绪判断步骤包括：
判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
可选地，所述情绪判断步骤还包括：
当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时，实现如上所述的面部情绪识别方法中的任意步骤。
本申请提出的面部情绪识别方法、电子装置及计算机可读存储介质，通过将实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了人脸情绪识别的准确率。
附图说明
图1为本申请电子装置较佳实施例的示意图；
图2为图1中面部情绪识别程序的模块示意图；
图3为本申请面部情绪识别方法第一实施例的流程图；
图4为本申请面部情绪识别方法第一实施例中步骤S30的细化流程图；
图5为本申请面部情绪识别方法第二实施例中步骤S30的细化流程图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种电子装置1。参照图1所示，为本申请电子装置1较佳实施例的示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、摄像装置13、网络接口14及通信总线15。其中，摄像装置13安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线15用于实现这些组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的面部情绪识别程序10、人脸图像样本库及预先训练好的情绪分类模型等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行面部情绪识别程序10等。
图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以适当的称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包 括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统、以及面部情绪识别程序10；处理器12执行存储器11中存储的面部情绪识别程序10时实现如下步骤：
实时脸部图像获取步骤：获取摄像装置13拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像。当摄像装置13拍摄到一张实时图像，摄像装置13将这张实时图像发送到处理器12，当处理器12接收到该实时图像后，先获取图片的大小，建立一个相同大小的灰度图像；将获取的彩色图像，转换成灰度图像，同时创建一个内存空间；将灰度图像直方图均衡化，使灰度图像信息量减少，加快检测速度，然后加载人脸图片训练库，检测图片中的人脸，并返回一个包含人脸信息的对象，获得人脸所在位置的数据，并记录个数；最终获取头像的区域且保存下来，这样就完成了一次实时脸部图像提取的过程。
具体地，从该实时图像中提取实时脸部图像的人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。
情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率。
具体地，所述第一情绪分类模型及第二情绪分类模型通过以下步骤得出：
建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；
利用所述人脸样本图像及其特征向量对支持向量机分类器(Support Vector Machine，SVM)进行学习训练，得到第一情绪分类模型；
给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
利用分类后的人脸样本图像对卷积神经网络(Convolutional Neural Network，CNN)进行学习训练，得到第二情绪分类模型。
收集n张人脸图像，将每张人脸图像中的人脸区域规范化，形成人脸样本库，并在每张人脸样本图像中，手动标记t个面部特征点，所述面部特征点包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的位置特征点。每张人脸图像中的规范后的人脸区域为一个a*b的矩形，其中宽度为a，高度为b，该人脸样本图像中的各个面部特征点的坐标为(x，y)，将x对a进行除运算，将y 对b进行除运算，得到该人脸样本图像的特征向量。根据样本库中每张人脸样本图像中的面部情绪进行分类：悲伤、愤怒、喜悦、惊讶等，给每张人脸样本图像分配一个对应的情绪标签。利用样本库中的n张人脸样本图像及得到的n个特征向量对SVM进行学习训练，得到第一情绪分类模型。利用依情绪类型分类后的人脸样本图像对CNN进行训练，得到第二情绪分类模型。
假设从实时图像中提取出了实时脸部图像A，并将实时脸部图像A分别输入第一情绪模型及第二情绪模型，会出现多种情况：
第一种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别只有一种，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.62；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.68；
第二种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第二概率值分别为0.41、0.59；
第三种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.65；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”的概率值为0.61；及
第四种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55。
情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
具体地，所述情绪判断步骤包括：
判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；
当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
对于上述第一和第二两种情况，两个情绪分类模型输出的结果为相同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取均值：
第一种情况：情绪“喜悦”：对第一概率0.62及第二概率0.68求均值，得到平均概率为0.65，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。
第二种情况：情绪“愤怒”、“悲伤”：对第一概率0.51、0.49及第二概率0.41、0.59求均值，得到各情绪的平均概率为0.46、0.54，最终将“悲伤”作为当前实时脸部图像A中的面部情绪。
对于上述第三和第四两种情况，两个情绪分类模型输出的结果为不同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取较大值：
第三种情况：情绪为“喜悦”的概率值为0.65，情绪为“愤怒”的概率值为0.61，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。
第四种情况：情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49，情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55，最终将“惊讶”作为当前实时脸部图像A中的面部情绪。
基于上述实施例提出电子装置1的第二实施例，在本实施例中，所述情绪判断步骤包括：
判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；
当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，对各情绪的第一概率、第二概率求均值，并取均值中的较大值；
判断第一概率、第二概率的均值中较大值是否大于第一预设阈值；
当第一概率、第二概率的均值中较大值大于第一预设阈值，判断均值中
当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，取各情绪第一概率、第二概率中的较大值；
判断各情绪第一概率、第二概率中的较大值是否大于第二预设阈值；
当第一概率、第二概率中较大值大于第二预设阈值，则将较大值对应的情绪作为从该实时图像识别到该种情绪。
假设第一预设阈值为0.55，第二预设阈值为0.6，那么，
第一种情况：情绪“喜悦”的平均概率为0.65，0.65＞0.55，将“喜悦”作为当前实时脸部图像A中的面部情绪；
第二种情况：情绪“愤怒”、“悲伤”的平均概率分别为0.46、0.54，平均概率中较大值为0.54，0.54＜0.55，则认为从当前实时脸部图像A中识别面部情绪失败；
第三种情况：情绪“喜悦”、“愤怒”的第一概率、第二概率中的较大值为0.65，0.65＞0.6，将“喜悦”作为当前实时脸部图像A中的面部情绪；及
第四种情况：情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率、第二概率中的较大值为0.55，0.55＜0.6，则认为从当前实时脸部图像A中识别面部情绪失败。
进一步地，所述情绪判断步骤还包括，当所述第一概率、第二概率的均值中较大值及所述第一概率、第二概率中较大值小于预设阈值，则提示面部情绪识别失败，并返回至实时脸部图像获取步骤。对于上述第二种情况，情 绪“愤怒”、“悲伤”的第一概率及第二概率的均值中的较大值(0.54)小于第一预设阈值(0.55)，对于上述第四种情况，情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率及第二概率中的较大值(0.55)小于第二预设阈值(0.6)，上述情况则表明无法从当前实时脸部图像A中识别出面部情绪，在电子装置1的显示屏上弹出提示框，提示无法从实时脸部图像A中识别出情绪类型，流程返回至实时脸部图像获取步骤，并进行后续步骤。
本实施例提出的电子装置1，从实时图像中提取实时脸部图像，将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了面部情绪识别的准确率。
在其他实施例中，面部情绪识别程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本申请。本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中面部情绪识别程序10的模块示意图。在本实施例中，所述面部情绪识别程序10可以被分割为：获取模块110、识别模块120及判断模块130。所述模块110-130所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块110，用于获取摄像装置13拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
识别模块120，用于将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
判断模块130，用于根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
此外，本申请还提供一种面部情绪识别方法。参照图3所示，为本申请面部情绪识别方法第一实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，面部情绪识别方法包括：步骤S10-步骤S30。
步骤S10，获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像。当摄像装置拍摄到一张实时图像，摄像装置将这张实时图像发送到处理器，当处理器接收到该实时图像后，先获取图片的大小，建立一个相同大小的灰度图像；将获取的彩色图像，转换成灰度图像，同时创建一个内存空间；将灰度图像直方图均衡化，使灰度图像信息量减少，加快检测速度，然后加载人脸图片训练库，检测图片中的人脸，并返回一个包含人脸信息的对象，获得人脸所在位置的数据，并记录个数；最终获取头像的区域且保存下来，这样就完成了一次实时脸部图像提取的过程。
具体地，从该实时图像中提取实时脸部图像的人脸识别算法还可以为： 基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。
步骤S20，将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率。
具体地，所述第一情绪分类模型及第二情绪分类模型通过以下步骤得出：
建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；
利用所述人脸样本图像及其特征向量对SVM进行学习训练，得到第一情绪分类模型；
给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
利用分类后的人脸样本图像对CNN进行学习训练，得到第二情绪分类模型。
收集n张人脸图像，将每张人脸图像中的人脸区域规范化，形成人脸样本库，并在每张人脸样本图像中，手动标记t个面部特征点，所述面部特征点包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的位置特征点。每张人脸图像中的规范后的人脸区域为一个a*b的矩形，其中宽度为a，高度为b，该人脸样本图像中的各个面部特征点的坐标为(x，y)，将x对a进行除运算，将y对b进行除运算，得到该人脸样本图像的特征向量。根据样本库中每张人脸样本图像中的面部情绪进行分类：悲伤、愤怒、喜悦、惊讶等，给每张人脸样本图像分配一个对应的情绪标签。利用样本库中的n张人脸样本图像及得到的n个特征向量对SVM进行学习训练，得到第一情绪分类模型。利用依情绪类型分类后的人脸样本图像对CNN进行训练，得到第二情绪分类模型。
假设从实时图像中提取出了实时脸部图像A，并将实时脸部图像A分别输入第一情绪模型及第二情绪模型，会出现多种情况：
第一种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别只有一种，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.62；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.68；
第二种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第二概率值分别为0.41、0.59；
第三种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.65；第二情绪分类模型输出的 结果为：实时脸部图像A中面部情绪为“愤怒”的概率值为0.61；及
第四种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55。
步骤S30，根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
具体地，参照图4所示，步骤S30包括：
步骤S31，判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；
步骤S32，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
步骤S33，当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
对于上述第一和第二两种情况，两个情绪分类模型输出的结果为相同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取均值：
第一种情况：情绪“喜悦”：对第一概率0.62及第二概率0.68求均值，得到平均概率为0.65，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。
第二种情况：情绪“愤怒”、“悲伤”：对第一概率0.51、0.49及第二概率0.41、0.59求均值，得到各情绪的平均概率为0.46、0.54，最终将“悲伤”作为当前实时脸部图像A中的面部情绪。
对于上述第三和第四两种情况，两个情绪分类模型输出的结果为不同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取较大值：
第三种情况：情绪为“喜悦”的概率值为0.65，情绪为“愤怒”的概率值为0.61，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。
第四种情况：情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49，情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55，最终将“惊讶”作为当前实时脸部图像A中的面部情绪。
本实施例提出的面部情绪识别方法，从实时图像中提取实时脸部图像，将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了面部情绪识别的准确率。
基于第一实施例提出面部情绪识别方法的第二实施例，在本实施例中，该方法包括：步骤S10-步骤S30。其中，步骤S10、步骤S20与第一实施例中大致相同，这里不再赘述。
步骤S30，根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
具体地，参照图5所示，步骤S30包括：
步骤S31，判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；
步骤S32，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，对各情绪的第一概率、第二概率求均值，并取均值中的较大值；
步骤S33，判断第一概率、第二概率的均值中较大值是否大于第一预设阈值；
步骤S34，当第一概率、第二概率的均值中较大值大于第一预设阈值，判断均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
步骤S35，当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，取各情绪第一概率、第二概率中的较大值；
步骤S36，判断各情绪第一概率、第二概率中的较大值是否大于第二预设阈值；
步骤S37，当第一概率、第二概率中较大值大于第二预设阈值，则将较大值对应的情绪作为从该实时图像识别到该种情绪。
假设第一预设阈值为0.55，第二预设阈值为0.6，那么，
第一种情况：情绪“喜悦”的平均概率为0.65，0.65＞0.55，将“喜悦”作为当前实时脸部图像A中的面部情绪；
第二种情况：情绪“愤怒”、“悲伤”的平均概率分别为0.46、0.54，平均概率中较大值为0.54，0.54＜0.55，则认为从当前实时脸部图像A中识别面部情绪失败；
第三种情况：情绪“喜悦”、“愤怒”的第一概率、第二概率中的较大值为0.65，0.65＞0.6，将“喜悦”作为当前实时脸部图像A中的面部情绪；及
第四种情况：情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率、第二概率中的较大值为0.55，0.55＜0.6，则认为从当前实时脸部图像A中识别面部情绪失败。
进一步地，步骤S30还包括步骤S38，当所述第一概率、第二概率的均值中较大值及所述第一概率、第二概率中较大值小于预设阈值，则提示面部情绪识别失败，并返回至实时脸部图像获取步骤。对于上述第二种情况，情绪“愤怒”、“悲伤”的第一概率及第二概率的均值中的较大值(0.54)小于第一预设阈值(0.55)，对于上述第四种情况，情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率及第二概率中的较大值(0.55)小于第二预设阈值(0.6)，上述情况则表明无法从当前实时脸部图像A中识别出面部情绪，在电子装置的显示屏上弹出提示框，提示无法从实时脸部图像A中识别出情绪类型，流程返回至步骤S10，并进行后续步骤。
本实施例提出的面部情绪识别方法，从实时图像中提取实时脸部图像， 将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，通过设置第一预设阈值及第二预设阈值，对两个情绪分类模型输出的结果进行筛选，然后对实时脸部图像中人脸的面部情绪进行判断，提高了面部情绪识别的准确率。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时实现如下操作：
实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
可选地，所述情绪判断步骤包括：
判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
可选地，所述情绪判断步骤还包括：
当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
本申请之计算机可读存储介质的具体实施方式与上述面部情绪识别方法的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计 算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种电子装置，其特征在于，所述装置包括存储器、处理器及摄像装置，所述存储器中包括面部情绪识别程序，所述面部情绪识别程序被所述处理器执行时实现如下步骤：
    实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
    情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
    情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
  2. 根据权利要求1所述的电子装置，其特征在于，所述情绪判断步骤包括：
    判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
  3. 根据权利要求2所述的电子装置，其特征在于，所述情绪判断步骤还包括：
    当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
    当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
  4. 根据权利要求3所述的电子装置，其特征在于，所述第一情绪分类模型的训练步骤包括：
    特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
    特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；及
    第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型。
  5. 根据权利要求3所述的电子装置，其特征在于，所述第二情绪分类模型的训练步骤包括：
    情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
    第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。
  6. 根据权利要求1所述的电子装置，其特征在于，所述人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法。
  7. 一种面部情绪识别方法，应用于电子装置，其特征在于，所述方法包括：
    实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
    情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
    情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
  8. 根据权利要求7所述的面部情绪识别方法，其特征在于，所述情绪判断步骤包括：
    判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
  9. 根据权利要求8所述的面部情绪识别方法，其特征在于，所述情绪判断步骤还包括：
    当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
    当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
  10. 根据权利要求9所述的面部情绪识别方法，其特征在于，所述第一情绪分类模型的训练步骤包括：
    特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
    特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；及
    第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型。
  11. 根据权利要求9所述的面部情绪识别方法，其特征在于，所述第二情绪分类模型的训练步骤包括：
    情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
    第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。
  12. 根据权利要求7所述的面部情绪识别方法，其特征在于，所述人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法。
  13. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时实现如下步骤：
    实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
    情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
    情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
  14. 根据权利要求13所述的计算机可读存储介质，其特征在于，所述情绪判断步骤包括：
    判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
  15. 根据权利要求14所述的计算机可读存储介质，其特征在于，所述情绪判断步骤还包括：
    当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
    当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
  16. 根据权利要求14所述的计算机可读存储介质，其特征在于，所述第一情绪分类模型的训练步骤包括：
    特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；
    特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；及
    第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型。
  17. 根据权利要求14所述的计算机可读存储介质，其特征在于，所述第二情绪分类模型的训练步骤包括：
    情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及
    第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。
  18. 一种面部情绪识别程序，其特征在于，该面部情绪识别程序包括：
    获取模块，用于获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；
    识别模块，用于将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及
    判断模块，用于根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。
  19. 根据权利要求18所述的面部情绪识别程序，其特征在于，所述判断模块还用于：
    判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。
  20. 根据权利要求18所述的面部情绪识别程序，其特征在于，所述判断模块还用于：
    当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或
    当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。
PCT/CN2017/108753 2017-08-17 2017-10-31 面部情绪识别方法、装置及存储介质 WO2019033573A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710707943.1 2017-08-17
CN201710707943.1A CN107633203A (zh) 2017-08-17 2017-08-17 面部情绪识别方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2019033573A1 true WO2019033573A1 (zh) 2019-02-21

Family

ID=61099621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/108753 WO2019033573A1 (zh) 2017-08-17 2017-10-31 面部情绪识别方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN107633203A (zh)
WO (1) WO2019033573A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414323A (zh) * 2019-06-14 2019-11-05 平安科技（深圳）有限公司 情绪检测方法、装置、电子设备及存储介质
CN110587621A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 机器人、基于机器人的病人看护方法和可读存储介质
CN110728182A (zh) * 2019-09-06 2020-01-24 平安科技（深圳）有限公司 基于ai面试系统的面试方法、装置和计算机设备
CN111354053A (zh) * 2020-02-27 2020-06-30 北京华峰创业科技有限公司 生成卡通形象图标的方法、装置以及存储介质
CN111768481A (zh) * 2020-05-19 2020-10-13 北京奇艺世纪科技有限公司 一种表情包生成方法及装置
CN112395922A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 面部动作检测方法、装置及系统
CN112686195A (zh) * 2021-01-07 2021-04-20 风变科技（深圳）有限公司 情绪识别方法、装置、计算机设备和存储介质
CN113920568A (zh) * 2021-11-02 2022-01-11 中电万维信息技术有限责任公司 基于视频图像的人脸和人体姿态情绪识别方法
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备
CN114612957A (zh) * 2021-12-29 2022-06-10 阅脸人工智能科技有限责任公司 一种基于云端人机交互技术的人脸情绪管理方法
EP4024403A1 (en) * 2020-12-31 2022-07-06 Acer Incorporated Method and system for mental index prediction
CN116935480A (zh) * 2023-09-18 2023-10-24 四川天地宏华导航设备有限公司 一种情绪识别方法及装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536803A (zh) * 2018-03-30 2018-09-14 百度在线网络技术（北京）有限公司 歌曲推荐方法、装置、设备及计算机可读介质
CN110395260B (zh) * 2018-04-20 2021-12-07 比亚迪股份有限公司 车辆、安全驾驶方法和装置
CN108710839A (zh) * 2018-05-08 2018-10-26 中山大学 一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统
WO2019218140A1 (zh) * 2018-05-15 2019-11-21 合刃科技（武汉）有限公司 物体识别方法及计算机可读存储介质
CN109077719A (zh) * 2018-07-05 2018-12-25 广州视源电子科技股份有限公司 信号识别方法、装置、设备和存储介质
CN109190487A (zh) * 2018-08-07 2019-01-11 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN109271599A (zh) * 2018-08-13 2019-01-25 百度在线网络技术（北京）有限公司 数据分享方法、设备和存储介质
CN109376633A (zh) * 2018-10-15 2019-02-22 北京车联天下信息技术有限公司 一种儿童安抚方法以及装置
CN109583325B (zh) * 2018-11-12 2023-06-27 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN109635838B (zh) * 2018-11-12 2023-07-11 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN109376711A (zh) * 2018-12-06 2019-02-22 深圳市淘米科技有限公司 一种基于iltp的人脸情绪预判方法
CN109657582B (zh) * 2018-12-10 2023-10-31 平安科技（深圳）有限公司 人脸情绪的识别方法、装置、计算机设备及存储介质
CN109830280A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
CN109711300A (zh) * 2018-12-18 2019-05-03 深圳壹账通智能科技有限公司 盲人辅助沟通方法、装置、计算机设备和存储介质
CN109583431A (zh) * 2019-01-02 2019-04-05 上海极链网络科技有限公司 一种人脸情绪识别模型、方法及其电子装置
CN109816518A (zh) * 2019-01-04 2019-05-28 深圳壹账通智能科技有限公司 面核结果获取方法、装置、计算机设备和可读存储介质
CN109934173B (zh) * 2019-03-14 2023-11-21 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN111723198B (zh) * 2019-03-18 2023-09-01 北京汇钧科技有限公司 一种文本情绪识别方法、装置及存储介质
CN110399837B (zh) * 2019-07-25 2024-01-05 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110363187B (zh) * 2019-08-29 2020-12-25 上海云从汇临人工智能科技有限公司 一种人脸识别方法、装置、机器可读介质及设备
CN110598612B (zh) * 2019-08-30 2023-06-09 深圳智慧林网络科技有限公司 基于移动终端的病人看护方法、移动终端和可读存储介质
CN110705419A (zh) * 2019-09-24 2020-01-17 新华三大数据技术有限公司 情绪识别方法、预警方法、模型训练方法和相关装置
CN111108508B (zh) * 2019-12-23 2023-10-13 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
CN112395979B (zh) * 2020-11-17 2024-05-10 平安科技（深圳）有限公司 基于图像的健康状态识别方法、装置、设备及存储介质
CN112541425B (zh) * 2020-12-10 2024-09-03 深圳地平线机器人科技有限公司 情绪检测方法、装置、介质及电子设备
CN114681258B (zh) * 2020-12-25 2024-04-30 深圳Tcl新技术有限公司 一种自适应调整按摩模式的方法及按摩设备
CN112699945B (zh) * 2020-12-31 2023-10-27 青岛海尔科技有限公司 数据标注方法及装置、存储介质及电子装置
CN113569924B (zh) * 2021-07-09 2024-03-12 常州大学 一种基于支持向量机多核协作的情绪辨识分类方法
CN113920575A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 一种人脸表情识别方法、装置及存储介质
CN115409104A (zh) * 2022-08-25 2022-11-29 贝壳找房(北京)科技有限公司 用于识别对象类型的方法、装置、设备、介质和程序产品
CN117370768B (zh) * 2023-12-08 2024-03-05 北京回龙观医院(北京心理危机研究与干预中心) 一种精神患者的情绪波动检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178773A (zh) * 2007-12-13 2008-05-14 北京中星微电子有限公司 基于特征提取和分类器的图像识别系统及方法
CN103488974A (zh) * 2013-09-13 2014-01-01 南京华图信息技术有限公司 基于模拟生物视觉神经网络的人脸表情识别方法及系统
CN104036255A (zh) * 2014-06-21 2014-09-10 电子科技大学 一种人脸表情识别方法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法
CN105512624A (zh) * 2015-12-01 2016-04-20 天津中科智能识别产业技术研究院有限公司 一种人脸图像的笑脸识别方法及其装置
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616005A (zh) * 2015-03-10 2015-05-13 南京宜开数据分析技术有限公司 一种领域自适应的人脸表情分析方法
CN106228145B (zh) * 2016-08-04 2019-09-03 网易有道信息技术（北京）有限公司 一种人脸表情识别方法和设备
CN106529503B (zh) * 2016-11-30 2019-10-18 华南理工大学 一种集成卷积神经网络人脸情感识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178773A (zh) * 2007-12-13 2008-05-14 北京中星微电子有限公司 基于特征提取和分类器的图像识别系统及方法
CN103488974A (zh) * 2013-09-13 2014-01-01 南京华图信息技术有限公司 基于模拟生物视觉神经网络的人脸表情识别方法及系统
CN104036255A (zh) * 2014-06-21 2014-09-10 电子科技大学 一种人脸表情识别方法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法
CN105512624A (zh) * 2015-12-01 2016-04-20 天津中科智能识别产业技术研究院有限公司 一种人脸图像的笑脸识别方法及其装置
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414323A (zh) * 2019-06-14 2019-11-05 平安科技（深圳）有限公司 情绪检测方法、装置、电子设备及存储介质
CN112395922A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 面部动作检测方法、装置及系统
CN110587621B (zh) * 2019-08-30 2023-06-06 深圳智慧林网络科技有限公司 机器人、基于机器人的病人看护方法和可读存储介质
CN110587621A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 机器人、基于机器人的病人看护方法和可读存储介质
CN110728182A (zh) * 2019-09-06 2020-01-24 平安科技（深圳）有限公司 基于ai面试系统的面试方法、装置和计算机设备
CN110728182B (zh) * 2019-09-06 2023-12-26 平安科技（深圳）有限公司 基于ai面试系统的面试方法、装置和计算机设备
CN111354053A (zh) * 2020-02-27 2020-06-30 北京华峰创业科技有限公司 生成卡通形象图标的方法、装置以及存储介质
CN111768481A (zh) * 2020-05-19 2020-10-13 北京奇艺世纪科技有限公司 一种表情包生成方法及装置
TWI811605B (zh) * 2020-12-31 2023-08-11 宏碁股份有限公司 情緒指標預測方法與系統
EP4024403A1 (en) * 2020-12-31 2022-07-06 Acer Incorporated Method and system for mental index prediction
US11955245B2 (en) 2020-12-31 2024-04-09 Acer Incorporated Method and system for mental index prediction
CN112686195A (zh) * 2021-01-07 2021-04-20 风变科技（深圳）有限公司 情绪识别方法、装置、计算机设备和存储介质
CN113920568A (zh) * 2021-11-02 2022-01-11 中电万维信息技术有限责任公司 基于视频图像的人脸和人体姿态情绪识别方法
CN114612957A (zh) * 2021-12-29 2022-06-10 阅脸人工智能科技有限责任公司 一种基于云端人机交互技术的人脸情绪管理方法
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备
CN116935480A (zh) * 2023-09-18 2023-10-24 四川天地宏华导航设备有限公司 一种情绪识别方法及装置
CN116935480B (zh) * 2023-09-18 2023-12-29 四川天地宏华导航设备有限公司 一种情绪识别方法及装置

Also Published As

Publication number Publication date
CN107633203A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
WO2019033573A1 (zh) 面部情绪识别方法、装置及存储介质
CN107633207B (zh) Au特征识别方法、装置及存储介质
WO2019095571A1 (zh) 人物情绪分析方法、装置及存储介质
CN107679448B (zh) 眼球动作分析方法、装置及存储介质
WO2019033571A1 (zh) 面部特征点检测方法、装置及存储介质
EP2630635B1 (en) Method and apparatus for recognizing an emotion of an individual based on facial action units
CN107633204A (zh) 人脸遮挡检测方法、装置及存储介质
Chen et al. Learning deep features for image emotion classification
CN108182714B (zh) 图像处理方法及装置、存储介质
CN109583431A (zh) 一种人脸情绪识别模型、方法及其电子装置
US10489636B2 (en) Lip movement capturing method and device, and storage medium
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
Vazquez-Fernandez et al. Built-in face recognition for smart photo sharing in mobile devices
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
WO2022166532A1 (zh) 人脸识别方法、装置、电子设备及存储介质
US10423817B2 (en) Latent fingerprint ridge flow map improvement
Zhang et al. Representation of facial expression categories in continuous arousal–valence space: feature and correlation
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
Zhang et al. Evaluation of texture and geometry for dimensional facial expression recognition
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
JP2012033054A (ja) 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
KR101956166B1 (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17921690

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/09/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17921690

Country of ref document: EP

Kind code of ref document: A1