WO2020161768A1 - 感情推定装置及び感情推定方法 - Google Patents

感情推定装置及び感情推定方法 Download PDF

Info

Publication number
WO2020161768A1
WO2020161768A1 PCT/JP2019/003854 JP2019003854W WO2020161768A1 WO 2020161768 A1 WO2020161768 A1 WO 2020161768A1 JP 2019003854 W JP2019003854 W JP 2019003854W WO 2020161768 A1 WO2020161768 A1 WO 2020161768A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
emotion
degree
estimation unit
drivability
Prior art date
Application number
PCT/JP2019/003854
Other languages
English (en)
French (fr)
Inventor
周作 ▲高▼本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020570671A priority Critical patent/JP7233449B2/ja
Priority to PCT/JP2019/003854 priority patent/WO2020161768A1/ja
Priority to US17/415,292 priority patent/US11430231B2/en
Priority to DE112019006823.7T priority patent/DE112019006823T5/de
Priority to CN201980090218.1A priority patent/CN113365556A/zh
Publication of WO2020161768A1 publication Critical patent/WO2020161768A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Definitions

  • the present invention relates to an emotion estimation device and an emotion estimation method for estimating a driver's emotion.
  • the conventional emotion estimation device detects physiological data and non-physiological data of a subject from an image captured by a camera, and the degree of arousal and comfort of the subject based on the detected physiological data and non-physiological data. Is estimated and the emotion corresponding to the estimated degree of arousal and the degree of comfort is selected (see, for example, Patent Document 1).
  • the emotions estimated by the conventional emotion estimation device are useful for predicting the behavior of the driver such as excessive speed and tilting driving that cause a traffic accident, adjusting acceleration/deceleration by the driving support device, and warning the driver. is there.
  • emotions have a duration, there is a problem that emotions cannot be correctly estimated only by the degree of awakening and the degree of comfort.
  • the present invention was made to solve the above problems, and its purpose is to estimate emotions in consideration of temporal changes.
  • An emotion estimation device includes a face information detection unit that detects face information regarding a face of a driver of a vehicle, a body information detection unit that detects body information regarding a feature of the driver's body, face information and body information.
  • a face information detection unit that detects face information regarding a face of a driver of a vehicle
  • a body information detection unit that detects body information regarding a feature of the driver's body
  • face information and body information e.g., face information detection unit that detects face information regarding a face of a driver of a vehicle
  • the body information detection unit that detects body information regarding a feature of the driver's body
  • face information and body information e.g., face information and body information.
  • the emotion is estimated based on the time change between the drivability of the driver and the facial expression of the driver, it is possible to estimate the emotion in consideration of the time change.
  • FIG. 3 is a block diagram showing a configuration example of an emotion estimation device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an emotion estimation method performed by an emotion estimation unit according to the first embodiment.
  • 5 is a graph illustrating an emotion estimation method performed by the emotion estimation unit according to the first embodiment.
  • FIG. 4A, FIG. 4B, and FIG. 4C are graphs showing an example of the temporal change of the emotion estimated by the emotion estimating unit according to the first embodiment.
  • 5A and 5B are graphs showing another example of the temporal change of the emotion estimated by the emotion estimating unit according to the first embodiment.
  • 5 is a flowchart showing an operation example of the emotion estimation device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an emotion estimation method performed by an emotion estimation unit according to the first embodiment.
  • 5 is a graph illustrating an emotion estimation method performed by the emotion estimation unit according to the first embodiment.
  • FIG. 4A, FIG. 4B, and FIG. 4C are graphs showing an example of
  • FIG. 6 is a block diagram showing a configuration example of an emotion estimation device according to a second embodiment. It is a figure which shows an example of the hardware constitutions of the emotion estimation apparatus which concerns on each embodiment. It is a figure which shows another example of the hardware constitutions of the emotion estimation apparatus which concerns on each embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the emotion estimation device 1 according to the first embodiment.
  • the emotion estimation device 1 according to the first embodiment is installed in a vehicle or brought into a vehicle to estimate a driver's emotion.
  • An image pickup unit 2 is connected to the emotion estimation device 1.
  • the image capturing unit 2 is a camera that is installed, for example, near the steering wheel and captures an image of the driver.
  • the imaging unit 2 outputs a captured image of the driver to the emotion estimation device 1.
  • the emotion estimation device 1 includes a face detection unit 11, a face parts detection unit 12, a face information detection unit 13, a physical information detection unit 14, a drivability degree estimation unit 15, a facial expression estimation unit 16, and an emotion estimation unit 17.
  • the face detection unit 11 acquires a captured image from the imaging unit 2.
  • the face detection unit 11 detects an area in which the driver's face is captured from the acquired captured image.
  • the face detection unit 11 outputs the face area in the captured image to the face part detection unit 12 and the physical information detection unit 14.
  • the face part detection unit 12 detects the face part of the driver from the face area in the captured image detected by the face detection unit 11.
  • the face parts are eyes, nose, mouth, and the like.
  • the face part detection unit 12 outputs the detected face part to at least one of the face information detection unit 13 and the physical information detection unit 14.
  • the functions of the face detection unit 11 and the face part detection unit 12 do not necessarily have to be included in the emotion estimation device 1, and may be included in an external device such as the imaging unit 2, for example.
  • the face information detection unit 13 detects face information regarding the features of the driver's face based on the face parts detected by the face part detection unit 12.
  • the face information includes at least one of the face orientation angle of the driver, the degree of eye opening, the blink speed, the degree of opening, the line-of-sight angle, and the head position.
  • the face information detecting unit 13 outputs the detected face information to the drivability degree estimating unit 15 and the facial expression estimating unit 16.
  • the physical information detection unit 14 detects physical information regarding the characteristics of the driver's body based on the face area detected by the face detection unit 11 or the face parts detected by the face part detection unit 12.
  • the physical information includes at least one of heart rate, heart rate variability, RRI (heartbeat interval), brain wave, pulse wave, pulse variability, blood pressure, body temperature, or sweat rate.
  • the physical information detecting unit 14 may detect the physical information by using the face area or the face parts detected from the image captured by the image capturing unit 2, or detect the physical information by using the detection result of a sensor (not shown). You may.
  • the physical information detection unit 14 outputs the detected physical information to the drivability degree estimation unit 15.
  • face information is an item that is treated as a facial feature in physiology, such as the face orientation angle, the degree of eye opening, the blink rate, the degree of opening, the line-of-sight angle, and the head position among the information related to biological functions.
  • the physical information is an item, such as heart rate, heart rate variability, RRI, electroencephalogram, pulse wave, pulse variability, blood pressure, body temperature, and amount of sweat, which is treated as a physical feature of the body among information related to biological functions.
  • the drivability degree estimation unit 15 estimates the drivability degree of the driver based on at least one of the face information detected by the face information detection unit 13 and the physical information detected by the physical information detection unit 14. For example, the drivability degree estimation unit 15 detects the face information detection unit 13 using a model that has learned the correspondence relationship between the face information and body information of an unspecified number of people in normal times and abnormal times and the drivability degree. The drivability degree corresponding to the face information and the body information detected by the body information detection unit 14 is estimated. The drivability degree estimating unit 15 may optimize the model for the driver of the own vehicle by using the face information and the body information of the driver of the own vehicle.
  • the drivability degree is, for example, two levels, that is, possible and impossible.
  • the driver When it is drivable, the driver is in a condition suitable for driving, while when not drivable, the driver is in a condition not suitable for driving or incapable of driving.
  • the drivability degree estimation unit 15 outputs the estimated drivability degree to the emotion estimation unit 17.
  • the facial expression estimation unit 16 estimates the facial expression of the driver based on the face information detected by the face information detection unit 13. For example, the facial expression estimation unit 16 estimates a facial expression corresponding to the face information detected by the face information detection unit 13 based on a predetermined correspondence between the face information and the facial expression (so-called rule base). In addition, the facial expression estimation unit 16 may estimate the facial expression corresponding to the face information detected by the face information detection unit 13 by using a model in which the correspondence between the facial information and the facial expression of an unspecified number of people is learned. (So-called machine learning). Furthermore, the facial expression estimation unit 16 may estimate the facial expression by performing both rule base and machine learning. The facial expressions are, for example, positive (smiling), negative (disgruntled or crying face), and neutral (other facial expressions). The facial expression estimation unit 16 outputs the estimated facial expression to the emotion estimation unit 17.
  • the facial expression estimation unit 16 outputs the estimated facial expression to the emotion estimation unit 17.
  • the emotion estimation unit 17 is a driver represented by a comfort level and an activity level, based on the temporal change of the drivability degree estimated by the drivability degree estimation unit 15 and the temporal change of the facial expression estimated by the facial expression estimation unit 16. Estimate the emotions of.
  • the "active" state with a high degree of activity means that the driver is awake or awake, and the "inactive" state with a low degree of activity means that the driver is asleep or drunk. It is in the state of being.
  • FIG. 2 is a diagram illustrating an emotion estimation method by the emotion estimation unit 17 according to the first embodiment.
  • the emotion estimation unit 17 determines that the degree of activity is inactive when the drivability degree estimation unit 15 estimates that the driver cannot drive.
  • the emotion estimation unit 17 determines that the activity level is active.
  • the emotion estimation unit 17 determines that the comfort level is comfortable when the facial expression estimated by the facial expression estimation unit 16 is positive when the drivability degree estimation unit 15 estimates that the driver can drive, Expression is determined to be neutral if neutral, and uncomfortable if negative.
  • FIG. 3 is a graph illustrating the emotion estimation method by the emotion estimation unit 17 according to the first embodiment.
  • the vertical axis represents the degree of activity and the horizontal axis represents the degree of comfort.
  • the emotion estimating unit 17 plots points representing emotions on the graph of FIG. 3 according to the degree of activity and the degree of comfort determined based on the drivability degree and the facial expression. For example, when the drivability degree is “possible”, the emotion estimation unit 17 moves the point indicating the emotion by the amount corresponding to the duration of “possible” from the current position to the active side.
  • the emotion estimation unit 17 plots a point indicating the emotion at the origin that is the intersection of the vertical axis and the horizontal axis, and then calculates the amount corresponding to the duration of “impossible”. Only the point expressing emotion is moved from the origin to the inactive side. In addition, when the facial expression is “positive”, the emotion estimation unit 17 moves the point indicating the emotion by the amount corresponding to the duration of “positive” from the current position to the comfortable side. On the contrary, when the facial expression is “negative”, the emotion estimation unit 17 moves the point representing the emotion by the amount corresponding to the duration of “negative” from the current position to the uncomfortable side.
  • the emotion estimation unit 17 moves the point representing the emotion by the amount corresponding to the duration of “neutral” toward the origin.
  • the amount of movement of the points representing emotions per unit time may be a predetermined value or a different value for each driver.
  • the emotion estimation unit 17 estimates the driver's emotion as “excitement” when the points indicating the emotion are plotted in the active and comfortable area 31 in the graph of FIG.
  • the emotion estimation unit 17 estimates that the driver is gradually excited when the point representing the emotion moves toward the area 31.
  • the emotion estimation unit 17 estimates the driver's emotion as "dissatisfied” when plotting the points indicating the emotion in the active and unpleasant area 32.
  • the emotion estimation unit 17 estimates that the driver gradually feels dissatisfied when the point representing the emotion moves toward the area 32. When the driver is dissatisfied, heavier driving is foreseen.
  • the emotion estimation unit 17 estimates the driver's emotion as “sleepiness” when the points indicating the emotion are plotted in the inactive region 33.
  • the emotion estimation unit 17 estimates that the driver is gradually getting sleepy when the point representing the emotion moves toward the area 33.
  • dozing driving etc. is foreseen.
  • the types of emotions and the correspondence between areas and emotions in the graph of FIG. 3 are not limited to the above example. Further, the position and size of the area corresponding to the emotion may be different for each driver.
  • FIG. 4A, FIG. 4B, and FIG. 4C are graphs showing an example of the temporal change of the emotion estimated by the emotion estimation unit 17 of the first embodiment.
  • the emotion estimation unit 17 plots a point 41 representing an emotion on the graph as shown in FIG. 4A.
  • the drivability degree “possible” and the facial expression “positive” continue, the point 41 representing the emotion moves to the active side and the comfortable side by the amount corresponding to the duration time.
  • FIG. 4B when the point 41 representing the emotion moves to the point 42 representing the emotion and approaches the area 31, the emotion estimation unit 17 determines that the driver is gradually excited. The time change can be estimated.
  • a point 43 representing an emotion is plotted in the excitement area 31.
  • the point 43 representing the emotion moves toward the origin by an amount corresponding to the duration time.
  • the emotion estimation unit 17 moves the point 43 representing an emotion by giving priority to the facial expression "neutral” rather than the drivability degree "possible”.
  • the emotion estimation unit 17 determines that the driver is gradually calm. The time change of can be estimated.
  • 5A and 5B are graphs showing another example of the temporal change of emotion estimated by the emotion estimating unit 17 according to the first embodiment.
  • the emotion estimation unit 17 plots a point 51 representing an emotion at the origin regardless of the facial expression. Then, the emotion estimation unit 17 moves the point 51 representing the emotion to the inactive side by an amount corresponding to the duration time of the drivability degree “impossible”.
  • the emotion estimation unit 17 determines that the driver gradually becomes sleepy. The time change can be estimated.
  • the emotion estimation unit 17 moves the point 52 representing the emotion to the active side by an amount corresponding to the duration of the drivability “possible”.
  • the emotion estimation unit 17 determines that the driver is gradually awakening. The time change can be estimated.
  • FIG. 5B shows an example in which the drivability degree is “possible” and the facial expression is “neutral”, so that the point 52 representing emotion moves toward the origin.
  • the facial expression is “positive” (or “negative”), the point 52 representing the emotion moves to the active side and the comfortable side (or the unpleasant side).
  • FIG. 6 is a flowchart showing an operation example of the emotion estimation device 1 according to the first embodiment.
  • the emotion estimation device 1 starts the operation shown in the flowchart of FIG. 6 when, for example, the ignition switch of the vehicle is turned on, and repeats this operation until the ignition switch is turned off.
  • step ST1 the face detection unit 11 detects the driver's face area from the image captured by the image capturing unit 2.
  • the face part detection unit 12 detects a face part from the face area in the captured image.
  • the functions of the face detecting unit 11 and the face part detecting unit 12 may be included in an external device. In the case of that configuration, the emotion estimation device 1 does not perform the operations in step ST1 and step ST2.
  • step ST3 the face information detection unit 13 detects face information regarding the driver's facial features based on the face parts.
  • the physical information detection unit 14 detects physical information regarding the characteristics of the driver's body based on the face area or face parts in the captured image.
  • the drivability degree estimation unit 15 estimates the drivability degree of the driver based on the face information and the body information.
  • the facial expression estimation unit 16 estimates the facial expression of the driver based on the face information.
  • step ST7 the emotion estimation unit 17 estimates the emotion represented by the degree of comfort and the degree of activity based on the change over time of the drivability degree and facial expression of the driver.
  • the operation of the emotion estimation device 1 shown in the flowchart of FIG. 6 is an example, and the operation is not limited to this operation.
  • the body information detecting unit 14 detects body information using only the face area without using the face parts
  • the face part detecting unit 12 does not perform the operation related to the face part detection in step ST2.
  • the body information detection unit 14 determines the body information in step ST4. Does not perform detection related operations.
  • the emotion estimation device 1 includes the face information detection unit 13, the physical information detection unit 14, the drivability degree estimation unit 15, the facial expression estimation unit 16, and the emotion estimation unit 17. Equipped with.
  • the face information detection unit 13 detects face information relating to the facial features of the driver of the vehicle.
  • the physical information detection unit 14 detects physical information regarding the characteristics of the driver's body.
  • the drivability degree estimation unit 15 estimates the drivability degree of the driver based on the face information and the body information.
  • the facial expression estimation unit 16 estimates the facial expression of the driver based on the face information.
  • the emotion estimation unit 17 estimates the emotion of the driver expressed by the degree of comfort and the degree of activity, based on the time change between the drivability of the driver and the facial expression of the driver.
  • the emotion estimation device 1 not only estimates the driver's emotion at a certain time point, but also considers a temporal change such that the driver is gradually excited or gradually calm. Can be estimated.
  • the emotion estimation unit 17 of the first embodiment estimates the emotion of the driver based on the duration of the driver's facial expression when the drivability degree estimation unit 15 estimates that the driver can drive. As a result, the emotion estimation unit 17 can accurately estimate the emotion even when the driver's state is such that the emotion is unlikely to appear in the facial expression.
  • the emotion estimation unit 17 of the first embodiment determines the comfort level and the activity level according to the duration of the drivability level of the driver and the duration of the facial expression of the driver, and determines the predetermined comfort level and activity level.
  • the driver's emotion corresponding to the determined comfort level and activity level is estimated by referring to the correspondence between the level and the emotion.
  • the emotion estimating unit 17 can easily estimate the emotion in consideration of the time change as shown in FIGS. 3 to 5.
  • FIG. 7 is a block diagram showing a configuration example of the emotion estimation device 1 according to the second embodiment.
  • the emotion estimation device 1 according to the second embodiment has a configuration in which a warning unit 18 and a driving switching unit 19 are added to the emotion estimation device 1 of the first embodiment shown in FIG. 7, parts that are the same as or correspond to those in FIG. 1 are assigned the same reference numerals and explanations thereof are omitted.
  • the warning unit 18 includes at least one of a display and a speaker.
  • the warning unit 18 warns the driver or prompts the driver to switch from manual driving to automatic driving according to the emotion estimated by the emotion estimation unit 17. For example, when the driver gradually gets excited and the point expressing the emotion enters the area 31 of FIG. 3, the overspeed and the like are predicted. Therefore, the warning unit 18 warns the driver by displaying a warning screen on the display or outputting a warning sound from the speaker. Further, when the driver gradually feels dissatisfied and the point expressing the emotion enters the area 32 of FIG. 3, a tilted driving or the like is foreseen. Therefore, the warning unit 18 warns the driver by displaying a warning screen on the display or outputting a warning sound from the speaker.
  • the warning unit 18 warns the driver by displaying a warning screen on the display or outputting a warning sound from the speaker.
  • the warning unit 18 may end the display of the warning screen when a certain time has elapsed after the warning screen is displayed, or when the user is calm from the state of excitement or dissatisfaction or awakes from the state of drowsiness. The display of the warning screen may be terminated. Similarly, the warning unit 18 may end the output of the warning sound when a certain time has elapsed after the warning sound is output, or when the excitement or dissatisfaction state cools down or the drowsiness state awakens. The output of the warning sound may be ended.
  • the warning unit 18 displays a screen prompting switching to automatic driving on the display, or a speaker. It is also possible to output a voice prompting to switch from to automatic driving.
  • the emotion estimation device 1 may be configured to automatically switch from manual driving to automatic driving when the driver feels drowsiness. Specifically, when the driver gradually feels drowsiness and the point expressing emotion enters the area 33 of FIG. 3, the driving switching unit 19 does not show switching of the manual driving to the automatic driving in the vehicle. Instruct the control device.
  • the emotion estimation device 1 includes the warning unit 18.
  • the warning unit 18 warns the driver according to the emotion of the driver estimated by the emotion estimation unit 17 or prompts the driver to switch to automatic driving. Accordingly, the emotion estimation device 1 can issue a warning at an appropriate timing according to the driver's emotion.
  • FIGS. 8 and 9 are diagrams showing a hardware configuration example of the emotion estimation device 1 according to each embodiment.
  • the function of the operation switching unit 19 is realized by a processing circuit. That is, the emotion estimation device 1 includes a processing circuit for realizing the above function.
  • the processing circuit may be the processing circuit 100 as dedicated hardware, or may be the processor 101 that executes the program stored in the memory 102.
  • the processing circuit 100 when the processing circuit is dedicated hardware, includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, and an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Programmable Gate Array), or a combination thereof.
  • the functions may be realized by a plurality of processing circuits 100, or the functions of each unit may be collectively realized by one processing circuit 100.
  • the processing circuit is the processor 101
  • the functions of 16, the emotion estimation unit 17, the warning unit 18, and the operation switching unit 19 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 102.
  • the processor 101 realizes the function of each unit by reading and executing the program stored in the memory 102. That is, the emotion estimation device 1 includes a memory 102 for storing a program that, when executed by the processor 101, results in the steps shown in the flowchart of FIG. 6 being executed.
  • this program includes a face detection unit 11, a face parts detection unit 12, a face information detection unit 13, a physical information detection unit 14, a drivability degree estimation unit 15, a facial expression estimation unit 16, an emotion estimation unit 17, a warning unit 18, It can also be said that it causes a computer to execute the procedure or method of the operation switching unit 19.
  • the processor 101 is a CPU (Central Processing Unit), a processing device, a computing device, a microprocessor, or the like.
  • the memory 102 may be a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a nonvolatile or volatile semiconductor memory such as a flash memory, a hard disk or a flexible disk. Magnetic disk, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • the functions of 19 may be partially implemented by dedicated hardware and partially implemented by software or firmware.
  • the processing circuit in the emotion estimation device 1 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the emotion estimation device is suitable for an emotion estimation device that estimates the emotions of a driver and passengers who have boarded a moving body including a vehicle, a railway, a ship, or an aircraft.
  • 1 emotion estimation device 2 imaging unit, 11 face detection unit, 12 face parts detection unit, 13 face information detection unit, 14 physical information detection unit, 15 drivability degree estimation unit, 16 facial expression estimation unit, 17 emotion estimation unit, 18 Warning part, 19 operation switching part, 31-33 area, 41-44, 51-53 points expressing emotion, 100 processing circuit, 101 processor, 102 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

顔情報検出部（１３）は、車両の運転者の顔の特徴に関する顔情報を検出する。身体情報検出部（１４）は、運転者の身体の特徴に関する身体情報を検出する。運転可能度合い推定部（１５）は、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する。表情推定部（１６）は、顔情報に基づいて運転者の表情を推定する。感情推定部（１７）は、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。

Description

感情推定装置及び感情推定方法
　この発明は、運転者の感情を推定する感情推定装置及び感情推定方法に関するものである。
　従来の感情推定装置は、カメラが撮像した映像等から被験者の生理学データと非生理学データとを検出し、検出した生理学データと非生理学データとに基づいて被験者の覚醒の度合いと快適さの度合いとを推定し、推定した覚醒の度合いと快適さの度合いとに応対する感情を選択する（例えば、特許文献１参照）。
特開２０１７－１４４２２２号公報
　従来の感情推定装置が推定した感情は、交通事故の原因となる速度超過及びあおり運転等の運転者の行動を予見し、運転支援装置による加減速の調整及び運転者への警告等に有用である。しかし、感情には持続時間があることから、覚醒の度合いと快適さの度合いとだけでは正しく感情を推定することができないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、時間変化を考慮した感情を推定することを目的とする。
　この発明に係る感情推定装置は、車両の運転者の顔に関する顔情報を検出する顔情報検出部と、運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する運転可能度合い推定部と、顔情報に基づいて運転者の表情を推定する表情推定部と、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する感情推定部とを備えるものである。
　この発明によれば、運転者の運転可能度合いと運転者の表情との時間変化に基づいて感情を推定するようにしたので、時間変化を考慮した感情を推定することができる。
実施の形態１に係る感情推定装置の構成例を示すブロック図である。 実施の形態１の感情推定部による感情推定方法を説明する図である。 実施の形態１の感情推定部による感情推定方法を説明するグラフである。 図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部により推定された感情の時間変化の一例を示すグラフである。 図５Ａ及び図５Ｂは、実施の形態１の感情推定部により推定された感情の時間変化の別の例を示すグラフである。 実施の形態１に係る感情推定装置の動作例を示すフローチャートである。 実施の形態２に係る感情推定装置の構成例を示すブロック図である。 各実施の形態に係る感情推定装置のハードウェア構成の一例を示す図である。 各実施の形態に係る感情推定装置のハードウェア構成の別の例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る感情推定装置１の構成例を示すブロック図である。実施の形態１に係る感情推定装置１は、車両に搭載されて、又は車両に持ち込まれて、運転者の感情を推定するものである。
　この感情推定装置１には、撮像部２が接続される。撮像部２は、例えばハンドル付近に設置され、運転者を撮像するカメラである。この撮像部２は、運転者を撮像した撮像画像を、感情推定装置１へ出力する。
　感情推定装置１は、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、及び感情推定部１７を備える。
　顔検出部１１は、撮像部２から撮像画像を取得する。顔検出部１１は、取得した撮像画像から運転者の顔が写った領域を検出する。顔検出部１１は、撮像画像のうちの顔領域を顔パーツ検出部１２及び身体情報検出部１４へ出力する。
　顔パーツ検出部１２は、顔検出部１１が検出した撮像画像のうちの顔領域から、運転者の顔パーツを検出する。顔パーツは、目、鼻、及び口等である。顔パーツ検出部１２は、検出した顔パーツを、顔情報検出部１３又は身体情報検出部１４の少なくとも一方へ出力する。
　なお、顔検出部１１及び顔パーツ検出部１２の機能は、必ずしも感情推定装置１が備える必要はなく、例えば撮像部２等の外部装置が備える構成であってもよい。
　顔情報検出部１３は、顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の顔の特徴に関する顔情報を検出する。顔情報は、運転者の顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、又は頭部位置のうちの少なくとも１つを含む。顔情報検出部１３は、検出した顔情報を運転可能度合い推定部１５及び表情推定部１６へ出力する。
　身体情報検出部１４は、顔検出部１１が検出した顔領域、又は顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。身体情報は、心拍数、心拍変動、ＲＲＩ（心拍間隔）、脳波、脈波、脈拍変動、血圧、体温、又は発汗量のうちの少なくとも１つを含む。なお、身体情報検出部１４は、撮像部２の撮像画像から検出された顔領域又は顔パーツを用いて身体情報を検出してもよいし、図示しないセンサの検出結果を用いて身体情報を検出してもよい。身体情報検出部１４は、検出した身体情報を運転可能度合い推定部１５へ出力する。
　なお、顔情報は、生体機能に関する情報のうち、顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、及び頭部位置等の、生理学で顔の特徴として扱われる項目である。身体情報は、生体機能に関する情報のうち、心拍数、心拍変動、ＲＲＩ、脳波、脈波、脈拍変動、血圧、体温、及び発汗量等の、生理学で身体の特徴として扱われる項目である。
　運転可能度合い推定部１５は、顔情報検出部１３が検出した顔情報、又は身体情報検出部１４が検出した身体情報の少なくとも一方に基づいて、運転者の運転可能度合いを推定する。例えば、運転可能度合い推定部１５は、不特定多数の人の平常時及び異常時の顔情報及び身体情報と運転可能度合いとの対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報と身体情報検出部１４が検出した身体情報とに対応する運転可能度合いを推定する。なお、運転可能度合い推定部１５は、自車両の運転者の顔情報及び身体情報を用いて、上記モデルを自車両の運転者用に最適化してもよい。運転可能度合いは、例えば、可能と不可の２段階とする。運転可能である場合、運転者は運転に適したコンディションであり、一方、運転不可である場合、運転者は運転に適していない、又は運転できないコンディションである。運転可能度合い推定部１５は、推定した運転可能度合いを感情推定部１７へ出力する。
　表情推定部１６は、顔情報検出部１３が検出した顔情報に基づいて、運転者の表情を推定する。例えば、表情推定部１６は、予め定められた顔情報と表情との対応関係に基づいて、顔情報検出部１３が検出した顔情報に対応する表情を推定する（いわゆるルールベース）。また、表情推定部１６は、不特定多数の人の顔情報と表情との対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報に対応する表情を推定してもよい（いわゆる機械学習）。さらに、表情推定部１６は、ルールベースと機械学習の両方を行って、表情を推定してもよい。表情は、例えば、ポジティブ（笑顔）、ネガティブ（不機嫌又は泣き顔）、及びニュートラル（その他の表情）の３種類とする。表情推定部１６は、推定した表情を感情推定部１７へ出力する。
　感情推定部１７は、運転可能度合い推定部１５が推定した運転可能度合いの時間変化と、表情推定部１６が推定した表情の時間変化とに基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。なお、活性度合いが高い「活性」状態とは、運転者が起きている、又は覚醒している状態であり、活性度合いが低い「不活性」状態とは、運転者が眠っている、又は酔っている状態である。
　図２は、実施の形態１の感情推定部１７による感情推定方法を説明する図である。
　運転不可の場合、感情が表情に出にくく、表情から感情を推定することが困難である。そのため、感情推定部１７は、運転可能度合い推定部１５により運転者が運転不可であると推定された場合、活性度合いを不活性と判定する。
　一方、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、活性度合いを活性と判定する。また、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、表情推定部１６により推定された表情がポジティブの場合に快適度合いを快適と判定し、ニュートラルの場合に無表情と判定し、ネガティブの場合に不快と判定する。
　以下では、ラッセル感情円環モデルを利用して感情を推定する例を説明する。
　図３は、実施の形態１の感情推定部１７による感情推定方法を説明するグラフである。図３に示されるグラフは、縦軸が活性度合い、横軸が快適度合いである。感情推定部１７は、運転可能度合いと表情とに基づいて判定した活性度合いと快適度合いとに応じて、感情を表す点を図３のグラフ上にプロットする。例えば、感情推定部１７は、運転可能度合いが「可能」である場合、「可能」の継続時間に応じた分だけ感情を表す点を現在の位置から活性側に移動させる。反対に運転可能度合いが「不可」である場合、感情推定部１７は、感情を表す点を縦軸と横軸との交点である原点にプロットした後、「不可」の継続時間に応じた分だけ感情を表す点を原点から不活性側に移動させる。また、感情推定部１７は、表情が「ポジティブ」である場合、「ポジティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から快適側に移動させる。反対に表情が「ネガティブ」である場合、感情推定部１７は、「ネガティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から不快側に移動させる。また、感情推定部１７は、表情が「ニュートラル」である場合、「ニュートラル」の継続時間に応じた分だけ感情を表す点を、原点の方向に移動させる。なお、感情を表す点の、単位時間あたりの移動量は、予め与えられた値であってもよいし、運転者ごとに異なる値であってもよい。
　また、感情推定部１７は、図３のグラフにおいて、活性かつ快適な領域３１に感情を表す点をプロットした場合、運転者の感情を「興奮」と推定する。感情推定部１７は、感情を表す点が領域３１に向かって移動していく場合、運転者が徐々に興奮していると推定する。運転者が興奮状態にある場合、速度超過等が予見される。また、感情推定部１７は、活性かつ不快な領域３２に感情を表す点をプロットした場合、運転者の感情を「不満」と推定する。感情推定部１７は、感情を表す点が領域３２に向かって移動していく場合、運転者が徐々に不満を感じていると推定する。運転者が不満状態にある場合、あおり運転等が予見される。また、感情推定部１７は、不活性な領域３３に感情を表す点をプロットした場合、運転者の感情を「眠気」と推定する。感情推定部１７は、感情を表す点が領域３３に向かって移動していく場合、運転者が徐々に眠くなっていると推定する。運転者が眠気状態にある場合、居眠り運転等が予見される。なお、図３のグラフにおける感情の種類、及び領域と感情との対応関係は、上記例に限定されるものではない。また、感情に対応する領域の位置及び大きさは、運転者ごとに異なってもよい。
　次に、感情推定の具体例を説明する。
　図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部１７により推定された感情の時間変化の一例を示すグラフである。運転者の運転可能度合いが「可能」であり、表情が「ポジティブ」である場合、感情推定部１７は、図４Ａのようにグラフ上に感情を表す点４１をプロットする。運転可能度合い「可能」及び表情「ポジティブ」が継続した場合、継続時間に応じた分だけ感情を表す点４１が活性側及び快適側に移動していく。図４Ｂのように感情を表す点４１が感情を表す点４２へ移動していき領域３１へ近づいていく場合、感情推定部１７は、運転者が徐々に興奮しているというように、感情の時間変化を推定することができる。
　図４Ｃでは、興奮の領域３１に感情を表す点４３がプロットされている。ここで、運転可能度合い「可能」及び表情「ニュートラル」が継続した場合、継続時間に応じた分だけ感情を表す点４３が原点方向に移動していく。なお、実施の形態１では、感情推定部１７は、運転可能度合い「可能」よりも表情「ニュートラル」を優先して、感情を表す点４３を移動させている。図４Ｃのように感情を表す点４３が感情を表す点４４へ移動していき領域３１から離れていく場合、感情推定部１７は、運転者が徐々に冷静になっているというように、感情の時間変化を推定することができる。
　図５Ａ及び図５Ｂは、実施の形態１の感情推定部１７により推定された感情の時間変化の別の例を示すグラフである。運転者の運転可能度合いが「不可」である場合、感情推定部１７は、表情に関係なく、原点に感情を表す点５１をプロットする。そして、感情推定部１７は、運転可能度合い「不可」の継続時間に応じた分だけ感情を表す点５１を不活性側へ移動させる。図５Ａのように感情を表す点５１が感情を表す点５２へ移動していき領域３３に近づいていく場合、感情推定部１７は、運転者が徐々に眠くなっているというように、感情の時間変化を推定することができる。
　運転者の運転可能度合いが「可能」になった場合、感情推定部１７は、運転可能度合い「可能」の継続時間に応じた分だけ感情を表す点５２を活性側へ移動させる。図５Ｂのように感情を表す点５２が感情を表す点５３へ移動していき領域３３から離れていく場合、感情推定部１７は、運転者が徐々に覚醒しているというように、感情の時間変化を推定することができる。なお、図５Ｂでは、運転可能度合いが「可能」、かつ表情が「ニュートラル」である場合の例が示されているため、感情を表す点５２が原点方向に移動している。表情が「ポジティブ」（又は「ネガティブ」）である場合には、感情を表す点５２が活性側かつ快適側（又は不快側）に移動していく。
　次に、感情推定装置１の動作を説明する。
　図６は、実施の形態１に係る感情推定装置１の動作例を示すフローチャートである。感情推定装置１は、例えば車両のイグニッションスイッチがオンになると図６のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。
　ステップＳＴ１において、顔検出部１１は、撮像部２の撮像画像から運転者の顔領域を検出する。ステップＳＴ２において、顔パーツ検出部１２は、撮像画像のうちの顔領域から顔パーツを検出する。なお、上述したように、顔検出部１１及び顔パーツ検出部１２の機能は、外部装置が備える構成であってもよい。その構成の場合、感情推定装置１は、ステップＳＴ１及びステップＳＴ２における動作を行わない。
　ステップＳＴ３において、顔情報検出部１３は、顔パーツに基づいて運転者の顔の特徴に関する顔情報を検出する。ステップＳＴ４において、身体情報検出部１４は、撮像画像のうちの顔領域又は顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。ステップＳＴ５において、運転可能度合い推定部１５は、顔情報と身体情報とに基づいて、運転者の運転可能度合いを推定する。ステップＳＴ６において、表情推定部１６は、顔情報に基づいて、運転者の表情を推定する。ステップＳＴ７において、感情推定部１７は、運転者の運転可能度合いと表情との時間変化に基づいて、快適度合い及び活性度合いで表される感情を推定する。
　なお、図６のフローチャートに示される感情推定装置１の動作は一例であり、この動作に限定されるものではない。例えば、身体情報検出部１４が顔パーツを用いず顔領域のみを用いて身体情報を検出する場合、顔パーツ検出部１２はステップＳＴ２の顔パーツ検出に関する動作を行わない。また、例えば、運転可能度合い推定部１５及び表情推定部１６が顔情報検出部１３により検出された顔情報のみを用いて運転可能度合いを推定する場合、身体情報検出部１４はステップＳＴ４の身体情報検出に関する動作を行わない。
　以上のように、実施の形態１に係る感情推定装置１は、顔情報検出部１３と、身体情報検出部１４と、運転可能度合い推定部１５と、表情推定部１６と、感情推定部１７とを備える。顔情報検出部１３は、車両の運転者の顔の特徴に関する顔情報を検出する。身体情報検出部１４は、運転者の身体の特徴に関する身体情報を検出する。運転可能度合い推定部１５は、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する。表情推定部１６は、顔情報に基づいて運転者の表情を推定する。感情推定部１７は、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。この構成により、感情推定装置１は、ある時点における運転者の感情を推定するだけでなく、運転者が徐々に興奮している、及び徐々に冷静になっているといった、時間変化を考慮した感情を推定することができる。
　また、実施の形態１の感情推定部１７は、運転可能度合い推定部１５により運転可能と推定された場合、運転者の表情の継続時間に基づいて運転者の感情を推定する。これにより、感情推定部１７は、運転者の状態が、感情が表情に表れにくい状態である場合であっても、精度よく感情を推定することができる。
　また、実施の形態１の感情推定部１７は、運転者の運転可能度合いの継続時間及び運転者の表情の継続時間に応じて快適度合い及び活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した快適度合い及び活性度合いに対応する運転者の感情を推定する。これにより、感情推定部１７は、図３～図５に示されるように簡単に、時間変化を考慮した感情を推定することができる。
実施の形態２．
　図７は、実施の形態２に係る感情推定装置１の構成例を示すブロック図である。実施の形態２に係る感情推定装置１は、図１に示された実施の形態１の感情推定装置１に対して警告部１８及び運転切り替え部１９が追加された構成である。図７において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　警告部１８は、ディスプレイ又はスピーカの少なくとも一方を備える。警告部１８は、感情推定部１７が推定した感情に応じて、運転者に対して警告する、又は手動運転から自動運転への切り替えを促す。例えば、運転者が徐々に興奮していき、感情を表す点が図３の領域３１内に入った場合、速度超過等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に不満を感じていき、感情を表す点が図３の領域３２内に入った場合、あおり運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、居眠り運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。
　なお、警告部１８は、警告画面表示後一定時間が経過した場合に警告画面の表示を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告画面の表示を終了してもよい。同様に、警告部１８は、警告音出力後一定時間が経過した場合に警告音の出力を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告音の出力を終了してもよい。
　また、警告部１８は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、ディスプレイに自動運転への切り替えを促す画面を表示する、又はスピーカから自動運転への切り替えを促す音声を出力するようにしてもよい。
　さらに、感情推定装置１は、運転者が眠気を感じている場合、手動運転から自動運転への切り替えを自動的に行う構成であってもよい。具体的には、運転切り替え部１９は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、手動運転から自動運転への切り替えを図示しない車両制御装置に対して指示する。
　以上のように、実施の形態２に係る感情推定装置１は、警告部１８を備える。警告部１８は、感情推定部１７により推定された運転者の感情に応じて、運転者に対して警告する、又は自動運転への切り替えを促す。これにより、感情推定装置１は、運転者の感情に応じた適切なタイミングで警告することができる。
　最後に、各実施の形態に係る感情推定装置１のハードウェア構成を説明する。
　図８及び図９は、各実施の形態に係る感情推定装置１のハードウェア構成例を示す図である。感情推定装置１における顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、処理回路により実現される。即ち、感情推定装置１は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
　図８に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
　図９に示されるように、処理回路がプロセッサ１０１である場合、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、感情推定装置１は、プロセッサ１０１により実行されるときに、図６のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の手順又は方法をコンピュータに実行させるものであるとも言える。
　ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
　メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、感情推定装置１における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る感情推定装置は、車両、鉄道、船舶又は航空機を含む移動体に搭乗した運転者及び搭乗者等の感情を推定する感情推定装置に適している。
　１　感情推定装置、２　撮像部、１１　顔検出部、１２　顔パーツ検出部、１３　顔情報検出部、１４　身体情報検出部、１５　運転可能度合い推定部、１６　表情推定部、１７　感情推定部、１８　警告部、１９　運転切り替え部、３１～３３　領域、４１～４４，５１～５３　感情を表す点、１００　処理回路、１０１　プロセッサ、１０２　メモリ。

Claims (5)

  1. 　車両の運転者の顔の特徴に関する顔情報を検出する顔情報検出部と、
    　前記運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、
    　前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定する運転可能度合い推定部と、
    　前記顔情報に基づいて前記運転者の表情を推定する表情推定部と、
    　前記運転者の運転可能度合いと前記運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定部とを備える感情推定装置。
  2. 　前記感情推定部は、前記運転可能度合い推定部により運転可能と推定された場合、前記運転者の表情の継続時間に基づいて前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
  3. 　前記感情推定部は、前記運転者の運転可能度合いの継続時間及び前記運転者の表情の継続時間に応じて前記快適度合い及び前記活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した前記快適度合い及び前記活性度合いに対応する前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
  4. 　前記感情推定部により推定された前記運転者の感情に応じて、前記運転者に対して警告する、又は自動運転への切り替えを促す警告部を備えることを特徴とする請求項１記載の感情推定装置。
  5. 　顔情報検出部が、車両の運転者の顔の特徴に関する顔情報を検出し、
    　身体情報検出部が、前記運転者の身体の特徴に関する身体情報を検出し、
    　運転可能度合い推定部が、前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定し、
    　表情推定部が、前記顔情報に基づいて前記運転者の表情を推定し、
    　感情推定部が、前記運転可能度合い推定部により運転可能と推定された場合、前記運転者の表情の時間変化に基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定方法。
PCT/JP2019/003854 2019-02-04 2019-02-04 感情推定装置及び感情推定方法 WO2020161768A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020570671A JP7233449B2 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法
PCT/JP2019/003854 WO2020161768A1 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法
US17/415,292 US11430231B2 (en) 2019-02-04 2019-02-04 Emotion estimation device and emotion estimation method
DE112019006823.7T DE112019006823T5 (de) 2019-02-04 2019-02-04 Emotionsschätzvorrichtung und Emotionsschätzverfahren
CN201980090218.1A CN113365556A (zh) 2019-02-04 2019-02-04 情绪推定装置及情绪推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003854 WO2020161768A1 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法

Publications (1)

Publication Number Publication Date
WO2020161768A1 true WO2020161768A1 (ja) 2020-08-13

Family

ID=71948104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003854 WO2020161768A1 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法

Country Status (5)

Country Link
US (1) US11430231B2 (ja)
JP (1) JP7233449B2 (ja)
CN (1) CN113365556A (ja)
DE (1) DE112019006823T5 (ja)
WO (1) WO2020161768A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220274608A1 (en) * 2019-07-19 2022-09-01 Nec Corporation Comfort driving data collection system, driving control device, method, and program
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
US20230128456A1 (en) * 2021-10-25 2023-04-27 Honda Motor Co., Ltd. Adaptive trust calibration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013008301A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
JP2016071577A (ja) * 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、体調推定システム及びプロセッサ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP4849495B2 (ja) * 2008-02-28 2012-01-11 パイオニア株式会社 車両の運転評価装置、方法、及びコンピュータプログラム
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN106562793B (zh) * 2015-10-08 2021-12-21 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
CN105383497B (zh) * 2015-10-30 2020-10-27 北京九五智驾信息技术股份有限公司 车载系统
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
FR3057517B1 (fr) * 2016-10-14 2020-03-13 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013008301A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
US20140171752A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
JP2016071577A (ja) * 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、体調推定システム及びプロセッサ

Also Published As

Publication number Publication date
US20220067412A1 (en) 2022-03-03
JPWO2020161768A1 (ja) 2021-09-09
DE112019006823T5 (de) 2021-10-21
US11430231B2 (en) 2022-08-30
CN113365556A (zh) 2021-09-07
JP7233449B2 (ja) 2023-03-06

Similar Documents

Publication Publication Date Title
US20210268902A1 (en) Driving assistance apparatus and driving assistance method
CN107791893B (zh) 车辆座椅
CN108430818B (zh) 用于操作机动车辆的方法，驾驶员辅助系统和机动车辆
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
WO2020161768A1 (ja) 感情推定装置及び感情推定方法
JP5177011B2 (ja) 開眼度特定装置
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JP7047821B2 (ja) 運転支援装置
JP6969493B2 (ja) 映像出力装置、映像出力方法、及びコンピュータプログラム
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
US10748405B2 (en) Driving assistance device
JP2005253590A (ja) 運転支援装置
JP6776681B2 (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
US20230278565A1 (en) Driving assistance device
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP6673070B2 (ja) ドライバ状態誘導装置、及びドライバ状態誘導プログラム
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP2019179370A (ja) 車速制御装置
US20240144702A1 (en) Prediction device and prediction method
US20220314975A1 (en) Drive assist system
KR102507038B1 (ko) 안전을 위한 운전자 감시 시스템
US20230373518A1 (en) Method for prompting driver, and vehicle control device
JP2018160151A (ja) 運転支援装置
JP2019079285A (ja) 安全運転促進装置及び安全運転促進方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914570

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020570671

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19914570

Country of ref document: EP

Kind code of ref document: A1