JP7233449B2 - 感情推定装置及び感情推定方法 - Google Patents

感情推定装置及び感情推定方法 Download PDF

Info

Publication number
JP7233449B2
JP7233449B2 JP2020570671A JP2020570671A JP7233449B2 JP 7233449 B2 JP7233449 B2 JP 7233449B2 JP 2020570671 A JP2020570671 A JP 2020570671A JP 2020570671 A JP2020570671 A JP 2020570671A JP 7233449 B2 JP7233449 B2 JP 7233449B2
Authority
JP
Japan
Prior art keywords
emotion
driver
degree
unit
drivability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020570671A
Other languages
English (en)
Other versions
JPWO2020161768A1 (ja
Inventor
周作 ▲高▼本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020161768A1 publication Critical patent/JPWO2020161768A1/ja
Application granted granted Critical
Publication of JP7233449B2 publication Critical patent/JP7233449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Anesthesiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、運転者の感情を推定する感情推定装置及び感情推定方法に関するものである。
従来の感情推定装置は、カメラが撮像した映像等から被験者の生理学データと非生理学データとを検出し、検出した生理学データと非生理学データとに基づいて被験者の覚醒の度合いと快適さの度合いとを推定し、推定した覚醒の度合いと快適さの度合いとに応対する感情を選択する（例えば、特許文献１参照）。
特開２０１７－１４４２２２号公報
従来の感情推定装置が推定した感情は、交通事故の原因となる速度超過及びあおり運転等の運転者の行動を予見し、運転支援装置による加減速の調整及び運転者への警告等に有用である。しかし、感情には持続時間があることから、覚醒の度合いと快適さの度合いとだけでは正しく感情を推定することができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、時間変化を考慮した感情を推定することを目的とする。
この発明に係る感情推定装置は、車両の運転者の顔に関する顔情報を検出する顔情報検出部と、運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する運転可能度合い推定部と、顔情報に基づいて運転者の表情を推定する表情推定部と、運転者の運転可能度合いの時間変化、運転者の表情の時間変化、及び運転可能度合い推定部により運転可能と推定されたことに基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する感情推定部とを備えたことを特徴とするものである。
この発明によれば、運転者の運転可能度合いと運転者の表情との時間変化に基づいて感情を推定するようにしたので、時間変化を考慮した感情を推定することができる。
実施の形態１に係る感情推定装置の構成例を示すブロック図である。 実施の形態１の感情推定部による感情推定方法を説明する図である。 実施の形態１の感情推定部による感情推定方法を説明するグラフである。 図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部により推定された感情の時間変化の一例を示すグラフである。 図５Ａ及び図５Ｂは、実施の形態１の感情推定部により推定された感情の時間変化の別の例を示すグラフである。 実施の形態１に係る感情推定装置の動作例を示すフローチャートである。 実施の形態２に係る感情推定装置の構成例を示すブロック図である。 各実施の形態に係る感情推定装置のハードウェア構成の一例を示す図である。 各実施の形態に係る感情推定装置のハードウェア構成の別の例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る感情推定装置１の構成例を示すブロック図である。実施の形態１に係る感情推定装置１は、車両に搭載されて、又は車両に持ち込まれて、運転者の感情を推定するものである。
この感情推定装置１には、撮像部２が接続される。撮像部２は、例えばハンドル付近に設置され、運転者を撮像するカメラである。この撮像部２は、運転者を撮像した撮像画像を、感情推定装置１へ出力する。
感情推定装置１は、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、及び感情推定部１７を備える。
顔検出部１１は、撮像部２から撮像画像を取得する。顔検出部１１は、取得した撮像画像から運転者の顔が写った領域を検出する。顔検出部１１は、撮像画像のうちの顔領域を顔パーツ検出部１２及び身体情報検出部１４へ出力する。
顔パーツ検出部１２は、顔検出部１１が検出した撮像画像のうちの顔領域から、運転者の顔パーツを検出する。顔パーツは、目、鼻、及び口等である。顔パーツ検出部１２は、検出した顔パーツを、顔情報検出部１３又は身体情報検出部１４の少なくとも一方へ出力する。
なお、顔検出部１１及び顔パーツ検出部１２の機能は、必ずしも感情推定装置１が備える必要はなく、例えば撮像部２等の外部装置が備える構成であってもよい。
顔情報検出部１３は、顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の顔の特徴に関する顔情報を検出する。顔情報は、運転者の顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、又は頭部位置のうちの少なくとも１つを含む。顔情報検出部１３は、検出した顔情報を運転可能度合い推定部１５及び表情推定部１６へ出力する。
身体情報検出部１４は、顔検出部１１が検出した顔領域、又は顔パーツ検出部１２が検出した顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。身体情報は、心拍数、心拍変動、ＲＲＩ（心拍間隔）、脳波、脈波、脈拍変動、血圧、体温、又は発汗量のうちの少なくとも１つを含む。なお、身体情報検出部１４は、撮像部２の撮像画像から検出された顔領域又は顔パーツを用いて身体情報を検出してもよいし、図示しないセンサの検出結果を用いて身体情報を検出してもよい。身体情報検出部１４は、検出した身体情報を運転可能度合い推定部１５へ出力する。
なお、顔情報は、生体機能に関する情報のうち、顔向き角度、開眼度合い、瞬き速度、開口度合い、視線角度、及び頭部位置等の、生理学で顔の特徴として扱われる項目である。身体情報は、生体機能に関する情報のうち、心拍数、心拍変動、ＲＲＩ、脳波、脈波、脈拍変動、血圧、体温、及び発汗量等の、生理学で身体の特徴として扱われる項目である。
運転可能度合い推定部１５は、顔情報検出部１３が検出した顔情報、又は身体情報検出部１４が検出した身体情報の少なくとも一方に基づいて、運転者の運転可能度合いを推定する。例えば、運転可能度合い推定部１５は、不特定多数の人の平常時及び異常時の顔情報及び身体情報と運転可能度合いとの対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報と身体情報検出部１４が検出した身体情報とに対応する運転可能度合いを推定する。なお、運転可能度合い推定部１５は、自車両の運転者の顔情報及び身体情報を用いて、上記モデルを自車両の運転者用に最適化してもよい。運転可能度合いは、例えば、可能と不可の２段階とする。運転可能である場合、運転者は運転に適したコンディションであり、一方、運転不可である場合、運転者は運転に適していない、又は運転できないコンディションである。運転可能度合い推定部１５は、推定した運転可能度合いを感情推定部１７へ出力する。
表情推定部１６は、顔情報検出部１３が検出した顔情報に基づいて、運転者の表情を推定する。例えば、表情推定部１６は、予め定められた顔情報と表情との対応関係に基づいて、顔情報検出部１３が検出した顔情報に対応する表情を推定する（いわゆるルールベース）。また、表情推定部１６は、不特定多数の人の顔情報と表情との対応関係を学習したモデルを用いて、顔情報検出部１３が検出した顔情報に対応する表情を推定してもよい（いわゆる機械学習）。さらに、表情推定部１６は、ルールベースと機械学習の両方を行って、表情を推定してもよい。表情は、例えば、ポジティブ（笑顔）、ネガティブ（不機嫌又は泣き顔）、及びニュートラル（その他の表情）の３種類とする。表情推定部１６は、推定した表情を感情推定部１７へ出力する。
感情推定部１７は、運転可能度合い推定部１５が推定した運転可能度合いの時間変化と、表情推定部１６が推定した表情の時間変化とに基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。なお、活性度合いが高い「活性」状態とは、運転者が起きている、又は覚醒している状態であり、活性度合いが低い「不活性」状態とは、運転者が眠っている、又は酔っている状態である。
図２は、実施の形態１の感情推定部１７による感情推定方法を説明する図である。
運転不可の場合、感情が表情に出にくく、表情から感情を推定することが困難である。そのため、感情推定部１７は、運転可能度合い推定部１５により運転者が運転不可であると推定された場合、活性度合いを不活性と判定する。
一方、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、活性度合いを活性と判定する。また、感情推定部１７は、運転可能度合い推定部１５により運転者が運転可能であると推定された場合、表情推定部１６により推定された表情がポジティブの場合に快適度合いを快適と判定し、ニュートラルの場合に無表情と判定し、ネガティブの場合に不快と判定する。
以下では、ラッセル感情円環モデルを利用して感情を推定する例を説明する。
図３は、実施の形態１の感情推定部１７による感情推定方法を説明するグラフである。図３に示されるグラフは、縦軸が活性度合い、横軸が快適度合いである。感情推定部１７は、運転可能度合いと表情とに基づいて判定した活性度合いと快適度合いとに応じて、感情を表す点を図３のグラフ上にプロットする。例えば、感情推定部１７は、運転可能度合いが「可能」である場合、「可能」の継続時間に応じた分だけ感情を表す点を現在の位置から活性側に移動させる。反対に運転可能度合いが「不可」である場合、感情推定部１７は、感情を表す点を縦軸と横軸との交点である原点にプロットした後、「不可」の継続時間に応じた分だけ感情を表す点を原点から不活性側に移動させる。また、感情推定部１７は、表情が「ポジティブ」である場合、「ポジティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から快適側に移動させる。反対に表情が「ネガティブ」である場合、感情推定部１７は、「ネガティブ」の継続時間に応じた分だけ感情を表す点を現在の位置から不快側に移動させる。また、感情推定部１７は、表情が「ニュートラル」である場合、「ニュートラル」の継続時間に応じた分だけ感情を表す点を、原点の方向に移動させる。なお、感情を表す点の、単位時間あたりの移動量は、予め与えられた値であってもよいし、運転者ごとに異なる値であってもよい。
また、感情推定部１７は、図３のグラフにおいて、活性かつ快適な領域３１に感情を表す点をプロットした場合、運転者の感情を「興奮」と推定する。感情推定部１７は、感情を表す点が領域３１に向かって移動していく場合、運転者が徐々に興奮していると推定する。運転者が興奮状態にある場合、速度超過等が予見される。また、感情推定部１７は、活性かつ不快な領域３２に感情を表す点をプロットした場合、運転者の感情を「不満」と推定する。感情推定部１７は、感情を表す点が領域３２に向かって移動していく場合、運転者が徐々に不満を感じていると推定する。運転者が不満状態にある場合、あおり運転等が予見される。また、感情推定部１７は、不活性な領域３３に感情を表す点をプロットした場合、運転者の感情を「眠気」と推定する。感情推定部１７は、感情を表す点が領域３３に向かって移動していく場合、運転者が徐々に眠くなっていると推定する。運転者が眠気状態にある場合、居眠り運転等が予見される。なお、図３のグラフにおける感情の種類、及び領域と感情との対応関係は、上記例に限定されるものではない。また、感情に対応する領域の位置及び大きさは、運転者ごとに異なってもよい。
次に、感情推定の具体例を説明する。
図４Ａ、図４Ｂ、及び図４Ｃは、実施の形態１の感情推定部１７により推定された感情の時間変化の一例を示すグラフである。運転者の運転可能度合いが「可能」であり、表情が「ポジティブ」である場合、感情推定部１７は、図４Ａのようにグラフ上に感情を表す点４１をプロットする。運転可能度合い「可能」及び表情「ポジティブ」が継続した場合、継続時間に応じた分だけ感情を表す点４１が活性側及び快適側に移動していく。図４Ｂのように感情を表す点４１が感情を表す点４２へ移動していき領域３１へ近づいていく場合、感情推定部１７は、運転者が徐々に興奮しているというように、感情の時間変化を推定することができる。
図４Ｃでは、興奮の領域３１に感情を表す点４３がプロットされている。ここで、運転可能度合い「可能」及び表情「ニュートラル」が継続した場合、継続時間に応じた分だけ感情を表す点４３が原点方向に移動していく。なお、実施の形態１では、感情推定部１７は、運転可能度合い「可能」よりも表情「ニュートラル」を優先して、感情を表す点４３を移動させている。図４Ｃのように感情を表す点４３が感情を表す点４４へ移動していき領域３１から離れていく場合、感情推定部１７は、運転者が徐々に冷静になっているというように、感情の時間変化を推定することができる。
図５Ａ及び図５Ｂは、実施の形態１の感情推定部１７により推定された感情の時間変化の別の例を示すグラフである。運転者の運転可能度合いが「不可」である場合、感情推定部１７は、表情に関係なく、原点に感情を表す点５１をプロットする。そして、感情推定部１７は、運転可能度合い「不可」の継続時間に応じた分だけ感情を表す点５１を不活性側へ移動させる。図５Ａのように感情を表す点５１が感情を表す点５２へ移動していき領域３３に近づいていく場合、感情推定部１７は、運転者が徐々に眠くなっているというように、感情の時間変化を推定することができる。
運転者の運転可能度合いが「可能」になった場合、感情推定部１７は、運転可能度合い「可能」の継続時間に応じた分だけ感情を表す点５２を活性側へ移動させる。図５Ｂのように感情を表す点５２が感情を表す点５３へ移動していき領域３３から離れていく場合、感情推定部１７は、運転者が徐々に覚醒しているというように、感情の時間変化を推定することができる。なお、図５Ｂでは、運転可能度合いが「可能」、かつ表情が「ニュートラル」である場合の例が示されているため、感情を表す点５２が原点方向に移動している。表情が「ポジティブ」（又は「ネガティブ」）である場合には、感情を表す点５２が活性側かつ快適側（又は不快側）に移動していく。
次に、感情推定装置１の動作を説明する。
図６は、実施の形態１に係る感情推定装置１の動作例を示すフローチャートである。感情推定装置１は、例えば車両のイグニッションスイッチがオンになると図６のフローチャートに示される動作を開始し、イグニッションスイッチがオフになるまでこの動作を繰り返す。
ステップＳＴ１において、顔検出部１１は、撮像部２の撮像画像から運転者の顔領域を検出する。ステップＳＴ２において、顔パーツ検出部１２は、撮像画像のうちの顔領域から顔パーツを検出する。なお、上述したように、顔検出部１１及び顔パーツ検出部１２の機能は、外部装置が備える構成であってもよい。その構成の場合、感情推定装置１は、ステップＳＴ１及びステップＳＴ２における動作を行わない。
ステップＳＴ３において、顔情報検出部１３は、顔パーツに基づいて運転者の顔の特徴に関する顔情報を検出する。ステップＳＴ４において、身体情報検出部１４は、撮像画像のうちの顔領域又は顔パーツに基づいて、運転者の身体の特徴に関する身体情報を検出する。ステップＳＴ５において、運転可能度合い推定部１５は、顔情報と身体情報とに基づいて、運転者の運転可能度合いを推定する。ステップＳＴ６において、表情推定部１６は、顔情報に基づいて、運転者の表情を推定する。ステップＳＴ７において、感情推定部１７は、運転者の運転可能度合いと表情との時間変化に基づいて、快適度合い及び活性度合いで表される感情を推定する。
なお、図６のフローチャートに示される感情推定装置１の動作は一例であり、この動作に限定されるものではない。例えば、身体情報検出部１４が顔パーツを用いず顔領域のみを用いて身体情報を検出する場合、顔パーツ検出部１２はステップＳＴ２の顔パーツ検出に関する動作を行わない。また、例えば、運転可能度合い推定部１５及び表情推定部１６が顔情報検出部１３により検出された顔情報のみを用いて運転可能度合いを推定する場合、身体情報検出部１４はステップＳＴ４の身体情報検出に関する動作を行わない。
以上のように、実施の形態１に係る感情推定装置１は、顔情報検出部１３と、身体情報検出部１４と、運転可能度合い推定部１５と、表情推定部１６と、感情推定部１７とを備える。顔情報検出部１３は、車両の運転者の顔の特徴に関する顔情報を検出する。身体情報検出部１４は、運転者の身体の特徴に関する身体情報を検出する。運転可能度合い推定部１５は、顔情報と身体情報とに基づいて運転者の運転可能度合いを推定する。表情推定部１６は、顔情報に基づいて運転者の表情を推定する。感情推定部１７は、運転者の運転可能度合いと運転者の表情との時間変化に基づいて、快適度合い及び活性度合いで表される運転者の感情を推定する。この構成により、感情推定装置１は、ある時点における運転者の感情を推定するだけでなく、運転者が徐々に興奮している、及び徐々に冷静になっているといった、時間変化を考慮した感情を推定することができる。
また、実施の形態１の感情推定部１７は、運転可能度合い推定部１５により運転可能と推定された場合、運転者の表情の継続時間に基づいて運転者の感情を推定する。これにより、感情推定部１７は、運転者の状態が、感情が表情に表れにくい状態である場合であっても、精度よく感情を推定することができる。
また、実施の形態１の感情推定部１７は、運転者の運転可能度合いの継続時間及び運転者の表情の継続時間に応じて快適度合い及び活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した快適度合い及び活性度合いに対応する運転者の感情を推定する。これにより、感情推定部１７は、図３～図５に示されるように簡単に、時間変化を考慮した感情を推定することができる。
実施の形態２．
図７は、実施の形態２に係る感情推定装置１の構成例を示すブロック図である。実施の形態２に係る感情推定装置１は、図１に示された実施の形態１の感情推定装置１に対して警告部１８及び運転切り替え部１９が追加された構成である。図７において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
警告部１８は、ディスプレイ又はスピーカの少なくとも一方を備える。警告部１８は、感情推定部１７が推定した感情に応じて、運転者に対して警告する、又は手動運転から自動運転への切り替えを促す。例えば、運転者が徐々に興奮していき、感情を表す点が図３の領域３１内に入った場合、速度超過等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に不満を感じていき、感情を表す点が図３の領域３２内に入った場合、あおり運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。また、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、居眠り運転等が予見される。そのため、警告部１８は、ディスプレイに警告画面を表示する、又はスピーカから警告音を出力することにより、運転者に対して警告する。
なお、警告部１８は、警告画面表示後一定時間が経過した場合に警告画面の表示を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告画面の表示を終了してもよい。同様に、警告部１８は、警告音出力後一定時間が経過した場合に警告音の出力を終了してもよいし、興奮若しくは不満の状態から冷静になった場合又は眠気の状態から覚醒した場合に警告音の出力を終了してもよい。
また、警告部１８は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、ディスプレイに自動運転への切り替えを促す画面を表示する、又はスピーカから自動運転への切り替えを促す音声を出力するようにしてもよい。
さらに、感情推定装置１は、運転者が眠気を感じている場合、手動運転から自動運転への切り替えを自動的に行う構成であってもよい。具体的には、運転切り替え部１９は、運転者が徐々に眠気を感じていき、感情を表す点が図３の領域３３内に入った場合、手動運転から自動運転への切り替えを図示しない車両制御装置に対して指示する。
以上のように、実施の形態２に係る感情推定装置１は、警告部１８を備える。警告部１８は、感情推定部１７により推定された運転者の感情に応じて、運転者に対して警告する、又は自動運転への切り替えを促す。これにより、感情推定装置１は、運転者の感情に応じた適切なタイミングで警告することができる。
最後に、各実施の形態に係る感情推定装置１のハードウェア構成を説明する。
図８及び図９は、各実施の形態に係る感情推定装置１のハードウェア構成例を示す図である。感情推定装置１における顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、処理回路により実現される。即ち、感情推定装置１は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
図８に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
図９に示されるように、処理回路がプロセッサ１０１である場合、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、感情推定装置１は、プロセッサ１０１により実行されるときに、図６のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の手順又は方法をコンピュータに実行させるものであるとも言える。
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
なお、顔検出部１１、顔パーツ検出部１２、顔情報検出部１３、身体情報検出部１４、運転可能度合い推定部１５、表情推定部１６、感情推定部１７、警告部１８、及び運転切り替え部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、感情推定装置１における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
この発明に係る感情推定装置は、車両、鉄道、船舶又は航空機を含む移動体に搭乗した運転者及び搭乗者等の感情を推定する感情推定装置に適している。
１ 感情推定装置、２ 撮像部、１１ 顔検出部、１２ 顔パーツ検出部、１３ 顔情報検出部、１４ 身体情報検出部、１５ 運転可能度合い推定部、１６ 表情推定部、１７ 感情推定部、１８ 警告部、１９ 運転切り替え部、３１～３３ 領域、４１～４４，５１～５３ 感情を表す点、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。

Claims (5)

  1. 車両の運転者の顔の特徴に関する顔情報を検出する顔情報検出部と、
    前記運転者の身体の特徴に関する身体情報を検出する身体情報検出部と、
    前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定する運転可能度合い推定部と、
    前記顔情報に基づいて前記運転者の表情を推定する表情推定部と、
    前記運転者の運転可能度合いの時間変化、前記運転者の表情の時間変化、及び前記運転可能度合い推定部により運転可能と推定されたことに基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定部とを備えたことを特徴とする感情推定装置。
  2. 前記感情推定部は、前記運転者の表情の継続時間に基づいて前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
  3. 前記感情推定部は、前記運転者の運転可能度合いの継続時間及び前記運転者の表情の継続時間に応じて前記快適度合い及び前記活性度合いを判定し、予め定められた快適度合いと活性度合いと感情との対応関係を参照し、判定した前記快適度合い及び前記活性度合いに対応する前記運転者の感情を推定することを特徴とする請求項１記載の感情推定装置。
  4. 前記感情推定部により推定された前記運転者の感情に応じて、前記運転者に対して警告する、又は自動運転への切り替えを促す警告部を備えることを特徴とする請求項１記載の感情推定装置。
  5. 顔情報検出部が、車両の運転者の顔の特徴に関する顔情報を検出し、
    身体情報検出部が、前記運転者の身体の特徴に関する身体情報を検出し、
    運転可能度合い推定部が、前記顔情報と前記身体情報とに基づいて前記運転者の運転可能度合いを推定し、
    表情推定部が、前記顔情報に基づいて前記運転者の表情を推定し、
    感情推定部が、前記運転可能度合いの時間変化、前記運転者の表情の時間変化、及び前記運転可能度合い推定部により運転可能と推定されたことに基づいて、快適度合い及び活性度合いで表される前記運転者の感情を推定する感情推定方法。
JP2020570671A 2019-02-04 2019-02-04 感情推定装置及び感情推定方法 Active JP7233449B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003854 WO2020161768A1 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法

Publications (2)

Publication Number Publication Date
JPWO2020161768A1 JPWO2020161768A1 (ja) 2021-09-09
JP7233449B2 true JP7233449B2 (ja) 2023-03-06

Family

ID=71948104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570671A Active JP7233449B2 (ja) 2019-02-04 2019-02-04 感情推定装置及び感情推定方法

Country Status (5)

Country Link
US (1) US11430231B2 (ja)
JP (1) JP7233449B2 (ja)
CN (1) CN113365556B (ja)
DE (1) DE112019006823T5 (ja)
WO (1) WO2020161768A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014738A1 (ja) * 2019-07-19 2021-01-28 日本電気株式会社 快適性運転データ収集システム、運転制御装置、方法、および、プログラム
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
US12017679B2 (en) * 2021-10-25 2024-06-25 Honda Motor Co., Ltd. Adaptive trust calibration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013008301A1 (ja) 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
US20140171752A1 (en) 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
JP2016071577A (ja) 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
JP2017100039A (ja) 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、体調推定システム及びプロセッサ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP4849495B2 (ja) * 2008-02-28 2012-01-11 パイオニア株式会社 車両の運転評価装置、方法、及びコンピュータプログラム
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN106562793B (zh) * 2015-10-08 2021-12-21 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
JP6985005B2 (ja) 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
CN105383497B (zh) * 2015-10-30 2020-10-27 北京九五智驾信息技术股份有限公司 车载系统
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
FR3057517B1 (fr) * 2016-10-14 2020-03-13 Valeo Comfort And Driving Assistance Dispositif de prevention des situations dangereuses pour un conducteur d'un vehicule de transport et procede associe
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013008301A1 (ja) 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
US20140171752A1 (en) 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Apparatus and method for controlling emotion of driver
JP2016071577A (ja) 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
JP2017100039A (ja) 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、体調推定システム及びプロセッサ

Also Published As

Publication number Publication date
US20220067412A1 (en) 2022-03-03
CN113365556A (zh) 2021-09-07
WO2020161768A1 (ja) 2020-08-13
JPWO2020161768A1 (ja) 2021-09-09
CN113365556B (zh) 2024-08-27
DE112019006823T5 (de) 2021-10-21
US11430231B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
CN108430818B (zh) 用于操作机动车辆的方法，驾驶员辅助系统和机动车辆
JP7233449B2 (ja) 感情推定装置及び感情推定方法
CN107791893B (zh) 车辆座椅
CN107539318B (zh) 驾驶辅助装置和驾驶辅助方法
EP1478268B1 (en) Method for monitoring and managing driver attention loads
CN111492420B (zh) 瞌睡报警装置
US20050030184A1 (en) Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JP7047821B2 (ja) 運転支援装置
JP2002183900A (ja) 居眠り運転警報装置
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
CN113168758B (zh) 确定车辆驾驶者的困倦水平的方法
JP2011062465A (ja) 運転支援装置
JP2003339681A (ja) 車両用表示装置
JP2010020618A (ja) 運転者覚醒装置
JP6701951B2 (ja) 運転支援装置
JP2005253590A (ja) 運転支援装置
JP7550879B2 (ja) 睡眠検出装置及び睡眠検出システム
JP6920106B2 (ja) 運転支援装置および運転支援方法
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP6658095B2 (ja) 覚醒維持装置及びプログラム
JP6841713B2 (ja) 眠気判定装置
JP7091632B2 (ja) 安全運転促進装置及び安全運転促進方法
JP2019179370A (ja) 車速制御装置
US20230373518A1 (en) Method for prompting driver, and vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150