JP7359084B2 - 感情推定装置、感情推定方法及びプログラム - Google Patents

感情推定装置、感情推定方法及びプログラム Download PDF

Info

Publication number
JP7359084B2
JP7359084B2 JP2020108272A JP2020108272A JP7359084B2 JP 7359084 B2 JP7359084 B2 JP 7359084B2 JP 2020108272 A JP2020108272 A JP 2020108272A JP 2020108272 A JP2020108272 A JP 2020108272A JP 7359084 B2 JP7359084 B2 JP 7359084B2
Authority
JP
Japan
Prior art keywords
emotion
evaluation value
correction value
calm
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020108272A
Other languages
English (en)
Other versions
JP2022003497A (ja
Inventor
翠 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020108272A priority Critical patent/JP7359084B2/ja
Priority to CN202110468176.XA priority patent/CN113919386A/zh
Priority to US17/314,119 priority patent/US11804075B2/en
Publication of JP2022003497A publication Critical patent/JP2022003497A/ja
Application granted granted Critical
Publication of JP7359084B2 publication Critical patent/JP7359084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、感情推定装置、感情推定方法及びプログラムに関する。
特許文献１には、ユーザの感情を推定する感情推定装置が開示されている。この特許文献１に記載の装置では、感情属性のそれぞれに対する評価値の集合である第１評価値群を取得し、この第１評価値群よりも前に取得した第２評価値群との関係に応じて補正処理を実行する。具体的には、第１評価値群及び第２評価値群における評価値の差異が基準を超えない場合に、最高評価値に対する感情属性の補正値を減少させ、他の感情属性の補正値を均等に増加させることで、各感情の評価値が徐々に等しくなるように補正する。
国際公開２０１９／１９３７８１号
上記特許文献１に記載の装置では、各感情の評価値が等しくなるように補正することで、僅かな表情の変化が感情に反映される。しかしながら、画像の検出誤差などによって誤った感情が出力される可能性があり、精度を向上させる観点で改善の余地がある。
本発明は上記事実を考慮し、表情に個人差がある場合であっても精度良く感情を推定することができる感情推定装置、感情推定方法及びプログラムを得ることを目的とする。
請求項１に係る感情推定装置は、ユーザの顔画像を取得する画像取得部と、前記画像取得部で取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定部と、平静状態のタイミングで前記画像取得部が取得した平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出部と、前記評価値設定部によって設定された評価値に対して、前記補正値算出部で算出された補正値を反映することでユーザの感情を推定する感情推定部と、を有し、前記補正値算出部は、前記平静時顔画像に基づいて前記評価値設定部が設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする。
請求項１に係る感情推定装置では、画像取得部によってユーザの顔画像が取得される。また、評価値設定部は、画像取得部で取得された顔画像に基づいて、複数に分類された各感情のそれぞれに対して評価値を設定する。
ここで、感情推定装置は補正値算出部を有しており、この補正値算出部は、平静状態のタイミングで画像取得部が取得した平静時顔画像に基づいて設定された評価値を用いて補正値を算出する。また、感情推定部は、評価値設定部によって設定された各感情の評価値に対して補正値を反映することでユーザの感情を推定する。このように、平静状態をユーザの表情の基準とし、この平常状態の顔画像に基づいて設定された評価値を用いることで、個人差によって評価値が変動するのを抑制することができる。
また、平静時顔画像に基づいて設定された評価値のうち、最も高い評価値に対応する感情が平静状態以外の他感情であれば、補正値算出部は、該他感情の評価値と平静状態の評価値との差分を前記補正値とする。これにより、ユーザの平静状態と感情推定部が推定した一般モデルの感情との誤差を補正することができる。なお、ここでいう「他感情」とは、例えば、喜び、驚き、怒り、悲しみ、緊張、疲労などの感情を指す。
請求項２に係る感情推定装置は、請求項１において、前記感情推定部は、前記評価値設定部で最も高い評価値が設定された感情が前記他感情である場合に前記補正値を反映し、前記評価値設定部で最も高い評価値が設定された感情が前記他感情以外の感情である場合には前記補正値を反映しない。
請求項２に係る感情推定装置では、評価値設定部で最も高い評価値が設定された感情が他感情である場合に補正値を反映する。これにより、適切にユーザと一般モデルとの評価値の差分を吸収することができる。一方、他感情以外の感情である場合には補正値を反映しないため、他感情以外の感情である場合には、感情推定部によって一般モデルの評価値に基づいて感情が推定される。
請求項３に係る感情推定装置は、請求項２において、前記感情推定部は、前記最も高い評価値が設定された感情が前記他感情である場合には、二番目に高い評価値に対応する次点感情の評価値と前記他感情の評価値との差分が、前記補正値と同じ又は前記補正値よりも小さい場合に、前記次点感情をユーザの感情として推定する。
請求項３に係る感情推定装置では、平静状態で他感情に近い表情のユーザの場合、補正値が反映されなければ、他感情として誤った推定されることとなる。これに対して、次点感情の評価値と他感情の評価値との差分が、補正値と同じ又は補正値よりも小さい場合に次点感情をユーザの感情とすることで、平静状態の評価値が一般モデルと異なるユーザであっても、より正確に感情を推定することができる。
請求項４に係る感情推定装置は、請求項１～３の何れか１項において、前記画像取得部は、車両が所定の走行状態でかつ運転者が所定の運転状態である場合に、運転者の顔画像を平静時顔画像として取得する。
請求項４に係る感情推定装置では、車両の走行状態と運転者の運転状態に基づいて取得した顔画像を平静時顔画像とする。これにより、走行状態及び運転状態の一方のみに基づいて平静時顔画像を取得する場合と比較して、精度良く平静状態の顔画像を取得することができる。
請求項５に係る感情推定装置は、請求項４において、前記所定の走行状態とは、車両が直進している状態である。
請求項５に係る感情推定装置では、車両が直進している状態では、運転者の視線が車両前方を向いているため、右左折時などのタイミングと比較して精度良く平静状態の顔画像を取得することができる。
請求項６に係る感情推定装置は、請求項４において、前記所定の運転状態とは、運転者が発話していない状態である。
請求項６に係る感情推定装置では、運転者が発話していない状態では、発話している状態よりも平静状態である可能性が高い。これにより、精度良く平静状態の顔画像を取得することができる。
請求項７に係る感情推定方法は、ユーザの顔画像を取得する画像取得ステップと、前記画像取得ステップで取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定ステップと、平静状態のタイミングで前記画像取得ステップで取得された平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出ステップと、前記評価値設定ステップによって設定された評価値に対して、前記補正値算出ステップで算出された補正値を反映することでユーザの感情を推定する感情推定ステップと、を含み、前記補正値算出ステップでは、前記平静時顔画像に基づいて前記評価値設定ステップで設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする。
請求項８に係るプログラムは、ユーザの顔画像を取得する画像取得ステップと、前記画像取得ステップで取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定ステップと、平静状態のタイミングで前記画像取得ステップで取得された平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出ステップと、前記評価値設定ステップによって設定された評価値に対して、前記補正値算出ステップで算出された補正値を反映することでユーザの感情を推定する感情推定ステップと、を含み、前記補正値算出ステップでは、前記平静時顔画像に基づいて前記評価値設定ステップで設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする処理をコンピュータに実行させる。
以上説明したように、本発明に係る感情推定装置、感情推定方法及びプログラムによれば、表情に個人差がある場合であっても精度よく感情を推定することができる。
実施形態に係る感情推定装置のハードウェア構成を示すブロック図である。 実施形態に係る感情推定装置の機能構成を示すブロック図である。 実施形態に係る感情推定装置による補正値取得処理の流れの一例を示すフローチャートである。 実施形態に係る感情推定装置による感情推定処理の流れの一例を示すフローチャートである。 （Ａ）は実施形態に係る感情推定装置によって推定された感情推定結果を示す概略図であり、（Ｂ）は比較例における感情推定結果を示す概略図である。 実施形態に係る感情推定装置による補正値取得処理の流れの他の例を示すフローチャートの一部である。 図６の続きを示すフローチャートの一部である。
実施形態に係る感情推定装置１０について、図面を参照して説明する。
図１に示されるように、本実施形態の感情推定装置１０は、車両に搭載された制御部であるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１２を備えている。すなわち、本実施形態の感情推定装置１０は一例として、車両に搭載されている。このため、感情推定装置１０のユーザは、車両の乗員となる。
ＥＣＵ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）１４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８、ストレージ２０、通信インタフェース２２及び入出力インタフェース２４を含んで構成されている。各構成は、バス２６を介して相互に通信可能に接続されている。
ＣＰＵ１４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０からプログラムを読み出し、ＲＡＭ１８を作業領域としてプログラムを実行する。ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ１６は、各種プログラムおよび各種データを格納する。ＲＡＭ１８は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。本実施形態では、ＲＯＭ１６又はストレージ２０には、補正値を取得するための補正値取得プログラム、及び感情推定プログラムなどが格納されている。
通信インタフェース２２は、ＥＣＵ１２がコンピュータネットワークによって通信するためのインタフェースであり、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）、イーサネット（登録商標）などの規格が用いられる。
入出力インタフェース２４には、車室内カメラ２８、車両周辺カメラ３０、マイク３２及び表示パネル３４が電気的に接続されている。車室内カメラ２８は、車室内の乗員を撮像するための光学カメラであり、本実施形態では一例として、車両前部のインストルメントパネルに配設されて運転者へ向けられている。そして、車室内カメラ２８によって運転者の顔を含む映像が撮影され、撮影された画像がＥＣＵ１２へ送信される。
車両周辺カメラ３０は、車室内又は車両の骨格などに取り付けられており、車両の周辺を撮影できるように構成されている。本実施形態では一例として、車両の前方を撮影する光学カメラ、及び車両の後方を撮影する光学カメラの２つの光学カメラによって車両周辺カメラ３０が構成されている。そして、車両周辺カメラ３０で撮影された車両前方の画像及び車両後方の画像がＥＣＵ１２へ送信される。
マイク３２は、車室内における運転席の近傍に設けられており、本実施形態では一例として、運転席へ向けて配置された指向性のマイクとされている。このため、マイク３２は、運転者が発話した音声を集音し、集音された音声がＥＣＵ１２へ送信される。また、マイク３２は指向性を有するため、助手席などの他の座席に着座した乗員が発話した音声は全く又は殆ど集音されないように構成されている。
表示パネル３４は、インストルメントパネルなどに配置されており、運転者を含む乗員へ情報を表示させる。例えば、表示パネル３４には、ナビゲーションシステムに関する情報、エンタテインメントに関する情報、及び注意喚起に関する情報などが表示される。
（感情推定装置１０の機能構成）
感情推定装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。感情推定装置１０が実現する機能構成について図２を参照して説明する。
図２に示されるように、感情推定装置１０は、機能構成として、画像取得部４０、周辺情報検知部４２、評価値設定部４４、平静状態検知部４６、補正値算出部４８及び感情推定部５０を含んで構成されている。各機能構成は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０に記憶されたプログラムを読み出し、実行することにより実現される。
画像取得部４０は、車室内カメラ２８で撮影された運転者の顔画像を取得する。また、周辺情報検知部４２は、車両周辺カメラ３０で撮影された画像に基づいて車両の周辺情報を検知する。具体的には、周辺情報検知部４２は、車両前方及び車両後方の他車両を検知する。
評価値設定部４４は、画像取得部４０で取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する。本実施形態では一例として、平静（Ｎｅｕｔｒａｌ）、喜び（Ｈａｐｐｙ）、イライラ（Ｉｒｒｉｔａｔｅｄ）、緊張（Ｎｅｒｖｏｕｓ）、疲れ（Ｔｉｒｅｄ）の５つに分類された感情のそれぞれに対して評価値を設定する。また、本実施形態では、それぞれの感情である確率を評価値としており、５つの評価値の総和が１００％となるように正規化している。例えば、評価値設定部４４によって設定された評価値のデータは、Ｎｅｕｔｒａｌ：５％、Ｈａｐｐｙ：４０％、Ｉｒｒｉｔａｔｅｄ：５０％、Ｎｅｒｖｏｕｓ：５％、Ｔｉｒｅｄ：０％などで示され、１つのデータとしてＥＣＵ１２へ送信される。なお、評価値設定部４４によって評価値を設定する間隔は、数秒間隔でもよく、数分間隔でもよい。また、一定の間隔ではなく、所定のタイミングで評価値を設定してもよい。評価値の設定方法は、例えば、人の顔画像と感情とが組となった教師データによって学習された学習済モデルを用いる方法を採用し得る。
平静状態検知部４６は、車両が所定の走行状態でかつ運転者が所定の運転状態である場合に、運転者が平静状態であること検知する。本実施形態では一例として、車両が直進している状態で、かつ、運転者が発話していない状態であるときに平静状態であると検知する。車両の状態は、例えば、車両周辺カメラ３０から取得した車両前方の画像から車両が直進している状態であると判断してもよい。
運転者の状態は、例えば、マイク３２から取得した信号によって運転者が発話していない状態であると判断してもよい。また、他の座席にも同様の指向性マイクを配設し、何れのマイクからも発話が確認されなかった場合に、発話していないと判断してもよい。
補正値算出部４８は、平静状態のタイミングで画像取得部４０が取得した平静時における顔画像、すなわち平静時顔画像に基づいて設定された評価値を用いて補正値Δを算出する。以下、図５（Ａ）を参照して、補正値算出部４８による補正値の具体的な算出方法について説明する。
図５（Ａ）に図示された上下２つの顔画像のうち、上の顔画像は、平静状態検知部４６で検知された平静状態のタイミングで画像取得部４０によって取得された平静時顔画像である。そして、平静時顔画像の右には、平静時顔画像に基づいて評価値設定部４４が設定した評価値のデータが示されている。
この評価値のデータでは、Ｎｅｕｔｒａｌ：４０％、Ｈａｐｐｙ：０％、Ｉｒｒｉｔａｔｅｄ：５０％、Ｎｅｒｖｏｕｓ：５％、Ｔｉｒｅｄ：５％となっている。すなわち、平静状態にもかかわらず、ＮｅｕｔｒａｌよりもＩｒｒｉｔａｔｅｄの感情の評価値が高くなっている。このように、平静時顔画像に基づいて評価値設定部４４が設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、補正値算出部４８は、他感情の評価値と平静状態の評価値との差分を補正値Δとして算出する。
すなわち、図５（Ａ）の例では、最も高い評価値に対応する感情がＩｒｒｉｔａｔｅｄであり、このＩｒｒｉｔａｔｅｄが他感情に該当する。このため、補正値算出部４８は、Ｉｒｒｉｔａｔｅｄの評価値である５０％と、Ｎｅｕｔｒａｌの評価値である４０％との差分の１０％を補正値Δとして算出する。そして、補正値算出部４８によって算出された補正値Δは、記憶部であるストレージ２０に格納される。また、平静状態でＮｅｕｔｒａｌよりも評価値が高い他感情がＩｒｒｉｔａｔｅｄであることがストレージ２０に格納される。すなわち、他感情がＩｒｒｉｔａｔｅｄであることと、補正値Δが１０％であることが記憶される。
図２に示されるように、感情推定部５０は、評価値設定部４４によって設定された各感情の評価値に対して、補正値算出部４８で算出された補正値Δを反映することでユーザの感情を推定する。以下、図５（Ａ）を参照して、感情推定部５０による感情推定の具体的な算出方法について説明する。
図５（Ａ）に図示された上下２つの顔画像のうち、下の顔画像は、所定のタイミングで画像取得部４０によって取得された顔画像である。そして、この顔画像の右には、評価値設定部４４が設定した評価値のデータが示されている。
この評価値のデータでは、Ｎｅｕｔｒａｌ：５％、Ｈａｐｐｙ：４０％、Ｉｒｒｉｔａｔｅｄ：５０％、Ｎｅｒｖｏｕｓ：５％、Ｔｉｒｅｄ：０％となっている。すなわち、Ｉｒｒｉｔａｔｅｄが最も高い評価値となっているため、補正値Δを反映する前の状態では、Ｉｒｒｉｔａｔｅｄが運転者の感情として推定されることとなる。
ここで、本実施形態の感情推定部５０は、評価値設定部４４で最も高い評価値が設定された感情が他感情である場合に補正値Δを反映する。図５（Ａ）の例では、他感情として記憶されている感情がＩｒｒｉｔａｔｅｄであり、最も高い評価値として設定された感情と一致するため、補正値Δを反映する。一方、感情推定部５０は、評価値設定部４４で最も高い評価値が設定された感情が他感情以外の感情である場合には、補正値Δを反映しない。例えば、他感情として記憶されている感情がＩｒｒｉｔａｔｅｄであり、最も高い評価値として設定された感情がＨａｐｐｙであった場合には、補正値Δを反映しない。
感情推定部５０は、二番目に高い評価値に対応する次点感情の評価値と他感情の評価値との差分が、補正値Δと同じ又は補正値Δよりも小さい場合に、次点感情をユーザの感情として推定する。図５（Ａ）の例では、二番目に高い評価値に対応する次点感情はＨａｐｐｙであり、評価値が４０％となっている。このため、他感情であるＩｒｒｉｔａｔｅｄの評価値との差分は、５０％－４０％＝１０％となる。
ここで、補正値算出部４８によって算出された補正値Δは１０％であるため、評価値の差分と同じ値となっている。このため、感情推定部５０は、補正値Δを反映して、次点感情であるＨａｐｐｙを運転者の感情として推定する。一方、例えば、差分が１５％であった場合は、補正値Δよりも差分が大きくなるため、感情推定部５０は、最も評価値が高い他感情を運転者の感情として推定する。
（作用）
次に、本実施形態の作用を説明する。
（補正値取得処理の一例）
図３は、感情推定装置１０による補正値取得処理の流れの一例を示すフローチャートである。この補正値取得処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。本実施形態では一例として、イグニッションがＯＮにされた後、又はパワーがＯＮにされた後、所定の間隔で補正値取得処理が行われる。また、補正値Δを登録した場合は、車両の運転が終了するまで補正値取得処理を行わない。すなわち、補正値Δは一度だけ登録される。
図３に示されるように、ＣＰＵ１４は、ステップＳ１０２で車両のシフトレンジがＤレンジであるか否かについて判定する。具体的には、ＣＰＵ１４は、シフトレンジからの信号を受信することで現在のシフトレンジを判定する。そして、ＣＰＵ１４は、シフトレンジがＤレンジである場合にはステップＳ１０４の処理へ移行し、シフトレンジがＤレンジではなかった場合には補正値取得処理を終了する。
ＣＰＵ１４は、ステップＳ１０４で評価値設定部４４による評価値の設定処理を作動させる。すなわち、本実施形態では、車両の走行が可能な状態になってから評価値の設定を開始する。そして、ＣＰＵ１４は、ステップＳ１０６の処理へ移行する。
ＣＰＵ１４は、ステップＳ１０６で車両が直進中であるか否かについて判定する。具体的には、ＣＰＵ１４は、平静状態検知部４６の機能により、車両周辺カメラ３０からの信号によって車両前方の道路がカーブのない道路である場合に、車両が直進中であると判定する。そして、ＣＰＵ１４は、車両が直進中であると判定した場合、ステップＳ１０８の処理へ移行する。一方、ＣＰＵ１４は、右左折時など車両が直進中ではないと判定した場合、すなわち、車両の右左折時及びカーブの走行中であると判定した場合、補正値取得処理を終了する。
ＣＰＵ１４は、ステップＳ１０８で乗員が発話していないか否かについて判定する。具体的には、ＣＰＵ１４は、平静状態検知部４６の機能により、マイク３２から運転者の音声が集音されなかった場合には、運転者が発話していないと判定する。そして、ＣＰＵ１４は、運転者が発話していないと判定した場合、ステップＳ１１０の処理へ移行する。一方、ＣＰＵ１４は、マイク３２から運転者の音声が集音されるなどして運転者が発話していると判定した場合、補正値取得処理を終了する。
ＣＰＵ１４は、ステップＳ１１０で評価値を取得する。具体的には、ＣＰＵ１４は、評価値設定部４４の機能によって設定された評価値を取得する。ここでは、評価値設定部４４は、車両が直進している状態で、かつ運転者が発話していない平静状態における平静時顔画像に基づいて評価値を設定する。
続いて、ＣＰＵ１４は、ステップＳ１１２で平静よりも評価値が高い感情が存在するか否かについて判定する。具体的には、最も評価値が高い感情が平静以外であるか否かについて判定する。そして、ＣＰＵ１４は、ステップＳ１１０で取得された各感情の評価値のうち、平静の評価値よりも高い評価値があれば、ステップＳ１１４の処理へ移行する。例えば、図５（Ａ）における上の顔画像では、ＮｅｕｔｒａｌよりもＩｒｒｉｔａｔｅｄの評価値が高いため、ステップＳ１１４の処理へ移行する。一方、ＣＰＵ１４は、平静の評価値よりも高い評価値がない場合、すなわち、平静の評価値が最も高い評価値である場合には、補正値を取得せずに補正値取得処理を終了する。
図３に示されるように、ＣＰＵ１４は、ステップＳ１１４で補正値Δを算出し、ストレージ２０に登録する。具体的には、補正値算出部４８の機能によって補正値Δを算出する（補正値算出ステップ）。図５（Ａ）における上の顔画像では、５０％－４０％＝１０％が補正値Δとなる。そして、他感情がＩｒｒｉｔａｔｅｄであり、補正値Δが１０％として登録される。そして、ＣＰＵ１４は、補正値取得処理を終了する。
（感情推定処理の一例）
図４は、感情推定装置１０による感情推定処理の流れの一例を示すフローチャートである。この感情推定処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。また、感情推定処理は、車両の始動後に数秒から数分の間隔で実行される。
ＣＰＵ１４は、ステップＳ２０２で画像を取得する。具体的には、ＣＰＵ１４は、画像取得部４０の機能によって運転者の顔画像を取得する（画像取得ステップ）。
ＣＰＵ１４は、ステップＳ２０４で評価値を設定する。具体的には、ＣＰＵ１４は、評価値設定部４４の機能により、運転者の顔画像に基づいて評価値を設定する（評価値設定ステップ）。なお、以下の説明において、ステップＳ２０４で設定された評価値のうち、最も高い感情の評価値をＶａ１とし、二番目に高い感情である次点感情の評価値をＶａ２とする。
ＣＰＵ１４は、ステップＳ２０６で補正値Δが登録済みであるか否かについて判定する。そして、ＣＰＵ１４は、補正値算出部４８の処理によって算出された補正値Δが登録されていると判定した場合、ステップＳ２０８の処理へ移行する。また、ＣＰＵ１４は、補正値Δが登録されていないと判定した場合、ステップＳ２１４の処理へ移行する。ステップＳ２１４の処理については後述する。
ＣＰＵ１４は、ステップＳ２０８で補正値を登録した感情の評価値が最も高いか否かについて判定する。すなわち、ＣＰＵ１４は、ステップＳ２０４で設定したＶａ１の感情が補正値の登録時の感情であると判定された場合は、ステップＳ２１０の処理へ移行する。また、ＣＰＵ１４は、Ｖａ１の感情と補正値の登録時の感情とが異なると判定された場合は、ステップＳ２１４の処理へ移行する。ステップＳ２１４の処理については後述する。
ＣＰＵ１４は、ステップＳ２１０でＶａ１とＶａ２の差分が補正値Δ以下であるか否かについて判定する。そして、ＣＰＵ１４は、Ｖａ１とＶａ２の差分が補正値Δ以下である場合は、ステップＳ２１２の処理へ移行する。また、ＣＰＵ１４は、Ｖａ１とＶａ２の差分が補正値Δよりも大きい場合は、ステップＳ２１４の処理へ移行する。
ＣＰＵ１４は、ステップＳ２１２でＶａ２に対応する感情を運転者の感情として推定する（感情推定ステップ）。例えば、図５（Ａ）の例では、Ｖａ１がＩｒｒｉｔａｔｅｄの評価値である５０となり、Ｖａ２がＨａｐｐｙの評価値である４０となっている。そして、差分の１０が補正値Δと同じであるため、Ｖａ２に対応するＨａｐｐｙを運転者の感情として推定する。
一方、ＣＰＵ１４は、ステップＳ２０６で補正値が登録されていないと判定された場合、ステップＳ２０８でＶａ１の感情と補正値Δの登録時の感情とが異なると判定された場合、及びステップＳ２１０でＶａ１とＶａ２の差分が補正値Δよりも大きいと判定された場合には、ステップＳ２１４の処理へ移行する。そして、ＣＰＵ１４は、ステップＳ２１４でＶａ１に対応する感情を運転者の感情として推定する（感情推定ステップ）。そして、ＣＰＵ１４は、感情推定処理を終了する。
以上のように、本実施形態に係る感情推定装置１０では、感情推定部５０は、評価値設定部４４によって設定された各感情の評価値に対して補正値Δを反映することでユーザの感情を推定する。このように、平静状態をユーザの表情の基準とし、この平常状態の顔画像に基づいて設定された評価値を用いることで、個人差によって評価値が変動するのを抑制することができる。この結果、表情に個人差がある場合であっても精度よく感情を推定することができる。また、学習済モデルのみを用いて感情を推定する場合と比較して、個人差による表情の推定の誤りを抑制することができる。
また、本実施形態では、平静時顔画像に基づいて設定された評価値のうち、最も高い評価値に対応する感情が平静状態以外の他感情であれば、補正値算出部４８は、他感情の評価値と平静状態の評価値との差分を補正値Δとする。これにより、ユーザの平静状態と感情推定部５０が推定した一般モデルの感情との誤差を補正することができる。
さらに、本実施形態では、評価値設定部４４で最も高い評価値が設定された感情が他感情である場合に補正値を反映する。これにより、適切にユーザと一般モデルとの評価値の差分を吸収することができる。一方、評価値設定部４４で最も高い評価値が設定された感情が他感情以外の感情である場合には、補正値を反映しない。このため、感情推定部５０によって一般モデルの評価値に基づいて感情が推定される。
さらにまた、平静状態で他感情に近い表情のユーザの場合、補正値Δが反映されなければ、他感情として誤った推定されることとなる。これに対して、本実施形態では、次点感情の評価値と他感情の評価値との差分が、補正値Δと同じ又は補正値Δよりも小さい場合に次点感情をユーザの感情とする。これにより、平静状態の評価値が一般モデルと異なるユーザであっても、より正確に感情を推定することができる。この作用について、図５（Ｂ）を参照して説明する。
図５（Ｂ）は、比較例における感情の推定方法であり、評価値設定部４４によって評価値を設定し、最も高い評価値に対応する感情を運転者の感情として推定する方法である。ここでは、運転者は平静状態であるが、顔画像が一般のモデルよりもイライラしているように判断される。このため、比較例における感情の推定方法では、運転者の感情がイライラしていると推定される。
一方、本実施形態では、他感情及び次点感情がそれぞれＩｒｒｉｔａｔｅｄとＨａｐｐｙとなっており、これらの評価値の差分が補正値Δよりも小さい場合に、次点感情であるＨａｐｐｙを運転者の感情として推定することができる。
また、本実施形態では、車両の走行状態と運転者の運転状態に基づいて取得した顔画像を平静時顔画像とすることで、走行状態及び運転状態の一方のみに基づいて平静時顔画像を取得する場合と比較して、精度良く平静状態の顔画像を取得することができる。特に、車両が直進している状態で、かつ運転者が発話していない状態で取得した顔画像を平静時顔画像とすることで、右左折時などのタイミングと比較して精度良く平静状態の顔画像を取得することができる。また、発話している状態よりも発話していない状態の方が平静状態である可能性が高いため、精度良く平静状態の顔画像を取得することができる。
なお、上記実施形態では、平静時顔画像を取得する条件として、車両が直進している状態で、かつ、運転者が発話していない状態としたが、これに限定されず、さらに条件を付加して平静状態の検知精度を向上させてもよい。また、上記実施形態では、補正値Δを一度だけ算出して登録する構成としたが、これに限定されない。例えば、図６及び図７に示す補正値取得処理を採用してもよい。
（補正値取得処理の他の例）
図６及び図７は、感情推定装置１０による補正値取得処理の流れの他の例を示すフローチャートである。この補正値取得処理は、ＣＰＵ１４がＲＯＭ１６又はストレージ２０からプログラムを読み出して、ＲＡＭ１８に展開して実行することによって実行される。また、以下の説明において、上記実施形態で説明した補正値取得処理と同様の処理については適宜説明を省略する。
図６に示されるように、ＣＰＵ１４は、図３のフローチャートと同様にステップＳ１０２からステップＳ１０８までの処理を実行する。そして、ＣＰＵ１４は、ステップＳ１０８で運転者が発話していないと判断した場合、ステップＳ１０９の処理へ移行する。
ＣＰＵ１４は、ステップＳ１０９で車間が所定以上であるか否かについて判定する。具体的には、ＣＰＵ１４は、周辺情報検知部４２の機能により、車両周辺カメラ３０で撮影された車両前方を走行する他車両との車間距離を計測する。また、ＣＰＵ１４は、周辺情報検知部４２の機能により、車両周辺カメラ３０で撮影された車両後方を走行する他車両との車間距離を計測する。そして、ＣＰＵ１４は、自車両の前後の車間距離が所定以上であれば、車間が所定以上であると判定してステップＳ１１０の処理へ移行する。
このように、車間距離を平静状態の条件として加えることにより、精度よく平静状態を検知することができる。すなわち、イライラしている場合など、平静以外の感情である場合には、先行車との車間が狭まっていることが多い。また、後方車両から煽られている場合も同様に、平静状態以外の感情である場合が多い。このため、車間距離を平静状態の条件に加えることで、平静状態である可能性を高めることができる。
図７に示されるように、ＣＰＵ１４は、ステップＳ１１２で平静よりも評価値が高い感情が存在するか否かについて判定する。そして、ＣＰＵ１４は、ステップＳ１１０で取得された各感情の評価値のうち、平静の評価値よりも高い評価値があれば、ステップＳ１１３の処理へ移行する。
ＣＰＵ１４は、ステップＳ１１３で補正値Δを算出する。次に、ＣＰＵ１４は、ステップＳ１１６の処理へ移行し、補正値Δが所定値よりも小さいか否かについて判定する。ここで設定される所定値は、通常の範囲から大きくはずれる値に設定されている。このため、補正値Δが所定値以上の場合は、平静状態が誤検知されていると判断することができる。
ＣＰＵ１４は、ステップＳ１１６で補正値Δが所定値よりも小さい場合は、ステップＳ１１８の処理へ移行し、上記実施形態と同様に補正値Δを登録する。
一方、ＣＰＵ１４は、ステップＳ１１６で補正値Δが所定値以上である場合は、ステップＳ１２０の処理へ移行する。そして、ＣＰＵ１４は、ステップＳ１２０で補正値Δを登録せずに補正値取得処理を終了する。このようにすることで、誤った補正値Δが登録されるのを抑制することができる。
以上、実施形態に係る感情推定装置１０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、平静（Ｎｅｕｔｒａｌ）、喜び（Ｈａｐｐｙ）、イライラ（Ｉｒｒｉｔａｔｅｄ）、緊張（Ｎｅｒｖｏｕｓ）、疲れ（Ｔｉｒｅｄ）の５つの感情に分類したが、これに限定されない。さらに多くの感情に分類してもよく、驚き、怒り及び悲しみなどの感情を分類してもよい。また逆に、４つ以下の感情に分類してもよい。
また、上記実施形態では、車両周辺カメラ３０から取得した車両前方の画像から車両が直進している状態であると判断したが、これに限定されず、他の方法によって車両が直進していると判断してもよい。例えば、操舵角を検知して車両が直進している状態であると判断してもよい。また、ナビゲーションシステムで走行ルートを設定している場合には、走行ルートの情報から直進状態であると判断してもよい。
さらに、上記実施形態では、運転者が発話していないことを平静状態の条件としたが、これに限定されない。例えば、運転席に生体センサを搭載し、この生体センサから心拍数及び呼吸の状態などの情報を取得することで、運転者が平静状態であるか否かを判定してもよい。
さらにまた、上記実施形態では、感情推定部５０は、Ｖａ１とＶａ２との差分が、補正値Δと同じ又は補正値Δよりも小さい場合に、次点感情をユーザの感情として推定したが、これに限定されない。例えば、Ｖａ１とＶａ２との差分が、補正値Δよりも小さい場合のみ次点感情をユーザの感情として推定してもよい。そして、Ｖａ１とＶａ２との差分が、補正値Δと同じ場合には、Ｖａ１に対応する感情とＶａ２に対応する次点感情の両方の感情であると推定してもよい。
また、上記実施形態では、感情推定装置１０を車両に適用した場合について説明したが、これに限定されない。例えば、自宅及び病院などにおいて、ユーザの感情を推定する場合に広く利用することができる。
さらに、上記実施形態及び変形例でＣＰＵ１４がソフトウェア（プログラム）を読み込んで実行した補正値取得処理及び感情推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、補正値取得処理及び感情推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ２０を記録部としたが、これに限定されない。例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体を記録部としてもよい。この場合、これらの記録媒体に各種プログラムを格納してもよい。
１０ 感情推定装置
４０ 画像取得部
４４ 評価値設定部
４８ 補正値算出部
５０ 感情推定部

Claims (8)

  1. ユーザの顔画像を取得する画像取得部と、
    前記画像取得部で取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定部と、
    平静状態のタイミングで前記画像取得部が取得した平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出部と、
    前記評価値設定部によって設定された評価値に対して、前記補正値算出部で算出された補正値を反映することでユーザの感情を推定する感情推定部と、
    を有し、
    前記補正値算出部は、前記平静時顔画像に基づいて前記評価値設定部が設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする感情推定装置。
  2. 前記感情推定部は、前記評価値設定部で最も高い評価値が設定された感情が前記他感情である場合に前記補正値を反映し、前記評価値設定部で最も高い評価値が設定された感情が前記他感情以外の感情である場合には前記補正値を反映しない請求項１に記載の感情推定装置。
  3. 前記感情推定部は、前記最も高い評価値が設定された感情が前記他感情である場合には、二番目に高い評価値に対応する次点感情の評価値と前記他感情の評価値との差分が、前記補正値と同じ又は前記補正値よりも小さい場合に、前記次点感情をユーザの感情として推定する請求項２に記載の感情推定装置。
  4. 前記画像取得部は、車両が所定の走行状態でかつ運転者が所定の運転状態である場合に、運転者の顔画像を平静時顔画像として取得する請求項１～３の何れか１項に記載の感情推定装置。
  5. 前記所定の走行状態とは、車両が直進している状態である請求項４に記載の感情推定装置。
  6. 前記所定の運転状態とは、運転者が発話していない状態である請求項４に記載の感情推定装置。
  7. ユーザの顔画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定ステップと、
    平静状態のタイミングで前記画像取得ステップで取得された平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出ステップと、
    前記評価値設定ステップによって設定された評価値に対して、前記補正値算出ステップで算出された補正値を反映することでユーザの感情を推定する感情推定ステップと、
    を含み、
    前記補正値算出ステップでは、前記平静時顔画像に基づいて前記評価値設定ステップで設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする感情推定方法。
  8. ユーザの顔画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された顔画像に基づいて、平静状態を含む複数に分類された感情のそれぞれに対して評価値を設定する評価値設定ステップと、
    平静状態のタイミングで前記画像取得ステップで取得された平静時顔画像に基づいて設定された評価値を用いて補正値を算出する補正値算出ステップと、
    前記評価値設定ステップによって設定された評価値に対して、前記補正値算出ステップで算出された補正値を反映することでユーザの感情を推定する感情推定ステップと、
    を含み、
    前記補正値算出ステップでは、前記平静時顔画像に基づいて前記評価値設定ステップで設定した評価値のうち最も高い評価値に対応する感情が平静状態以外の他感情である場合に、該他感情の評価値と平静状態の評価値との差分を前記補正値とする処理をコンピュータに実行させるためのプログラム。
JP2020108272A 2020-06-23 2020-06-23 感情推定装置、感情推定方法及びプログラム Active JP7359084B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020108272A JP7359084B2 (ja) 2020-06-23 2020-06-23 感情推定装置、感情推定方法及びプログラム
CN202110468176.XA CN113919386A (zh) 2020-06-23 2021-04-28 情绪推断装置、情绪推断方法以及非暂时性存储介质
US17/314,119 US11804075B2 (en) 2020-06-23 2021-05-07 Emotion determination device, emotion determination method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020108272A JP7359084B2 (ja) 2020-06-23 2020-06-23 感情推定装置、感情推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022003497A JP2022003497A (ja) 2022-01-11
JP7359084B2 true JP7359084B2 (ja) 2023-10-11

Family

ID=79022350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020108272A Active JP7359084B2 (ja) 2020-06-23 2020-06-23 感情推定装置、感情推定方法及びプログラム

Country Status (3)

Country Link
US (1) US11804075B2 (ja)
JP (1) JP7359084B2 (ja)
CN (1) CN113919386A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160072902A1 (en) 2014-09-10 2016-03-10 International Business Machines Corporation Association of an emotional influencer to a post in a social medium
US20170351330A1 (en) 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
JP2019101472A (ja) 2017-11-28 2019-06-24 トヨタ自動車株式会社 感情推定装置
WO2019193781A1 (ja) 2018-04-04 2019-10-10 パナソニックＩｐマネジメント株式会社 感情推定装置、感情推定方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467965B2 (ja) 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
JP6993291B2 (ja) 2018-05-17 2022-01-13 株式会社日立製作所 計算機及び感情推定方法
JP6999540B2 (ja) * 2018-12-28 2022-01-18 本田技研工業株式会社 情報処理装置及びプログラム
US11810373B2 (en) * 2019-09-19 2023-11-07 Mitsubishi Electric Corporation Cognitive function estimation device, learning device, and cognitive function estimation method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160072902A1 (en) 2014-09-10 2016-03-10 International Business Machines Corporation Association of an emotional influencer to a post in a social medium
US20170351330A1 (en) 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
JP2019101472A (ja) 2017-11-28 2019-06-24 トヨタ自動車株式会社 感情推定装置
WO2019193781A1 (ja) 2018-04-04 2019-10-10 パナソニックＩｐマネジメント株式会社 感情推定装置、感情推定方法及びプログラム

Also Published As

Publication number Publication date
US20210397825A1 (en) 2021-12-23
JP2022003497A (ja) 2022-01-11
CN113919386A (zh) 2022-01-11
US11804075B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US20160171321A1 (en) Determination apparatus and determination method
JP6713490B2 (ja) 情報提供装置及び情報提供方法
JP7290930B2 (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
JP2016115117A (ja) 判定装置および判定方法
JP2020068973A (ja) 感情推定統合装置、感情推定統合方法およびプログラム
WO2018168038A1 (ja) 運転者の着座判定装置
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP2020166524A (ja) 監視システム、監視方法およびコンピュータプログラム
JP7359084B2 (ja) 感情推定装置、感情推定方法及びプログラム
JPWO2020174601A1 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
JP2018133696A (ja) 車載装置、コンテンツ提供システムおよびコンテンツ提供方法
JP7065356B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017217044A1 (ja) 視認方向推定装置
JP7090707B2 (ja) 報知対象検知装置、警報システムおよび報知対象検知方法
JP7294775B2 (ja) 情報処理装置、プログラム、及び制御方法
CN112025706B (zh) 机器人的状态确定方法及装置、机器人及存储介质
US20230404456A1 (en) Adjustment device, adjustment system, and adjustment method
JP7175381B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
JP7504326B2 (ja) 乗員状態推定装置及び乗員状態推定方法
JP7217838B2 (ja) 開口度算出装置
US20240346834A1 (en) Reference value creating device, alertness level estimating device, and reference value creating method
JP7483060B2 (ja) 手検出装置、ジェスチャー認識装置および手検出方法
WO2024121917A1 (ja) 内部状態推定装置及び内部状態推定方法
WO2023170777A1 (ja) 乗員監視装置、乗員監視方法、及び乗員監視プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7359084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151