JP7251392B2

JP7251392B2 - 感情推定装置

Info

Publication number: JP7251392B2
Application number: JP2019142532A
Authority: JP
Inventors: 大乗山高; 史佳中西
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-08-01
Filing date: 2019-08-01
Publication date: 2023-04-04
Anticipated expiration: 2039-08-01
Also published as: US11393226B2; US20210034891A1; JP2021024378A; FR3099610A1; FR3099610B1

Description

本開示は、利用者の感情を推定する感情推定装置に関する。

従来、利用者の複数種類の表情が数値化された表情スコアを用いて、利用者の感情を推定する方法が提案されている。例えば、特許文献１は、利用者の顔を撮影した画像を用いて、利用者の表情スコアを算出し、当該表情スコアに基づいて利用者の感情を推定する感情推定方法を開示する。

特開２０１６－１４９０６３号公報

しかしながら、利用者の感情が表情に表れ難い等の理由により、利用者の表情スコアと、利用者の感情との相関が弱くなる場合がある。特許文献１が開示する感情推定方法では、表情スコアと利用者の感情との相関関係のみに基づいて利用者の感情を推定するため、表情スコアと利用者の感情との相関が弱い場合、利用者の感情の推定精度が低くなるという問題があった。

本開示は、上記問題点を鑑みてされたものであり、利用者の感情の推定精度を高めることが可能な感情推定装置を提供することを目的とする。

上記目的を達成するための第１の感情推定装置は、利用者の複数種類の表情それぞれが数値化された表情スコアを用いて利用者の感情を推定する感情推定装置（１０）であって、連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、連続する複数のイベントに相関する感情との対応関係に基づいて、取得した利用者の各表情の指標値に対応する感情を、利用者の感情として推定する感情推定部（１０８）を備え、連続する複数のイベントと、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情とが対応付けられた感情推定ルール（１１４）を有しており、連続する複数のイベントと、連続する複数のイベントの間において感情推定部による利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していないときの利用者の各表情の指標値と、連続する複数のイベントに相関する感情とが、対応付けられており、感情推定部は、特定のイベントが発生していない場合に、感情推定ルールに基づき、取得した特定のイベントが発生していないときの利用者の各表情の指標値に対応する、利用者の各表情の指標値に対応付けられている感情を、利用者の感情として推定する。
上記目的を達成するための第２の感情推定装置は、利用者の複数種類の表情それぞれが数値化された表情スコアを用いて利用者の感情を推定する感情推定装置（１０）であって、連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、連続する複数のイベントに相関する感情との対応関係に基づいて、取得した利用者の各表情の指標値に対応する感情を、利用者の感情として推定する感情推定部（１０８）を備え、連続する複数のイベントと、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情とが対応付けられた感情推定ルール（１１４）を有しており、感情推定ルールは、連続する複数のイベントの間において感情推定部による利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していない場合に、連続する複数のイベントと、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情とが対応付けられた第１の感情推定ルールと、連続する複数のイベントの間に特定のイベントが発生している場合に、連続する複数のイベントと、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情とが対応付けられた第２の感情推定ルールであり、感情推定部は、特定のイベントが発生していない場合に、第１の感情推定ルールに基づき、取得した特定のイベントが発生していないときの利用者の各表情の指標値に対応する、利用者の各表情の指標値に対応付けられている感情を、利用者の感情として推定し、特定のイベントが発生している場合に、第２の感情推定ルールに基づき、取得した特定のイベントが発生しているときの利用者の各表情の指標値に対応する、利用者の各表情の指標値に対応付けられている感情を、利用者の感情として推定する。
上記目的を達成するための第３の感情推定装置は、利用者の複数種類の表情それぞれが数値化された表情スコアを用いて利用者の感情を推定する感情推定装置（１０）であって、連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、連続する複数のイベントに相関する感情との対応関係に基づいて、取得した利用者の各表情の指標値に対応する感情を、利用者の感情として推定する感情推定部（１０８）と、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情を示す値を、教師データとして用いて学習された感情推定モデル（１１５）と、を備え、感情推定モデルは、連続する複数のイベントの間において感情推定部による利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していない場合に、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情を示す値を、教師データとして用いて学習された第１の感情推定モデルと、連続する複数のイベントの間に特定のイベントが発生している場合に、連続する複数のイベントの間における利用者の各表情の指標値と、連続する複数のイベントに相関する感情を示す値を、教師データとして用いて学習された第２の感情推定モデルであり、感情推定部は、特定のイベントが発生していない場合に、取得した特定のイベントが発生していないときの利用者の各表情の指標値を、第１の感情推定モデルに入力することにより、第１の感情推定モデルから出力された感情を示す値に基づいて、利用者の感情を推定し、特定のイベントが発生している場合に、取得した特定のイベントが発生しているときの利用者の各表情の指標値を、第２の感情推定モデルに入力することにより、第２の感情推定モデルから出力された感情を示す値に基づいて、利用者の感情を推定する。

本開示の感情推定装置では、表情スコアと利用者の感情との相関関係のみに基づいて利用者の感情を推定するのではなく、連続する複数のイベントの間における利用者の各表情の指標値と、当該連続する複数のイベントに相関する感情との対応関係に基づいて、利用者の感情を推定する。これにより、表情スコアと利用者の感情との相関が弱い場合でも、利用者の感情を高精度で推定することができる。

本開示の第１の実施形態に係る感情推定システムを示す図である。第１の実施形態に係る感情推定装置の構成を示す図である。表情スコアの変化の一例を示す図である。第１の実施形態に係る累積データテーブルの一例を示す図である。第１の実施形態に係る累積データテーブルの一例を示す図である。第１の実施形態に係る感情推定テーブルの一例を示す図である。第１の実施形態に係る感情推定テーブルの一例を示す図である。第１の実施形態に係る感情推定装置が実行する処理の一例を示すフローチャートである。第１の実施形態に係る感情推定装置が実行する処理の別の例を示すフローチャートである。第２の実施形態に係る感情推定装置が実行する処理の一例を示すフローチャートである。第２の実施形態に係る感情推定装置が実行する処理の別の例を示すフローチャートである。第３の実施形態に係る感情推定装置の構成を示す図である。連続する２つのイベントと利用者の感情との相関関係を示す図である。第３の実施形態に係る感情推定装置が実行する処理の一例を示すフローチャートである。第３の実施形態に係る感情推定装置が実行する処理の別の例を示すフローチャートである。第４の実施形態に係る感情推定装置が実行する処理の一例を示すフローチャートである。第４の実施形態に係る感情推定装置が実行する処理の別の例を示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照して、本開示の第１の実施形態について説明する。図１に示すように、第１の実施形態に係る感情推定システム１は、感情推定装置１０と、センサ２０と、撮影装置３０と、渋滞情報取得装置４０と、測距装置５０と、位置情報算出装置６０と、状態監視装置７０と、生体情報取得装置８０とを含む。

感情推定装置１０は、感情推定の対象である利用者の感情を推定する装置である。感情推定装置１０は、マイクロコントローラと、種々の電子回路と、通信インタフェースとを備える。

マイクロコントローラは、感情推定装置１０の動作を制御する装置であり、演算装置と、揮発性記憶装置と、不揮発性記憶装置とを備える。演算装置は、種々のプログラムを実行可能なＣＰＵやＧＰＵ等の演算装置である。演算装置は、不揮発性記憶装置に保存されたプログラムを実行することにより、本開示の感情推定方法を実行する。

通信インタフェースは、センサ２０と、撮影装置３０と、渋滞情報取得装置４０と、測距装置５０と、位置情報算出装置６０と、状態監視装置７０と、生体情報取得装置８０との間で、種々のデータの送受信を行うインタフェースである。

センサ２０は、車両に対する利用者の種々の操作を検出し、当該操作を示す信号を、車内ＬＡＮ（Local Area Network）を介して送信する検出装置である。センサ２０の具体例としては、車両の駆動源（すなわち、エンジン及びモータ等）の始動を検出するセンサ、アクセルペダルの操作量を検出するセンサ、ブレーキペダルの操作量を検出するセンサ、ステアリングの操作量を検出するセンサ等が挙げられる。センサ２０は、利用者の操作に応じて、駆動源の始動を指示する制御信号、車両の加速及び操作量を指示する制御信号、ブレーキ及び操作量を指示する制御信号、ステアリングホイールの操作及び操作量を指示する制御信号等を、車内ＬＡＮに送信する。

撮影装置３０は、利用者が乗車している車両の周辺環境を撮影する装置である。撮影装置３０は、車両の周辺環境を撮影して撮影画像を生成すると、当該撮影画像を感情推定装置１０に提供する。

渋滞情報取得装置４０は、利用者が乗車している車両の走行車線の渋滞情報を取得する装置である。渋滞情報取得装置４０は、例えば、道路に設置された渋滞情報提供装置から、無線通信を介して渋滞情報を取得することができる。渋滞情報取得装置４０は、渋滞情報を取得すると、当該渋滞情報を感情推定装置１０に提供する。

測距装置５０は、利用者が乗車している車両と、その前方車両との車間距離を測定する装置である。測距装置５０は、利用者が乗車している車両に設置される。測距装置５０は、例えば、赤外線又はミリ波等の探査波を放射し、その反射波を解析することにより、前方車両との車間距離を測定することができる。測距装置５０は、前方車両との車間距離を測定すると、当該車間距離を示す情報を感情推定装置１０に提供する。

位置情報算出装置６０は、利用者が乗車している車両の位置情報を算出する装置である。位置情報算出装置６０は、ＧＮＳＳ（Global Navigation Satellite System）の複数の測位衛星が提供する測位信号に基づいて、車両の現在位置を算出することができる。位置情報算出装置６０は、当該現在位置を示す現在位置情報を感情推定装置１０に提供する。

状態監視装置７０は、利用者の顔を撮影すると共に、当該撮影画像を解析する装置である。状態監視装置７０は、利用者が運転席に着席した状態で、利用者の顔を撮影可能な位置に設置される。状態監視装置７０は、利用者を撮影して撮影画像を生成すると、当該撮影画像を感情推定装置１０に提供する。

また、状態監視装置７０は、撮影画像と、予め取得した利用者の撮影画像とをマッチングすることにより、利用者を特定することができる。状態監視装置７０は、特定した利用者の識別情報を感情推定装置１０に送信する。

さらに、状態監視装置７０は、利用者が運転席に乗車していない状態の運転席の撮影画像（以下、「基準画像」とする。）と、撮影画像とを比較し、これらの画像が相違する場合に、利用者の運転席への乗車を示すイベントを感情推定装置１０に送信する。

さらに、状態監視装置７０は、撮影画像を解析して、利用者の瞼開度を算出することができる。状態監視装置７０は、利用者の瞼開度を示す情報を感情推定装置１０に送信する。

さらに、状態監視装置７０は、撮影画像を解析して、利用者の口の開閉が行われたか否か判断し、利用者の口の開閉が行われた場合に、利用者の口の開閉が行われた旨を示すイベントを感情推定装置１０に送信する。

生体情報取得装置８０は、生体情報を取得する装置である。生体情報取得装置８０の具体例として、利用者が装着可能なウェアラブルデバイス等が挙げられる。例えば、生体情報取得装置８０は、利用者の心臓の拍動によって生じる血流量の変化又は血管の容積変化を示す脈波を取得し、当該脈波を示す脈波信号を感情推定装置１０に提供することができる。

次に、図２を参照して、感情推定装置１０の機能について説明する。感情推定装置１０は、識別情報登録部１００と、表情スコア算出部１０１と、イベント検出部１０２と、イベント登録部１０３と、イベント判定部１０４と、特徴量算出部１０５と、累積データテーブル登録部１０６と、感情推定テーブル更新部１０７と、感情推定部１０８と、記憶装置１０９とを有する。

識別情報登録部１００は、利用者の識別情報を登録する機能部である。識別情報登録部１００は、状態監視装置７０から利用者の識別情報を受信すると、当該識別情報を記憶装置１０９に保存する。

表情スコア算出部１０１は、状態監視装置７０が提供した撮影画像から利用者の表情スコアを算出し、記憶装置１０９内の表情スコアデータベース１１１に登録する機能部である。例えば、表情スコアによって表される表情として、ポール・エクマンの７種類の表情、すなわち、中立、怒り、恐怖、驚き、喜び、悲しみ、不快を採用することができる。

より詳細には、表情スコア算出部１０１は、利用者の顔のパーツの位置情報に基づき、顔のパーツの相対位置又は形状に関わる特徴量を算出する。この特徴量として、Ｈａａｒ－ｌｉｋｅ特徴量、特徴点間距離、フーリエ記述子等を使用することができる。次いで、表情スコア算出部１０１は、算出した特徴量を表情別の表情スコア算出モデル（図示せず）に入力し、これらの表情スコア算出モデルから表情別の表情スコアを取得する。表情スコア算出モデルは、種々の機械学習アルゴリズムに基づき、多数の人の顔画像を用いて学習させることができる。

そして、表情スコア算出部１０１は、表情スコア算出モデルが出力した各表情の表情スコアの合計が１００となるように、表情スコアを算出する。表情スコア算出部１０１は、このようにして算出した利用者の表情スコアと、当該表情スコアの生成時刻とを対応付けて、表情スコアデータベース１１１に登録する。

イベント検出部１０２は、利用者に関するイベントを検出する機能部である。イベントには、利用者の感情推定の精度を低下させる可能性のある特定のイベントと、当該特定のイベント以外の通常のイベントがある。特定のイベントは、例えば、利用者の眠気を示すイベント（以下、「眠気イベント」とする。）、利用者が会話中である旨を示すイベント（以下、「会話イベント」とする。）等のイベントである。

通常のイベントには、（１）利用者に起因するイベントと、（２）利用者の周辺環境に関するイベントがある。利用者に起因するイベントには、利用者が乗車している車両の操作に起因するイベント、利用者の状態に起因するイベント等が含まれる。

車両の操作に起因するイベントには、車両の駆動源の始動を示すイベント、車両の急加速を示すイベント、急ブレーキを示すイベント、急ハンドルを示すイベント等が含まれる。イベント検出部１０２は、センサ２０が送信した制御信号を監視し、これらのイベントに関連する制御信号を検出すると、当該イベントが発生したと判断することができる。

また、車両の操作に起因するイベントには、利用者の車両と前方車両との車間距離の急激な減少を示すイベント等が含まれる。イベント検出部１０２は、測距装置５０が提供した前方車両との車間距離の減少率が、急激な車間距離の減少を示す既定の閾値以上になった場合に、車間距離の急激な減少を示すイベントが発生したと判断することができる。

利用者の状態に起因するイベントには、心拍数の増加又は減少を示すイベント、心拍変動に基づく低周波成分の積分値であるＬＦ積分値の増加又は減少を示すイベント、心拍変動に基づく高周波成分であるＨＦ積分値の増加又は減少を示すイベント等が含まれる。

イベント検出部１０２は、生体情報取得装置８０が提供した脈波信号を用いて、複数の期間の心拍数を計数し、これらの心拍数を比較する。イベント検出部１０２は、心拍数の増加率が、既定の閾値以上になった場合に、心拍数の増加を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じる心拍数の増加率とすることができる。

また、イベント検出部１０２は、心拍数の減少率が、既定の閾値以上になった場合に、心拍数の減少を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じる心拍数の減少率とすることができる。

さらに、イベント検出部１０２は、脈波信号を用いて、所定の期間（例えば、１分等）における心拍間隔を算出する。そして、イベント検出部１０２は、算出した心拍間隔に高速フーリエ変換を施し、得られた周波数データの低周波成分を及び高周波成分を積分することにより、ＬＦ積分値及びＨＦ積分値を算出することができる。イベント検出部１０２は、複数の期間についてＬＦ積分値及びＨＦ積分値を算出し、これらのＬＦ積分値及びＨＦ積分値を比較することにより、ＬＦ積分値及びＨＦ積分値の増加又は減少を示すイベントが発生したか否か判断することができる。

より詳細には、イベント検出部１０２は、ＬＦ積分値の増加率が、既定の閾値以上になった場合に、ＬＦ積分値の増加を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じるＬＦ積分値の増加率とすることができる。

また、イベント検出部１０２は、ＬＦ積分値の減少率が、既定の閾値以上になった場合に、ＬＦ積分値の減少を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じるＬＦ積分値の減少率とすることができる。

さらに、イベント検出部１０２は、ＨＦ積分値の増加率が、既定の閾値以上になった場合に、ＨＦ積分値の増加を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じるＨＦ積分値の増加率とすることができる。

さらに、イベント検出部１０２は、ＨＦ積分値の減少率が、既定の閾値以上になった場合に、ＨＦ積分値の減少を示すイベントが発生したと判断することができる。当該閾値は、利用者の感情の変化によって生じるＨＦ積分値の減少率とすることができる。

さらに、利用者の状態に起因するイベントには、利用者による運転席への乗車を示すイベント、眠気イベント及び会話イベント等が含まれる。

例えば、イベント検出部１０２は、状態監視装置７０から利用者による運転席への乗車を示すイベントを受信した場合に、乗車を示すイベントが発生したと判断することができる。

また、イベント検出部１０２は、状態監視装置７０が提供した利用者の瞼開度を示す情報を解析し、所定の期間（例えば、３０秒等）の利用者の瞼開度が、既定の閾値（例えば、５０％等）以下になった場合に、眠気イベントが発生したと判断することができる。

さらに、イベント検出部１０２は、状態監視装置７０から利用者の口の開閉が行われた旨を示すイベントの受信回数を計数し、所定の期間（例えば、１０秒等）における当該イベントの受信回数が、既定の閾値（例えば、１０回等）以上になった場合に、会話イベントが発生したと判断することができる。

利用者の周辺環境に関するイベントには、利用者の車両の周辺の交通量の増加を示すイベント、利用者の車両の周辺の渋滞を示すイベント、他の車両による割り込みを示すイベント等が含まれる。イベント検出部１０２は、撮影装置３０が提供した撮影画像を解析し、これらのイベントが発生したか否か判断することができる。

また、利用者の周辺環境に関するイベントには、利用者の車両が車線の合流地点又は分岐点の近くに存在する旨を示すイベント等が含まれる。イベント検出部１０２は、位置情報算出装置６０が提供した現在位置情報と、記憶装置１０９に予め保存されている合流地点又は分岐点の位置情報とを解析し、当該イベントが発生したか否か判断することができる。

イベント登録部１０３は、イベント検出部１０２が検出した各種イベントを、記憶装置１０９内のイベントログ１１２に登録する機能部である。イベント登録部１０３は、イベントの発生時刻と、当該イベントの種類を示す情報とを対応付けて登録する。

イベント判定部１０４は、記憶装置１０９内のイベントログ１１２を参照し、利用者の感情推定の精度を低下させる可能性のある特定のイベントの発生の有無を判定する機能部である。例えば、利用者が眠気を感じている場合、利用者の瞼開度が低下する可能性があるため、表情スコアが正確に算出されないことがある。また、利用者が会話をしている場合、利用者の口が開口するため、表情スコアが正確に算出されないことがある。このため、眠気イベント又は会話イベントが発生している場合、表情スコアが正確に算出されず、利用者の感情推定の精度を低下させる可能性がある。

特徴量算出部１０５は、記憶装置１０９内の表情スコアデータベース１１１に登録されている利用者の各表情の表情スコアを用いて、当該表情スコアの特徴量を算出する機能部である。本実施形態では、特徴量算出部１０５は、上記７種類の表情について、表情スコアの変化量及び変化時間を、特徴量として算出することができる。なお、特徴量算出部１０５は、表情スコアの変化量及び変化時間に基づく変化傾向を、特徴量として算出してもよい。

図３は、先行のイベントである渋滞を示すイベントと、その直後のイベントである急加速又は急ブレーキを示すイベントとの間における利用者の表情スコアの変化を示している。この例では、渋滞を示すイベントの後、喜びを示す表情スコアが減少し、その後、不快を示す表情スコアが増加している。

変化時間は、表情スコアの変化の開始時刻と終了時刻の間の時間である。表情スコアの変化の開始時刻及び終了時刻は、表情スコアの変化傾向を示す微分値が、既定の閾値以上になった時刻とすることができる。表情スコアの変化量は、変化時間における表情スコアの最大値及び最小値の差である。

累積データテーブル登録部１０６は、利用者毎の各表情の表情スコアの最大値及び最小値と、各表情の表情スコアの変化量及び変化時間を、これらに関連するイベントと対応付けて、記憶装置１０９内の累積データテーブル１１３に登録する機能部である。図４及び図５は、累積データテーブル１１３の一例を示している。図４及び図５に示す累積データテーブルには、利用者の識別情報と、連続する２つのイベントと、これらの２つのイベントの間で取得された各表情の表情スコアの最大値及び最小値と、当該表情スコアに基づく変化量及び変化時間とが、対応付けて登録されている。なお、図４及び図５では、累積データテーブル１１３が個別の図面に表示されているが、これらの累積データテーブル１１３は、図４及び図５で１つの累積データテーブル１１３を構成する。

感情推定テーブル更新部１０７は、記憶装置１０９内に利用者毎に生成される感情推定テーブル１１４を更新する機能部である。ここで、感情推定テーブルとは、表情スコアを感情に変換するルールを表現するテーブルである。感情推定テーブルは、感情推定ルールに相当する。図６及び図７は、或る利用者の感情推定テーブル１１４の一例を示している。図６及び図７に示す感情推定テーブル１１４には、連続する２つのイベントと、これらの２つのイベントの間の利用者の各表情の表情スコアの最大値及び最小値と、当該表情スコアに基づく最大値及び最小値と、これらの２つのイベントと相関のある利用者の感情が、対応付けて登録される。なお、図６及び図７では、感情推定テーブル１１４が個別の図面に表示されているが、これらの感情推定テーブル１１４は、図６及び図７で１つの感情推定テーブル１１４を構成する。

感情推定テーブル１１４に登録される連続する２つのイベントは、通常のイベント、すなわち、利用者に起因するイベント及び利用者の周辺環境に関するイベントの少なくとも一方である。例えば、先行のイベントが渋滞を示すイベントであり、後続のイベントが、車両の急加速又は急ブレーキ、利用者の心拍数又はＬＦ積分値の増加を示すイベントである場合、利用者の感情として「イライラ」を、これらのイベントに対応付けて登録することができる。また、先行のイベントが急ブレーキを示すイベントであり、後続のイベントが、心拍数の減少又はＨＦ積分値の増加を示すイベントである場合、利用者の感情として「安心」を、これらのイベントに対応付けて登録することができる。このように、感情推定テーブル１１４に登録される利用者の感情は、上記７種類の表情が表す感情に限られず、連続する２つのイベントによって生じ得る様々な感情を採用することができる。

感情推定部１０８は、利用者の各表情の表情スコア及び当該表情スコアの特徴量の少なくとも一方である指標値を用いて、利用者の感情を推定する機能部である。より詳細には、感情推定部１０８は、表情スコアデータベース１１１から所定の期間における利用者の複数の表情スコアを取得し、これらの表情スコアの平均値を算出することができる。所定の期間は、利用者の感情の変化に応じて表情スコアが変化する平均的な時間以上とすることが好ましい。

次いで、特徴量算出部１０５が、各表情について表情スコアの特徴量を算出する。そして、感情推定部１０８は、各表情の表情スコアの平均値と、表情スコアの特徴量の少なくとも一方が該当する感情推定テーブル１１４のレコードを特定し、当該レコードに対応付けられている感情を、利用者の感情として推定することができる。

なお、感情推定部１０８は、複数のレコードが特定された場合、特定された各レコードに対応付けられている個別の感情を混合した感情を、利用者の感情として推定することができる。また、感情推定部１０８は、特定された各レコードに対応付けられている個別の感情を、利用者の感情として推定することができる。この場合、感情推定部１０８は、各感情の重みを提示することができる。

さらに、感情推定部１０８は、各表情の表情スコアの特徴量を使用せず、表情スコアを用いて利用者の感情を推定する場合、表情スコアデータベース１１１から、所定の期間の複数の表情スコアではなく、１つの表情スコアのみを取得して、利用者の感情を推定してもよい。

次に、図８を参照して、第１の実施形態に係る感情推定装置１０が実行する処理の一例について説明する。ステップＳ１０１では、感情推定装置１０のイベント検出部１０２が、イベントが発生したか否か判断する。イベントが発生していない場合（ＮＯ）、ステップＳ１０１の処理が再び実行される。一方、イベントが発生した場合（ＹＥＳ）、ステップＳ１０２に処理が分岐する。

ステップＳ１０２では、イベント登録部１０３が、ステップＳ１０１で検出されたイベントをイベントログ１１２に登録する。ステップＳ１０３では、イベント判定部１０４が、イベントログ１１２を参照し、ステップＳ１０１で検出されたイベントと、その直前のイベントの少なくとも一方が、感情推定精度を低下させる可能性のある特定のイベントであるか否か判断する。これらのイベントの少なくとも一方が特定のイベントである場合（ＹＥＳ）、図８の処理は終了する。一方、これらのイベントの双方が特定のイベントでない場合（ＮＯ）、ステップＳ１０４に処理が分岐する。

ステップＳ１０４では、特徴量算出部１０５が、ステップＳ１０１で検出されたイベントと、その直前のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ１０５では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ１０６では、累積データテーブル登録部１０６が、ステップＳ１０１で検出されたイベントと、その直前のイベントの間における利用者の各表情の表情スコアと、ステップＳ１０５で算出された当該表情スコアの変化量及び変化時間を、累積データテーブル１１３に登録する。

より詳細には、累積データテーブル登録部１０６は、これらのイベントの間における利用者の各表情の表情スコアを表情スコアデータベース１１１から取得すると共に、記憶装置１０９から利用者の識別情報を取得する。そして、累積データテーブル登録部１０６は、当該利用者の識別情報と、当該表情スコアの最大値及び最小値と、当該表情スコアの変化量及び変化時間を対応付けて、累積データテーブル１１３に登録する。ステップＳ１０７では、感情推定テーブル更新部１０７が、感情推定テーブル１１４を更新し、図８の処理が終了する。

より詳細には、感情推定テーブル更新部１０７は、記憶装置１０９に保存されている利用者の識別情報によって特定される利用者の感情推定テーブル１１４を参照し、ステップＳ１０１で検出されたイベントと、その直前のイベントに関連するレコードを特定する。次いで、感情推定テーブル更新部１０７は、特定したレコードに登録されている各表情の表情スコアの最大値及び最小値、当該表情スコアの変化量の最大値及び最小値、変化時間の最大値及び最小値と、ステップＳ１０６で累積データテーブル１１３に登録された表情スコアの最大値及び最小値、当該表情スコアの変化量及び変化時間とを比較する。

そして、ステップＳ１０６で累積データテーブル１１３に登録された表情スコアの最大値及び最小値、当該表情スコアの変化量及び変化時間が、特定したレコードに登録されている表情スコア、変化量及び変化時間の範囲外である場合、感情推定テーブル更新部１０７は、範囲外となった表情スコアの最大値及び最小値、変化量及び変化時間を用いて、感情推定テーブル１１４の表情スコア、変化量及び変化時間の最大値及び最小値を更新する。

次に、図９を参照して、第１の実施形態に係る感情推定装置１０が実行する別の処理について説明する。ステップＳ２０１では、感情推定部１０８が、表情スコアデータベース１１１から所定の期間における利用者の各表情の表情スコアを取得し、各表情の表情スコアの平均値を算出する。ステップＳ２０２では、特徴量算出部１０５は、表情スコアデータベース１１１から当該表情スコアを取得し、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ２０３では、イベント判定部１０４が、イベントログ１１２を参照し、感情推定精度を低下させる可能性のある特定のイベントが、上記所定の期間に発生したか否か判定する。特定のイベントが発生した場合（ＹＥＳ）、図９の処理は終了する。一方、特定のイベントが発生していない場合（ＮＯ）、ステップＳ２０４に処理が分岐する。

ステップＳ２０４では、感情推定部１０８が、記憶装置１０９に保存されている利用者の識別情報によって特定される利用者の感情推定テーブル１１４を参照し、ステップＳ２０１で算出した各表情の表情スコアの平均値と、ステップＳ２０２で算出された各表情の表情スコアの変化量及び変化時間との少なくとも一方を用いて、利用者の感情を推定する。

（第１の実施形態の効果）
本実施形態では、感情推定テーブル１１４には、連続する２つのイベントと、これらのイベントの間における利用者の各表情の指標値と、これらのイベントに相関する感情とが対応付けて登録される。感情推定部１０８は、感情推定テーブル１１４を参照し、表情スコアデータベース１１１から取得した利用者の各表情の指標値である表情スコア及び当該表情スコアの特徴量の一方に対応する、登録された利用者の各表情の指標値を特定する。そして、感情推定部１０８は、特定した指標値に対応付けられている感情を、利用者の感情として推定する。すなわち、感情推定部１０８は、表情スコアと利用者の感情との相関関係のみに基づいて利用者の感情を推定するのではなく、連続する２つのイベントの間における利用者の各表情の指標値と、当該連続する２つのイベントに相関する感情との対応関係に基づいて、利用者の感情を推定する。

これにより、表情スコアと利用者の感情との相関が弱い場合でも、利用者の感情を高精度で推定することができる。

また、感情推定装置１０は、連続する２つのイベントに相関する感情を用いて利用者の感情を推定する。ここで、１つのイベントによって引き起こされる利用者の感情は、一意に定まらないことがある。例えば、急ブレーキを示すイベントが発生した場合、その後の利用者の感情が、怒りとなる人もいれば、安心となる人もいる。そのため、１つのイベントに相関する感情を用いて利用者の感情を推定した場合、感情の推定精度が低くなる恐れがある。一方、感情推定装置１０は、１つのイベントではなく、連続する２つのイベントに相関する感情を用いて利用者の感情を推定するため、感情の推定精度を高めることができる。

さらに、連続する２つのイベントは、利用者の周辺環境に関するイベント及び利用者に起因するイベントの少なくとも一方である。これらのイベントは、利用者の感情に影響を与える可能性が高く、利用者の感情との相関が強い。特に、後続のイベントが利用者に起因するイベントである場合、当該イベントと利用者の感情との相関が強くなる。感情推定装置１０は、このように当該イベントとの相関が強い感情を用いて利用者の感情を推定するため、感情の推定精度を高めることができる。

さらに、感情推定テーブル１１４には、連続する２つの通常のイベントと、連続する２つの通常のイベントの間において特定のイベントが発生していないときの利用者の各表情の指標値と、連続する２つの通常のイベントに相関する感情とが対応付けて登録される。感情推定テーブル１１４には、特定のイベントが発生しているときの利用者の各表情の指標値は登録されない。感情推定部１０８は、特定のイベントが発生していない場合に、感情推定テーブル１１４を参照し、表情スコアデータベース１１１から取得した特定のイベントが発生していないときの利用者の各表情の指標値に対応する、登録された利用者の各表情の指標値を特定する。そして、感情推定部１０８は、特定した指標値に対応付けられている感情を、利用者の感情として推定する。

これにより、利用者の感情の推定精度を低下させる可能性のあるイベントが発生していない場合、当該イベントに関連する利用者の各表情の指標値が登録されていない感情推定テーブル１１４を用いて、利用者の感情を推定することができる。このため、利用者の感情の推定精度を高めることができる。

さらに、感情推定装置１０は、利用者毎に感情推定テーブル１１４を備えており、利用者毎の感情推定テーブル１１４を用いて、利用者毎に感情を推定する。これにより、利用者毎の指標値を用いて、利用者毎に感情の推定を行うことができるため、利用者の感情の推定精度を高めることができる。

さらに、感情推定装置１０は、連続する２つのイベントと相関のある感情を用いて、利用者の感情を推定する。これにより、感情推定装置１０が推定する利用者の感情は、表情スコアが示す感情に限られず、これらのイベントと相関のある利用者の様々な感情とすることができる。

＜第２の実施形態＞
次に、本開示の第２の実施形態について、第１の実施形態との相違点を中心に説明する。第２の実施形態では、感情推定精度を低下させる可能性のある眠気イベント又は会話中イベント等の特定のイベントが発生した場合でも、感情推定装置１０は、利用者の感情を推定する。

第２の実施形態では、感情推定装置１０は、図４～図７に示すような通常のイベント用の累積データテーブル及び感情推定テーブルに加えて、特定のイベント用の累積データテーブル及び感情推定テーブルを有する。特定のイベント用の累積データテーブル及び感情推定テーブルの構成は、通常のイベント用の累積データテーブル及び感情推定テーブルの構成と同じである。

次に、図１０を参照して、第２の実施形態に係る感情推定装置１０が実行する処理の一例について説明する。ステップＳ３０１では、感情推定装置１０のイベント検出部１０２が、イベントが発生したか否か判断する。イベントが発生していない場合（ＮＯ）、ステップＳ３０１の処理が再び実行される。一方、イベントが発生した場合（ＹＥＳ）、ステップＳ３０２に処理が分岐する。

ステップＳ３０２では、イベント登録部１０３が、ステップＳ３０１で検出されたイベントをイベントログ１１２に登録する。ステップＳ３０３では、イベント判定部１０４が、イベントログ１１２を参照し、ステップＳ３０１で検出されたイベントが特定のイベントであるか否か判断する。検出されたイベントが特定のイベントである場合（ＹＥＳ）、図１０の処理は終了する。一方、検出されたイベントが特定のイベントでない場合（ＮＯ）、ステップＳ３０４に処理が分岐する。

ステップＳ３０４では、イベント判定部１０４は、イベントログ１１２を参照し、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間に、特定のイベントが発生しているか否か判断する。これらの２つの通常のイベントの間に特定のイベントが発生していない場合（ＮＯ）、ステップＳ３０５に処理が分岐する。

ステップＳ３０５では、特徴量算出部１０５が、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ３０６では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ３０７では、累積データテーブル登録部１０６が、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアと、ステップＳ３０６で算出された当該表情スコアの変化量及び変化時間を、通常のイベント用の累積データテーブル１１３に登録する。ステップＳ３０８では、感情推定テーブル更新部１０７が、通常のイベント用の感情推定テーブル１１４を更新し、図１０の処理が終了する。

一方、ステップＳ３０４において、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間に特定のイベントが発生していると判断した場合（ＹＥＳ）、ステップＳ３０９に処理が分岐する。

ステップＳ３０９では、特徴量算出部１０５が、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ３１０では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ３１１では、累積データテーブル登録部１０６が、ステップＳ３０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアと、ステップＳ３１０で算出された当該表情スコアの変化量及び変化時間を、特定のイベント用の累積データテーブル１１３に登録する。ステップＳ３１２では、感情推定テーブル更新部１０７が、特定のイベント用の感情推定テーブル１１４を更新し、図１０の処理が終了する。

次に、図１１を参照して、第２の実施形態に係る感情推定装置１０が実行する別の処理について説明する。ステップＳ４０１では、感情推定部１０８が、表情スコアデータベース１１１から所定の期間における利用者の各表情の表情スコアを取得し、各表情の表情スコアの平均値を算出する。ステップＳ４０２では、特徴量算出部１０５は、表情スコアデータベース１１１から当該表情スコアを取得し、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ４０３では、イベント判定部１０４が、イベントログ１１２を参照し、上記所定の期間内に特定のイベントが発生したか否か判定する。特定のイベントが発生していない場合（ＮＯ）、ステップＳ４０４に処理が分岐する。ステップＳ４０４では、感情推定部１０８が、通常のイベント用の感情推定テーブル１１４を参照し、ステップＳ４０１で算出した各表情の表情スコアの平均値と、ステップＳ４０２で算出された各表情の表情スコアの変化量及び変化時間との少なくとも一方を用いて、利用者の感情を推定する。

一方、ステップＳ４０３において、上記所定の期間内に特定のイベントが発生したと判断した場合（ＹＥＳ）、ステップＳ４０５に処理が分岐する。ステップＳ４０５では、感情推定部１０８が、特定のイベント用の感情推定テーブル１１４を参照し、ステップＳ４０１で算出した各表情の表情スコアの平均値と、ステップＳ４０２で算出された各表情の表情スコアの変化量及び変化時間との少なくとも一方を用いて、利用者の感情を推定する。

（第２の実施形態の効果）
第２の実施形態では、感情推定装置１０は、通常のイベント用の感情推定テーブル１１４と、利用者の感情の推定精度を低下させる可能性のある特定のイベント用の感情推定テーブル１１４を有する。

感情推定部１０８は、特定のイベントが発生している場合、特定のイベント用の感情推定テーブル１１４を参照し、表情スコアデータベース１１１から取得した特定のイベントが発生しているときの利用者の各表情の指標値に対応する、登録された利用者の各表情の指標値を特定する。そして、感情推定部１０８は、当該指標値に対応付けられている感情を、利用者の感情として推定する。すなわち、特定のイベントが発生している場合、感情推定部１０８は、通常のイベント用の感情推定テーブル１１４を用いて、利用者の感情を推定しない。

これにより、利用者の感情の推定精度を低下させる可能性のあるイベントが発生した場合、感情推定を行うことができると共に、その推定精度を高めることができる。

＜第３の実施形態＞
次に、本開示の第３の実施形態について、上述した実施形態との相違点を中心に説明する。第３の実施形態では、感情推定部１０８は、感情推定モデル１１５を用いて、利用者の感情を推定する。

感情推定装置１０は、図１２に示すように、識別情報登録部１００と、表情スコア算出部１０１と、イベント検出部１０２と、イベント登録部１０３と、イベント判定部１０４と、特徴量算出部１０５と、感情推定部１０８と、記憶装置１０９と、機械学習部１１０と、感情推定モデル１１５とを有する。

機械学習部１１０は、種々の機械学習アルゴリズムを用いて、感情推定モデル１１５を学習させる機能部である。感情推定モデル１１５は、利用者の感情を推定するためのプログラムであり、種々の機械学習アルゴリズムを用いて学習することができる。感情推定モデル１１５は、利用者毎に用意される。

より詳細には、機械学習部１１０は、連続する２つのイベントの間における利用者の各表情の表情スコア及び当該表情スコアの特徴量の少なくとも一方と、連続する２つのイベントに相関する感情を示す値を、教師データとして用いて感情推定モデル１１５を学習させる。

教師データとして使用される、利用者の各表情の表情スコア及び当該表情スコアの特徴量と、連続する２つのイベントに相関する感情を示す値とは、相関関係を有する。例えば、図１３に示すように、先行のイベントが乗車を示すイベントであり、後続のイベントがエンジン始動を示すイベントの場合、利用者の感情は、「中立」である可能性が高い。利用者の感情が「中立」である場合、利用者の各表情の表情スコア及び当該表情スコアの特徴量は、「中立」を示す値になる。

また、先行のイベントが渋滞を示すイベントであり、後続のイベントが急加速、急ブレーキ、心拍数の増加、又はＬＦ積分値の増加を示すイベントの場合、利用者の感情は、「イライラ」である可能性が高い。利用者の感情が「イライラ」である場合、利用者の各表情の表情スコア及び当該表情スコアの特徴量は、「イライラ」を示す値になる。

さらに、先行のイベントが割り込み、又は急ブレーキを示すイベントであり、後続のイベントが急加速、心拍数の増加、又はＬＦ積分値の増加を示すイベントの場合、利用者の感情は、「怒り」である可能性が高い。また、先行のイベントが心拍数の増加、又はＬＦ積分値の増加を示すイベントであり、後続のイベントが急加速、又は車間距離の減少を示すイベントの場合、利用者の感情は、「怒り」である可能性が高い。利用者の感情が「怒り」である場合、利用者の各表情の表情スコア及び当該表情スコアの特徴量は、「怒り」を示す値になる。

さらに、先行のイベントが急ブレーキを示すイベントであり、後続のイベントが心拍数の減少、又はＨＦ積分値の増加を示すイベントの場合、利用者の感情は、「安心」である可能性が高い。利用者の感情が「安心」である場合、利用者の各表情の表情スコア及び当該表情スコアの特徴量は、「安心」を示す値になる。なお、連続する２つのイベントと、これらのイベントに相関する感情は、図１３に示すものに限られず、他の種々のイベントと、当該イベントに相関する感情を採用することができる。また、当該イベントに相関する感情は、上記７種類の表情が表す感情に限られず、連続する２つのイベントによって生じ得る様々な感情を採用することができる。

利用者の各表情の表情スコア及び当該表情スコアの特徴量の双方と、感情を示す値とを用いて学習された感情推定モデル１１５は、利用者の各表情の表情スコア及び当該表情スコアの特徴量の双方が入力されると、これらに対応する感情を示す値を出力する。感情推定部１０８は、取得した利用者の各表情の表情スコア及び当該表情スコアの特徴量を、当該学習済みの感情推定モデル１１５に入力することにより、当該感情推定モデル１１５から出力された感情を示す値に基づいて、利用者の感情を推定することができる。なお、感情推定モデル１１５から出力される感情を示す値と、利用者の感情とは一対一に対応付けられる。

また、利用者の各表情の表情スコアと、感情を示す値とを用いて学習された感情推定モデル１１５は、利用者の各表情の表情スコアが入力されると、当該表情スコアに対応する感情を示す値を出力する。感情推定部１０８は、取得した利用者の各表情の表情スコアを、当該学習済みの感情推定モデル１１５に入力することにより、当該感情推定モデル１１５から出力された感情を示す値に基づいて、利用者の感情を推定することができる。

さらに、利用者の各表情の表情スコアの特徴量と、感情を示す値とを用いて学習された感情推定モデル１１５は、利用者の各表情の表情スコアの特徴量が入力されると、当該表情スコアの特徴量に対応する感情を示す値を出力する。感情推定部１０８は、取得した利用者の各表情の表情スコアの特徴量を、当該学習済みの感情推定モデル１１５に入力することにより、当該感情推定モデル１１５から出力された感情を示す値に基づいて、利用者の感情を推定することができる。

次に、図１４を参照して、第３の実施形態に係る感情推定装置１０が実行する処理の一例について説明する。図１４に示す処理では、利用者の各表情の表情スコア及び当該表情スコアの特徴量の双方と、感情を示す値とを用いて感情推定モデル１１５を学習させる。

ステップＳ５０１では、感情推定装置１０のイベント検出部１０２が、イベントが発生したか否か判断する。イベントが発生していない場合（ＮＯ）、ステップＳ５０１の処理が再び実行される。一方、イベントが発生した場合（ＹＥＳ）、ステップＳ５０２に処理が分岐する。

ステップＳ５０２では、イベント登録部１０３が、ステップＳ５０１で検出されたイベントをイベントログ１１２に登録する。ステップＳ５０３では、イベント判定部１０４が、イベントログ１１２を参照し、ステップＳ５０１で検出されたイベントと、その直前のイベントの少なくとも一方が、感情推定精度を低下させる可能性のある特定のイベントであるか否か判断する。これらのイベントの少なくとも一方が特定のイベントである場合（ＹＥＳ）、図１４の処理は終了する。一方、これらのイベントの双方が特定のイベントでない場合（ＮＯ）、ステップＳ５０４に処理が分岐する。

ステップＳ５０４では、特徴量算出部１０５が、ステップＳ５０１で検出されたイベントと、その直前のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ５０５では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。ステップＳ５０６では、機械学習部１１０が、感情推定モデル１１５を学習させ、図１４の処理が終了する。

より詳細には、機械学習部１１０は、記憶装置１０９に保存されている利用者の識別情報を用いて利用者の感情推定モデル１１５を特定する。次いで、機械学習部１１０は、表情スコアデータベース１１１から、ステップＳ５０１で検出されたイベントと、その直前のイベントの間における利用者の各表情の表情スコアを取得する。そして、機械学習部１１０は、当該表情スコアと、ステップＳ５０５で算出された当該表情スコアの特徴量と、これらの連続する２つのイベントに対応する感情を示す値を、教師データとして用いて感情推定モデル１１５を学習させる。

次に、図１５を参照して、第３の実施形態に係る感情推定装置１０が実行する別の処理について説明する。図１５に示す処理では、利用者の各表情の表情スコア及び当該表情スコアの特徴量の双方を用いて、利用者の感情を推定する。

ステップＳ６０１では、感情推定部１０８が、表情スコアデータベース１１１から所定の期間における利用者の各表情の表情スコアを取得し、各表情の表情スコアの平均値を算出する。ステップＳ６０２では、特徴量算出部１０５は、表情スコアデータベース１１１から当該表情スコアを取得し、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ６０３では、イベント判定部１０４が、イベントログ１１２を参照し、感情推定精度を低下させる可能性のある特定のイベントが、上記所定の期間に発生したか否か判定する。特定のイベントが発生した場合（ＹＥＳ）、図１５の処理は終了する。一方、特定のイベントが発生していない場合（ＮＯ）、ステップＳ６０４に処理が分岐する。ステップＳ６０４では、感情推定部１０８が、ステップＳ６０１で算出した各表情の表情スコアの平均値と、ステップＳ６０２で算出された各表情の表情スコアの変化量及び変化時間を用いて、利用者の感情を推定し、図１５の処理が終了する。

より詳細には、感情推定部１０８は、記憶装置１０９に保存されている利用者の識別情報によって特定される利用者の感情推定モデル１１５に対し、ステップＳ６０１で算出した各表情の表情スコアの平均値と、ステップＳ６０２で算出された各表情の表情スコアの変化量及び変化時間とを入力する。そして、感情推定部１０８は、感情推定モデル１１５が出力した感情を示す値に基づいて、利用者の感情を推定する。すなわち、感情推定部１０８は、表情スコアと利用者の感情との相関関係のみに基づいて利用者の感情を推定するのではなく、連続する２つのイベントの間における利用者の各表情の指標値と、当該連続する２つのイベントに相関する感情との対応関係に基づいて、利用者の感情を推定する。

＜第４の実施形態＞
次に、本開示の第４の実施形態について、第３の実施形態との相違点を中心に説明する。第４の実施形態では、感情推定精度を低下させる可能性のある特定のイベントが発生した場合でも、感情推定装置１０は、利用者の感情を推定する。感情推定装置１０は、通常のイベント用の感情推定モデル１１５と、特定のイベント用の感情推定モデル１１５とを有する。

通常のイベント用の感情推定モデル１１５は、連続する２つの通常のイベントの間に特定のイベントが発生していない場合に、利用者の感情の推定に用いられる感情推定モデルである。機械学習部１１０は、連続する２つの通常のイベントの間における利用者の各表情の指標値である表情スコア及び当該表情スコアの特徴量と、これらのイベントと相関のある感情を示す値を用いて、通常のイベント用の感情推定モデル１１５を学習させる。この場合、利用者が眠気を感じているときの表情スコア及び利用者が会話をしているときの表情スコア等の感情推定精度を低下させる可能性のある表情スコアは、通常のイベント用の感情推定モデル１１５の学習に利用されない。

特定のイベント用の感情推定モデル１１５は、連続する２つの通常のイベントの間に特定のイベントが発生している場合に、利用者の感情の推定に用いられる感情推定モデルである。機械学習部１１０は、連続する２つの通常のイベントの間における利用者の各表情の指標値である表情スコア及び当該表情スコアの特徴量と、これらのイベントと相関のある感情を示す値を用いて、特定のイベント用の感情推定モデル１１５を学習させる。この場合、利用者が眠気を感じているときの表情スコア及び利用者が会話をしているときの表情スコア等の感情推定精度を低下させる可能性のある表情スコアが、特定のイベント用の感情推定モデル１１５の学習に利用される。

次に、図１６を参照して、第４の実施形態に係る感情推定装置１０が実行する処理の一例について説明する。ステップＳ７０１では、感情推定装置１０のイベント検出部１０２が、イベントが発生したか否か判断する。イベントが発生していない場合（ＮＯ）、ステップＳ７０１の処理が再び実行される。一方、イベントが発生した場合（ＹＥＳ）、ステップＳ７０２に処理が分岐する。

ステップＳ７０２では、イベント登録部１０３が、ステップＳ７０１で検出されたイベントをイベントログ１１２に登録する。ステップＳ７０３では、イベント判定部１０４が、イベントログ１１２を参照し、ステップＳ７０１で検出されたイベントが特定のイベントであるか否か判断する。検出されたイベントが特定のイベントである場合（ＹＥＳ）、図１６の処理は終了する。一方、検出されたイベントが特定のイベントでない場合（ＮＯ）、ステップＳ７０４に処理が分岐する。

ステップＳ７０４では、イベント判定部１０４は、イベントログ１１２を参照し、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間に、特定のイベントが発生しているか否か判断する。これらの２つの通常のイベントの間に特定のイベントが発生していない場合（ＮＯ）、ステップＳ７０５に処理が分岐する。

ステップＳ７０５では、特徴量算出部１０５が、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ７０６では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。ステップＳ７０７では、機械学習部１１０が、通常のイベント用の感情推定モデル１１５を学習させ、図１６の処理が終了する。

より詳細には、機械学習部１１０は、記憶装置１０９に保存されている利用者の識別情報を用いて、当該利用者の通常のイベント用の感情推定モデル１１５を特定する。次いで、機械学習部１１０は、表情スコアデータベース１１１から、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを取得する。そして、機械学習部１１０は、当該表情スコア及びステップＳ７０６で算出された当該表情スコアの特徴量と、これらの連続する２つのイベントに対応する感情を示す値を、教師データとして用いて、通常のイベント用の感情推定モデル１１５を学習させる。

一方、ステップＳ７０４において、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間に特定のイベントが発生していると判断した場合（ＹＥＳ）、ステップＳ７０８に処理が分岐する。

ステップＳ７０８では、特徴量算出部１０５が、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを、表情スコアデータベース１１１から取得する。ステップＳ７０９では、特徴量算出部１０５は、取得した表情スコアを用いて、当該表情スコアの変化量及び変化時間を算出する。ステップＳ７１０では、機械学習部１１０が、特定のイベント用の感情推定モデル１１５を学習させ、図１６の処理が終了する。

より詳細には、機械学習部１１０は、記憶装置１０９に保存されている利用者の識別情報を用いて、当該利用者の特定のイベント用の感情推定モデル１１５を特定する。次いで、機械学習部１１０は、表情スコアデータベース１１１から、ステップＳ７０１で検出された通常のイベントと、その直前の通常のイベントの間における利用者の各表情の表情スコアを取得する。そして、機械学習部１１０は、当該表情スコア及びステップＳ７０６で算出された当該表情スコアの特徴量と、これらの連続する２つのイベントに対応する感情を示す値を、教師データとして用いて、特定のイベント用の感情推定モデル１１５を学習させる。

次に、図１７を参照して、第４の実施形態に係る感情推定装置１０が実行する別の処理について説明する。ステップＳ８０１では、感情推定部１０８が、表情スコアデータベース１１１から所定の期間における利用者の各表情の表情スコアを取得し、各表情の表情スコアの平均値を算出する。ステップＳ８０２では、特徴量算出部１０５は、表情スコアデータベース１１１から当該表情スコアを取得し、当該表情スコアの変化量及び変化時間を算出する。

ステップＳ８０３では、イベント判定部１０４が、イベントログ１１２を参照し、上記所定の期間内に特定のイベントが発生したか否か判定する。特定のイベントが発生していない場合（ＮＯ）、ステップＳ８０４に処理が分岐する。ステップＳ８０４では、感情推定部１０８が、ステップＳ８０１で算出した各表情の表情スコアの平均値と、ステップＳ８０２で算出された各表情の表情スコアの変化量及び変化時間を用いて、利用者の感情を推定し、図１７の処理が終了する。

より詳細には、感情推定部１０８は、記憶装置１０９に保存されている利用者の識別情報によって特定される利用者の通常のイベント用の感情推定モデル１１５に対し、ステップＳ８０１で算出した各表情の表情スコアの平均値と、ステップＳ８０２で算出された各表情の表情スコアの変化量及び変化時間とを入力する。そして、感情推定部１０８は、当該感情推定モデル１１５が出力した感情を示す値に基づいて、利用者の感情を推定する。

一方、ステップＳ８０３において、上記所定の期間内に特定のイベントが発生したと判断した場合（ＹＥＳ）、ステップＳ８０５に処理が分岐する。ステップＳ８０５では、感情推定部１０８が、ステップＳ８０１で算出した各表情の表情スコアの平均値と、ステップＳ８０２で算出された各表情の表情スコアの変化量及び変化時間を用いて、利用者の感情を推定し、図１７の処理が終了する。

より詳細には、感情推定部１０８は、記憶装置１０９に保存されている利用者の識別情報によって特定される利用者の特定のイベント用の感情推定モデル１１５に対し、ステップＳ８０１で算出した各表情の表情スコアの平均値と、ステップＳ８０２で算出された各表情の表情スコアの変化量及び変化時間とを入力する。そして、感情推定部１０８は、当該感情推定モデル１１５が出力した感情を示す値に基づいて、利用者の感情を推定する。

＜その他の実施形態＞
本開示は、上述した実施形態に限定されることなく、様々に変更して実施することができる。例えば、他の実施形態では、利用者の各表情の表情スコア及び当該表情スコアの特徴量を、連続する３以上のイベントに対応付けて、累積データテーブル１１３及び感情推定テーブル１１４に登録してもよい。この場合、感情推定テーブル１１４には、当該連続する３以上のイベントと相関のある感情が登録される。

また、他の実施形態では、連続する３以上のイベントの間の各表情の表情スコア及び当該表情スコアの特徴量の少なくとも一方と、当該連続する３以上のイベントと相関のある感情を示す値とを、教師データとして用いて感情推定モデル１１５を学習させてもよい。

さらに、他の実施形態では、状態監視装置７０が、撮影した利用者の顔画像から表情スコアを算出し、当該表情スコアを感情推定装置１０に提供してもよい。

さらに、他の実施形態では、生体情報取得装置８０は、脈波信号に加えて、又は脈波信号の代わりに、利用者の心筋細胞が発生させる活動電位を示す心電信号を取得してもよい。この場合、心電信号を取得する生体情報取得装置８０の具体例として、例えば、車両のステアリングホイールに設置される電極又は利用者が装着可能なウェアラブルデバイス等が挙げられる。生体情報取得装置８０は、利用者の体表面に接触した状態で利用者から心電信号を取得し、当該心電信号を感情推定装置１０に送信することができる。

本開示に記載された制御部及び方法は、コンピュータプログラムに実装される１以上の特定の機能を実行するようにプログラムされたプロセッサを構成することによって製造された専用コンピュータによって実現することができる。また、本開示に記載された装置及び方法は、専用のハードウェア論理回路によって実現してもよい。さらに、本開示に記載された装置及び方法は、コンピュータプログラムを実行するプロセッサを構成することによって製造された１以上の専用コンピュータと、１以上のハードウェア論理回路との組み合わせよって実現してもよい。コンピュータプログラムは、コンピュータによって実行される命令として、コンピュータ読み取り可能な非遷移有形記録媒体に保存することができる。

１０感情推定装置、１０８感情推定部、１１４感情推定テーブル、１１５感情推定モデル

Claims

利用者の複数種類の表情それぞれが数値化された表情スコアを用いて前記利用者の感情を推定する感情推定装置（１０）であって、
連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、前記連続する複数のイベントに相関する感情との対応関係に基づいて、取得した前記利用者の各表情の前記指標値に対応する前記感情を、前記利用者の感情として推定する感情推定部（１０８）を備え、
前記連続する複数のイベントと、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情とが対応付けられた感情推定ルール（１１４）を有しており、
連続する複数のイベントと、前記連続する複数のイベントの間において前記感情推定部による前記利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していないときの前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情とが、対応付けられており、
前記感情推定部は、
前記特定のイベントが発生していない場合に、前記感情推定ルールに基づき、取得した前記特定のイベントが発生していないときの前記利用者の各表情の前記指標値に対応する、前記利用者の各表情の前記指標値に対応付けられている前記感情を、前記利用者の感情として推定する、感情推定装置。
利用者の複数種類の表情それぞれが数値化された表情スコアを用いて前記利用者の感情を推定する感情推定装置（１０）であって、
連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、前記連続する複数のイベントに相関する感情との対応関係に基づいて、取得した前記利用者の各表情の前記指標値に対応する前記感情を、前記利用者の感情として推定する感情推定部（１０８）を備え、
前記連続する複数のイベントと、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情とが対応付けられた感情推定ルール（１１４）を有しており、
前記感情推定ルールは、
連続する複数のイベントの間において前記感情推定部による前記利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していない場合に、前記連続する複数のイベントと、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情とが対応付けられた第１の感情推定ルールと、
前記連続する複数のイベントの間に前記特定のイベントが発生している場合に、前記連続する複数のイベントと、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情とが対応付けられた第２の感情推定ルールであり、
前記感情推定部は、
前記特定のイベントが発生していない場合に、前記第１の感情推定ルールに基づき、取得した前記特定のイベントが発生していないときの前記利用者の各表情の前記指標値に対応する、前記利用者の各表情の前記指標値に対応付けられている前記感情を、前記利用者の感情として推定し、
前記特定のイベントが発生している場合に、前記第２の感情推定ルールに基づき、取得した前記特定のイベントが発生しているときの前記利用者の各表情の前記指標値に対応する、前記利用者の各表情の前記指標値に対応付けられている前記感情を、前記利用者の感情として推定する、感情推定装置。
前記感情推定ルールは、利用者毎にあり、
前記感情推定部は、
前記利用者の識別情報によって特定される前記利用者の感情推定ルールに基づき、取得した前記利用者の各表情の前記指標値に対応する、前記利用者の各表情の前記指標値に対応付けられている前記感情を、前記利用者の感情として推定する、請求項１又は２に記載の感情推定装置。
利用者の複数種類の表情それぞれが数値化された表情スコアを用いて前記利用者の感情を推定する感情推定装置（１０）であって、
連続する複数のイベントの間における利用者の各表情の表情スコア及び当該表情スコアの変化に関する特徴量の少なくとも一方である指標値と、前記連続する複数のイベントに相関する感情との対応関係に基づいて、取得した前記利用者の各表情の前記指標値に対応する前記感情を、前記利用者の感情として推定する感情推定部（１０８）と、
前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情を示す値を、教師データとして用いて学習された感情推定モデル（１１５）と、を備え、
前記感情推定モデルは、
連続する複数のイベントの間において前記感情推定部による前記利用者の感情の推定精度の低下させる可能性のある特定のイベントが発生していない場合に、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情を示す値を、前記教師データとして用いて学習された第１の感情推定モデルと、
前記連続する複数のイベントの間に前記特定のイベントが発生している場合に、前記連続する複数のイベントの間における前記利用者の各表情の前記指標値と、前記連続する複数のイベントに相関する前記感情を示す値を、前記教師データとして用いて学習された第２の感情推定モデルであり、
前記感情推定部は、
前記特定のイベントが発生していない場合に、取得した前記特定のイベントが発生していないときの前記利用者の各表情の前記指標値を、前記第１の感情推定モデルに入力することにより、前記第１の感情推定モデルから出力された前記感情を示す値に基づいて、前記利用者の感情を推定し、
前記特定のイベントが発生している場合に、取得した前記特定のイベントが発生しているときの前記利用者の各表情の前記指標値を、前記第２の感情推定モデルに入力することにより、前記第２の感情推定モデルから出力された前記感情を示す値に基づいて、前記利用者の感情を推定する、感情推定装置。
前記感情推定モデルとして、利用者毎の前記感情推定モデルを有しており、
前記感情推定部は、
前記利用者の識別情報によって特定される前記利用者の前記感情推定モデルに対し、取得した前記利用者の各表情の前記指標値を入力することにより、当該感情推定モデルから出力された前記感情を示す値に基づいて、前記利用者の感情を推定する、請求項４に記載の感情推定装置。
前記特定のイベントは、前記利用者の眠気を示すイベント又は前記利用者が会話中である旨を示すイベントである、請求項１、２、４のいずれか１項に記載の感情推定装置。
前記連続する複数のイベントは、前記利用者の周辺環境に関するイベント及び前記利用者に起因するイベントの少なくとも一方である、請求項１、２、４のいずれか１項に記載の感情推定装置。