JP7264079B2 - 感情推定装置、方法、プログラムおよび車両 - Google Patents

Description

本開示は、ユーザーの感情を推定する装置に関する。

人物の顔や体を撮影し、顔の表情や体の姿勢や動作を抽出し、これらに基づいて感情を推定する技術が各種提案されている。例えば、特許文献１は、予め表情と感情との対応付けを学習して表情マップを作成しておき、表情マップに基づいて、人物の表情から感情を推定する技術を開示している。

特開２００８－１４６３１８号公報

このような感情推定機能を、車両に搭載されるＥＣＵ（Electronic Control Unit）と呼ばれる電子機器に実装し、車両に搭乗するユーザーの感情を推定し、感情に応じた各種サービスを提供することが考えられる。

一般に感情推定は処理負荷が高い。そのため、感情推定を行うＥＣＵが他のアプリケーションの処理も行う場合、感情推定の処理負荷によって、他のアプリケーションの処理が遅延したり、プロセッサが高温になり強制的に処理が中断される等の影響が発生したりするおそれがある。

本開示は、上記課題を鑑みてなされたものであり、他のアプリケーションへの影響を低減しつつ、感情推定処理を実行できる感情推定装置を提供することを目的とする。

上記課題を解決するために、本開示の一局面は、車両に搭載され、ユーザーの表情に基づいて、ユーザーの感情を推定する第１推定部と、ユーザーの動作に基づいて、ユーザーの感情を推定する第２推定部と、第１推定部が推定した感情と第２推定部が推定した感情とに基づいて、ユーザーの感情を推定する第３推定部との機能を実行可能な制御部を備え、制御部は、少なくとも制御部の処理負荷に基づいて、第１推定部、第２推定部、第３推定部の機能の少なくとも一部の実行制限が可能な、感情推定装置である。

本開示によれば、感情推定装置は、制御部の処理負荷に基づいて感情推定処理の実行制限を行うので、他のアプリケーションへの影響を低減しつつ、感情推定処理を実行できる。

一実施形態に係る感情推定装置とその周辺部の機能ブロックを示す図 一実施形態に係る感情推定装置の感情推定処理の状態遷移を示す図 一実施形態に係る感情推定装置の処理負荷低減の効果を示す図

（実施形態）
本開示技術の一実施形態に係る感情推定装置は、制御部を構成するＣＰＵやＧＰＵの処理負荷が高い場合や、ユーザーの表情が取得できない、または、ユーザーの動作が感情を反映していないと推定される場合等、感情推定処理が好適に実行できないと推定される場合に、感情推定処理を抑制して感情推定処理の負荷を低減する。これにより、感情推定装置が実行する他のアプリケーションの処理が遅延したり、停止したりするおそれを抑制できる。以下、本実施形態について、図面を参照しながら詳細に説明する。

＜構成＞
図１に、本実施形態に係る感情推定装置１００の機能ブロックを示す。感情推定装置１００は、第１推定部１１、第２推定部１２、第３推定部１３、負荷取得部１４を含む。これら各部の機能は、制御部１０によって実行される。制御部１０は、典型的にはＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、メモリ等によって構成されるコンピューターである。

第１推定部１１は、ユーザーの顔を撮影した画像を周期的に取得して表情を抽出し表情に基づいてユーザーの感情を推定する顔感情推定を行う。

第２推定部１２は、ユーザーの体を撮影した画像を周期的に取得して手、頭、胴等の位置や動きを抽出し、さらに、これらによって特定される動作を抽出し、動作に基づいてユーザーの感情を推定する動作感情推定を行う。

第３推定部１３は、第１推定部１１による顔感情推定結果と第２推定部１２による動作感情推定結果とを取得し、これらに基づいて、総合的な感情推定を行う総合感情推定を行う。総合感情推定においては、顔感情と動作感情とを組み合わせることにより、顔感情推定または動作感情推定のみを行う場合に比べて、感情推定の精度を向上することができる。

第１推定部１１、第２推定部１２、第３推定部１３がそれぞれ行う感情推定の方法は限定されず、各種アルゴリズムを適宜選択することができる。各推定部の感情推定処理の実行状態の組み合わせとして、一例として次の５つの状態がある。

第１状態は、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行される状態である。この状態では第３推定部１３による総合感情推定結果が、感情推定装置１００による感情推定結果となる。この状態が、感情推定装置１００の通常状態である。

第２状態は、第１推定部１１の処理が実行され、第２推定部１２、第３推定部１３の処理が停止される状態である。この状態では第１推定部１１による顔感情推定結果が、感情推定装置１００による感情推定結果となる。

第３状態は、第２推定部１２の処理が実行され、第１推定部１１、第３推定部１３の処理が停止される状態である。この状態では第２推定部１２による動作感情推定結果が、感情推定装置１００による感情推定結果となる。

第４状態は、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行されるが、各処理の実行周期が上述の第１状態に比べて延長された状態である。この状態では、第１状態と同様、第３推定部１３による総合感情推定結果が、感情推定装置１００による感情推定結果となるが、第１状態に比べて感情推定処理の実行頻度が低下する。

第５状態は、第１推定部１１、第２推定部１２、第３推定部１３の処理がいずれも停止される状態である。この状態では、感情推定装置１００による感情推定は停止される。

第２、第３、第４、第５状態においては、処理の停止または実行頻度の低下により、第１状態に比べてＣＰＵ、ＧＰＵの処理負荷がいずれも低くなる。

負荷取得部１４は、ＣＰＵおよびＧＰＵのそれぞれの処理負荷を取得する。処理負荷の指標として、例えば使用率を用いることができるが、制御部１０を構成するＣＰＵやＧＰＵ等のプロセッサの構成、機能分担や、感情推定処理の負荷特性等に応じて、適切な指標を用いればよい。

制御部１０は、後述のように負荷取得部１４が取得する処理負荷等に基づいて、上述の第１～第５状態間で状態遷移を制御する。

なお、制御部１０は、上述した感情推定処理以外にも、車両の各種機能を実現するため、１つ以上のアプリケーションを感情推定処理と並列的に実行することができる。

感情推定装置１００は、車両に搭載され、車内ネットワークを介して、車両が備える各種機器と通信可能に接続される。各種機器には、一例として、ＴＯＦ（Time-of-Flight Camera）カメラ２１、ＩＲ（Infrared）カメラ２２、指向性マイク２３、シフト制御部２４、操作受付部２５、カーテシスイッチ２６、着座センサ２７、ナビゲーション装置２８等が含まれる。

ＴＯＦカメラ２１およびＩＲカメラ２２は、被写体までの距離を測定可能な距離イメージセンサであり、通常の乗車姿勢を取っているユーザーの体や顔を撮影できるよう配置される。例えば、第１推定部１１は、ＩＲカメラ２２が撮影するユーザーの顔の画像に基づいて顔感情推定処理を行う。また、例えば、第２推定部１２は、ＴＯＦカメラ２１が撮影するユーザーの上半身の画像に基づいて動作感情推定処理を行う。

指向性マイク２３は、ユーザーの声を収音可能なマイクであり、指向特性に応じて例えばユーザーが車室内のいずれの方向に向かって話しているかを特定することができる。

シフト制御部２４は、Ｐ（パーキング）、Ｄ（ドライブ）、Ｒ（リバース）等のシフトポジションの検出や制御を行う機器である。

操作受付部２５は、ボタン、スイッチ、タッチパネル等を備え、ユーザーからの各種操作の受け付けを行う機器である。

カーテシスイッチ２６は、車両のドアの開閉を検出するセンサである。

着座センサ２７は、シートにユーザーが着座しているか否かを検出するセンサである。

ナビゲーション装置２８は、地図情報およびＧＰＳによる車両の位置情報等に基づいてユーザー等が指定する目的地までの経路や到着予定時刻を案内する装置である。

また、これらの他にも、感情推定装置１００による感情推定結果を取得して処理に利用する機器が車内ネットワークに接続されている。このような機器として、例えばユーザーとの会話機能を実行するエージェント機能を備える機器が挙げられる。

＜処理＞
図２は、感情推定装置１００の制御部１０が実行する状態遷移処理の例を説明するフローチャートである。図２を参照して、上述の第１～第５状態間の状態遷移を説明する。ここでは通常状態を開始点として説明する。また、感情推定装置１００は、運転席に着座したユーザーの感情推定を行うことを想定する。

（ステップＳ１０１）
制御部１０は、感情推定処理の実行状態を、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行される通常状態（第１状態）とする。

（ステップＳ１０２）
制御部１０は、運転席にユーザーが着座しているか否かを判定する。例えば、制御部１０は、着座センサ２７の検出結果に基づいてこの判定を行うことができる。運転席にユーザーが着座していると判定した場合、ステップＳ１０３に進み、そうでない場合ステップＳ１０７に進む。なお、着座センサ２７の検出結果に、カーテシスイッチ２６による運転席ドアの開閉検出を組み合わせ、例えば、カーテシスイッチ２６がドア開を検出し、この後に着座センサ２７が着座を検出し、さらにこの後にカーテシスイッチ２６がドア閉を検出した場合に、ユーザーが着座していると判定すれば、着座の判定をより精度よく行うことができる。

（ステップＳ１０３）
制御部１０は、負荷取得部１４から取得するＧＰＵの処理負荷に基づいてＧＰＵが高負荷であるか否かを判定する。例えば、制御部１０は、ＧＰＵの処理負荷が第１の値以上であれば高負荷であると判定し、そうでなければ高負荷でないと判定することができる。ＧＰＵが高負荷であると判定した場合ステップＳ１０４に進み、そうでない場合ステップＳ１１４に進む。

（ステップＳ１０４）
制御部１０は、ユーザーの表情を取得することができるか否かを判定する。例えば、制御部１０は、指向性マイク２３から取得するユーザーの声の方向が、運転席から後席の方向であることを検知すると、ユーザーが後席の乗員と会話をするため後席の方に顔を向けており、顔を撮影できず、表情を取得できない状態であると判定することができる。あるいは、例えば、制御部１０は、シフト制御部２４から取得するシフトポジションがリバース走行中であることを示す「Ｒ」であることを検知すると、ユーザーが後方確認のために顔を後方に向けており、顔を撮像できず、表情を取得できない状態であると判定することができる。また、このような顔を撮影できない状態として定められた状態がいずれも成り立たない場合、ユーザーの表情を取得できると判定することができる。ユーザーの表情を取得することができると判定した場合、ステップＳ１１０に進み、そうでない場合、ステップＳ１０５に進む。

（ステップＳ１０５）
制御部１０は、感情推定処理の実行状態を、第２推定部１２の処理が実行され、第１推定部１１、第３推定部１３の処理が停止される状態（第３状態）とする。

（ステップＳ１０６）
制御部１０は、負荷取得部１４から取得するＧＰＵの処理負荷に基づいてＧＰＵが高負荷であるか否かを判定する。例えば、制御部１０は、ＧＰＵの処理負荷が第２の値以上であれば高負荷であると判定し、そうでなければ高負荷でないと判定することができる。ＧＰＵが高負荷であると判定した場合ステップＳ１０７に進み、そうでない場合ステップＳ１０９に進む。

（ステップＳ１０７）
制御部１０は、感情推定処理の実行状態を、第１推定部１１、第２推定部１２、第３推定部１３の処理がいずれも停止される状態（第５状態）とする。

（ステップＳ１０８）
制御部１０は、第５状態から第１状態への復帰条件が成立したか否かを判定する。ここで、第５状態から第１状態への復帰条件とは、ユーザーが着座しており、かつ、ユーザーの表情を取得することができることである。ユーザーが着座しているか否かは、ステップＳ１０２と同様にして判定することができる。また、ユーザーの表情を取得することができるか否かは、ステップＳ１０４と同様にして判定することができる。第５状態から第１状態への復帰条件が成立した場合ステップＳ１０１に進み、そうでない場合ステップＳ１０７に進む。

（ステップＳ１０９）
制御部１０は、第３状態から第１状態への復帰条件が成立したか否かを判定する。ここで、第３状態から第１状態への復帰条件とは、ユーザーの表情を取得することができ、かつ、ＧＰＵが高負荷でないことである。ユーザーの表情を取得することができるか否かは、ステップＳ１０４と同様にして判定することができる。また、負荷取得部１４から取得するＧＰＵの処理負荷が第３の値より小さければＧＰＵが高負荷ではないと判定することができる。第３状態から第１状態への復帰条件が成立した場合ステップＳ１０１に進み、そうでない場合ステップＳ１０５に進む。

（ステップＳ１１０）
制御部１０は、ユーザーが機器操作中であるか否かを判定する。例えば、制御部１０は、ナビゲーション装置２８あるいは操作受付部２５等から、ナビゲーション装置２８やインストルメントパネルに設けられたボタン等に対してユーザーが操作を行っていることを表す情報を取得すると、ユーザーが機器操作中であると判定することができる。ユーザーが機器操作中である場合、ユーザーの動作は、機器操作のために行われるものであって、ユーザーの感情を反映したものである可能性が低い。ユーザーが機器操作中であると判定した場合、ステップＳ１１２に進み、そうでない場合、ステップＳ１１１に進む。

（ステップＳ１１１）
制御部１０は、負荷取得部１４から取得するＧＰＵの処理負荷に基づいてＧＰＵが高負荷であるか否かを判定する。例えば、制御部１０は、ＧＰＵの処理負荷が第４の値以上であれば高負荷であると判定し、そうでなければ高負荷でないと判定することができる。ＧＰＵが高負荷であると判定した場合ステップＳ１１２に進み、そうでない場合ステップＳ１０１に進む。

（ステップＳ１１２）
制御部１０は、感情推定処理の実行状態を、第１推定部１１の処理が実行され、第２推定部１２、第３推定部１３の処理が停止される状態（第２状態）とする。

（ステップＳ１１３）
制御部１０は、第２状態から第１状態への復帰条件が成立したか否かを判定する。ここで、第２状態から第１状態への復帰条件とは、ユーザーが機器操作中ではなく、かつ、ＧＰＵが高負荷でないことである。ユーザーが機器操作中であるか否かは、ステップＳ１１０と同様にして判定することができる。また、負荷取得部１４から取得するＧＰＵの処理負荷が第５の値より小さければＧＰＵが高負荷ではないと判定することができる。第２状態から第１状態への復帰条件が成立した場合ステップＳ１０１に進み、そうでない場合ステップＳ１１２に進む。

（ステップＳ１１４）
制御部１０は、負荷取得部１４から取得するＣＰＵの処理負荷に基づいてＣＰＵが高負荷であるか否かを判定する。例えば、制御部１０は、ＣＰＵの処理負荷が第６の値以上であれば高負荷であると判定し、そうでなければ高負荷でないと判定することができる。ＣＰＵが高負荷であると判定した場合ステップＳ１１５に進み、そうでない場合ステップＳ１０４に進む。

（ステップＳ１１５）
制御部１０は、感情推定処理の実行状態を、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行されるが、各処理の実行周期が第１状態に比べて延長された状態である状態（第４状態）とする。

（ステップＳ１１６）
制御部１０は、第４状態から第１状態への復帰条件が成立したか否かを判定する。ここで、第４状態から第１状態への復帰条件とは、ＧＰＵが高負荷でなく、かつ、ＣＰＵが高負荷でないことである。負荷取得部１４から取得するＧＰＵの処理負荷が第７の値より小さければＧＰＵが高負荷ではないと判定することができ、負荷取得部１４から取得するＣＰＵの処理負荷が第８の値より小さければＣＰＵが高負荷ではないと判定することができる。第４状態から第１状態への復帰条件が成立した場合ステップＳ１０１に進み、そうでない場合ステップＳ１１５に進む。

以上の状態遷移処理によって、感情推定装置１００による感情推定処理の実行状態が切り替えられる。これにより、ＣＰＵやＧＰＵの処理負荷が高い場合や、ユーザーの姿勢等によって感情推定処理が好適に実行できないと推定される場合に、感情推定処理を抑制して負荷を低減することにより、制御部１０が行う他のアプリケーションの処理が遅延したり、停止したりするおそれを抑制できる。なお、負荷の判定に用いた上述の第１～第８の値は、それぞれ異なっていてもよく、同じであってもよい。

また、制御部１０は、ステップＳ１０９において、第３状態から第１状態への復帰条件が成り立ち、かつ、さらに以下の追加条件が成り立つ場合に、ステップＳ１０１に進み、そうでない場合ステップＳ１０５に進むようにしてもよい。また、制御部１０は、ステップＳ１１３において、第２状態から第１状態への復帰条件が成り立ち、かつ、さらに以下の追加条件が成り立つ場合に、ステップＳ１０１に進み、そうでない場合ステップＳ１１２に進むようにしてもよい。追加条件が成り立つとは、例えば、以下のいずれかが成立することである。

（１）ユーザーの音声を指向性マイク２３または車両が備える他のマイクが検出した。
（２）車両が備えるオーディオ機器による音楽等の再生が行われた。
（３）着座センサ２７が、後部座席に着座する乗員および助手席に着座する乗員の一方または両方を検出した。あるいは、カーテシスイッチ２６が、助手席側あるいは後部のドアの開閉を検出した。
（４）ナビゲーション装置２８に設定された目的地に車両が到着した。

以上の追加条件が成立する場合、ユーザーの感情に変化があるか、変化しやすい状態にある可能性が高いと考えられる。このような追加条件が成立した場合に限り、第１状態に遷移することとすれば、感情推定処理をより抑制して負荷を低減できる。

また、制御部１０は、ユーザーの感情に変化がない可能性が高い場合が継続している場合は、感情推定処理の実行頻度を低下させてもよい。例えば、ナビゲーション装置２８が導出する目的地への到着予想時刻が渋滞等によって更新されるたび遅くなる間は、ユーザーのいら立ちの感情が変化しない可能性が高いので、上述の状態遷移処理において、第１状態を、第４状態に置換してもよい。

図３に、本実施形態による感情推定処理の負荷低減の効果を模式的に説明する図を示す。図３に、本実施形態における感情推定処理の負荷を実線で示し、比較のため、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行される状態（第１状態）を維持したと仮定した場合の負荷を点線で示す。

図３に示す期間Ｔ１～Ｔ７において、Ｔ１、Ｔ７はユーザーが乗車していない期間である。この期間においては、第１推定部１１、第２推定部１２、第３推定部１３の処理がいずれも停止される状態（第５状態）である。

また、期間Ｔ２、Ｔ４、Ｔ６は、ユーザーが着座し、ユーザーの表情が取得でき、機器操作をしていない状態であり、制御部１０の負荷が高くない期間である。この期間においては、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行される状態（第１状態）である。

また、期間Ｔ３、Ｔ５は、ユーザーの表情が取得できなかったり、機器操作をしていなかったり、あるいは、制御部１０の負荷が高かったりする期間である。この期間においては、第１推定部１１、第２推定部１２、第３推定部１３の処理が部分的に制限される状態（第２～第４状態のいずれか）である。

図３に示すように、期間Ｔ１、Ｔ３、Ｔ５、Ｔ７においては、第１推定部１１、第２推定部１２、第３推定部１３の処理がすべて実行される状態（第１状態）を維持する場合より、感情推定処理のための制御部１０の負荷が抑制される。

＜効果＞
以上の実施形態においては、ＣＰＵやＧＰＵの処理負荷が高い場合や、ユーザーの表情が取得できない、または、ユーザーの動作が感情を反映していないと推定される場合等、感情推定処理が好適に実行できないと推定される場合に、感情推定処理を抑制して感情推定処理の負荷を低減する。これにより、感情推定装置１００が実行する他のアプリケーションの処理が遅延したり、停止したりするおそれを抑制できる。

また、実施形態においては、ユーザーが着座しているか否か、ユーザーの表情が取得できるか否か、ユーザーが機器操作中であるか否かの判定を、一般に処理負荷が高い、ＴＯＦカメラ２１およびＩＲカメラ２２のようなイメージセンサから取得する画像データに基づく画像処理によらずに行うことができる。これにより、実行状態の遷移判定を、処理負荷を抑制した状態で行うことができる。

以上、本開示技術の一実施形態を説明したが、本開示技術においては、感情推定が困難あるいは必要性がない場合に感情推定処理の負荷を低減できればよく、上述の状態遷移処理は適宜変形してよい。例えば、第１推定部、第２推定部、第３推定部の機能の実行制限の内容や条件は、実施形態に示したものに限定されない。また、例えば、上述の実施形態では、ユーザーは、運転席に着座することを想定したが、助手席等、他の席に着座するユーザーを感情推定の対象としてもよい。

本開示技術は、感情推定装置だけでなく、感情推定装置が備えるコンピューター（プロセッサ）が実行する方法、プログラムおよびプログラムを記憶したコンピューター読み取り可能な非一時的な記録媒体、感情推定装置を備える車両として捉えることができる。

本開示は、感情推定を行う装置に有用である。

１０ 制御部
１１ 第１推定部
１２ 第２推定部
１３ 第３推定部
１４ 負荷取得部
２１ ＴＯＦカメラ
２２ ＩＲカメラ
２３ 指向性マイク
２４ シフト制御部
２５ 操作受付部
２６ カーテシスイッチ
２７ 着座センサ
２８ ナビゲーション装置
１００ 感情推定装置

Claims (10)

1. 車両に搭載され、
   ユーザーの表情に基づいて、ユーザーの感情を推定する第１推定部と、
   ユーザーの動作に基づいて、ユーザーの感情を推定する第２推定部と、
   前記第１推定部が推定した感情と前記第２推定部が推定した感情とに基づいて、ユーザーの感情を推定する第３推定部との機能を実行可能な制御部を備え、
   前記制御部は、少なくとも前記制御部の処理負荷に基づいて、前記第１推定部、前記第２推定部、前記第３推定部の機能の少なくとも一部の実行制限が可能な、感情推定装置。
2. 前記実行制限は、前記第１推定部、前記第２推定部、前記第３推定部の機能のいずれかの実行の停止または実行周期の延長を含む、請求項１に記載の感情推定装置。
3. 前記制御部は、さらに、ユーザーまたは車両の状態を判定し、判定結果に基づいて、前記実行制限を行う、請求項１または２に記載の感情推定装置。
4. 前記制御部は、ユーザーが着座していない状態であると判定した場合、前記実行制限として、前記第１推定部、前記第２推定部、前記第３推定部の機能の全部を停止する、請求項３に記載の感情推定装置。
5. 前記制御部は、ユーザーの表情が取得できない状態であると判定した場合、前記実行制限として前記第１推定部および前記第３推定部の機能を停止する、請求項３または４に記載の感情推定装置。
6. 前記制御部は、ユーザーが所定の機器を操作している状態であると判定した場合、前記実行制限として、前記第２推定部および前記第３推定部の機能を停止する、請求項３～５のいずれかに記載の感情推定装置。
7. 前記制御部は、前記実行制限を行うか否かの判定に、車両が備える１つ以上のイメージセンサから取得するいずれの情報も利用しない、請求項３～６のいずれかに記載の感情推定装置。
8. 車両に搭載される感情推定装置のコンピューターが実行する感情推定方法であって、
   ユーザーの表情に基づいて、ユーザーの感情を推定する第１推定ステップと、
   ユーザーの動作に基づいて、ユーザーの動作を抽出し、ユーザーの感情を推定する第２推定ステップと、
   前記第１推定ステップにおいて推定した感情と前記第２推定ステップにおいて推定した感情とに基づいて、ユーザーの感情を推定する第３推定ステップと、
   少なくとも前記コンピューターの処理負荷に基づいて、前記第１推定ステップ、前記第２推定ステップ、前記第３推定ステップの少なくとも一部の実行制限を行う、実行制限ステップとを含む、感情推定方法。
9. 車両に搭載される感情推定装置のコンピューターに実行させる感情推定プログラムであって、
   ユーザーの表情に基づいて、ユーザーの感情を推定する第１推定ステップと、
   ユーザーの動作に基づいて、ユーザーの動作を抽出し、ユーザーの感情を推定する第２推定ステップと、
   前記第１推定ステップにおいて推定した感情と前記第２推定ステップにおいて推定した感情とに基づいて、ユーザーの感情を推定する第３推定ステップと、
   少なくとも前記コンピューターの処理負荷に基づいて、前記第１推定ステップ、前記第２推定ステップ、前記第３推定ステップの少なくとも一部の実行制限を行う、実行制限ステップとを含む、感情推定プログラム。
10. 請求項１～７のいずれかに記載の感情推定装置を備える車両。

Images