JP7183782B2 - 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム - Google Patents

Description

本発明は、車両等の移動体に搭乗している搭乗者の感情を推定する感情推定装置等に関する。

従来、自動車等の車両に搭乗する人（以下、搭乗者と称する）にとって快適な車内空間を提供するために、車両の内装等について様々な改良が行われている。例えば、特許文献１には、自動車の内装照明について、発熱が抑制された光源（発光ダイオード等）を用いることによって光源の配置形態およびデザインの自由度を高める技術が記載されている。

また、近年、人（例えば車両の搭乗者）の感情を推定し、推定された感情に対応して動作する装置が開発されている。例えば、特許文献２には、センサにより取得した物理量に基づいて、画像におけるユーザの表情を分析する、またはユーザの脈拍を検出することにより、ユーザの感情を推定し、推定された感情を提示するか否か判定する情報提示装置が記載されている。

米国特許第８１６２５１９号明細書 特開２０１７－７３１０７号公報

特許文献１に記載の技術においては、搭乗者の気分（感情）に対応する車内空間の状態（車内環境）となるように、例えば照明の光量、配色、位置、等を搭乗者自身の操作により調整することを要する。搭乗者は、車内環境を調整する際に自身の操作を要することについて煩わしさを感じ得る。

そこで、人の感情を機械的に推定することにより得られた推定結果を利用して車内環境を自動的に調整することが考えられる。しかしながら、一般に、人の感情は多様であるとともに、人の表情または脈拍等によって感情を推定した結果は、様々な事象（意識的な表情の変化、車両の振動、等）の影響を受け得る。

推定された感情と人の実際の感情とが互いに異なる場合、自動的に調整された車内環境は不適切なものとなり、搭乗者を不快にさせ得る。搭乗者に快適な車内環境を自動的に提供するためには、より精度よく搭乗者の感情を推定することが求められる。

本発明の一態様は、搭乗者の感情についての推定精度を高めることができる技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様における感情推定装置は、移動体の搭乗者の感情を推定する感情推定装置であって、（ｉ）前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第１の感情推定部により得られた第１の感情推定情報と、（ｉｉ）前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第２の感情推定部により得られた第２の感情推定情報と、（ｉｉｉ）前記搭乗者の感情若しくは前記移動体の内外の状態、を表す情報を含む状況情報を所定の感情生成アルゴリズムに入力して生成された状況感情情報と、を取得可能な情報取得部と、前記状況感情情報に基づいて前記第１の感情推定情報および前記第２の感情推定情報をそれぞれ補正する感情補正部と、前記感情補正部により得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定部と、を備えている。

また、本発明の一態様における環境提供システムは、（ｉ）前記感情推定装置と、（ｉｉ）前記移動体における前記搭乗者の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を前記搭乗者に与える環境を感情刺激環境と称し、前記感情推定装置により推定された前記搭乗者の感情の種類に基づいて、適切な前記感情刺激環境となるように前記搭乗者の周囲の環境を調整する環境調整部と、を備えている。

また、本発明の一態様における車両は、前記環境提供システムを備えている。

また、上記の課題を解決するために、本発明の一態様における感情推定方法は、移動体の搭乗者の感情を推定する感情推定方法であって、前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第１の感情推定ステップと、前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第２の感情推定ステップと、前記搭乗者の感情若しくは前記移動体の内外の状態、を表す状況情報を所定の感情生成アルゴリズムに入力して状況感情情報を生成する感情情報生成ステップと、前記状況感情情報に基づいて、前記第１の感情推定ステップおよび前記第２の感情推定ステップにより得られた前記搭乗者の感情の推定結果をそれぞれ補正する感情補正ステップと、前記感情補正ステップにより得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定ステップと、を含む。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記感情推定装置が備える各部（ソフトウェア要素）として動作させることにより前記感情推定装置をコンピュータにて実現させる情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、搭乗者の感情についての推定精度を高めることができる。

本発明の実施形態１における車両に含まれる各部および環境提供システムの概要を示す図である。 本発明の実施形態１における感情推定装置および環境提供システムを含む車両搭載システムの概略的な構成を示すブロック図である。 上記感情推定装置および環境提供システムが実行する処理の全体の流れを示すフローチャートである。 上記感情推定装置における感情補正部が用いる補正規則の一例を示す図である。 上記感情推定装置における感情判定部が用いる判定規則の一例を示す図である。 上記環境提供システムに含まれる環境制御装置が行う環境調整部の制御の一例を示す図である。 車両の内部の様子の一例を示す図である。

本発明の一実施形態について、図１～７に基づいて説明すれば、以下のとおりである。本実施の形態では、移動体としての例えば車両に設けられた、（ｉ）該車両に搭乗する搭乗者の感情を推定する感情推定装置、および（ｉｉ）推定結果に基づいて上記搭乗者に適した車内環境を提供する環境提供システムについて説明する。

ここで、本明細書において、移動体とは、人が搭乗可能であり、かつ搭乗した人（搭乗者）が或る場所から別の場所へと移動するために用いられる乗り物である。また、移動体は、該移動体の内部に搭乗者が安静に留まることが可能な空間を有する乗り物である。

本実施の形態では移動体として車両を例示して説明するが、移動体はこれに限定されない。移動体としては、例えば、各種の自動車等の路上走行車両、鉄道車両、航空機、船舶、等が挙げられる。本発明の一態様における感情推定装置および環境提供システムは、これら各種の移動体に適用することができる。

また、本実施形態では、説明の平明化のために、１人の搭乗者に対して本実施形態の感情推定装置および環境提供システムを適用する場合について説明する。

＜車両搭載システムの概要＞
先ず、本実施形態の感情推定装置および環境提供システムを備える車両について、図１を用いて以下に説明する。図１は、本実施形態における車両１に含まれる各部および環境提供システム４の概要を示す図である。本明細書において、環境提供システム４および車載センサ３を含めて車両搭載システムと称することがある。本実施形態の感情推定装置は、環境提供システム４に含まれており、図１では図示されていない。

図１に示すように、車両１は、データ通信バス２に接続された、各種の車載センサ３および環境提供システム４を含む。車載センサ３は、マイク３１、カメラ３２、生体情報取得部３３、および車両情報センサ３４を含む。環境提供システム４は、ＣＰＵ（Central processing Unit）４１、ＲＯＭ（Read Only Memory）４２、ＲＡＭ（Random Access Memory）４３、環境調整部４４、通信部４５を含む。

（データ通信バス）
データ通信バス２は、例えば、一般に自動車に搭載されるＣＡＮ（Controller Area Network）バスである。データ通信を行うバスには様々な規格が存在する。データ通信バス２は、車両１に含まれる各種のシステムにおいて各部が相互に通信できるような通信経路を形成するようになっていればよく、具体的な態様は特に限定されない。データ通信バス２は、典型的には有線の通信経路であり、データ通信バス２の一部にて無線によるデータ通信を行うようになっていてもよい。

（車載センサ）
車載センサ３は、車両１に搭載された各種のセンサであって、（ｉ）搭乗者５に関する物理量の計測を行う人情報センサ（マイク３１、カメラ３２、生体情報取得部３３）と、（ｉｉ）車両１の運転状態、車外環境、および車内環境等に関する物理量（車内の照度、車内および車外の温度、走行状態、運転状態、等）の計測を行う車両情報センサ３４と、を含む。なお、搭乗者５の生体情報としては、搭乗者５の声および表情等も含み得るが、本明細書では、生体情報取得部３３は、マイク３１およびカメラ３２以外のセンサであるとする。車載センサ３に含まれる各部の詳細については後述する。

（環境提供システム）
環境提供システム４は、少なくとも１つのＣＰＵ４１を含むとともに、必要に応じて複数個のＲＯＭ４２およびＲＡＭ４３を含む。また、環境提供システム４は、マイクロコントローラ等の各種の演算処理装置を含んでいてもよい。

本実施形態における環境提供システム４は、搭乗者５の感情を推定する感情推定装置および車内環境を制御する環境制御装置（図２を参照）を含み、それらの装置は、ＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３によって構成される。この場合、感情推定装置および環境制御装置は、ＣＰＵ４１によって動作するプログラムとして実現される。

なお、本発明の他の一態様における感情推定装置および環境制御装置はそれぞれ、データ通信バス２に接続された一個の装置であってもよく、この場合、それらの装置に含まれるＣＰＵ、ＲＯＭ、およびＲＡＭを用いて、後述するような各種の処理を行う。

環境提供システム４は、上記感情推定装置を用いて推定した搭乗者５の感情に基づいて、環境調整部４４を制御し、搭乗者５の周囲の環境（例えば光・香り・音）を調整する。環境提供システム４に含まれる各部の詳細については後述する。

（サーバ通信）
環境提供システム４は、通信部４５を用いて、車両１の外部に設けられたサーバ４５２と互いに通信可能となっており、サーバ４５２を利用して各種の処理を行ってもよい。このような処理の具体例に関しては後述する。

通信部４５は、通信ネットワーク４５１を介して、サーバ４５２とデータ通信を行う。サーバ４５２はクラウドサーバであってもよい。通信ネットワーク４５１は、例えば電話回線網、移動体通信網等の無線通信ネットワークであってもよい。サーバ４５２および通信ネットワーク４５１の具体的な態様は特に限定されない。

＜車両搭載システムの詳細＞
本実施形態における感情推定装置および環境提供システム４の詳細について、図２を用いて以下に説明する。図２は、本実施形態における感情推定装置２００および環境提供システム４を含む車両搭載システムの概略的な構成を示すブロック図である。

図２に示すように、本実施形態における車両１に搭載された車両搭載システムは、情報生成部１００、感情推定装置２００、環境制御装置３００、環境調整部４４、および通信部４５を含む。感情推定装置２００および環境制御装置３００は、前述のＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３（図１参照）を用いて実現されていてもよい。感情推定装置２００、環境制御装置３００、環境調整部４４、および通信部４５は、環境提供システム４に対応する。

（情報生成部）
情報生成部１００は、マイク３１、シートセンサ３３ａ、カメラ３２、車両情報センサ３４、音感情推定部１０、脈波感情推定部２０、および感情エンジン３０を含む。シートセンサ３３ａは、前述の生体情報取得部３３の一例である。音感情推定部１０、脈波感情推定部２０、および感情エンジン３０は、前述のＣＰＵ４１、ＲＯＭ４２、およびＲＡＭ４３（図１参照）を用いて実現されていてもよい。

・音感情情報の生成
音感情推定部１０は、搭乗者５の意識的な行動により生じる音（搭乗者５が発した音）を計測して得られた物理量に基づいて搭乗者５の感情を推定する、第１の感情推定部である。音感情推定部１０によって得られた推定結果を、音感情情報（第１の感情推定情報）Ｉｎｆ１と称する。本実施形態では、音感情推定部１０は、マイク３１によって取得した搭乗者５の声に関する音声信号に基づいて、音感情情報Ｉｎｆ１を生成し、生成した音感情情報Ｉｎｆ１を感情推定装置２００に送信する。

マイク３１は、搭乗者５が発した音の情報（典型的には音声信号）を取得する機能を有していればよく、具体的な態様は特に限定されない。マイク３１は、指向性マイクであることが好ましく、この場合、搭乗者５が発した音に関する情報を、より正確に取得することができる。

音感情推定部１０は、音声信号に基づいて感情を推定する公知の技術を適用して実現することができる。音感情推定部１０は、例えば、音声信号における強度、テンポ、抑揚、等の変化および文章（言葉）に基づいて、推定規則を参照することにより搭乗者５の感情を推定する、ＳＴ（Sensibility Technology）技術が適用されてよい。また、音声信号には、搭乗者５の声以外のノイズ（エンジン音、車内に設置されたテレビ等の音声、車両１外部の音、等）が含まれ得る。そのため、音感情推定部１０は、該ノイズを除去する機能（例えばノイズフィルタ）を有していることが好ましい。

本実施形態において、音感情推定部１０が音感情情報Ｉｎｆ１を出力するためには、搭乗者５が声を発することを要する。搭乗者５が声を発する場合、または発しない場合の処理については、車両搭載システムが実行する処理の流れの説明と合わせて後述する。

なお、音感情推定部１０は、通信部４５を介してサーバ４５２と通信することによって、音感情情報Ｉｎｆ１を生成するようになっていてもよい。この場合、音感情推定部１０からサーバ４５２に音声信号が送信され、音声信号に基づいて感情を推定するプログラムがサーバ４５２にて実行される。

・脈波感情情報の生成
脈波感情推定部２０は、搭乗者５における生体信号に基づいて搭乗者５の感情を推定する、第２の感情推定部である。本実施形態では、生体信号は、無意識的な（自律神経に基づく）運動である心拍に由来する血管の脈動を計測して取得される脈波（時間波形）である。脈波感情推定部２０によって得られた推定結果を、脈波感情情報（第２の感情推定情報）Ｉｎｆ２と称する。本実施形態における脈波感情推定部２０は、シートセンサ３３ａによって取得した搭乗者５の脈波に関する生体信号に基づいて、脈波感情情報Ｉｎｆ２を生成し、生成した脈波感情情報Ｉｎｆ２を感情推定装置２００に送信する。

シートセンサ３３ａは、車両１内で搭乗者５が着座するシートに内蔵されたセンサであって、着座している搭乗者５の脈波を計測可能なセンサである。シートセンサ３３ａは、例えば圧電センサであり、例えば、シートにおける搭乗者５の大腿部、臀部、または背部が接する位置の周辺に内蔵される。シートセンサ３３ａは、搭乗者５の血管の脈動による体表面における微小な動きを計測し、得られたデータを脈波感情推定部２０に送信する。このような脈波の計測については、公知の技術を用いることができるため、詳細な説明は省略する。

脈波感情推定部２０は、脈波を示すデータに基づいて感情を推定する公知の技術を適用して実現することができる。このような技術としては、様々な手法が提案されており、詳細な説明は省略する。一例では、脈波感情推定部２０は、搭乗者５から取得した脈波の波形について公知の解析アルゴリズムを用いて解析を行うことにより、搭乗者５の感情を推定する。例えば、脈拍間隔時間（ＲＲＩ，Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）の時間変動から、ＲＲＩの周波数成分のパワースペクトルを求めることができる。パワースペクトルの低周波成分と高周波成分との比（ＬＦ／ＨＦ）に基づいて、搭乗者５の感情を推定することができる。

また、脈波感情推定部２０は、カメラ３２から取得した搭乗者５の撮像画像を用いて、脈波感情情報Ｉｎｆ２を生成してもよく、この場合、血中酸化ヘモグロビンの濃度時間変化を測定することで脈波を検出することができる。顔画像に基づいて脈波を検出する技術について、公知の手法を適用することができるため、詳細な説明は省略する。

なお、脈波感情推定部２０は、通信部４５を介してサーバ４５２と通信することによって、脈波感情情報Ｉｎｆ２を生成するようになっていてもよい。この場合、脈波感情推定部２０からサーバ４５２に脈波を示すデータが送信され、該データに基づいて感情を推定するプログラム（解析アルゴリズム）がサーバ４５２にて実行される。

・状況感情情報の生成
本明細書において、感情エンジン３０による搭乗者５の感情の推定に用いられる情報を状況情報と称する。状況情報は、（ｉ）搭乗者５の感情を表す情報、または、（ｉｉ）車両１の内部の状態および車両１の外部の状態（車両１の内外の状態と称する）を表す情報を含む。

車両情報センサ３４に含まれる様々なセンサおよびカメラ３２から感情エンジン３０に上記状況情報が入力される。車両情報センサ３４は、例えば、車外を撮像するカメラ、温度センサ、照度センサ、各種ライトスイッチ、エアコン制御部、車速センサ、アクセル操作やブレーキ操作量を取得するセンサ、操舵角センサ、加速度センサ、カーステレオ、ＧＰＳ（Global Positioning System）、等、従来の車両に搭載されている各種のセンサを含み得る。また、車両情報センサ３４は、カーナビゲーションシステムを含んでいてもよい。

感情エンジン３０は、所定の感情生成アルゴリズムを有しており、この感情生成アルゴリズムとしては公知の技術を適用することができるため、詳細な説明は省略するが、一例を説明すれば以下のとおりである。

状況情報は、例えば、搭乗者５の感情を表す情報として、搭乗者５に非接触に計測した物理量を示す情報を含んでいてもよく、例えば搭乗者５の顔画像のデータを含む。感情エンジン３０は、搭乗者５の顔画像に基づいて解析した搭乗者５の表情を、感情を推定するための一要素とする。

また、状況情報は、車両１の内部の状態として、車両１の運転速度、運転速度の加減速の程度、ハンドルの操舵量、等のデータを含んでいてもよい。そして、状況情報は、車両１の外部の状態として、例えば、外気温、気候、日照量、車両１の地理的な位置および環境、交通状態、等を含んでいてもよい。感情エンジン３０は、車両１の内外の状態に関する情報を、感情を推定するための一要素とする。

感情エンジン３０は、上記例示したような状況情報を上記所定の感情生成アルゴリズムに入力することにより、搭乗者５の感情を推定し、その推定結果として状況感情情報Ｉｎｆ３を生成する。感情エンジン３０は、生成した状況感情情報Ｉｎｆ３を感情推定装置２００に送信する。

近年、ロボット等に人工的な感情を生成する機能が搭載されることがある。感情エンジン３０は、そのようなＡＩ（Artificial Intelligence）に用いられる公知の感情生成アルゴリズムを用いてよい（例えば特許第6367179号を参照）。

なお、感情エンジン３０は、通信部４５を介してサーバ４５２と通信することによって、状況感情情報Ｉｎｆ３を生成するようになっていてもよい。この場合、感情エンジン３０からサーバ４５２に上記状況情報が送信され、該状況情報に基づいて感情を推定する感情生成アルゴリズムがサーバ４５２にて実行される。

（感情推定装置）
感情推定装置２００は、情報取得部２１０、制御部２２０、および記憶部２３０を備えている。制御部２２０は、感情補正部２２１および感情判定部（判定部）２２２を備えており、記憶部２３０には、補正規則２３１および判定規則２３２が記憶されている。

情報取得部２１０は、音感情推定部１０、脈波感情推定部２０、および感情エンジン３０から送信された情報を取得し、取得した情報を制御部２２０に送信する。情報取得部２１０は、情報生成部１００と有線接続されていてもよく、または無線接続されていてもよい。情報取得部２１０は、情報生成部１００から取得した情報を時間的に同期して（或る時点における搭乗者５の感情に関する情報として）、制御部２２０に送信する。

本実施形態では、音感情情報Ｉｎｆ１および脈波感情情報Ｉｎｆ２は、ポジティブな種類の感情およびネガティブな種類の感情のいずれかにて表される。ポジティブな種類の感情としては、例えば喜び（第１の感情）および楽しさ（第２の感情）が挙げられる。ネガティブな種類の感情としては、例えば怒り（第３の感情）および哀しみ（第４の感情）が挙げられる。

また、音感情情報Ｉｎｆ１は、それぞれの感情の種類の強度の度合いを示すレベル情報を含む。本実施形態では、強度の度合いとして、Ｈｉｇｈ、Ｍｉｄｄｌｅ、Ｌｏｗの三段階を設定する。

脈波感情推定部２０により生成した脈波感情情報Ｉｎｆ２は、感情の強度の度合いを有していなくともよく、この場合、音感情情報Ｉｎｆ１と対応するように、感情の強度の度合いをＭｉｄｄｌｅに設定してもよい。

感情補正部２２１は、状況感情情報Ｉｎｆ３に基づいて、音感情情報Ｉｎｆ１および脈波感情情報Ｉｎｆ２の補正処理を行う。感情補正部２２１は、上記補正処理に際して、補正規則２３１を用いる。

補正規則２３１は、以下のような対応関係を示す規則である。すなわち、補正規則２３１は、音感情情報Ｉｎｆ１および状況感情情報Ｉｎｆ３の組合せと、該組合せに基づいて出力されるべき補正後の搭乗者５の感情の種類および該感情の種類の強度の度合いと、が対応付けられた所定の対応関係を示す規則を含む。また、補正規則２３１は、脈波感情情報Ｉｎｆ２および状況感情情報Ｉｎｆ３の組合せと、該組合せに基づいて出力されるべき補正後の搭乗者５の感情の種類および該感情の種類の強度の度合いと、が対応付けられた、所定の対応関係を示す規則を含む。

感情補正部２２１により音感情情報Ｉｎｆ１を補正して得られた結果を補正音感情情報（第１の補正後推定結果）Ｉｎｆ１１とし、脈波感情情報Ｉｎｆ２を補正して得られた結果を補正脈波感情情報（第２の補正後推定結果）Ｉｎｆ１２とする。補正音感情情報Ｉｎｆ１１および補正脈波感情情報Ｉｎｆ１２は、上述の４種類の感情のいずれかにて表されるとともに、それぞれの感情の種類の強度の度合いを示すレベル情報を含む。

そして感情判定部２２２は、補正音感情情報Ｉｎｆ１１および補正脈波感情情報Ｉｎｆ１２におけるそれぞれの感情の種類および上記レベル情報に基づいて、搭乗者５の感情の種類を判定する。感情判定部２２２は、上記判定処理に際して、判定規則２３２を用いる。

判定規則２３２は、以下のような対応関係を示す規則である。すなわち、判定規則２３２は、（ｉ）補正音感情情報Ｉｎｆ１１における感情の種類および強度の度合いと補正脈波感情情報Ｉｎｆ１２における感情の種類および強度の度合いとの組合せと、（ｉｉ）該組合せに基づいて判定されるべき搭乗者５の感情の種類と、が対応付けられた、所定の対応関係を示す規則である。

感情判定部２２２は、判定結果として搭乗者５の感情の種類を出力するようになっていてもよい。また、感情判定部２２２は、判定結果として搭乗者５の感情の種類および強度の度合いを出力するようになっていてもよく、この場合、環境制御部３１０は、搭乗者５の感情の種類および強度の度合いに応じて、環境調整部４４を細かく制御することができる。

感情補正部２２１における補正処理および感情判定部２２２における判定処理の一例については、本実施形態における車両搭載システムが実行する処理の流れの説明と合わせて後述する。

（環境制御）
環境制御装置３００は、環境制御部３１０と記憶部３２０とを備えている。記憶部３２０には、対応環境データ３２１が記憶されている。

環境制御部３１０は、対応環境データ３２１を用いて、感情判定部２２２によって判定された搭乗者５の感情の種類に対応するように環境調整部４４に含まれる各部を制御する。

本実施形態の環境調整部４４は、照明装置４４１、香り発生部４４２、および音響機器４４３を含み、車両１の内部における搭乗者５の周囲の環境（光・香り・音）を調整する。対応環境データ３２１は、環境制御部３１０によって判定された搭乗者５の感情の種類と、当該種類の感情に対応して環境制御部３１０が実行すべき環境調整部４４の制御内容との対応関係を示すデータである。対応環境データ３２１の一例については後述する。

環境制御部３１０は、照明装置４４１を用いて搭乗者５に視覚的な刺激を与えることができるとともに、音響機器４４３を用いて搭乗者５に聴覚的な刺激を与えることができる。照明装置４４１、および音響機器４４３は、環境制御部３１０による制御対象として車両１に追加された設備であってもよく、一般に車両に搭載されている各種の設備であってもよい。

また、環境制御部３１０は、香り発生部４４２を用いて搭乗者５に嗅覚的な刺激を与えることができる。香り発生部４４２は、搭乗者５の周囲の空気の香りを変化させる機能を有する。香り発生部４４２は、例えば車両に搭載されている空調機器の周辺機器として配置されていてよい。

車両１における搭乗者５の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を搭乗者５に与える環境を感情刺激環境と称する。環境制御について上記説明したことをまとめると、以下のように整理できる。すなわち、環境提供システム４は、感情推定装置２００により推定された搭乗者５の或る時点における感情の種類に基づいて、当該時点の搭乗者５に適切な上記感情刺激環境となるように搭乗者５の周囲の環境を調整する環境調整部４４を備えている。

（処理の流れ）
本実施形態における車両１に搭載された感情推定装置２００および環境提供システム４が実行する処理の流れの一例について、図３～６を用いて以下に説明する。図３は、感情推定装置２００および環境提供システム４が実行する処理の全体の流れを示すフローチャートである。

以下の説明において、記載の平明化のために、音感情推定部１０で生成された音感情情報Ｉｎｆ１を感情（声）、脈波感情推定部２０で生成された脈波感情情報Ｉｎｆ２を感情（心拍）、感情エンジン３０で生成された状況感情情報Ｉｎｆ３を感情（車両）と表す。

図３に示すように、先ず、情報取得部２１０は、情報生成部１００から送信される感情（声）、感情（心拍）、および感情（車両）のデータを取得する（ステップ１；以下Ｓ１のように略記する）。ここで、音感情推定部１０は、例えば搭乗者５が声を発しないような場合には、感情（声）のデータを感情推定装置２００に送信しない。また、脈波感情推定部２０は、例えば車両１の振動等の要因によって搭乗者５の脈波を適切に検出できない場合には、感情（心拍）のデータを感情推定装置２００に送信しない。つまり、情報取得部２１０は、感情（声）または感情（心拍）のデータを取得できないことがある。一方で、感情エンジン３０は、通常、感情（車両）のデータを常に（または一定間隔で）感情推定装置２００に送信し得る。

感情推定装置２００は、情報取得部２１０にて取得したデータが感情（車両）のみであった場合（Ｓ１でＹｅｓ）、当該データを搭乗者５の感情として確定し（Ｓ９）、環境制御部３１０へ出力する。

また、感情推定装置２００は、情報取得部２１０が、感情（車両）のデータに加えて、感情（声）および感情（心拍）の少なくとも一方のデータを取得した場合（Ｓ１でＮｏ）、取得したデータを制御部２２０へ出力する。

感情補正部２２１は、情報取得部２１０から受信したデータおよび補正規則２３１を用いて、感情（声）または感情（心拍）を補正する（Ｓ３）。このＳ３における補正処理の一例について、図４を用いて以下に説明する。

図４は、感情補正部２２１が用いる補正規則２３１の一例であって、感情（車両）に基づいて感情（声）を補正する、または感情（車両）に基づいて感情（心拍）を補正する規則（対応関係）を示している。ここでは、感情（声）のデータは、４種類の感情毎に、Ｈｉｇｈ（Ｈｉ）、Ｍｉｄｄｌｅ（Ｍｉｄ）、およびＬｏｗ（Ｌｏ）の３段階のレベルに分類されている。感情（心拍）のデータは、脈波感情推定部２０にて生成されたデータではレベル情報を含まないため、Ｍｉｄのレベルとみなす。また、感情（車両）のデータは、レベル情報を含んでいない。

なお、図４の例では、４種類の感情および３段階のレベル（計１２個の区分）に分類されているが、補正規則２３１は、感情の種類およびレベルがより細かく分類されて作成されていてもよい。

例えば、図４に示すように、感情（車両）が「喜」であり、感情（声）が「怒」のＨｉレベルである場合、補正後の感情（声）は「怒」のＭｉｄレベルとなる。また、感情（車両）が「哀」であり、感情（心拍）が「喜」（Ｍｉｄレベルとみなす）である場合、補正後の感情（心拍）は、「喜」のＬｏレベルとなる。

感情補正部２２１が、感情（声）または感情（心拍）のどちらか一方のみを取得し、補正を行った場合（Ｓ５でＹｅｓ）、補正後の感情（声）または補正後の感情（心拍）を搭乗者５の感情として確定する（Ｓ９）。

感情補正部２２１は、感情（声）および感情（心拍）の両方について補正を行った場合（Ｓ５でＮｏ）、補正後の感情（声）および補正後の感情（心拍）を感情判定部２２２に出力する。

感情判定部２２２は、判定規則２３２を参照し、感情補正部２２１から取得した補正後の感情（声）および感情（心拍）から感情を判定し（Ｓ７）、判定した感情を搭乗者５の感情として確定する（Ｓ９）。このＳ７における判定処理の一例について、図５を用いて以下に説明する。

図５は、感情判定部２２２が用いる判定規則２３２の一例を示す図であって、補正後の感情（声）および補正後の感情（心拍）から、感情を判定するためのアルゴリズムの一例を示している。上記アルゴリズムは判定規則２３２として記憶部２３０に格納されている。図５に示すように、入力された補正後の感情（声）および補正後の感情（心拍）における感情の種類およびレベルに基づいて、Ａ～Ｄの４条件に分けて判定される。なお、判定規則２３２は、図５に示す規則に限られるものではない。

図５に示すＡは、補正後の感情（声）および補正後の感情（心拍）が同じ感情の種類である場合を示し、この場合は当該感情を搭乗者５の感情として確定する。

また、図５に示すＢは、補正後の感情（声）および補正後の感情（心拍）が、共にポジティブな感情（例えば「喜」または「楽」）である場合を示し、この場合は、レベルが高い方の感情の種類を搭乗者５の感情として確定する。ただし、補正後の感情（声）および補正後の感情（心拍）のレベルが互いに同じである場合は、感情（声）の感情の種類を搭乗者５の感情として確定する。感情判定部２２２は、例えば、補正後の感情（声）が「喜」のＬｏレベルであり、補正後の感情（心拍）が、「楽」のＨｉレベルであった場合は、搭乗者５の感情を「楽」と判定する。また、感情判定部２２２は、例えば、補正後の感情（声）が「楽」のＭｉｄレベルであり、補正後の感情（心拍）が「喜」のＭｉｄレベルであった場合は、搭乗者５の感情を「楽」と判定する。

また、図５に示すＣは、補正後の感情（声）および補正後の感情（心拍）が、共にネガティブな感情（例えば「怒」または「哀」）である場合を示し、この場合は、上記Ｂと同様の判定を行う。感情判定部２２２は、例えば、補正後の感情（声）が「怒」のＭｉｄレベルであり、補正後の感情（心拍）が「哀」のＬｏレベルであった場合は、搭乗者５の感情を「怒」と判定する。

また、図５に示すＤは、補正後の感情（声）および補正後の感情（心拍）が、ポジティブな感情とネガティブな感情とが混在する場合を示し、この場合は、補正後の感情（声）を優先して感情データとして判定する。感情判定部２２２は、例えば、補正後の感情（声）が「喜」のＭｉｄレベルであり、補正後の感情（心拍）が、「哀」のＨｉレベルである場合、搭乗者５の感情を「喜」と判定する。

環境制御部３１０は、感情判定部２２２から取得した搭乗者５の感情の種類に基づいて、環境調整部４４の制御を行い、車両１の車内環境を調整する（Ｓ１１）。このＳ１１における車内環境を調整する制御の一例について、図６を用いて以下に説明する。

図６は、環境制御部３１０が行う制御の一例を示す図である。図６に示すような規則が対応環境データ３２１に対応する。環境制御部３１０は、感情判定部２２２によって判定された搭乗者５の感情（図６での「感情」）に基づいて、搭乗者５の感情がより好ましい状態となるように誘導することを目的として、環境調整部４４を制御する。

例えば、環境制御部３１０は、所望の光、香り、および音が発生するように環境調整部４４を制御する。例えば、搭乗者５の感情が「哀」である場合、環境制御部３１０は、緑色の光、レモングラスの香り、およびソルフェジオ周波数ベースの音を発生させるように環境調整部４４を制御する。緑の光には、情緒の安定、安心感の増加等の効果が見込まれる。これにより、搭乗者５の感情を安定させ、元気にすることを目的とする。

上述したような処理の流れは、以下のように整理することができる。すなわち、本実施形態における感情推定方法は、搭乗者５が発した音に基づいて搭乗者５の感情を推定する第１の感情推定ステップと、搭乗者５から取得した生体信号に基づいて搭乗者５の感情を推定する第２の感情推定ステップと、搭乗者５の感情若しくは車両１の内外の状態、を表す状況情報を所定の感情生成アルゴリズムに入力して状況感情情報Ｉｎｆ３を生成する感情情報生成ステップと、を含む。そして、本実施形態における感情推定方法は、状況感情情報Ｉｎｆ３に基づいて、前記第１の感情推定ステップおよび前記第２の感情推定ステップにより得られた搭乗者５の感情の推定結果をそれぞれ補正する感情補正ステップと、前記感情補正ステップにより得られた、搭乗者５の感情の補正後推定結果に基づいて、搭乗者５の感情の種類を判定する判定ステップと、を含む。

（環境調整部の具体例）
環境調整部４４の一例について、図７を用いて説明する。図７は、本実施形態における車両１の内部の様子の一例を示す図である。

環境制御部３１０は、車内に設けられた照明装置４４１を制御し、所望の光を発生させる。照明装置４４１は、例えば図７に示すように、車内の天井の中央部４４１ａに設けられている。また、照明装置４４１は、車内の天井部４４１ｂを覆うような形状であってもよく、搭乗者５が着座するシート４４１ｃに設けられていてもよい。

なお、照明装置４４１は、搭乗者５が光を視認できるように設けられていればよく、数、位置、および形状は特に限定されない。間接光または透過光を利用するようになっていてもよい。シート４４１ｃの側方部、搭乗者５の足元、ドアパネル、等の位置に設けられていてもよい。照明装置４４１は、インストルメントパネルを含んでいてもよく、導光管であってもよい。

また、環境制御部３１０は、香り発生部４４２を制御し、所望の香りを発生させる。香り発生部４４２は、例えば、図７に示すように空調装置４４２ａ内に設けられる。香り発生部４４２は、搭乗者５が香りを感知できるような位置に設けられていればよく、設置場所は特に限定されない。例えば、後部座席用の空調装置４４２ｂがある場合、空調装置４４２ｂ内に設けられていてもよい。また、例えば、天井部またはシートに内蔵して設けられていてもよい。

また、環境制御部３１０は、音響機器４４３を制御し、所望の音を発生させる。音響機器４４３は、例えば車内の前方に設けられたスピーカ４４３ａ、またはドアに設けられたスピーカ４４３ｂである。また、音響機器４４３は、スピーカに限られず、例えば、シートに設けられていてもよいし、搭乗者の持つ外部機器（例えばスマートフォン等）であってもよい。

なお、図７に示すように、カメラ３２は、車両１の内部において、例えばバックミラーの周辺に設けられている。シートセンサ３３ａは、例えば、搭乗者５が着座するシートの座面の位置に設けられている。

（有利な効果）
一般に、人の感情が声に不随意に反映される一方で、声は随意神経に基づく人の意識的な行動であることから、音感情情報Ｉｎｆ１のみを用いて搭乗者５の感情を推定する場合、その推定精度を高めることには限界がある。また、車両１の走行によって生じる振動または搭乗者５の動き等によって、検出される脈波にノイズが生じる場合が多いため、脈波感情情報Ｉｎｆ２のみを用いて搭乗者５の感情を推定する場合、精度が安定しないことがある。そして、感情エンジン３０は、搭乗者５の感情を様々なデータに基づいて多面的に解析することにより、或る程度の精度にて搭乗者５の感情を推定し得る。しかし、人の感情は時、場所、場合等の様々な状況において急激に変化し得る。状況感情情報Ｉｎｆ３のみを用いて搭乗者５の感情を推定する場合、そのような感情の急激な変化に充分に対応することは難しい。

本実施形態における感情推定装置２００によれば、感情補正部２２１は、音感情推定部１０により生成した音感情情報Ｉｎｆ１（例えば運転者の声に基づく感情推定結果）と、脈波感情推定部２０により生成した脈波感情情報Ｉｎｆ２（例えば運転者の心拍に基づく感情推定結果）とをそれぞれ、感情エンジン３０により生成した状況感情情報Ｉｎｆ３を用いて補正する。そして、感情判定部２２２は、補正後の推定結果を統合して、搭乗者５の感情の種類を判定する。

これにより、互いに異なる手法を用いて得られた推定結果を融合させて、１つの感情を導き出すことができる。そのため、感情判定部２２２による判定結果が、推定対象の搭乗者５の感情の種類に正確に対応する蓋然性を高めることができる。

（変形例）
（ａ）車両１は、公知の対話システムを備えていることが好ましい。感情推定装置２００は、例えば、音感情情報Ｉｎｆ１の取得を所定の時間以上待機している場合に、搭乗者５に話しかけるように上記対話システムを制御する。これにより、搭乗者５が声を発することを促すことができ、音感情情報Ｉｎｆ１を取得し易くすることができる。

（ｂ）音感情推定部１０は、搭乗者５の発する音を用いて音感情情報Ｉｎｆ１を生成するようになっていればよく、例えば、搭乗者５が車両１に乗り込むためにドアを開閉する際の音、クラクションの音、搭乗者５の指による打音、等を用いてもよく、それらの情報を搭乗者５の音声信号と組み合わせて用いてもよい。

（ｃ）生体情報取得部３３は、搭乗者５の生体情報を取得できるものであればよく、シートセンサ３３ａは一例である。例えば、搭乗者５の耳朶に装着した機器を用いて、搭乗者５の脈波を検出してもよい。

生体情報取得部３３は、例えば、搭乗者５が装着しているデバイス（ウェアラブルデバイス）または生体情報の測定機能を有する携帯端末であってもよい。

（ｄ）本発明の一態様における感情推定装置では、搭乗者５から取得した生体信号に基づいて該搭乗者の感情を推定する第２の感情推定部により得られた第２の感情推定情報を用いるようになっていればよい。つまり、脈波感情推定部２０に代替して、脳波、皮膚温度、呼吸、発汗、等の変化に基づいて、搭乗者５の感情を推定する第２の感情推定部を備えていてもよい。第２の感情推定部において用いられる情報に対応するように、生体情報取得部３３として求められるセンサを車両１が搭載していればよい。

（ｅ）上記実施形態１では、感情の種類として喜、怒、哀、楽の４種類、および感情の度合いとしてＨｉｇｈ、Ｍｉｄｄｌｅ、Ｌｏｗを設定していたが、これに限定されない。感情の種類および感情の度合いは適宜設定されてよい。

（ｆ）本発明の一態様における感情推定装置および環境提供システム４は、車両１に複数の人が搭乗している場合に適用することもできる。例えば、車両１に搭乗している複数の人のうち、優先度の高い一人を搭乗者５と設定してもよい。また、例えば、各人の頭を覆うような設備が車両１に搭載されており、車両１に搭乗している複数の人のそれぞれについて、個別に感情の推定および適切な環境の提供を行ってもよい。

（ｇ）感情推定装置２００および環境制御装置３００は、機械学習モデルを用いて処理を行うようになっていてもよい。この場合、記憶部２３０および記憶部３２０に機械学習により生成された学習モデル（学習済みモデル）が格納され、制御部２２０および環境制御部３１０は、学習モデル（例えばニューラルネットワーク）を用いて制御を行う。このような学習モデルに基づく処理について、公知の技術を利用して実現することができる。

〔ソフトウェアによる実現例〕
感情推定装置２００および環境制御装置３００の制御ブロック（特に情報取得部２１０および環境制御部３１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、感情推定装置２００および環境制御装置３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

（附記事項）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 車両（移動体）
５ 搭乗者
１０ 音感情推定部（第１の感情推定部）
２０ 脈波感情推定部（第２の感情推定部）
３０ 感情エンジン（感情生成アルゴリズム）
２００ 感情推定装置
２２１ 感情補正部
２２２ 感情判定部（判定部）

Claims (7)

1. 移動体の搭乗者の感情を推定する感情推定装置であって、
   （ｉ）前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第１の感情推定部により得られた第１の感情推定情報と、（ｉｉ）前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第２の感情推定部により得られた第２の感情推定情報と、（ｉｉｉ）前記搭乗者の感情を表す情報、若しくは、前記移動体の内外の状態を表す情報、を含む状況情報を所定の感情生成アルゴリズムに入力して生成された状況感情情報と、を取得可能な情報取得部と、
   前記状況感情情報に基づいて前記第１の感情推定情報および前記第２の感情推定情報をそれぞれ補正する感情補正部と、
   前記感情補正部により得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定部と、を備えており、
   前記感情補正部により前記第１の感情推定情報を補正して得られた結果を第１の補正後推定結果とし、前記感情補正部により前記第２の感情推定情報を補正して得られた結果を第２の補正後推定結果とすると、
   前記第１の補正後推定結果および前記第２の補正後推定結果は、ポジティブな種類の第１の感情および第２の感情並びにネガティブな種類の第３の感情および第４の感情のいずれかにて表されるとともに、該当する感情の種類の強度の度合いを示すレベル情報を含み、
   前記判定部は、前記第１の補正後推定結果および前記第２の補正後推定結果におけるそれぞれの感情の種類および前記レベル情報に基づいて、前記搭乗者の感情の種類を判定し、
   前記判定部は、（ｉ）前記第１の補正後推定結果における感情の種類および強度の度合いと前記第２の補正後推定結果における感情の種類および強度の度合いとの組合せと、（ｉｉ）該組合せに基づいて判定されるべき前記搭乗者の感情の種類と、が対応付けられた、所定の対応関係に基づいて、前記搭乗者の感情の種類を判定することを特徴とする感情推定装置。
2. 前記感情補正部は、（ｉ）前記第１の感情推定情報と前記状況感情情報との組合せまたは前記第２の感情推定情報と前記状況感情情報との組合せと、（ｉｉ）該組合せに基づいて出力されるべき補正後の感情の種類および該感情の種類の強度の度合いとが対応付けられた、所定の対応関係に基づいて、前記第１の感情推定情報および前記第２の感情推定情報をそれぞれ補正することを特徴とする請求項１に記載の感情推定装置。
3. 前記第１の感情は喜、前記第２の感情は楽、前記第３の感情は怒、前記第４の感情は哀であることを特徴とする請求項１または２に記載の感情推定装置。
4. 請求項１～３の何れか一項に記載の感情推定装置と、
   前記移動体における前記搭乗者の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を前記搭乗者に与える環境を感情刺激環境と称し、前記感情推定装置により推定された前記搭乗者の感情の種類に基づいて、適切な前記感情刺激環境となるように前記搭乗者の周囲の環境を調整する環境調整部と、
   を備えることを特徴とする環境提供システム。
5. 請求項４に記載の環境提供システムを備えることを特徴とする車両。
6. 移動体の搭乗者の感情を推定する感情推定方法であって、
   前記搭乗者が発した音に基づいて該搭乗者の感情を推定することにより第１の感情推定情報を得る第１の感情推定ステップと、
   前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定することにより第２の感情推定情報を得る第２の感情推定ステップと、
   前記搭乗者の感情を表す情報、若しくは、前記移動体の内外の状態を表す情報、を含む状況情報を所定の感情生成アルゴリズムに入力して状況感情情報を生成する感情情報生成ステップと、
   前記状況感情情報に基づいて前記第１の感情推定情報および前記第２の感情推定情報をそれぞれ補正する感情補正ステップと、
   前記感情補正ステップにより得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定ステップと、を含み、
   前記感情補正ステップにより前記第１の感情推定情報を補正して得られた結果を第１の補正後推定結果とし、前記感情補正ステップにより前記第２の感情推定情報を補正して得られた結果を第２の補正後推定結果とすると、
   前記第１の補正後推定結果および前記第２の補正後推定結果は、ポジティブな種類の第１の感情および第２の感情並びにネガティブな種類の第３の感情および第４の感情のいずれかにて表されるとともに、該当する感情の種類の強度の度合いを示すレベル情報を含み、
   前記判定ステップでは、前記第１の補正後推定結果および前記第２の補正後推定結果におけるそれぞれの感情の種類および前記レベル情報に基づいて、前記搭乗者の感情の種類を判定し、
   前記判定ステップでは、（ｉ）前記第１の補正後推定結果における感情の種類および強度の度合いと前記第２の補正後推定結果における感情の種類および強度の度合いとの組合せと、（ｉｉ）該組合せに基づいて判定されるべき前記搭乗者の感情の種類と、が対応付けられた、所定の対応関係に基づいて、前記搭乗者の感情の種類を判定することを特徴とする感情推定方法。
7. 請求項１に記載の感情推定装置としてコンピュータを機能させるための情報処理プログラムであって、前記情報取得部、前記感情補正部、および前記判定部としてコンピュータを機能させるための情報処理プログラム。

Images