JP6419134B2 - 車両感情表示装置、車両感情表示方法および車両感情表示プログラム - Google Patents

Description

本発明は、車両が有すると想定される仮想の感情を表示する車両感情表示装置、車両感情表示方法および車両感情表示プログラムに関する。

この種の装置として、従来、車両の操作情報と挙動情報とに基づいて、車両が人格を有すると仮定したときの車両の仮想の感情を生成し、この車両感情を所定のキャラクタの表情により表示するようにした装置が知られている（例えば特許文献１参照）。特許文献１記載の装置では、キャラクタの表情と連動させて、キャラクタの背景色を変化させる。

特開２００３−７２４８８号公報

しかしながら、上記特許文献１記載の装置では、キャラクタの背景が単色で表示されるため、いくつかの異なる車両感情は互いに同一の色彩で表示される。したがって、乗員が車両感情を正しく認識するためには、背景色と同時にキャラクタの表情を目視で認識する必要があり、運転に集中している乗員（運転者）にとって、車両感情を正しく認識することが困難な場合がある。

本発明の一態様は、擬人化した車両が有すると想定される車両感情を表示する車両感情表示装置であって、車両状態を検出する車両状態検出部と、車両状態検出部により検出された車両状態に応じて車両感情を生成する車両感情生成部と、車両感情生成部により生成された車両感情に対応する車両の表情画像と、表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成する画像生成部と、画像生成部により生成された画像信号に基づき車両感情画像を表示する表示部と、を備える。車両感情は、基本感情と、基本感情から派生した応用感情とを含み、画像生成部は、基本感情に対応する第１の色彩により基本感情に対応する背景画像の画像信号を生成する一方、第１の色彩および第２の色彩の組み合わせにより応用感情に対応する背景画像の画像信号を生成する。

本発明の他の態様は、擬人化した車両が有すると想定される車両感情を表示させる車両感情表示方法であって、車両状態を検出し、検出した車両状態に応じて、基本感情と、基本感情から派生した応用感情とを含む車両感情を生成し、生成した車両感情に対応する車両の表情画像と、表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成し、生成した画像信号に基づき車両感情画像を表示部に表示させる。車両感情画像を生成するときには、基本感情に対応する第１の色彩により基本感情に対応する背景画像の画像信号を生成し、第１の色彩および第２の色彩の組み合わせにより応用感情に対応する背景画像の画像信号を生成する。

本発明のさらなる他の態様である車両感情表示プログラムは、車両状態を特定する手順と、特定した車両状態に応じて、擬人化した車両が有すると想定される基本感情と該基本感情から派生した応用感情とを含む車両感情を生成する手順と、生成した車両感情に対応する車両の表情画像と、表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成する手順であって、基本感情に対応する第１の色彩により基本感情に対応する背景画像の画像信号を生成する一方、第１の色彩および第２の色彩の組み合わせにより応用感情に対応する背景画像の画像信号を生成する手順と、生成した画像信号に基づき車両感情画像を表示部に表示させる手順と、をコンピュータに実行させる。

本発明によれば、基本感情に対応する第１の色彩により基本感情に対応する背景画像の画像信号を生成し、第１の色彩および第２の色彩の組み合わせにより応用感情に対応する背景画像の画像信号を生成するので、運転に集中している運転者であっても、表示部の表示を一見するだけで、車両感情を容易かつ正しく認識することができる。

本発明の実施形態に係る車両感情表示装置の概略構成を示すブロック図。 車両状態および乗員感情に対する車両の基本感情の対応関係を、車両感情画像の一例とともに示す図。 図２の基本感情から派生した応用感情の一例を示す図。 図３の応用感情の車両感情画像の一例を示す図。 応用感情に対応する応用背景画像の配色パターンの一例を示す図。 図５Ａとは異なる応用感情に対応する応用背景画像の配色パターンの一例を示す図。 図１の制御装置のＣＰＵで実行される処理の一例を示すフローチャート。 図１の変形例を示す図。 図１の別の変形例を示す図。

以下、図１〜図８を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係る車両感情表示装置の概略構成を示すブロック図である。この車両感情表示装置１は、車両を擬人化したときに車両が有すると想定される車両感情を、車内の乗員に対して表示することが可能な装置であり、例えば車両に搭載されるナビゲーション装置をベースとして構成される。なお、以下では、擬人化された車両をエージェントと呼ぶことがある。

図１に示すように、車両感情表示装置１は、制御装置（ＥＣＵ）１０を有する。制御装置１０には、車両状態検出部２と、操作検出部３と、カメラ４と、マイク５と、モニタ６と、スピーカ７と、通信ユニット８と、ナビゲーションユニット９とがそれぞれ接続される。

車両状態検出部２は、車両に設けられて車両の走行状況や燃費状態等の車両状態を検出する各種センサを含む。例えば、車速を検出する車速センサ、車両の進行方向に対する角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、ＧＰＳ衛星から測位信号を受信して車両の現在位置を測定するＧＰＳセンサ、燃料タンク内の燃料の残量を検出する残燃料センサ、バッテリの残容量を検出する残容量センサ等、車両状態を検出する各種センサを含む。

車両状態検出部２は、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）等の車載通信ネットワークを介して他のＥＣＵから取得した情報により、車両状態を検出することもできる。この場合の取得情報には、例えば、車両のエンジン始動情報、エアバッグやＡＢＳ(Antilock Brake System)等の安全装置系の作動情報、ワイパや燈火類の作動情報等が含まれる。車両状態検出部２の信号は、後述するように車両感情を生成するために用いることができる。

操作検出部３は、乗員（運転者など）によって操作される操作部材の操作の有無および操作量を検出する。例えば、エアコンのオンオフスイッチや窓の開閉スイッチ等の各種スイッチの操作の有無を検出する。このような乗員の快適性に影響を与える操作部材の操作の検出信号は、後述するように乗員の感情（乗員感情）を推定するために用いることができる。なお、モニタをタッチパネルにより構成する場合、操作検出部３はタッチパネルの入力操作も検出する。

操作検出部３は、乗員によって操作されるステアリング、アクセルペダル、ブレーキペダル等の操作部材の操作量を検出するセンサを含む。これら操作部材の操作に応じて車両状態が変化するため、操作検出部３により車両状態を間接的に検出することができる。すなわち、車両状態検出部２は、操作検出部３からの信号により車両状態を検出することもできる。このため、操作検出部３の信号は、後述するように車両感情を生成するために用いることもできる。

カメラ４は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、乗員の顔を含む上半身を撮像する。すなわち、カメラ４は、乗員の表情や姿勢を撮像する。カメラ４からの画像信号は、後述するように乗員感情を推定するために用いることができる。

マイク５は、乗員の発話した音声を取得する。マイク５からの音声信号は、例えばＡ／Ｄ変換器を介し音声データとして制御装置１０に入力される。マイク５からの音声信号は、後述するように乗員感情を推定するために用いることができる。

モニタ６は、例えば液晶パネルにより構成される。液晶パネル上にタッチパネルを設けることもできる。モニタ６は、目的地設定に関する情報、目的地までの経路案内情報、および経路上の現在位置情報等を表示する。さらに、モニタ６は、後述するように車両感情を表示することもできる。

スピーカ７は、車載オーディオユニットの一部であり、乗員の操作指令により音声出力の要求があったとき、あるいはマイク５を介して乗員から音声出力の要求があったとき、その要求に応答して乗員に音声を出力する。スピーカ７は、乗員からの音声出力の要求がなくても、制御装置１０からの指令により自動的に音声を出力することもできる。スピーカ７は、車両感情に応じた音声を出力することができる。

通信ユニット８は、地上に設定された電話網やインターネット回線等の無線公衆回線との間で通信を行うものであり、通信ユニット８を介して制御装置１０が車両の外部機器と通信することができる。通信ユニット８は、車内に存在するスマートフォン等の携帯端末との間で短距離無線通信を行うこともできる。

ナビゲーションユニット９は、乗員の要求に応じて、車両の現在地や目的地を検索し、現在地から目的地までの経路誘導や経路検索を行う、いわゆるナビゲーションシステムを搭載したユニットである。ナビゲーションユニット９は、ナビゲーション情報に関する画像信号および音声信号を生成し、これらをモニタ６およびスピーカ７に出力することができる。

制御装置１０は、ＣＰＵ，ＲＯＭ，ＲＡＭその他の周辺回路を有する演算処理装置を含むコンピュータにより構成される。制御装置１０は、機能的構成として、記憶部１１と、乗員感情推定部１２と、車両感情生成部１３と、画像生成部１４と、画像出力部１５とを有する。

記憶部１１は、道路地図データや施設データなどを含む地図情報、マイク５から入力された音声を認識する音声認識処理を行うときに用いられる音声認識辞書、およびスピーカ７から出力する音声に対応する音声情報を記憶する。さらに記憶部１１は、乗員感情を推定するために用いられるデータ（例えば乗員感情と乗員の表情や音声との対応関係）、車両感情を生成するために用いられるデータ（例えば車両感情と車両状態との対応関係）、および車両感情に応じてモニタに表示される車両感情画像を生成するために用いられるデータ（例えば車両感情と車両感情画像との対応関係）等を記憶する。

乗員感情推定部１２は、カメラ４からの画像信号とマイク５からの音声信号とに基づいて乗員感情を推定する。すなわち、乗員の顔の表情と乗員の発した音声とに基づき、予め記憶部１１に記憶された乗員感情と乗員の表情および音声との対応関係を用いて、乗員感情を推定する。

具体的には、例えばPlutchikの感情の輪を用いて、乗員感情を８つの基本感情（期待、喜び、受容、不安、驚き、悲しみ、嫌悪、怒り）と、隣り合う２つの感情の組み合わせによる応用感情とに分類し、感情の輪のいずれかのパターンに当てはめることで乗員感情を推定する。なお、カメラ４からの画像信号とマイク５からの音声信号のいずれか一方に基づいて乗員感情を推定してもよい。操作検出部３により乗員感情に影響を及ぼす所定の操作（例えばエアコンのオンオフ操作や窓の開閉操作等）が検出されたか否かを判定し、その判定結果に基づいて乗員感情を推定してもよい。図示は省略するが、ウェアラブル端末を乗員に装着して乗員の脈拍、血圧、体温、血中酸素濃度等の生体情報を取得し、これら生体情報に応じて乗員感情を推定することもできる。

車両感情生成部１３は、車両状態と乗員感情推定部１２により推定された乗員感情とに基づき、予め記憶部１１に記憶された所定の対応関係を用いて車両感情を生成する。図２は、この場合の対応関係を示す図である。図２の横軸の値は車両状態によって定まり、縦軸の値は乗員感情によって定まる。車両感情生成部１３は、まず、車両状態を数値化した車両状態値αおよび乗員感情を数値化した乗員感情値βをそれぞれ算出する。

車両状態値αの算出は例えば以下のように行う。車両状態値αは、車両に作用する負荷が小さい場合等、車両にとって好ましい状態（正の状態）をプラスの値で、車両にとって好ましくない状態（負の状態）をマイナスの値で表す。車両状態値αは、車両状態検出部２により検出されたデータを用いて算出され、車両を擬人化したエージェントが車両の耐久性や安全性等の点から好ましいと判断する運転が行われるときに、プラスの値として算出される。反対に、エージェントが苦痛と判断するような運転が行われるとき、車両状態値αはマイナスの値として算出される。

例えば加速度センサにより検出された車両の加速度や減速度をパラメータとし、加速度や減速度が所定値以上のとき、エージェントが苦痛に感じると思われるため、算出される車両状態値αはマイナスの値となる。反対に、加速度や減速度が所定値未満のとき、エージェントにとって苦痛は小さいと思われるため、算出される車両状態値αはプラスの値となる。この場合、加速度や減速度が小さいほど、算出される車両状態値αを大きくし、反対に加速度や減速度が大きいほど、算出される車両状態値αを小さく（車両状態値αがマイナスの場合はその絶対値を大きく）してもよい。

なお、車両状態検出部２により検出されたデータとともに、あるいは車両状態検出部２により検出されたデータの代わりに、操作検出部３により検出されたデータを用いて車両状態値αを算出することもできる。例えば、アクセルペダルやブレーキペダルの踏み込み速度をパラメータとし、これが所定値以下のとき、車両状態値αがプラスであるとしてもよい。またはステアリングハンドルの操作速度をパラメータとし、これが所定値以下のとき車両状態値αがプラスであるとしてもよい。この場合も、アクセルペダルやブレーキペダルの踏み込み速度が遅いほど、あるいはステアリングハンドルの操作速度が遅いほど、算出される車両状態値αを大きくし、反対にこれらの速度が遅いほど、算出される車両状態値αを小さく（車両状態値αがマイナスの場合はその絶対値を大きく）してもよい。

車両状態値αは、燃料の残量や、バッテリの残容量等によっても影響を受ける。すなわち、残燃料や残容量が多いほど、エージェントは車両状態が好ましいと判断する。そこで、例えば残燃料センサにより検出された燃料の残量や、残容量センサによって検出されたバッテリの残容量をパラメータとし、残燃料や残容量が所定値以上のとき、車両状態値αをプラスとしてもよい。ＧＰＳセンサからの信号に基づいて車両の走行履歴を記憶部に記憶し、記憶された走行履歴を参照しつつ車両の現在地または目的地から車両状態値αを算出してもよい。例えば車両がある地域内を初めて走行している場合、車両が高揚した状態にあるとして車両状態値αをプラスにする、あるいは車両が不安な状態にあるとして車両状態値αをマイナスとしてもよい。

以上の車両状態値αを算出する複数のパラメータを総合的に勘案して、車両状態値αを算出してもよい。例えば、車両の加速度、減速度、残燃料等のパラメータを用いて算出されたそれぞれの車両状態値αに、車両状態値αがプラスであるときは＋１、マイナスであるときは−１等のポイントを付与し、これらポイントの合計により全体の車両状態値αを算出してもよい。検出された車両の加速度、減速度、残燃料等の大きさに応じて＋１より大きい、あるいは−１より小さいポイントを付与するようにしてもよい。

乗員感情値βの算出は例えば以下のように行う。乗員感情値βは、上述したようにPlutchikの感情の輪等を用いて類型化された乗員感情のうち、例えば喜びなどの好ましい感情（正の感情）をプラスの値で、悲しみなどの好ましからぬ感情（負の感情）をマイナスの値で表す。この場合、例えばそれぞれの感情が強いほど（感情の輪の内側に行くほど）、乗員感情値βの絶対値を大きくする。

図２に示すように、車両感情は、車両状態値αと乗員感情値βとに応じて４つの基本感情に分類することができる。車両感情生成部１３は、算出された車両状態値αと乗員感情値βとに基づき、図２の対応関係を用いて、まず基本感情としての車両感情を生成する。すなわち、車両状態値αがプラスかつ乗員感情値βがプラスのとき、「好き」の車両感情を生成し、車両状態値αがプラスかつ乗員感情値βがマイナスのとき、「平穏」の車両感情を生成し、車両状態値αがマイナスかつ乗員感情値βがプラスのとき、「嫌い」の車両感情を生成し、車両状態値αがマイナスかつ乗員感情値βがマイナスのとき、「耐える」の車両感情を生成する。車両感情が「好き」「平穏」「嫌い」「耐える」と変化するに従い、車両感情が徐々に悪化する。

車両感情は、上記４つの基本感情に加え、各基本感情から派生した応用感情を含む。図３は、応用感情の一例を示す図である。図３に示すように、「好き」の基本感情から「愛しい」と「楽しい」の応用感情が派生し、「平穏」の基本感情から「機嫌がいい」と「安心」の応用感情が派生し、「嫌い」の基本感情から「悲しい」と「怒り」の応用感情が派生し、「耐える」の基本感情から「苦しい」と「辛い」の応用感情が派生する。

車両感情生成部１３は、基本感情を生成する際に算出した車両状態値αと乗員感情値βとに応じて、あるいは車両状態値αと乗員感情値βのいずれか一方の値に応じて、基本感情とは別に応用感情を生成する。すなわち、車両状態値αと乗員感情値βのプラスマイナスの符号だけでなく、それらの値の大きさを考慮して応用感情を生成する。具体的には、車両感情生成部１３は、車両状態値αや乗員感情値βの大きさ（絶対値）が所定値以上になると、各基本感情から派生したいずれかの応用感情を生成する。

これにより、例えば車両状態値αがプラスかつ乗員感情値βがプラスである図２の第１象限には、「好き」「愛しい」「楽しい」の３つの車両感情が含まれ、全体で１２個の車両感情（４個の基本感情と８個の応用感情）に分類することができる。なお、基本感情を細分化したものが応用感情であるとして、応用感情を生成するためだけに基本感情を生成するようにしてもよい。この場合、全体で８個の車両感情（応用感情）に分類することができる。

図１に示すように、画像生成部１４は、表情画像生成部１４Ａと背景画像生成部１４Ｂとを有する。表情画像生成部１４Ａは、記憶部１１に記憶された車両感情と車両感情画像との対応関係を用いて、車両感情生成部１３により生成された車両感情に対応する車両（エージェント）の表情画像の画像信号を生成する。背景画像生成部１４Ｂは、記憶部１１に記憶された車両感情と車両感情画像との対応関係を用いて、表情画像の背景となる背景画像の画像信号を生成する。

図２は、基本感情の分類とともに、各基本感情に対応する車両感情画像２１〜２４の一例を示す。車両感情画像２１〜２４は、エージェントが人と同様の顔を有するものと仮定して、エージェントの顔を模式的に表したものである。すなわち、図２に示すように、基本表情の画像（基本表情画像２１ａ〜２４ａ）は、エージェントの目を模式化した目画像Ｇ１ａ〜Ｇ４ａと、眉毛を模式化した眉画像Ｇ１ｂ〜Ｇ４ｂとを含む。各基本表情画像２１ａ〜２４ａは、エージェントの基本感情をイメージ化した所定の形態で表示される。すなわち、乗員が基本表情画像２１ａ〜２４ａから車両状態を直感的に認識できるように、基本感情に応じて画像表示される目と眉毛の形状が定められ、各基本表情画像２１ａ〜２４ａは互いに別々の形態を有する。なお、目画像Ｇ１ａ〜Ｇ４ａおよび眉画像Ｇ１ｂ〜Ｇ４ｂは所定の色で表示される。

図４は、各基本感情から派生した応用感情に対応する車両感情画像３１〜３８の一例を示す図である。図４に示すように、応用表情の画像（応用表情画像３１ａ〜３８ａ）は、図２の基本表情画像２１ａ〜２４ａをベースとし、これにエージェントの表情を補う、あるいは強調する所定のアクセント画像Ｇ１ｃ〜Ｇ８ｃを付加して構成される。すなわち、応用表情画像３１ａ〜３８ａは、基本表情画像２１ａ〜２４ａと同一の目画像Ｇ１ａ〜Ｇ４ａおよび眉画像Ｇ１ｂ〜Ｇ４ｂと、基本表情画像２１ａ〜２４ａにはないアクセント画像Ｇ１ｃ〜Ｇ８ｃとを含む。

アクセント画像Ｇ１ｃ〜Ｇ８ｃは、ハート型や星型等のマーク状の模様によって表され、このアクセント画像Ｇ１ｃ〜Ｇ８ｃが基本表情画像２１ａ〜２４ａ上の所定位置（例えば目画像Ｇ１ａ〜Ｇ４ａの斜め下等）に配置されて、応用表情画像３１ａ〜３８ａが生成される。アクセント画像Ｇ１ｃ〜Ｇ８ｃは、乗員が応用表情画像３１ａ〜３８ａから車両状態を直感的に認識できるように、形状および配置が定められる。アクセント画像Ｇ１ｃ〜Ｇ８ｃを用いることで、各応用表情画像３１ａ〜３８ａは、エージェントの応用感情のイメージを表す所定の形態で表示される。なお、図４では、応用感情毎に別々のアクセント画像Ｇ１ｃ〜Ｇ８ｃを用いているが、全体の表情画像が互いに異なるのであれば、同一のアクセント画像を用いてもよい。アクセント画像Ｇ１ｃ〜Ｇ８ｃは目画像Ｇ１ａ〜Ｇ４ａおよび眉画像Ｇ１ｂ〜Ｇ４ｂと同一または異なる所定の色で表示される。

基本表情画像２１ａ〜２４ａおよび応用表情画像３１ａ〜３８ａは、所定の色彩を有する背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂとともに表示される。すなわち、図２に示す基本感情に対応する４つの車両感情画像２１〜２４、および図４に示す応用感情に対応する８つの車両感情画像３１〜３８は、それぞれ互いに異なる背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂを含む。このうち、基本感情に対応する背景画像（基本背景画像２１ｂ〜２４ｂ）は、基本表情画像２１ａ〜２４ａとは異なる色の単一の色彩によって生成され、基本背景画像２１ｂ〜２４ｂは全体がムラなく単色で表示される。

例えば、「好き」の車両感情に対応する基本背景画像２１ｂは暖色系（橙色など）の画像により生成され、「平穏」の車両感情に対応する基本背景画像２２ｂは暖色系または中性系（緑色など）の画像により生成され、「嫌い」の車両感情に対応する基本背景画像２３ｂは中性系または寒色系（紫色など）の画像により生成され、「耐える」の車両感情に対応する基本背景画像２４ｂは中性系または寒色系（灰色など）の画像により生成される。すなわち、車両感情が悪化するに従い、暖色系から中性系または寒色系の色へと基本背景画像２１ｂ〜２４ｂの色彩が変化する。

一方、応用感情に対応する背景画像（応用背景画像３１ｂ〜３８ｂ）は、各応用背景画像３１ｂ〜３８ｂに対応する基本背景画像２１ｂ〜２４ｂで用いられる色彩（第１の色彩）と、応用表情画像３１ａ〜３８ａの色彩とは異なる第２の色彩とを組み合わせた画像により生成される。このとき、第２の色彩は第１の色彩と同色系であるとより好ましい。例えば、「愛しい」の応用感情に対応する応用背景画像３１ｂは、共に暖色系の橙色（第１の色彩）と赤色（第２の色彩）とを組み合わせた画像によって生成される。「楽しい」の応用感情に対応する応用背景画像３２ｂは、共に暖色系の橙色（第１の色彩）と黄色（第２の色彩）とを組み合わせた画像によって生成される。

なお、第２の色彩を第１の色彩と同色系の色とする代わりに、予め色彩が徐々に変化する所定数の色からなる配色パターンを設定し、この配色パターンの隣り合った色同士、すなわち互いに類似する色同士を、第１の色彩および第２の色彩に設定してもよい。

図５Ａは、「愛しい」の応用感情に対応する応用背景画像３１ｂの配色パターンの一例を示す図であり、図５Ｂは、「楽しい」の応用感情に対応する応用背景画像３２ｂの配色パターンの一例を示す図である。図５Ａ，図５Ｂに示すように、背景画像３１ｂ，３２ｂは全体が矩形によって構成され、その対角線（境界線）ＡＲ０を境にして便宜上、全体を対角線の左上の領域ＡＲ１と対角線の右下の領域ＡＲ２とに区画する。

このとき、図５Ａにおいては、領域ＡＲ１が主に第２の色彩（赤色）で表示され、領域ＡＲ２が主に第１の色彩（橙色）で表示される。さらに、各領域ＡＲ１，ＡＲ２の境界線ＡＲ０の近傍領域（例えば境界線ＡＲ０から所定範囲内の境界部ＡＲ３）は、赤色から橙色へと徐々に色が変化するようにグラデーション表示される。すなわち、画像３１ｂの左上から右下にかけて赤色から橙色へと徐々に色彩が変化するように表示される。

図５Ｂにおいては、領域ＡＲ１が主に第１の色彩（橙色）で表示され、領域ＡＲ２が主に第２の色彩（黄色）で表示される。さらに、各領域ＡＲ１，ＡＲ２の境界線ＡＲ０の近傍領域（境界部ＡＲ３）は、橙色から黄色へと徐々に色が変化するようにグラデーション表示される。すなわち、画像３２ｂの左上から右下にかけて橙色から黄色へと徐々に色彩が変化するように表示される。

このように、連続する応用車両感情「愛しい」「楽しい」のうち、一方の応用感情「愛しい」に対応した応用背景画像３１ｂの領域ＡＲ２と、他方の応用感情「楽しい」に対応した応用背景画像３２ｂの領域とを、同一の色（例えば橙色）で表示することにより、応用感情が例えば「愛しい」から「楽しい」へと変化した際に、背景色を連続的に変化させることができる。したがって、乗員は車両感情の変化を連続的なものとして捉えることができ、車両感情の変化を把握しやすい。なお、図示は省略するが、連続する他の応用車両感情に対応する応用背景画像同士においても、一方の応用背景画像の第１領域の色彩と他方の応用背景画像の第２領域の色彩とが、同一の色に設定される。

以上の車両感情と車両感情画像２１〜２４，３１〜３８との対応関係は、予め記憶部１１に記憶される。画像生成部１４は、この記憶情報に基づいて、車両感情に対応する車両感情画像２１〜２４，３１〜３８がモニタ６に表示されるように、画像信号を生成する。

図１の画像出力部１５は、画像生成部１４で生成された画像信号をモニタ６に出力する。これによりモニタ６に車両感情に対応したいずれかの車両感情画像２１〜２４，３１〜３８が表示される。画像出力部１５は、モニタ６の全体または一部に車両感情画像２１〜２４，３１〜３８が表示されるようにモニタ６の表示形態を制御する。例えば、ナビゲーションユニット９による目的地までの経路誘導を表示しているときは、その表示を優先し、車両感情画像２１〜２４，３１〜３８をモニタ画面の端部に縮小して表示する。一方、経路誘導の表示を行わない場合には、モニタ画面全体に車両感情画像２１を拡大して表示する。

図６は、予め記憶部１１に格納されたプログラムに従って制御装置１０のＣＰＵで実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばエンジンキースイッチのオンにより開始され、所定周期で繰り返される。

まず、ステップＳ１で、車両状態検出部２からの信号を読み込み、この信号に基づき車両状態を特定する。なお、車両状態検出部２と操作検出部３とからの信号に基づき車両状態を特定することもできる。次いで、ステップＳ２で、カメラ４とマイク５からの信号を読み込み、これらの信号に基づき乗員感情を推定する。なお、操作検出部３からの信号を考慮して乗員感情を推定することもできる。

次いで、ステップＳ３で、ステップＳ１で特定された車両状態を数値化した車両状態値αと、ステップＳ２で推定された乗員感情を数値化した乗員感情値βとに基づき、車両が現在有すると想定される車両感情を生成する。例えば、図２の関係を用いて基本感情を生成、あるいは基本感情から派生した応用感情を生成する。

次いで、ステップＳ４で、記憶部１１に記憶された対応関係を用いて、ステップＳ３で生成された車両感情に対応する画像信号を生成する。例えば、ステップＳ３で生成された車両感情が基本感情であるとき、その基本感情を表す基本表情画像２１ａ〜２４ａ（目画像Ｇ１ａ〜Ｇ４ａ、眉画像Ｇ１ｂ〜Ｇ４ｂ）と単色の基本背景画像２１ｂ〜２４ｂとに対応した画像信号をそれぞれ生成する。一方、ステップＳ３で生成された車両感情が応用感情であるとき、その応用感情を表す応用表情画像３１ａ〜３８ａ（目画像Ｇ１ａ〜Ｇ４ａ、眉画像Ｇ１ｂ〜Ｇ４ｂ、アクセント画像Ｇ１ｃ〜Ｇ８ｃ）と２色のグラデーション表示された応用背景画像３１ｂ〜３８ｂとに対応した画像信号をそれぞれ生成する。

次いで、ステップＳ５で、ステップＳ４で生成された画像信号をモニタ６に出力する。これによりモニタ６には、車両感情に対応した車両感情画像、すなわち図２のいずれかの画像２１〜２４または図４のいずれかの画像３１〜３８がモニタ６に表示される。

本実施形態によれば以下のような作用効果を奏することができる。
（１）車両感情表示装置１は、擬人化した車両が有すると想定される車両感情を表示するものであり、車両状態を検出する車両状態検出部２と、車両状態検出部２により検出された車両状態に応じて車両感情を生成する車両感情生成部１３と、車両感情生成部１３により生成された車両感情に対応する車両の表情画像２１ａ〜２４ａ，３１ａ〜３８ａと、表情画像２１ａ〜２４ａ，３１ａ〜３８ａの背景となる背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂとを含む車両感情画像２１〜２４，３１〜３８の画像信号を生成する画像生成部１４と、画像生成部１４により生成された画像信号に基づき車両感情画像２１〜２４，３１〜３８を表示するモニタ６と、を備える（図１）。車両感情は、基本感情と、基本感情から派生した応用感情とを含む（図３）。画像生成部１４は、基本感情に対応する第１の色彩により基本感情に対応する基本背景画像２１ｂ〜２４ｂの画像信号を生成する一方、第１の色彩および第２の色彩（例えば第１の色彩と同系色の第２の色彩）の組み合わせにより応用感情に対応する応用背景画像３１ｂ〜３８ｂの画像信号を生成する（図６のステップＳ４）。

このように基本背景画像２１ｂ〜２４ｂと同一の色（例えば橙色）を含む２色で応用背景画像３１ｂ〜３８ｂを表示するので、車両感情を表す各背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂの全体を互いに異なった色で表示することができる。このため、乗員はモニタ６を一見するだけで、現在の車両感情を認識することができ、運転に集中している場合であっても車両状態を容易かつ正確に認識可能である。応用背景画像３１ｂ〜３８ｂは、基本背景画像２１ｂ〜２４ｂと同一の第１の色彩（例えば橙色）と第２の色彩（例えば第１の色彩と同色系の赤色）とを組み合わせて生成されるので、乗員は、車両感情と基本背景画像２１ｂ〜２４ｂの色とを対応付けて記憶しておけば、現在の車両感情がどの基本感情から派生した応用感情であるかを容易に認識することができ、車両感情の把握が容易である。

（２）画像生成部１４は、基本感情に対応する基本表情により基本感情に対応する基本表情画像２１ａ〜２４ａの画像信号を生成する一方、基本感情に対応する基本表情画像２１ａ〜２４ａ（目画像Ｇ１ａ〜Ｇ４ａ、眉画像Ｇ１ｂ〜Ｇ４ｂ）と車両の表情を補うアクセント画像Ｇ１ｃ〜Ｇ８ｃとの組み合わせにより応用感情に対応する応用表情画像３１ａ〜３８ａの画像信号を生成する（図２，４）。このため、各車両感情がそれぞれ異なる表情で表示されることなり、乗員は、例えば停車中等にモニタ６の画像を目視して表情画像２１ａ〜２４ａ，３１ａ〜３８ａを認識することにより、車両感情を正しく把握できる。

（３）画像生成部１４は、モニタ画像を２つの領域ＡＲ１，ＡＲ２に区画したとき、領域ＡＲ１，ＡＲ２の一方が第１の色彩で領域ＡＲ１，ＡＲ２の他方が第２の色彩で表示され、領域ＡＲ１，ＡＲ２の境界部ＡＲ３が第１の色彩から第２の色彩にかけて徐々に色彩が変化して表示されるように応用背景画像３１ｂ〜３８ｂの画像信号を生成する。これにより車両感情画像３１〜３８の背景がグラデーション表示され、乗員は車両感情の変化を違和感なく直感的に認識できる。

（４）車両感情表示装置１は、乗員の感情を推定する乗員感情推定部１２をさらに備える（図１）。車両感情生成部１３は、乗員感情推定部１２により推定された乗員の感情と車両状態検出部２により検出された車両状態とに応じて、車両感情を生成する（図２）。このため、例えば乗員が喜びの感情を持っているときに、車両（エージェント）にも喜びの感情を与えるように構成することができ、これにより、乗員に寄り添うようなエージェントの気持ち（共感）を演出することができ、乗員がエージェントに愛着を感じるようになる。また、乗員が不安の感情を持っているときには、エージェントには安定の感情を与えるように構成することができ、これにより、乗員の不安の感情を緩和することができる。このように乗員感情を考慮して車両感情を生成することで、車両の付加価値が高まり、乗員の乗車する喜びが大きくなる。

本発明は、上記実施形態に限らず種々の形態に変形することができる。上記実施形態（図１）では、カーナビゲーション装置をベースとして車両感情表示装置１を構成したが、車両感情表示装置の構成はこれに限らない。図７は、図１の変形例を示す図であり、スマートフォン、タブレット端末、携帯電話、各種ウェアラブル端末等の携帯無線端末１Ａに車両感情表示装置を適用した例を示す。すなわち、一般に携帯無線端末１Ａ（例えばスマートフォン）は、制御装置１０Ａと、制御装置１０Ａに接続されたＧＰＳセンサ、ジャイロセンサ等の車両状態検出部２Ａと、カメラ４Ａと、マイク５Ａと、モニタ６Ａと、スピーカ７Ａと、通信ユニット８Ａとを有する。このため、図１と同様に制御装置１０Ａを構成することで、車両感情をモニタ６Ａに表示することが可能となる。

図８は、図１のさらに別の変形例を示す図である。図８では、車両感情表示装置１が、通信ユニット８（図１）および無線通信網、インターネット網、電話回線網などの通信ネットワーク１０１を介してサーバ１０２から各種情報を取得するように構成される。これにより記憶部１１に記憶されたデータの一部（例えば画像データ）をサーバ１０２から取得することができ、大容量の記憶部１１を設けることなく車両感情表示装置１を構成することができる。図８において、車両感情表示装置１の少なくとも一部の機能を、運転者が携帯する携帯無線端末１Ｂによって実現することもできる。例えば通信ネットワーク１０１を介して携帯無線端末１Ｂからサーバ１０２に位置情報を送信するようにしてもよい。

なお、上記実施形態では、車両状態を数値化した車両状態値αと乗員感情を数値化した乗員感情値βとに基づいて車両感情生成部１３が車両感情を生成するようにしたが、車両状態や乗員感情を数値化せずに特定の車両状態あるいは乗員感情が検出されたときに、その車両状態あるいは乗員感情に基づいて車両感情を生成するようにしてもよい。また、乗員感情を考慮せずに例えば車両状態のみを考慮して車両感情を生成するようにしてもよく、車両感情生成部の構成は上述したものに限らない。

上記実施形態では、画像生成部１４が、エージェントの基本感情に対応する基本表情画像２１ａ〜２４ａの画像信号を生成するとともに、表情画像２１ａ〜２４ａとアクセント画像Ｇ１ｃ〜Ｇ８ｃとの組み合わせにより応用表情画像３１ａ〜３８ａの画像信号を生成するようにしたが、車両感情に対応する表情画像と表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成するのであれば、画像生成部の構成はいかなるものでもよい。例えば基本表情画像を用いずに応用表情画像を生成してもよい。上記実施形態では、エージェントの感情を目と眉を含む顔の表情により表すようにしたが、手や足等を含むエージェントの体全体でエージェントの感情を表すようにしてもよく、車両感情画像の構成は上述したものに限らない。

上記実施形態では、ナビゲーション装置のモニタ６に車両感情画像２１〜２４，３１〜３８を表示するようにしたが、車両感情表示専用のモニタを車内に設け、そこに車両感情画像を表示するようにしてもよく、表示部の構成は上述したものに限らない。

上記実施形態では、応用感情を表示する際に、モニタ６の領域ＡＲ１，ＡＲ２の一方および他方をそれぞれ第１領域および第２領域として、各領域ＡＲ１，ＡＲ２がそれぞれ第１の色彩および第１の色彩と同色系の第２の色彩で表示され、かつ、第１領域と第２領域の境界部ＡＲ３が第１の色彩から第２の色彩にかけて徐々に色彩が変化して表示されるようにした。すなわち、応用背景画像３１ｂ〜３８ｂをグラデーション表示するようにしたが、背景画像の表示形態はこれに限らず、第１の色彩および第２の色彩の組み合わせにより構成されるのであれば、背景画像はいかに構成されてもよい。例えば、第１の色彩と第２の色彩とに加え、第３の色彩等、より多くの色彩を用いてもよい。

上記実施形態では、擬人化した車両が有すると想定される車両感情を表示させる車両感情表示方法として、車両状態検出部２等により車両状態を検出し、検出した車両状態に応じて、車両感情生成部１３が基本感情と基本感情から派生した応用感情とを含む車両感情を生成し、画像生成部１４が、生成した車両感情に対応する車両の表情画像２１ａ〜２４ａ，３１ａ〜３８ａとその背景となる背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂとを含む車両感情画像２１〜２４，３１〜３８の画像信号を生成し、画像出力部１５がモニタ６に画像信号を出力することで、生成した画像信号に基づき車両感情画像２１〜２４，３１〜３８をモニタ６に表示させるようにした。そして、車両感情画像２１〜２４，３１〜３８を生成するときに、基本感情に対応する第１の色彩（例えば橙色）により基本感情に対応する背景画像２１ｂの画像信号を生成し、第１の色彩および第１の色彩と同系色の第２の色彩（例えば赤色、黄色）の組み合わせにより応用感情に対応する背景画像３１ｂ，３２ｂの画像信号を生成するようにした。しかしながら、特に、車両感情画像を生成するときに、基本感情に対応する第１の色彩により基本感情に対応する背景画像の画像信号を生成し、第１の色彩および第２の色彩の組み合わせにより応用感情に対応する背景画像の画像信号を生成するのであれば、車両感情表示方法は上述したものに限定されない。

上記実施形態では、図６に示すように制御装置１０のＥＣＵが、車両状態を特定する手順（ステップＳ１）と、特定した車両状態に応じて、擬人化した車両が有すると想定される基本感情と基本感情から派生した応用感情とを含む車両感情を生成する手順と（ステップＳ２）、生成した車両感情に対応する車両の表情画像２１ａ〜２４ａ，３１ａ〜３８ａとその背景となる背景画像２１ｂ〜２４ｂ，３１ｂ〜３８ｂとを含む車両感情画像２１〜２４，３１〜３８の画像信号を生成する手順であって、基本感情に対応する第１の色彩により基本感情に対応する背景画像２１ｂ〜２４ｂの画像信号を生成する一方、第１の色彩および第１の色彩と同系色の第２の色彩の組み合わせにより応用感情に対応する背景画像３１ｂ〜３８ｂの画像信号を生成する手順（ステップＳ４）と、生成した画像信号に基づき車両感情画像をモニタ６に表示させる手順（ステップＳ５）と、を含むプログラム（車両感情表示プログラム）を実行するようにした。しかしながら、制御装置１０で実行される処理は図６に示したものに限らず、したがって、これらの手順をコンピュータに実行させる車両感情表示プログラムの構成も上述したものに限らない。上記実施形態では、車両感情表示プログラムを制御装置１０の記憶部１１に格納したが、フラッシュメモリ等の外部記憶媒体に格納してもよい。通信ネットワーク１０１を介して車両外部から車両感情表示プログラムを取得することもできる。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１，１Ａ 車両感情表示装置、２ 車両状態検出部、３ 操作検出部、４ カメラ、５ マイク、６ モニタ、１０ 制御装置、１１ 記憶部、１２ 乗員感情推定部、１３ 車両感情生成部、１４ 画像生成部、１５ 画像出力部、２１〜２４，３１〜３８ 車両感情画像、２１ａ〜２４ａ 基本表情画像、２１ｂ〜２４ｂ 基本背景画像、３１ａ〜３８ａ 応用表情画像、３１ｂ〜３８ｂ 応用背景画像

Claims (6)

1. 擬人化した車両が有すると想定される車両感情を表示する車両感情表示装置であって、
   車両状態を検出する車両状態検出部と、
   前記車両状態検出部により検出された車両状態に応じて車両感情を生成する車両感情生成部と、
   前記車両感情生成部により生成された車両感情に対応する車両の表情画像と、前記表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成する画像生成部と、
   前記画像生成部により生成された画像信号に基づき車両感情画像を表示する表示部と、を備え、
   前記車両感情は、基本感情と、該基本感情から派生した応用感情とを含み、
   前記画像生成部は、前記基本感情に対応する第１の色彩により前記基本感情に対応する背景画像の画像信号を生成する一方、前記第１の色彩および第２の色彩の組み合わせにより前記応用感情に対応する背景画像の画像信号を生成することを特徴とする車両感情表示装置。
2. 請求項１に記載の車両感情表示装置において、
   前記画像生成部は、前記基本感情に対応する基本表情により前記基本感情に対応する表情画像の画像信号を生成する一方、前記基本感情に対応する表情画像と車両の表情を補うアクセント画像との組み合わせにより前記応用感情に対応する表情画像の画像信号を生成することを特徴とする車両感情表示装置。
3. 請求項１または２に記載の車両感情表示装置において、
   前記画像生成部は、前記表示部の第１領域および第２領域がそれぞれ前記第１の色彩および前記第２の色彩で表示され、前記第１領域と前記第２領域の境界部が前記第１の色彩から前記第２の色彩にかけて徐々に色彩が変化して表示されるように背景画像の画像信号を生成することを特徴とする車両感情表示装置。
4. 請求項１〜３のいずれか１項に記載の車両感情表示装置において、
   乗員の感情を推定する乗員感情推定部をさらに備え、
   前記車両感情生成部は、前記乗員感情推定部により推定された乗員の感情と前記車両状態検出部により検出された車両状態とに応じて、前記車両感情を生成することを特徴とする車両感情表示装置。
5. 擬人化した車両が有すると想定される車両感情を表示させる車両感情表示方法であって、
   車両状態を検出し、
   検出した車両状態に応じて、基本感情と、該基本感情から派生した応用感情とを含む車両感情を生成し、
   生成した車両感情に対応する車両の表情画像と、前記表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成し、
   生成した画像信号に基づき車両感情画像を表示部に表示させ、
   前記車両感情画像を生成するときには、前記基本感情に対応する第１の色彩により前記基本感情に対応する背景画像の画像信号を生成し、前記第１の色彩および第２の色彩の組み合わせにより前記応用感情に対応する背景画像の画像信号を生成することを含む車両感情表示方法。
6. 車両状態を特定する手順と、
   特定した車両状態に応じて、擬人化した車両が有すると想定される基本感情と該基本感情から派生した応用感情とを含む車両感情を生成する手順と、
   生成した車両感情に対応する車両の表情画像と、前記表情画像の背景となる背景画像とを含む車両感情画像の画像信号を生成する手順であって、前記基本感情に対応する第１の色彩により前記基本感情に対応する背景画像の画像信号を生成する一方、前記第１の色彩および第２の色彩の組み合わせにより前記応用感情に対応する背景画像の画像信号を生成する手順と、
   生成した画像信号に基づき車両感情画像を表示部に表示させる手順と、をコンピュータに実行させるための車両感情表示プログラム。

Images