JP4380541B2 - 車両用エージェント装置 - Google Patents

Description

本発明は、乗員とのコミュニケーションを行う擬人化されたエージェント像を表示制御する等の制御手段を備える車両用エージェント装置に関する。

従来、車両におけるエージェント装置についての開発が行われ、それに関する技術が開示されている（例えば、特許文献１及び２）。特許文献１では、車両センサで検知された車両状況等に応じてエージェントが動作することが開示されている。特許文献２では、複数のエージェントを準備し、ドライバーの呼び出しに応じたエージェントを登場させることが開示されている。
特開平１１−３７７６６号公報 特開２０００−２０８８８号公報

しかしながら、上述の特許文献１及び２では、乗員がエージェントに話しかけているかどうかを適切に判断することができない。また、特許文献１及び２では、ドライバーとエージェントとのコミュニケーションに関する技術が開示されており、車両に複数の人がいる場合に適切且つ快適なコミュニケーションを図る技術について何ら開示されていない。例えば、車両に複数の人がいる場合に、ある乗員が他の乗員に話しかけているのか、それともエージェントに話しかけているのかをどのように判断するのかについて何ら開示及び示唆されていない。

そこで、本発明は、乗員とエージェントとの間で適切且つ快適なコミュニケーションを実現することができる車両用エージェント装置の提供を目的とする。また、エージェントを用いて車両空間のアミューズメント性を向上させることができる車両用エージェント装置の提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、
乗員とのコミュニケーションを行う制御手段を備える車両用エージェント装置において、
複数の乗員の顔の向きまたは視線を検出する視線検出手段を有し、
前記制御手段は、該複数の乗員の視線方向についての判断に基づいて音声案内制御することを特徴とする車両用エージェント装置が提供される。本局面によれば、複数の乗員の顔の向きまたは視線を検出することによって、複数の乗員がエージェントを見ているのか否かを判断することができ、その判断結果に基づいてエージェントのコミュニケーション行為を変えることができるように制御することができる。

また、乗員の音声を検出する音声検出手段を有し、前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、乗員が前記エージェント像に対して話しかけているか否かを判断する判断手段を備えてもよい。これにより、乗員がジェージェントに話しかけているか否かの判断結果に基づいて、車両に複数の人がいる場合であっても、適切且つ快適なコミュニケーションを実現することができる。

また、前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記エージェント像同士も会話をしているように表示制御してもよい。これにより、乗員の動作をエージェントが真似をすることによって、車両空間のアミューズメント性を向上させることができる。

本発明によれば、乗員とエージェントとの間で適切且つ快適なコミュニケーションを実現することができる。また、エージェントを用いて車両空間のアミューズメント性を向上させることができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は本発明の車両用エージェント装置と乗員との関係の一例を示した図である。

車外画像解析部１１は、カメラＡまたはカメラＡ及びＢによって撮影された車外の撮影画像（例えば、建物、道路、人、他車等の撮影画像）を解析する装置である。車外画像解析部１１は、レーダーやマイクロ波によって車外の対象物に関する検出結果を画像解析に利用するようにしてもよい。カメラの数は乗員の数や検出精度等に応じて決められる。

視線検出部１２は、車内にあるカメラＣまたはカメラＣ及びＤによって撮影された乗員の撮影画像から乗員の視線３０や顔の向きを検出する装置である。また、乗員が一人なのか複数いるのかも判断可能である。乗員が複数いる場合は、それぞれの乗員の視線３０を検出する。カメラの数は乗員の数や検出精度等に応じて決められる。

ナビゲーション部１４は、経路検索機能や場所検索機能等を有するものである。ナビゲーション部１４は、ＧＰＳ（Global Positioning System）受信機１９によるＧＰＳ衛星からの受信情報と地図データベース内の地図データと車速情報等に基づいて、自車の地図上での位置を認識することができる。これによって、自車の位置から所望の目的地までの経路を検索することができる。また、ナビゲーション部１４は、レストランや公園等の施設に関するデータが保存された施設データベースに基づいて、行きたい場所を検索することができる。なお、ナビゲーション部１４が利用するこれらのデータベースは、車内にあってもよいし、通信回線を介して接続可能な車外の集中管理センター内にあってもよい。

車外風景／地図照合部１３は、ナビゲーション部１４からの情報（ＧＰＳからの車両の位置、地図データ、建物データ、道路データ等）と車外画像解析部１１からの情報と視線検出部１２からの情報を照合する装置である。車外画像解析部１１からの情報と視線検出部１２からの情報を照合することによって、実際の車外の風景の中でどこを乗員が見ているのかを特定することができる。さらに、ナビゲーション部１４からの情報を照合することによって、地図データ上で、どこを乗員が見ているのか、どの建物を見ているのか等を特定することができる。

音声認識部１５は、乗員の声を拾うマイク２０によって拾われた乗員の声を認識する。例えば、乗員が話している中で所定のキーワードが出てきた場合に、それを認識して取得し、エージェントが発する言葉に利用する。また、マイクで拾った声は、声紋認証等でだれが話しているのかを特定するために使用される。

対話管理部１７は、音声認識部１５の検出結果や、視線検出部１２の検出結果や、車外風景／地図照合部１３の照合結果に基づいて、エージェントのコミュニケーション行為を決定し、エージェント像を制御する装置である。例えば、どういう言葉をエージェントにしゃべらせるか、どういう動きや仕草をエージェントにさせるかを決定する。対話管理部１７は、その決定された行為を像として表示されたエージェントが振舞うようエージェント画像データを表示制御する。例えば、乗員が「おはよう！」といえば、「おはよう」というキーワードに基づいて、エージェントは「おはようございます。今日は天気がいいですね！」と歯を磨く動作をしながら返事をしてくる。また、乗員が「近くのレストランを探して！」といえば、エージェントが「イタリアンか中華のどちらがいいですか？」と問いかける仕草をしながら応答してくる。また、車内にドライバーが一人しかいないときにはエージェントは話し相手となったり、乗員が複数いるときにはエージェントは後述するように各乗員の動作の真似をしたりして、退屈な車内空間は楽しくなる。

対話管理部１７には、学習機能を備えてもよい。車載の各種センサが検出したセンサ情報とともにエージェントが行ったコミュニケーション行為を記憶させていくことによって、エージェントのコミュニケーション内容が学習されていく。車を運転している状況では、場所変化、時間変化、交通状況変化、乗員変化、感情変化、心理変化等があり、これらを各種センサで読み取り、そのときにエージェントがリコメンドした内容に対する乗員の返答を学習していくことによって、リコメンドする内容を変えていくことができる。各種センサには、車両状態やユーザの生体情報を検出するものがある。車両状態を検出するセンサには、例えば、アクセルセンサ、ブレーキセンサ、乗員検出センサ、シフトポジションセンサ、シートベルト検出センサ、車間距離センサ等があり、それ以外にも目的に応じて車両状態を検出するセンサが存在する。生体情報を検出するセンサには、例えば、体温センサ、脳波センサ、心拍数センサ、指紋検出センサ等があり、それ以外にも目的に応じて生体情報を検出するセンサが存在する。

また、対話管理部１７は、音声認識部１５の検出結果（音声認識部１５により検出された乗員の音声強弱、エージェントの名前の呼び出し等）や、視線検出部１２の検出結果に基づいて、乗員がエージェント像に対して話しかけているか否かを判断し、エージェント像を制御する装置である。

なお、エージェントの容姿は、人間をはじめとして、動物、ロボット、漫画のキャラクター等、様々存在し、ユーザの好みによって選択可能なものである。エージェントは、ディスプレイ等の表示部１８上を動くものであってもよいし、ホログラフィのようなものであってもよい。エージェント画像データは、あらかじめ車両内に記憶されていたり、車外からのダウンロードによって追加されたりする。

音声合成部１６は、対話管理部１７で決定されたエージェントが話すテキスト文をスピーカ２１から出力される実際の音声に変換する装置である。例えば、あらかじめメモリ等に記憶された「おはようございます」「今日は」「天気がいいですね」という単語や文節等が、対話管理部１７からの情報に基づいて、「おはようございます。今日は天気がいいですね！」という音声メッセージに合成される。この合成された音声信号は、スピーカ２１によってエージェントの声として出力される。

表示部１８は、像としてのエージェントや、ナビゲーション部１４のナビゲーション機能に関する地図データや目的地リスト等や、カメラによって撮影された社外の建物や道路の実映像を表示する装置である。例えば、フロントコンソールに配置されたディスプレイや、乗員が見やすいように座席毎に配置されたディスプレイや、ヘッドアップディスプレイである。

それでは、本発明の車両用エージェント装置の動作例について説明する。図２は、本発明の車両用エージェント装置の動作例を示したフロー図である。ドライバーによりＡＣＣ電源がＯＮされると（ステップ１００）、表示部１８であるところのディスプレイにそれらの乗員に対応したエージェントがそれぞれ表示される（ステップ１１０）。エージェントの表示は、ＡＣＣ電源ＯＮ、音声によるエージェントの呼び出し、生体認証（視線検出、虹彩・網膜認証、顔面認証、声紋認証、指紋認証、静脈認証等、による成立）、所定のボタン操作等によって行われる。

そして、ステップ１２０において、視線検出部１２がドライバー席（Ｄ席）、パッセンジャー席（Ｐ席）に座る乗員の顔の向きもしくは視線３０を検出する。さらに、ステップ１３０において、所定のスイッチ（ＳＷ）や所定の音声の認識等をトリガーに、音声認識部１５はエージェントがコミュニケーションするための音声認識を行う。対話管理部１７は、音声認識部１５の検出結果や、視線検出部２の検出結果や、車外風景／地図照合部１３の照合結果に基づいて、エージェントのコミュニケーション行為を決定し、エージェント像を表示制御する。ステップ１４０において、対話管理部１７は、エージェントのコミュニケーションや振る舞いを走行状態に応じて変えるため、車速センサやシフトポジションセンサ等の検出結果から、走行中であるか否かを判断する。

走行中でないと判断されれば、Ｄ席・Ｐ席の視線検出結果、音声認識結果（音声を認識しない場合を含む）及び車両情報（ナビゲーション１４部の地図データ等の情報と視線検出結果と車外風景情報との照合結果）に合わせて、エージェントの振る舞い（表示、音声）が決定され、実行される（ステップ１５０）。

ステップ１５０において、エージェントは、例えば、以下のように振る舞う。図３（ａ）（ｂ）のように、ドライバーの視線３０が前向きであれば、エージェントも前を向いてドライバーの真似をする。ドライバーの視線３０が横向きになると、同じくエージェントも横を向いて真似する。ドライバーの視線３０が前方上方になれば、同じくエージェントも前方上方を向いて真似をする。図３（ｃ）のように、ドライバーの視線３０とパッセンジャーの視線３０が前方にある対象物に一致したとき、エージェントはその位置を指さす。さらに、その位置に関する情報をナビゲーション部１４から取得して音声案内をする。図３（ｄ）のように、ドライバーの視線３０とパッセンジャーの視線３０が向き合って対話していると認識された場合、エージェントが聞き耳を立てる動作をする。また、ドライバーとパッセンジャーの対話音量が小さくなったらエージェントの耳の大きさが大きくなる。図３（ｅ）のように、ドライバーとパッセンジャーがお互いを見て話していると認識された場合、ドライバー対応エージェントとパッセンジャー対応エージェントも同様にお互いを見て話し始めたり、聞き耳をたてたりする。また、ドライバーの視線３０と同じ視線になるようにドライバー対応エージェントが真似をし、パッセンジャーの視線３０と同じ視線になるようにパッセンジャー対応エージェントが真似をする。

一方、走行中であると判断されれば、その走行状態に合わせて、エージェントの振る舞い（表示、音声）が決定され、実行される（ステップ１６０）。ステップ１６０において、エージェントは、例えば、以下のように振る舞う。図３（ｆ）のように、加速度センサにより急加速したと判断されると、エージェントが転ぶ動作をする。そして、ドライバーに対し「あぶないよ！」と音声により警告をする。それ以外にも、ドライバーとパッセンジャーがともに前方を見ておらず、同じ方向を見ている場合、「前を見ていないと危ないよ！」と警告をする。ドライバーとパッセンジャーのどちらかが前を向いていると認識した場合には、過度にエージェントが反応して自然な車内の雰囲気を壊さないよう、特に警告をしないようにしてもよい。なお、ドライバーが運転に集中できるように、エージェント自体の表示を消したり、動きを停止したりしてもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

視線検出部１２によって、乗員の座席から目までの高さを認識することができることを利用して、大人が座っているのか子供が座っているのかを検出することができる。体重検知センサやカメラ等による検出結果を組み合わせて、より正確な判定を行うことも可能である。子供が喜ぶようなエージェントデータ（漫画のキャラクターや動物等）を用意しておき、子供が座っていると判定された場合、それらの子供用エージェントを表示させる。したがって、子供でも楽しめるアミューズメント性をもった車両空間にすることができる。

本発明の車両用エージェント装置と乗員との関係の一例を示した図である。 本発明の車両用エージェント装置の動作例を示したフロー図である。 エージェント像の振る舞いの例を示した図である。

符号の説明

１１ 車外画像解析部
１２ 視線検出部
１３ 車外風景／地図照合部
１５ 音声認識部
１７ 対話管理部
２０ マイク
２１ スピーカ
３０ 視線

Claims (17)

1. 乗員とのコミュニケーションを行う制御手段を備える車両用エージェント装置において、
   複数の乗員の顔の向きまたは視線を検出する視線検出手段を有し、
   前記制御手段は、該複数の乗員の視線方向についての判断に基づいて音声案内制御することを特徴とする車両用エージェント装置。
2. 前記制御手段は、ドライバーとパッセンジャーの視線を判断して警告をする手段であって、該ドライバーとパッセンジャーの視線方向が同じで、かつ前方を見ていないと判断した場合に警告をすることを特徴とする請求項１に記載の車両用エージェント装置。
3. 前記制御手段は、ドライバーとパッセンジャーの視線を判断して警告をする手段であって、該ドライバーとパッセンジャーの一方の視線が前方を見ていると判断した場合に警告をしないことを特徴とする、請求項１又は２に記載の車両用エージェント装置。
4. 前記制御手段は、前記視線検出手段の検出結果に基づいて、乗員とのコミュニケーションを行うエージェント像を表示制御する、請求項１から３のいずれか一項に記載の車両用エージェント装置。
5. 前記制御手段は、複数の乗員の視線が前方で一致した場合には、前記エージェント像をその一致した位置を指さすように表示制御する請求項４記載の車両用エージェント装置。
6. 前記制御手段は、複数の乗員の視線が前方で一致した場合には、その一致した位置に関する情報を案内するよう前記エージェント像を表示制御する請求項４記載の車両用エージェント装置。
7. 前記制御手段は、前記エージェント像に対してのドライバーの視線が所定時間継続した場合、前記ドライバーに対し注意をするよう前記エージェント像を表示制御する請求項４記載の車両用エージェント装置。
8. 前記制御手段は、前記エージェント像を乗員と同一の視線または顔の向きになるように表示制御する請求項４記載の車両用エージェント装置。
9. 更に、乗員の音声を検出する音声検出手段を有し、
   前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、前記エージェント像を表示制御する請求項４記載の車両用エージェント装置。
10. 前記制御手段は、前記視線検出手段と前記音声検出手段の検出結果に基づいて、乗員が前記エージェント像に対して話しかけているか否かを判断する判断手段を備える請求項９記載の車両用エージェント装置。
11. 前記音声検出手段の検出結果は、乗員の音声の強弱である請求項１０記載の車両用エージェント装置。
12. 前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記エージェント像同士も会話をしているように表示制御する請求項１０記載の車両用エージェント装置。
13. 前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記乗員同士に対して聞き耳をたてるよう前記エージェント像を表示制御する請求項１０記載の車両用エージェント装置。
14. 前記制御手段は、前記判断手段によって乗員同士が会話していると判断された場合、前記乗員同士の会話の音量に応じて前記エージェント像の耳の大きさが変化するように表示制御する請求項１１記載の車両用エージェント装置。
15. 前記制御手段は、車内に複数の乗員が検出された場合、乗員に対して話しかけるタイミングが乗員一人の場合の該タイミングよりも長くなるよう前記エージェント像を表示制御する請求項１０記載の車両用エージェント装置。
16. 前記制御手段は、前記視線検出部によって検出された視線の位置に基づいて、乗員が大人か子供かを判断する判断手段を備え、
    前記判断手段によって子供であると判断された場合、予め登録された複数のエージェント像の中から選択された子供用エージェント像を表示制御する請求項４記載の車両用エージェント装置。
17. 前記エージェント像は、ドライバー一人のときはドライバーの話し相手となり、複数の乗員がいるときは各乗員の動作の真似をする請求項９記載の車両用エージェント装置。

Images