JP5187517B2 - 情報提供装置、情報提供方法およびプログラム - Google Patents

Description

本発明は、乗物の乗員に対して情報を提供する情報提供装置に関する。

従来から、車両の乗員に対して情報を提供する情報提供装置が知られていた。例えば、特許文献１に記載された車両用情報提供システムは、乗員の嗜好データを記憶した利用者データベースを備えており、走行位置の周辺にある地物の中から、利用者の嗜好に合った地物を読み出して、情報を提供する。本明細書において、情報提供の対象となる「地物」とは、施設、建物、河川、家屋、樹木等の地上に存在する天然または人工の物体のほかに、イベント等が行われている場所等も含む。地物は、ＰＯＩ（Point of Interest）と言い換えることもできる。

特許文献１に記載された情報提供装置は、乗員の嗜好に基づいて地物の取捨選択を行うものの、そのときどきの状況に拘わらずに情報が提供されるので、ときには乗員が煩わしさを感じる場合があった。

特許文献２に記載された車両用情報提供装置は、情報センターに音声自動応答装置を備えている。乗員は、音声自動応答装置の音声案内に従って、提供を希望する情報を伝え、これに従って、音声自動応答装置は乗員の希望する情報を用意して車載機に送信し、音声案内を行う。

また、本発明者は、特許文献３において、視線を用いたインターフェースを提案している。この文献は、会話データを知識化するシステムに関し、会話データに付加する検索用データを作成するために、会話が盛り上がったときに見ていた対象物を特定するために視線を用いている。しかし、視線は、運転行動等によっても動くので、視線のみから情報を提供すべき対象物を特定することは容易ではない。
特開２００５−３０９８０号公報 特開２００４−３４８６５８号公報 特開２００８−１９７５９８号公報

上記した特許文献２のように音声に従って情報を選択する発明は、ドライバがハンドルから手を離すことなく、音声で情報を選択できる点では、車両用の情報提供装置に適している。しかしながら、ドライバは、話しかけられると、その問いの意味を理解してその返事をする必要があるので、集中力が削がれる場合があった。

本発明は、上記背景に鑑み、運転の妨げとならずに、出力すべき情報を選択可能な情報提供装置を提供することを目的とする。

人間が視線を知覚する能力は、コミュニケーションにおける非常に基本的なものである。本発明者らは、人間がアイコンタクトをとったり、他者が見ている方向を目で追ったりする動作（以下、「共同注視」という）が無意識に処理される動作であることに着目し、運転の妨げとなるような負担をかけないで乗員に情報を提供する本発明を完成させた。

本発明の情報提供装置は、車両の現在位置を検出する現在位置検出部と、地物に関する情報を記憶した地物情報記憶部と、乗員の視線を検出する視線検出部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスと、地物に関する情報を出力する情報出力部と、制御部とを備え、前記制御部は、前記キャラクターデバイスの視線を乗員以外の方に向け、前記現在位置検出部にて検出された現在位置の周辺にある地物を前記地物情報記憶部から検索し、地物が検索された場合に、前記キャラクターデバイスの視線を乗員の方に向け、前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定し、乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向け、前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定し、乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記地物に関する情報を前記情報出力部から出力する。

本発明は、乗員に提供すべき地物が検索された場合に、キャラクターデバイスの視線を乗員の方に向ける制御を行う。キャラクターデバイスを周辺視野で捉えることができる程度に余裕がある場合には、乗員は無意識のうちにキャラクターデバイスの方を見る（キャラクターデバイスとアイコンタクトを行う）。乗員がキャラクターデバイスを見た場合に、キャラクターデバイスの視線を地物の方向に向けることにより、人間が無意識のうちに行う共同注視を利用して、乗員が地物を見るように仕向けることができる。乗員の視線を地物に向けることに成功した場合に、その地物の情報を提供することにより、乗員が見ている地物に関する情報を提供することができる。なお、キャラクターデバイスは、人間が視線方向を認識できるものであればよく、例えば、人間の顔を模したロボットのようなものでもよく、人間以外の物の形状を有していてもよい。人体のような多自由度ではない少数自由度の機構であっても、ラバン特徴量などの力学的・幾何学的特徴量が類似していれば、人には同じ身体表現として認識されるという研究がある（例えば、「ロボットの身体動作表現と生成される印象とのラバン特徴量を介した定量的相関分析」、中田亨、 森 武俊、 佐藤 知正、日本ロボット学会誌、 Vol.19, No.2, pp.252-259, 2001.）。従って、力学的・幾何学的な特徴量によってデバイスの三次元動作を制御することにより、デバイスを擬人化して見せ、その視線方向を認識させるようにしてもよい。

本発明の情報提供装置において、前記制御部は、前記視線検出部での検出結果に基づいて、乗員が所定の閾値以上の時間にわたって車両の前方以外の方向を見ていると判定した場合に、前記キャラクターデバイスの視線を車両の前方に向けてもよい。

この構成により、ドライバが所定時間にわたってよそ見をして、車両の前方を見ていない場合には、共同注視を利用して乗員を車両前方に向けることができ、安全運転に資することができる。

また、本発明の情報提供装置は、以下の構成を採用することも可能である。
（１）前記制御部は、乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、乗員の視線がキャラクターデバイスの方向に所定時間以上停留していたか否かを判定し、乗員の視線がキャラクターデバイスの方向に所定時間以上停留していたと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける制御を行う。

（２）前記情報提供装置は、乗員を撮影するカメラを備え、前記制御部は、乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記カメラで撮影した映像に基づいて乗員が頷いたか否かを判定し、乗員が頷いたと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける制御を行う。

（３）前記情報提供装置は、乗員を撮影するカメラを備え、前記制御部は、乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記カメラで撮影した映像に基づいて、乗員の表情が予め記憶されたパターンに合致したか否かを判定し、乗員の表情が予め記憶したパターンに合致したと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける制御を行う。

（４）前記情報提供装置は、乗員の音声を検出するマイクと、前記マイクにて検出された音声を分析する音声認識部とを備え、前記制御部は、乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記音声認識部での認識結果に基づいて、乗員が予め記憶された単語を発したか否かを判定し、予め記憶された単語を発したと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける制御を行う。

（５）前記情報提供装置は、乗員の瞳孔を撮影するアイカメラを備え、前記制御部は、乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記アイカメラで撮影した映像に基づいて乗員の瞳孔が大きくなったか否かを判定し、乗員の瞳孔が大きくなったと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける制御を行う。

本発明の情報提供装置において、前記制御部は、前記視線検出部での検出結果に基づいて乗員の注視行動を検出した場合に、注視対象の地物を前記地物情報記憶部から読み出し、前記キャラクターデバイスの視線を乗員の方に向け、前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定し、前記乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記地物に関する情報を前記情報出力部から出力してもよい。

このように乗員が注視行動をとったときにキャラクターデバイスの視線を乗員に向け、これに対して乗員がキャラクターデバイスを見るかどうかを判定することで、乗員に、キャラクターデバイスを周辺視野で捉えることができる程度の余裕があるか判断できる。これにより、適切なタイミングで、注視対象の地物のデータを提供することができる。

本発明の視線提示装置は、車両の現在位置を検出する現在位置検出部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスと、前記キャラクターデバイスの動作を制御する制御部とを備え、前記制御部は、前記現在位置検出部にて検出された車両の現在位置に基づいて乗員に対して通知すべき情報があるか否かを判定し、通知すべき情報があると判定された場合に、前記キャラクターデバイスの視線を乗員に向ける制御を行う。

このようにキャラクターデバイスの視線を乗員に向けることにより、運転の妨げにならない態様で、乗員に対して通知すべき情報があることを知らせることができる。

本発明の視線提示装置は、車両の現在位置を検出する現在位置検出部と、地物に関する情報を記憶した地物情報記憶部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスと、前記キャラクターデバイスの動作を制御する制御部とを備え、前記制御部は、前記現在位置検出部にて検出された車両の現在位置と、前記地物情報記憶部に記憶された地物の位置に基づいて、車両から前記地物までの相対位置を算出し、算出した相対位置の方向に前記キャラクターデバイスの視線を向ける制御を行う。

このようにキャラクターデバイスの視線を地物に向けることにより、共同注視により、乗員が地物の方を見るように仕向けることができる。

本発明の情報提供方法は、三次元動作により任意の方向に視線を提示するキャラクターデバイスを備えた情報提供装置によって、車両の乗員に情報を提供する方法であって、前記情報提供装置が、前記キャラクターデバイスの視線を乗員以外の方に向けるステップと、前記情報提供装置が、現在位置検出部にて検出された車両の現在位置の周辺にある地物を、地物に関する情報を記憶した地物情報記憶部から検索するステップと、地物が検索された場合に、前記情報提供装置が、前記キャラクターデバイスの視線を乗員の方に向けるステップと、前記キャラクターデバイスの視線が乗員の方を向いたときに、前記情報提供装置が、視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定するステップと、乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向けるステップと、前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記情報提供装置が、視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定するステップと、乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記情報提供装置が、前記地物に関する情報を出力するステップとを備える。

この構成により、本発明の情報提供装置と同様に、人間が無意識のうちに行う共同注視を利用して、乗員が地物を見るように仕向けることができ、乗員が見ている地物の情報を提供することができる。なお、本発明の情報提供装置の各種の構成を本発明の情報提供方法に適用することも可能である。

本発明のプログラムは、車両の乗員に情報を提供するためのプログラムであって、車両の現在位置を検出する現在位置検出部と、乗員の視線を検出する視線検出部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスを備えたコンピュータに、前記キャラクターデバイスの視線を乗員以外の方に向けるステップと、前記現在位置検出部にて検出された現在位置の周辺にある地物を、地物に関する情報を記憶した地物情報記憶部から検索するステップと、地物が検索された場合に、前記キャラクターデバイスの視線を乗員の方に向けるステップと、前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定するステップと、乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向けるステップと、前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定するステップと、乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記地物に関する情報を出力するステップとを実行させる。

この構成により、本発明の情報提供装置と同様に、人間が無意識のうちに行う共同注視を利用して、乗員が地物を見るように仕向けることができ、乗員が見ている地物の情報を提供することができる。なお、本発明の情報提供装置の各種の構成を本発明のプログラムに適用することも可能である。

本発明によれば、キャラクターデバイスを地物の方向に向けることにより、人間が無意識のうちに行う共同注視を利用して、乗員が地物を見るように仕向けることができる。

また、本発明では、乗員に提供すべき地物が検索された場合または乗員の注視行動を検出した場合に、キャラクターデバイスを乗員の方に振り向かせる制御を行い、乗員に、キャラクターデバイスを周辺視野で捉えることができる程度に余裕があるかどうかを判定できる。

以下、本発明の実施の形態の情報提供装置について図面を参照しながら説明する。以下の説明では、乗用車内において、地物に関するデータ（以下、「地物データ」という）を提供情報として提供する場合を例として説明する。なお、本発明の情報提供装置が提供する情報は、地物データに限定されない。本発明の情報提供装置は、地物に関連付けられた情報（例えば、アミューズメント情報、過去会話等）の提供にも適用することが可能である。

（第１の実施の形態）
図１は第１の実施の形態の情報提供装置１の構成を示す図であり、図２は情報提供装置１の外観を示す模式図である。

情報提供装置１は、車両の現在位置を検出する現在位置検出部１０と、地物に関するデータを記憶した地物データ記憶部１２と、乗員を撮影するドライバモニタカメラ１４および室内モニタカメラ１６と、撮影したカメラ映像から乗員の視線を検出する視線検出部１８と、インストルメントパネルの中央付近に設けられたキャラクターデバイス２２と、地物データを出力するスピーカ３２と、文字や記号などの視覚的情報を提示するためのモニタ３４と、車両情報を入力する車両情報入力部３６と、提供した情報の履歴データを記憶する情報提供履歴記憶部３８と、上記した各構成の制御を行う制御部４０とを有している。また、情報提供装置１は、図２に示すように車載ＬＡＮゲートウェイ５４を有している。車載ＬＡＮゲートウェイ５４は、車内にある各種の機器と無線で通信を行うための構成である。

ドライバモニタカメラ１４は、図２に示すように、ハンドルの軸の上に設置されており、乗員の判別と視線の検出に用いられる。室内モニタカメラ１６は、室内に向けて設置されており、同乗者の判別及び視線を検出するなどに用いられる。

図３は、キャラクターデバイス２２の構成を示す図である。キャラクターデバイス２２は、２軸の回転部５６，５８を持つ支持台上にキャラクターデバイス２２の頭部を設置した形状をしている。キャラクターデバイス２２の頭部の支持台は、２軸のモーターによって、向きを制御可能なアクチュエータであり、頭部の左右・上下の回転を組み合わせて自由な方向への回転が可能になっている。キャラクターデバイス２２の２軸の回転部は、キャラクターデバイスアクチュエータ３０によって制御される。各モーターの回転角をα、βとし、α＝β＝０の時、キャラクターデバイス２２の頭部は、車両の正面前方を向くように設定されている。

図３では、キャラクターデバイス２２の頭部を支持する軸を長く描いているが、キャラクターデバイス２２の高さは、乗員の視界を遮らないように十分低く設計する。インストルメントパネル上に設置する場合には、キャラクターデバイス２２は出来るだけ平たい形状にすることが望ましい。また、支持台の水平方向の回転部５６と垂直方向の回転部５８は、図３とは逆の上下位置関係に設置してあってもよい。

キャラクターデバイス２２の頭部には、左右の目の位置に相当する位置に小型カメラ２４，２６を搭載し、その下に小型マイク２８を搭載している。これらはキャラクターデバイス２２の頭部の目や鼻などの位置を視覚的に表現し、キャラクターデバイス２２が視線を提供することを可能にするとともに、小型カメラ２４，２６による画像キャプチャ及び小型マイク２８による音声キャプチャにより、視線を向けた方向に見えるシーンとそちらから向かってくる音声とを検知する。これらの小型カメラ２４，２６及び小型マイク２８による入力は、制御部４０で、開始・停止を任意に操作できるようになっている。

視線検出部１８は、ドライバモニタカメラ１４、室内モニタカメラ１６およびキャラクターデバイス２２に搭載された２個の小型カメラ２４，２６の映像から乗員の顔および眼球の映像を検出し、顔および眼球の向きから乗員の視線を検出する。視線検出部１８は、検出した視線のデータを逐次、視線履歴記憶部２０に記憶する。

次に、制御部４０の構成について説明する。制御部４０は、情報提供装置１の各構成要素を統合的に制御する機能を有する。制御部４０は、処理ロジックを記録したＥＣＵやデータを格納するハードディスク、無線ネットワークに繋がる通信部などから構成される。なお、以下に説明する制御部４０の機能を実現するためのプログラムも本発明の範囲に含まれる。

制御部４０は、キャラクターデバイスアクチュエータ３０を制御するアクチュエータ制御部４２と、地物データ記憶部１２から現在位置付近にある地物を検索する情報検索部４４と、視線履歴記憶部２０に記憶されたデータおよびキャラクターデバイス２２の制御情報に基づいて、乗員とキャラクターデバイス２２とのアイコンタクトを検出するアイコンタクト検出部４６と、視線履歴記憶部２０に記憶されたデータおよびキャラクターデバイス２２の制御情報に基づいて乗員とキャラクターデバイス２２の共同注視を検出する共同注視検出部４８と、スピーカ３２またはモニタ３４からの情報の出力を制御する情報出力制御部５０と、地物データの情報提供を行った履歴を管理する情報提供履歴管理部５２とを有している。

図４は、情報提供装置１の動作状態を示す図である。情報提供装置１は、自律モードおよび情報提供モードを有している。乗員がスイッチ等を操作することにより、自律モードと情報提供モードを切り替えることができる。自律モードは、地物の位置情報などの環境情報に基づいてキャラクターデバイス２２の姿勢を制御するモードである。情報提供モードは、乗員に提供すべき情報がある場合に乗員に対して情報を提供するモードである。

図４に示すように、自律モード、情報提供モードのいずれにおいても乗員が注視行動をとった場合には、情報提供装置１は、注視対象の地物のデータを提供する処理を行う。注視対象の情報提供が終了すると、情報提供装置１は、遷移元の自律モードあるいは情報提供モードに戻る。以下、自律モード、情報提供モード、注視行動検出時の各処理について詳しく説明する。

（自律モード）
図５は、自律モードでの情報提供装置１の処理フローを示す図である。自律モードでは、制御部４０は、自車位置周辺の所定範囲内にある地物データが多く存在している方向へキャラクターデバイス２２の視線が動くように制御する。車両の現在位置を含む所定範囲内に地物がない場合には、車両前方画像の中から特徴点を抽出し、例えば、特徴点の分布に対するクラスタリングを行い、最もサイズの大きいクラスタの重心方向へ視線を移動させる。以下、図５を参照して、具体的な処理について説明する。

まず、情報提供装置１は、現在位置検出部１０にて車両の現在位置を検出し（Ｓ１０）、制御部４０にて現在位置の周辺にある地物を検索する。

図６は、制御部４０の情報検索部４４による地物の検索について説明する図である。図６に示すように、情報提供装置１は、自車位置（Ｘ，Ｙ）を中心として、半径Ｒの円内で、かつ、進行方向（現在、停車しているときは、停車直前に移動していた方向）を中央にして、角度２ρの範囲内にある地物データを地物データ記憶部１２から検索する（Ｓ１２）。

制御部４０は、現在位置周辺の地物データが検出されたか否かを判定する（Ｓ１４）。地物データが検出された場合には（Ｓ１４でＹＥＳ）、図６に示すように、すでに情報提供した地物データを削除する（Ｓ１６）。情報提供済みの地物データは、情報提供履歴記憶部３８に記憶されているので、情報提供装置１は、情報提供履歴記憶部３８に記憶されたデータに基づいて、情報提供済みか否かを判定する。

制御部４０は、情報提供をしていない地物データ（以下、「未提供地物」という）があるか否かを判定する（Ｓ１８）。この結果、未提供地物データがあると判定された場合には（Ｓ１８でＹＥＳ）、制御部４０は、その地物の位置データおよび車両の現在位置から地物の相対位置を計算する（Ｓ２０）。図７に示すように、車両の現在位置から各地物までの相対方向（φ，θ）及び相対距離ｒを計算する。相対方向（φ，θ）及び距離ｒは、下記の式（１）〜（３）によって近似的に求められる。

水平方向に関する地物データの分布を下記の式（４）に従って範囲［−ρ，ρ］内で計算する。

この分布は、範囲［−ρ，ρ］をサイズΔφの区分に分割し、かつ区分内に入る地物データの数を式（４）に示すような重み付きで加え上げることで計算されるものである。式（４）において、関数ｆ（ｒ）は、非負の有界な非増加関数であり、近くに存在する地物の方向を優先するような重み付けを与えるものである。

図８は、地物データの分布の例を示す図である。分布の最大値の水平方向をφ^＊とする。水平方向が［φ^＊，φ^＊＋Δφ］内にある地物データの垂直方向を下記の式（５）によって重み付き平均を計算することで、垂直方向θ^＊を計算する。

制御部４０は、キャラクターデバイス２２の視線を、上記の計算により求めた方向、すなわち地物の分布の最大値の方向へ移動させる（Ｓ２２）。

次に、地物が検出されたか否かの判定（Ｓ１４）において地物が検出されなかった場合（Ｓ１４でＮＯ）、および、未提供地物があるか否かの判定（Ｓ１８）において未提供地物がないと判定された場合（Ｓ１８でＮＯ）の動作について説明する。地物が検出されなかった場合および未提供地物がない場合には、制御部４０は、車両前方の画像から車両前方の特徴点を抽出し（Ｓ２４）、抽出された複数の特徴点の中から一の特徴点を選択する（Ｓ２６）。続いて、制御部４０は、特徴点の相対位置を算出し（Ｓ２８）、キャラクターデバイス２２を特徴点の方向に向ける（Ｓ３０）。これにより、車両の周辺に未提供の地物がない場合にも、キャラクターデバイス２２を自律的に動作させることができる。

自律モードでは、上記したフローの動作を、車両位置が更新されたタイミングで繰り返し実行する。

（情報提供モード）
図９は、情報提供装置１の情報提供モードの処理フローを示す図である。情報提供モードでは、情報提供装置１が情報提供すべき地物を検索した場合には、その地物の方向を示すとともに地物のデータを出力する。以下では、未提供地物が情報提供すべき地物であるとして説明する。

情報提供装置１が車両の現在位置を検出してから（Ｓ１０）、未提供地物があるか否かを判定する（Ｓ１８）までの動作は自律モードにおける情報提供装置１の動作と同じである。

未提供の地物があると判定された場合（Ｓ１８でＹＥＳ）、制御部４０は、図１０に示すように、キャラクターデバイス２２を乗員の方向に向ける（Ｓ３２）。続いて、制御部４０は、キャラクターデバイス２２の視線を乗員の方に向けたときに、乗員とキャラクターデバイス２２とのアイコンタクトを検出する（Ｓ３４）。具体的には、視線検出部１８による視線検出結果を用いて、図１１に示すように、乗員がキャラクターデバイス２２の方を見たか否かを判定する。なお、この判定においては、所定の中心視野分だけのズレは許容する。

この判定の結果、乗員とキャラクターデバイス２２とのアイコンタクトが検出された場合（Ｓ３４でＹＥＳ）、キャラクターデバイス２２の視線を未提供の地物の方向に向ける（Ｓ３６）。アイコンタクトが検出されなかった場合（Ｓ３４でＮＯ）、情報提供装置１は、地物のデータを提供しないで、現在位置を検出する動作に戻る（Ｓ１０）。

次に、制御部４０は、キャラクターデバイス２２の視線を未提供の地物の方向に向けたときに、乗員が図１２に示すような共同注視を行ったか否かを検出する（Ｓ３８）。具体的には、視線検出部１８による視線検出結果を用いて、乗員がキャラクターデバイス２２の視線方向と同方向を見たか否かを判定する。なお、この判定においては、所定の中心視野分だけのズレは許容する。この判定の結果、乗員が共同注視をしたと判定された場合には（Ｓ３８でＹＥＳ）、情報提供装置１は、地物データを出力する（Ｓ４０）。これにより、乗員が見ている方向にある地物のデータを提供することができる。

上記した説明では、未提供の地物が情報提供すべき地物である例について説明したが、未提供のすべての地物について情報提供を行うのではなく、未提供の地物のうち、乗員の嗜好に合致する属性を有する地物についてのみ、上記したフローと同様にして、情報提供を行うこととしてもよい。情報提供装置１は、ユーザの年齢、性別、嗜好ジャンル等のユーザ属性を記憶した記憶部を有し、記憶部に記憶されたユーザ属性と未提供の地物の属性とを比較し、ユーザ属性と合致する地物を求め、求めた地物のデータを提供する。これにより、乗員に提供する地物数を削減し、キャラクターデバイス２２の振り向きの動作に対して馴化してしまうという弊害を防止できる。

（注視検出時の動作）
次に、自律モードまたは情報提供モードにおける動作中に、乗員の注視行動を検出した際の情報提供装置１の動作について説明する。図４にて説明したとおり、乗員の注視行動を検出した場合には、情報提供装置１は、注視対象の地物のデータを提供する（以下、「注視検出時動作」という）。

なお、乗員の注視行動とは、乗員の視線が所定の時間にわたって、空間の一定位置に視線が向けられる行動である。情報提供装置１は、視線が向けられていた時間内における視線データから、注視位置を推定することができる。一例としては、車両（視線の起点）が移動していることを利用して、起点Ａからの視線方向と起点Ｂからの視線方向との交差する位置を注視位置として特定する。また、注視位置の相対位置を上記した式（１）〜（３）により、近似的に計算することができる。

図１３は、注視検出時の情報提供装置１の動作を示す図である。情報提供装置１は、視線検出部１８にて乗員の視線を検出し、検出結果を視線履歴に記録する。情報提供装置１は、所定期間内の過去の視線履歴から注視行動を検出する処理を行う。情報提供装置１は、注視行動が検出されたか否かを判定し（Ｓ４２）、注視行動が検出された場合には（Ｓ４２でＹＥＳ）、注視対象の地物の相対位置を計算によって求める。

図１４は、注視対象の地物の計算の仕方を示す図である。図１４に示すように、注視位置を中心として、所定の範囲内にある地物データを検索する。これらを注視位置周辺地物データと呼ぶ。もし、注視位置周辺地物が存在しない場合には、以下の処理を中断する。

検索された注視位置周辺地物データから、注視対象の地物を以下のように決定する。図１４に示すように、注意位置からの各地物との間の距離をｌｉとする。また、各地物には、人物判定結果に基づき、ユーザの嗜好と過去に情報提示したことがあるか否かという履歴に基づいて決定される重みｗｉを割り振る。上記式（１）〜（３）に示した関数を距離ｌｉに当てはめたｆ（ｌｉ）と重みｗｉとの積ｇｉを下記の式（６）によって求め、積ｗｉが最大となる地物を注視対象地物として決定する（Ｓ４４）。

注視対象地物を決定後、当該地物の相対位置を式（１）〜（３）に従って計算し、当該方向へキャラクターデバイス２２の視線を移動する共同注視行動を行う（Ｓ４６）。このように共同注視行動を行うことにより、乗員は、情報提供装置１が乗員の注視行動を検出したこと、および、注視対象の地物に関する情報が存在することを暗黙的に示す。

次に、図１０に示すように、情報提供装置１は、キャラクターデバイス２２の視線を乗員の顔の方向に向ける（Ｓ４８）。顔の方向は、ドライバモニタカメラ１４あるいは室内モニタカメラ１６によって撮影した画像から推定された位置である。

続いて、情報提供装置１は、図１１に示すように、乗員とキャラクターデバイス２２とのアイコンタクトを検出する（Ｓ５０）。すなわち、乗員の視線がキャラクターデバイス２２の方向へ向けられたかどうかを検知する。アイコンタクトの検出には、キャラクターデバイス２２の頭部に設定された小型カメラ２４，２６による撮影画像を利用することもできる。この場合には、視線を検出しなくても、乗員の顔が認識されるか否かによって、アイコンタクトがされたか否か、およびアイコンタクト時間を精度良く検知することができる。

アイコンタクトが検知されない場合には（Ｓ５０でＮＯ）、情報提供装置１は、以下の処理を中断する。アイコンタクトが検知された場合には（Ｓ５０でＹＥＳ）、情報提供装置１は、情報提供を受ける余裕があると判断し、注視対象の地物のデータを情報表示部あるいはスピーカ３２から出力し（Ｓ５２）、地物の情報提供を行う。

また、この際、キャラクターデバイス２２の視線を、再び注視対象地物の方向へ移動してもよい。これにより、注視行動を行った人の視線をキャラクターデバイス２２から提示する情報の方向へ誘導し、音声による情報提示内容と見ているものをマッチさせることができる。また、共同注視行動により、無意識のうちに提示された視線方向へ自らの視線方向へ移動するため、乗員の視線が固定されることを回避できる。情報提供が完了したら、情報提供装置１は、自律モードまたは情報提供モードへ遷移する。以上、本発明の第１の実施の形態の情報提供装置１について説明した。

本実施の形態の情報提供装置１は、情報提供モードにおいて、乗員に提供すべき地物を検出した場合には、キャラクターデバイス２２の視線を乗員に向け、続いて、地物の方向を向くことにより、乗員は、余裕がある場合には、無意識のうちにキャラクターデバイス２２が見ている方向を見ることになる。そして、情報提供装置１は、乗員がキャラクターデバイス２２と共同注視をしたと判定した場合に、その地物のデータを提供するので、乗員が見ている方向にある地物のデータを提供することができる。

また、本実施の形態の情報提供装置１は、乗員の注視行動を検出した場合には、注視対象の地物を特定し、キャラクターデバイス２２の視線を乗員に向ける。これにより、乗員は、余裕がある場合には、無意識のうちにキャラクターデバイス２２とアイコンタクトを取ることになる。そして、情報提供装置１は、乗員がキャラクターデバイス２２とアイコンタクトをとったと判定した場合に注視対象の地物のデータを提供するので、適切なタイミングで注視対象の地物のデータを提供することができる。

（第２の実施の形態）
次に、第２の実施の形態の情報提供装置について説明する。第２の実施の形態の情報提供装置の基本的な構成は、第１の実施の形態の情報提供装置１と同じであるが（図１参照）、情報提供モードにおける動作が異なる。

図１５は、第２の実施の形態の情報提供装置の情報提供モードの動作を示す図である。第２の実施の形態の情報提供装置の基本的な動作は、第１の実施の形態の情報提供装置１と同じであるので、第１の実施の形態と相違する処理を中心に説明する。

第２の実施の形態の情報提供装置１は、アイコンタクトを検出した後（Ｓ３４）、乗員の視線が所定時間以上（例えば１秒）キャラクターデバイス２２に停留しているか否かを判定する（Ｓ３５）。この判定の結果、乗員の視線がキャラクターデバイス２２に停留していると判定された場合には（Ｓ３５でＹＥＳ）、キャラクターデバイス２２の視線を地物に向ける制御を行い（Ｓ３６）、乗員の視線が所定時間以上停留しないでキャラクターデバイス２２から逸れた場合には（Ｓ３５でＮＯ）、現在位置を検出する最初の処理に戻る（Ｓ１０）。

このように乗員の視線が所定時間以上停留したか否かを判定することにより、乗員が情報の提供を望んでいるか否かの意図をより正確に判定することができる。

なお、本実施の形態では、視線がキャラクターデバイス２２に所定時間以上停留したか検出しているが（Ｓ３５）、視線の停留に代えて、乗員の別の動作や変化を捉えて、情報提供を行ってもよい。

例えば、視線の停留に代えて、乗員の頷きを検出してもよい。乗員の頷きを検出する方法としては、例えば、乗員を撮影した映像を解析し、乗員の顔の特徴点（目、鼻、口等）が縦に動いたかどうかを判定する。

また、視線の停留に代えて、乗員からの音声による指示を検出してもよい。音声による指示を検出する方法としては、例えば、キャラクターデバイス２２に設けられた小型マイク２８によって乗員の音声を検出し、検出した音を解析する。例えば、乗員が予め定められた言葉を発したか否かを検出することにより、乗員の指示を検出できる。

また、視線の停留に代えてまた、乗員の表情の変化を検出してもよい。乗員の表情の変化を検出する方法としては、例えば、あらかじめ乗員の表情（例えば、笑顔）を撮影して記憶した記憶部を準備しておき、乗員を撮影した映像が予め記憶された表情と合致するか否かを判定する。

また、視線の停留に代えて、乗員の瞳孔の大きさの変化を検出してもよい。乗員の瞳孔の大きさの変化を検出する方法としては、例えば、アイカメラによって乗員の瞳孔を撮影し、キャラクターデバイス２２を見る前後で瞳孔の大きさが変化したか否かを判定する。

以上、本発明の実施の形態の情報提供装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態の情報提供装置において、所定時間以上（例えば、２秒）乗員の視線が前方から逸れている場合に、キャラクターデバイス２２の視線を車両の前方に向けるように制御してもよい。キャラクターデバイス２２の視線が車両の前方を向くことにより、乗員はキャラクターデバイス２２との共同注視により無意識のうちに車両前方を向く。このように乗員を前方に向かせることにより、安全運転に資することができる。

上記した実施の形態では、自律モードと情報提供モードとの切り替えをユーザの操作により行う例について説明したが、乗員の視線に基づいて、自律モードと情報提供モードとの切り替えを行ってもよい。例えば、乗員がキャラクターデバイス２２を凝視した際に、乗員が情報提供を望んでいると判断して、自律モードから情報提供モードへの切り替えを行ってもよい。

図１６は、自律モードから情報提供モードへの切り替えの動作を示す図である。情報提供装置は、乗員の視線を検出し（Ｓ５４）、乗員の視線が所定時間（例えば１秒）以上、キャラクターデバイス２２に停留していたか否かを判定する（Ｓ５６）。この判定の結果、乗員の視線がキャラクターデバイス２２に停留していた（所定の中心視野分だけのズレは許容する）と判定された場合（Ｓ５６でＹＥＳ）、情報提供装置は、車両情報に基づいて、運転負荷が閾値以下であるか否かを判定する（Ｓ５８）。この結果、運転負荷が閾値以下であると判定された場合（Ｓ５８でＹＥＳ）、情報提供装置は、自律モードから情報提供モードへの切り替えを行う（Ｓ６０）。

このようにキャラクターデバイス２２を所定時間以上見たことを検知して、自律モードから情報提供モードへの切り替えを行うので、乗員は何か情報がないか尋ねるような感覚でキャラクターデバイス２２を見ることにより、情報提供モードへの切り替えを行うことができる。また、乗員はハンドルから手を離して操作を行う必要がないので安全である。

また、運転行動においては、図１７に示すように、偶然に視線がキャラクターデバイス２２の方向に固定される場合があるが、図１６に示すフローでは、運転負荷を判定するステップを有しているので（Ｓ５８）、運転行動とキャラクターデバイス２２の注視とを区別することができる。また、運転負荷が高い場合には、自律モードを継続することにより、注意力を削ぐ可能性のある情報提供を行わないようにできる。

上記した実施の形態では、乗員としてドライバに対して情報提供を行う例について説明したが、助手席や後部座席に座っている同乗者に対しても同様に情報提供を行うことが可能である。

上記した実施の形態では、情報提供装置１が地物データ記憶部１２を有し、地物データ記憶部１２から地物データを読み出しているが、地物データ記憶部１２は無線ネットワークによって接続されたサーバに記憶されていてもよい。このような構成を採用することにより、地物データの内容が変更された場合にも、情報提供装置１は容易に最新の地物データを提供することができる。

上記した実施の形態の情報提供装置１の構成に加えて、乗員や車外の映像を記録するシーン記録部を有してもよい。例えば、乗員に対して提供した地物の映像や、情報を提供されたときの乗員の様子等を撮影し、シーンデータ記憶部に記憶してもよい。これにより、シーンデータ記憶部に記憶された映像により、ドライブの思い出を想起することができる。

以上説明したように、本発明は、人間が無意識のうちに行う動作を利用して、乗員に負担をかけずに情報を提供することができ、地物データを提供するカーナビゲーション装置等として有用である。

第１の実施の形態の情報提供装置の構成を示す図である。 第１の実施の形態の情報提供装置の外観を示す図である。 キャラクターデバイスの外観を示す図である。 情報提供装置の動作状態を示す図である。 情報提供装置の自律モードによる動作を示す図である。 検索範囲に含まれる地物データを示す図である。 地物の相対位置について説明する図である。 地物データの分布の例を示す図である。 情報提供装置の情報提供モードによる動作を示す図である。 キャラクターデバイスが乗員を振り返った様子を示す図である。 キャラクターデバイスと乗員がアイコンタクトをとる様子を示す図である。 キャラクターデバイスと乗員が共同注視を行う様子を示す図である。 注視行動を検出したときの情報提供装置の動作を示す図である。 注視対象の地物の計算の仕方を示す図である。 第２の実施の形態の情報提供装置の情報提供モードによる動作を示す図である。 動作モード切替えの他の動作を示す図である。 誤認識されやすい状況の例を示す図である。

符号の説明

１ 情報提供装置
１０ 現在位置検出部
１２ 地物データ記憶部
１４ ドライバモニタカメラ
１６ 室内モニタカメラ
１８ 視線検出部
２０ 視線履歴記憶部
２２ キャラクターデバイス
２４，２６ 小型カメラ
２８ 小型マイク
３０ キャラクターデバイスアクチュエータ
３２ スピーカ
３４ モニタ
３６ 車両情報入力部
３８ 情報提供履歴記憶部
４０ 制御部
４２ アクチュエータ制御部
４４ 情報検索部
４６ アイコンタクト検出部
４８ 共同注視検出部
５０ 情報出力制御部
５２ 情報提供履歴管理部
５４ 車載ＬＡＮゲートウェイ
５６ 水平方向の回転部
５８ 垂直方向の回転部

Claims (11)

1. 車両の現在位置を検出する現在位置検出部と、
   地物に関する情報を記憶した地物情報記憶部と、
   乗員の視線を検出する視線検出部と、
   三次元動作により任意の方向に視線を提示するキャラクターデバイスと、
   地物に関する情報を出力する情報出力部と、
   制御部と、
   を備え、
   前記制御部は、
   前記キャラクターデバイスの視線を乗員以外の方に向け、
   前記現在位置検出部にて検出された現在位置の周辺にある地物を前記地物情報記憶部から検索し、
   地物が検索された場合に、前記キャラクターデバイスの視線を乗員の方に向け、
   前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定し、
   乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向け、
   前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定し、
   乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記地物に関する情報を前記情報出力部から出力する情報提供装置。
2. 前記制御部は、前記視線検出部での検出結果に基づいて、乗員が所定の閾値以上の時間にわたって車両の前方以外の方向を見ていると判定した場合に、前記キャラクターデバイスの視線を車両の前方に向ける請求項１に記載の情報提供装置。
3. 前記制御部は、
   乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、乗員の視線がキャラクターデバイスの方向に所定時間以上停留していたか否かを判定し、
   乗員の視線がキャラクターデバイスの方向に所定時間以上停留していたと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける請求項１または２に記載の情報提供装置。
4. 乗員を撮影するカメラを備え、
   前記制御部は、
   乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記カメラで撮影した映像に基づいて乗員が頷いたか否かを判定し、
   乗員が頷いたと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける請求項１または２に記載の情報提供装置。
5. 乗員を撮影するカメラを備え、
   前記制御部は、
   乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記カメラで撮影した映像に基づいて、乗員の表情が予め記憶されたパターンに合致したか否かを判定し、
   乗員の表情が予め記憶したパターンに合致したと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける請求項１または２に記載の情報提供装置。
6. 乗員の音声を検出するマイクと、
   前記マイクにて検出された音声を分析する音声認識部と、
   を備え、
   前記制御部は、
   乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記音声認識部での認識結果に基づいて、乗員が予め記憶された単語を発したか否かを判定し、
   予め記憶された単語を発したと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける請求項１または２に記載の情報提供装置。
7. 乗員の瞳孔を撮影するアイカメラを備え、
   前記制御部は、
   乗員が前記キャラクターデバイスの方を見たか否かを判定した結果、前記キャラクターデバイスを見たと判定された場合に、前記アイカメラで撮影した映像に基づいて乗員の瞳孔が大きくなったか否かを判定し、
   乗員の瞳孔が大きくなったと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向ける請求項１または２に記載の情報提供装置。
8. 前記制御部は、前記視線検出部での検出結果に基づいて乗員の注視行動を検出した場合に、注視対象の地物を前記地物情報記憶部から読み出し、
   前記キャラクターデバイスの視線を乗員の方に向け、
   前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定し、
   前記乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記地物に関する情報を前記情報出力部から出力する請求項１〜７のいずれかに記載の情報提供装置。
9. 車両の現在位置を検出する現在位置検出部と、
   地物に関する情報を記憶した地物情報記憶部と、
   三次元動作により任意の方向に視線を提示するキャラクターデバイスと、
   前記キャラクターデバイスの動作を制御する制御部と、
   を備え、
   前記制御部は、前記現在位置検出部にて検出された車両の現在位置と、前記地物情報記憶部に記憶された地物の位置に基づいて、車両から前記地物までの相対位置を算出し、算出した相対位置の方向に前記キャラクターデバイスの視線を向ける制御を行う視線提示装置。
10. 三次元動作により任意の方向に視線を提示するキャラクターデバイスを備えた情報提供装置によって、車両の乗員に情報を提供する方法であって、
    前記情報提供装置が、前記キャラクターデバイスの視線を乗員以外の方に向けるステップと、
    前記情報提供装置が、現在位置検出部にて検出された車両の現在位置の周辺にある地物を、地物に関する情報を記憶した地物情報記憶部から検索するステップと、
    地物が検索された場合に、前記情報提供装置が、前記キャラクターデバイスの視線を乗員の方に向けるステップと、
    前記キャラクターデバイスの視線が乗員の方を向いたときに、前記情報提供装置が、視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定するステップと、
    乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向けるステップと、
    前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記情報提供装置が、視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定するステップと、
    乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記情報提供装置が、前記地物に関する情報を出力するステップと、
    を備える情報提供方法。
11. 車両の乗員に情報を提供するためのプログラムであって、車両の現在位置を検出する現在位置検出部と、乗員の視線を検出する視線検出部と、三次元動作により任意の方向に視線を提示するキャラクターデバイスを備えたコンピュータに、
    前記キャラクターデバイスの視線を乗員以外の方に向けるステップと、
    前記現在位置検出部にて検出された現在位置の周辺にある地物を、地物に関する情報を記憶した地物情報記憶部から検索するステップと、
    地物が検索された場合に、前記キャラクターデバイスの視線を乗員の方に向けるステップと、
    前記キャラクターデバイスの視線が乗員の方を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの方を見たか否かを判定するステップと、
    乗員が前記キャラクターデバイスの方を見たと判定された場合に、前記キャラクターデバイスの視線を前記地物の方向に向けるステップと、
    前記キャラクターデバイスの視線が前記地物の方向を向いたときに、前記視線検出部での検出結果に基づいて乗員が前記キャラクターデバイスの視線方向を見たか否かを判定するステップと、
    乗員が前記キャラクターデバイスの視線方向を見たと判定された場合に、前記地物に関する情報を出力するステップと、
    を実行させるプログラム。