ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ナビゲーションシステムの構成:
(2)視線学習処理:
(3)他の実施形態:
(1)ナビゲーションシステムの構成:
図1は、本発明の一実施形態にかかる視線学習システムとしてのナビゲーションシステム10の構成を示すブロック図である。ナビゲーションシステム10は、車両に備えられている。ナビゲーションシステム10は、制御部20と記録媒体30とを備えている。
制御部20は、CPUとRAMとROM等を備え、記録媒体30やROMに記憶されたナビゲーションプログラム21を実行する。
記録媒体30は、地図情報30aと学習情報30bとを記録している。地図情報30aは、物体データベース30a1を含む。地図情報30aは、2個のノード間を接続するリンクを特定するリンクデータと、前記ノードを示すノードデータ等を含む。リンクは車両が走行可能な道路区間を意味し、ノードは道路区間の始点または終点に相当する交差点を意味する。
物体データベース30a1は、地上に存在する各種物体についての情報である物体情報を蓄積したデータベースである。物体情報は、物体ごとに少なくとも位置と形状と属性とを示す情報である。本実施形態において、物体データベース30a1に物体情報が蓄積される物体には、少なくとも施設の看板と信号機と交通標識とが含まれる。属性とは、施設の看板と信号機と交通標識の区別であり、属性が交通標識や看板の物体情報にはさらに交通標識の内容(交差点名、一時停止、制限速度等)や看板の内容(施設名称等)が対応付けられている。物体データベース30a1において、物体の位置と形状はワールド座標系において特定されている。
学習情報30bは、運転者の顔状態と視線との対応関係を示す情報である。本実施形態において、運転者の顔状態は、顔の位置と顔の方向と瞳孔の方向である。学習情報30bにおいては、顔の位置と顔の方向(顔の正面が向いている方向)と瞳孔の方向との組み合わせごとに、視線の方向が規定されている。制御部20は、学習情報30bを参照することにより、運転者の顔状態から運転者の視線の方向を導出する。顔の方向と瞳孔の方向は車両座標系において特定されており、視線の方向も車両座標系において特定されている。車両座標系とは、車両を基準にして定義された座標系であり、例えば車長方向(進行方向)と車幅方向と車高方向とを基準とする3次元の座標系である。瞳孔の方向は、顔の基準方向(例えば顔の正面の方向)を基準とする座標系において特定されてもよい。
車両は、GPS受信部41と車速センサ42とジャイロセンサ43と顔状態センサ44とユーザI/F部45とを備えている。GPS受信部41は、GPS衛星からの電波を受信し、図示しないインタフェースを介して車両の現在地を算出するための信号を出力する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ43は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。制御部20は、この信号を取得して車両の進行方向を取得する。制御部20は、車速センサ42およびジャイロセンサ43等の出力信号に基づいて車両の走行軌跡を特定することで車両の現在地を取得する。GPS受信部41の出力信号は、車速センサ42およびジャイロセンサ43等から特定される車両の現在地を補正する等に利用される。
顔状態センサ44は、顔状態としての顔の位置と顔の方向と瞳孔の方向とを検出するセンサである。顔状態センサ44は、顔の位置と方向を検出する可視光のカメラと、瞳孔の方向を検出する可視光または赤外光のカメラとを含む。むろん、顔状態センサ44は、単一のカメラであってもよいし、距離センサを含んでもよい。制御部20は、顔状態センサ44が検出した顔状態に基づいて車両座標系における視線の方向を特定し、さらに車両の現在地と進行方向とに基づいて視線の方向をワールド座標系で特定する。さらに、制御部20は、ワールド座標系において、運転者の顔の位置(両目の中央位置)から視線の方向に延びる直線を特定することにより、当該直線上に存在する物体を運転者が視認していると推定する。
ユーザI/F部45は、ユーザに各種の情報を提供し、またはユーザの指示を入力するためのインタフェース部であり、本実施形態においては図示しないタッチパネルディスプレイと音声を出力するスピーカーとを備えている。制御部20は、当該ユーザI/F部45に対して制御信号を出力して任意の画像を表示し、任意の音声をスピーカーから出力する。また、制御部20は、タッチパネルディスプレイに対するタッチ操作に基づいて利用者の設定(目的地の設定等)を取得する。
ナビゲーションプログラム21は、本発明の視線学習プログラムに相当する。ナビゲーションプログラム21は、取得モジュール21aと予測モジュール21bと作成モジュール21cと案内モジュール21dとを含む。取得モジュール21aと予測モジュール21bと作成モジュール21cとは、それぞれコンピュータとしての制御部20を取得部と予測部と作成部として機能させるプログラムモジュールである。
取得モジュール21aの機能により制御部20は、運転時における運転者の顔状態を取得する。すなわち、取得モジュール21aの機能により制御部20は、顔状態としての顔の位置と顔の方向と瞳孔の方向とを顔状態センサ44から取得する。
予測モジュール21bの機能により制御部20は、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測する。具体的に、予測モジュール21bの機能により制御部20は、運転時として、ACC電源(アクセサリーポジション電源)がONとなっている期間において視認物体を予測する。つまり、制御部20は、ナビゲーションシステム10の電源がONとなっている期間において視認物体を予測する。
具体的に、予測モジュール21bの機能により制御部20は、地図情報30aと、車両の現在地とに基づいて視認物体を予測する。予測モジュール21bの機能により制御部20は、顔状態センサ44が検出した運転者の顔の方向と、車両の現在地と進行方向に基づいて、ワールド座標系において運転者の顔の方向を特定する。そして、制御部20は、ワールド座標系における運転者の顔の方向に基づいて、運転者の視認可能範囲を特定する。例えば、視認可能範囲は、運転者の顔の位置から一定の距離(例えば200m)以内、かつ、運転者の顔の方向からのずれ角が閾値以下の円錐状の範囲であってもよい。閾値は、例えば人間の動体視野角に基づいて設定された角度であり、車速に応じて設定されてもよい。制御部20は、運転者の視認可能範囲内に物体データベース30a1に規定された物体が存在する場合、当該物体を視認物体として予測する。物体データベース30a1に規定された物体が視認可能範囲内に複数存在する場合、制御部20は、これらの物体のなかから最も車両の現在地に近い物体を視認物体として選択してもよいし、顔の方向からのずれ角が最も小さい位置に存在する物体を視認物体として選択してもよい。
予測モジュール21bの機能により制御部20は、運転者が視認物体を視認していることの信頼度を取得する。すなわち、制御部20は、真に視認物体を視認していることの信頼度(以下、単に視認物体の信頼度)を取得する。具体的に、予測モジュール21bの機能により制御部20は、ナビゲーションシステム10の案内状況と視認物体との関係性に基づいて視認物体の信頼度を取得する。ナビゲーションシステム10の案内状況とは、後述する案内モジュール21dの機能によって行われる音声案内の案内内容と案内時刻である。
表1は、視認物体の信頼度を加算する場合を例示した一覧表である。制御部20は、すべての視認物体に対して信頼度として初期値を設定し、表1に記載された条件に適合する視認物体に対して信頼度を加算する。ここで加算する信頼度の大きさは、一定の値であってもよいし、該当する表1の条件(列ごと)ごとに可変の値であってもよいし、視認物体の形状や大きさに応じて可変の値であってもよい。
表1に示すように、制御部20は、視認物体を視認したと予測される時刻(視認可能範囲内に視認物体が存在した時刻)が、音声案内が行われた案内時刻の直後の一定期間内であり、かつ、音声案内された物体または音声案内された物を表す標識や看板が視認物体である場合に、当該視認物体の信頼度を加算する。例えば、図2Aに示すように、走行予定経路R上を走行する際に『交差点Aを右折です』という音声案内が車両(白三角)にてされた場合、制御部20は、視認物体としての交差点Aの名称を示す標識の信頼度を加算してもよい。一定期間とは、予め長さ(例えば15秒)が決められた期間である。
また、制御部20は、視認物体を視認したと予測される時刻が音声案内が行われた案内時刻の直後の一定期間内であり、かつ、視認物体が音声案内された地点の付近に存在する場合に、当該視認物体の信頼度を加算する。例えば、『300m先を右折です』という音声案内がされた場合、300m前方の交差点から基準距離(例えば50m)以内に視認物体が存在するか否かを判定する。そして、制御部20は、視認物体が300m前方の交差点から基準距離以内に存在する場合に、当該視認物体の信頼度を加算する。例えば、図2Bに示すように、案内されている交差点の付近に存在する施設Bの看板が視認物体であり、かつ、当該施設を表すアイコンIがタッチパネルディスプレイ上に表示されている場合に、制御部20は、当該視認物体としての施設Bの看板の信頼度を加算してもよい。
さらに、予測モジュール21bの機能により制御部20は、車両の運転操作と視認物体との関係性に基づいて信頼度を取得する。表1に示すように、制御部20は、視認物体を視認したと予測される時刻が発進時刻の前の一定期間内であり、かつ、視認物体が信号機である場合に、当該視認物体の信頼度を加算する。この場合、制御部20は、信号機における青灯を視認物体として詳細に予測してもよい。また、制御部20は、視認物体を視認したと予測される時刻が停車時刻の前の一定期間内であり、かつ、視認物体が信号機である場合に、当該視認物体の信頼度を加算する。この場合、制御部20は、信号機における黄灯や赤灯を視認物体として詳細に予測してもよい。発進時刻や停車時刻の前の一定期間の長さは、車両の現在地から信号機までの距離が大きいほど大きく設定されてもよい。信号機までの距離が大きいほど、青現示と赤現示を視認してから実際に発進と停車が行われるまでの遅延が大きくなるからである。さらに、制御部20は、視認物体を視認したと予測される時刻が加減速時刻(加速度の絶対値が閾値以上)前の一定期間内であり、かつ、視認物体が制限速度の標識である場合に、当該視認物体の信頼度を加算してもよい。なお、制御部20は、GPS受信部41や車速センサ42やジャイロセンサ43等からの信号に基づいて車両の発進や停車を検知すればよい。むろん、制御部20は、車両のECU(Electronic Control Unit)と通信することにより各種の運転操作が行われたことを検知してもよい。
作成モジュール21cの機能により制御部20は、視認物体の位置から導出した視線と顔状態とを対応付けて記録した学習情報30bを作成する。作成モジュール21cの機能により制御部20は、物体データベース30a1に規定された視認物体の位置を車両座標系において特定し、当該車両座標系において運転者の顔の位置(両目の中央位置)と視認物体の位置とを結ぶ線を視線として特定する。そして、制御部20は、視認物体を視認したと予測される時刻にて取得された車両座標系における運転者の顔の状態と、車両座標系における視線の方向との対応関係を蓄積した学習情報30bを作成する。また、制御部20は、新たに視認物体を視認したと予測した場合、当該視認物体を視認したと予測される時刻にて取得された運転者の顔の状態と、視線の方向との対応関係を追加して学習情報30bを更新する。
作成モジュール21cの機能により制御部20は、視認物体の信頼度に基づいて学習情報30bを作成する。作成モジュール21cの機能により制御部20は、運転者の顔の状態と視線の方向との対応関係に、さらに視認物体の信頼度も対応付けて学習情報30bに記録する。そして、運転者の顔の状態が一致する複数の対応関係が学習情報30bに記録されている場合、制御部20は、視認物体の信頼度に基づいて複数の対応関係を統合する。例えば、制御部20は、運転者の顔の状態が一致する複数の対応関係の視線の方向を、視認物体の信頼度に応じた重みで加重平均することにより、運転者の顔の状態が一致する複数の対応関係を統合してもよい。また、制御部20は、運転者の顔の状態が一致する複数の対応関係の視線の方向のうち、最も視認物体の信頼度が高い視線の方向を選択することにより、運転者の顔の状態が一致する複数の対応関係を統合してもよい。
案内モジュール21dの機能により制御部20は、走行予定経路Rを案内する。具体的に、制御部20は、ダイクストラ法等の公知の経路探索手法で走行予定経路Rを探索し、当該走行予定経路R上に車両を走行させるための案内をユーザI/F部45に行わせる。本実施形態において、制御部20は、少なくとも走行予定経路R上において車両の進行方向が基準角度(例えば30℃)以上変化する交差点を案内する。具体的に、制御部20は、交差点の名称や交差点までの距離をユーザI/F部45のスピーカーにて音声案内させる。
さらに、案内モジュール21dの機能により制御部20は、運転者の視線に基づいて運転者が視認している物体を推定し、当該推定の結果に基づく案内をユーザI/F部45に行わせる。すなわち、制御部20は、現在の運転者の顔の状態を、すでに作成されている学習情報30bにて検索し、当該顔の状態に対応付けられている視線の方向を特定する。そして、制御部20は、車両の現在地と進行方向とに基づいて、現在の運転者の顔の位置(両目の中央位置)と視線の方向とをワールド座標系にて特定し、当該ワールド座標系における顔の位置から視線の方向に延びる直線上に存在する物体を物体データベース30a1にて検索する。さらに、制御部20は、検索された物体を運転者が視認していると推定する。このように運転者が視認している物体が推定できた場合、制御部20は、当該物体の位置を基準に走行予定経路Rを案内する。例えば、図2Bに示すように、運転者が施設Bの看板を視認していると推定した場合、制御部20は、『現在見ている看板を右折です』等の音声案内を行う。
以上説明した本実施形態において、運転時における車両の運転状況に基づいて運転者が視認している視認物体を予測するため、位置が既知の物体を運転者に視認してもらなくても済む。運転者は、車両を運転していればよいため、視線の学習が煩雑とならない。また、運転時に学習を繰り返すことができるため、学習回数を増大させることができ信頼度を向上させることができる。また、制御部20は、地図情報30aと現在地とに基づいて運転者と物体との位置関係を特定でき、当該位置関係に基づいて運転者が視認している視認物体を絞り込むことができる。
さらに、運転者が真に視認物体を視認していることの信頼度に基づいて学習情報30bを作成することにより、学習情報30bの精度を向上させることができる。制御部20は、ナビゲーションシステム10の案内状況と視認物体との関係性に基づいて視認物体の信頼度を取得するため、特定の物体を視認するように促される案内状況となっている場合に、当該特定の物体が視認物体であることの信頼度が高いと推定できる。さらに、制御部20は、車両の運転操作と視認物体との関係性に基づいて視認物体の信頼度を取得するため、運転操作と密接な関係を有する視認物体についての信頼度を高くすることができる。
(2)視線学習処理:
次に、ナビゲーションプログラム21の機能により実行される視線学習処理を説明する。図2Cは視線学習処理のフローチャートである。まず、制御部20は、運転開始を検知する(ステップS100)。具体的に、制御部20は、ACC電源がONとなった場合に運転開始を検知する。厳密には、ACC電源がONとなるのに応じてナビゲーションプログラム21が起動し、ナビゲーションプログラム21の起動が完了した段階で視線学習処理が開始することとなる。
次に、予測モジュール21bの機能により制御部20は、運転者の顔状態と車両の現在地と進行方向を取得する(ステップS110)。運転者の顔状態を取得するタイミングは、運転者が何らかの物体を注視しているタイミングであることが望ましい。例えば、制御部20は、運転者の顔状態が大きく変化していないタイミング(顔状態の変化量が閾値以下のタイミング)において、運転者が何らかの物体を注視していると見なし、タイミング運転者の顔状態と車両の現在地と進行方向を取得してもよい。
次に、予測モジュール21bの機能により制御部20は、車両の現在地と進行方向と運転者の顔の方向とに基づいて、運転者の視認可能範囲を特定する(ステップS120)。すなわち、制御部20は、顔状態センサ44が検出した車両座標系における運転者の顔の位置と顔の方向とを、車両の現在地と進行方向とに基づいてワールド座標系の位置と方向に変換し、ワールド座標系における運転者の顔の位置と顔の方向とに基づいて運転者の視認可能範囲を特定する。例えば、視認可能範囲は、運転者の顔の位置から一定の距離以内、かつ、運転者の顔の方向からのずれ角が閾値以下の円錐状の範囲であってもよい。
次に、予測モジュール21bの機能により制御部20は、物体データベース30a1に規定された物体のうち視認可能範囲内の物体を視認物体として予測する(ステップS130)。物体データベース30a1に規定された物体が視認可能範囲内に複数存在する場合、制御部20は、これらの物体のなかから最も車両の現在地に近い物体を視認物体として選択してもよいし、顔の方向からのずれ角が最も小さい位置に存在する物体を視認物体として選択してもよい。
次に、予測モジュール21bの機能により制御部20は、真に視認物体を視認していることの信頼度(視認物体の信頼度)を取得する(ステップS140)。表1に示すように、制御部20は、案内モジュール21dにおける案内状況と視認物体との関係性や運転操作と視認物体との関係性に基づいて視認物体の信頼度を取得する。
次に、作成モジュール21cの機能により制御部20は、視認物体の信頼度に基づいて学習情報30bを更新する(ステップS150)。すなわち、制御部20は、物体データベース30a1に規定された視認物体の位置を車両座標系において特定し、当該車両座標系において運転者の顔の位置と視認物体の位置とを結ぶ線を視線として特定する。そして、制御部20は、視認物体を視認した際の運転者の顔の状態と、車両座標系における視線の方向と、視認物体の信頼度との対応関係を学習情報30bに追加記録する。
ここで、運転者の顔の状態が一致する対応関係が学習情報30bにすでに記録されている場合、制御部20は、視認物体の信頼度に基づいて運転者の顔の状態が一致する既存の対応関係と、今回得られた対応関係とを統合して更新記録する。例えば、制御部20は、運転者の顔の状態が一致する既存の対応関係の視線の方向と、新たに得られた対応関係の視線の方向とを、視認物体の信頼度に応じた重みで加重平均した方向で、当該顔の状態に対応する視線の方向を更新記録する。また、制御部20は、運転者の顔の状態が一致する既存の対応関係の視認物体の信頼度と、新たに得られた対応関係の視認物体の信頼度との平均値で、当該顔の状態に対応する視認物体の信頼度を更新記録する。
そして、制御部20は、運転終了となったか否かを判定する(ステップS160)。具体的に、制御部20は、ACC電源がOFFとなった場合に運転終了となったと判定する。運転終了となったと判定しなかった場合(ステップS160:N)、制御部20はステップS100に戻る。すなわち、制御部20は、車両の運転時において、運転者の顔の状態と視線の方向と視認物体の信頼度とを追加記録する処理を繰り返して実行する。運転終了となったと判定した場合(ステップS160:Y)、制御部20は視線学習処理を終了する。以上説明した視線学習処理を車両の運転時において行うことにより、学習回数を多くし学習情報30bの統計信頼度を向上させることができる。さらに、視認物体の信頼度が高い視線の方向を重み付けて学習するため、学習情報30bの統計信頼度を向上させることができる。
(3)他の実施形態:
前記実施形態においては、予めステップS130にて視認物体を1個に絞り込んだが、必ずしも視認物体を1個に絞り込まなくてもよい。すなわち、制御部20は、ステップS130にて複数の視認物体を予測しておき、ステップS140にて当該複数の視認物体のうち最も信頼度が高い視認物体に絞り込んでもよい。
また、制御部20は、必ずしも地図情報30aと、車両の現在地とに基づいて視認物体を予測しなくてもよい。例えば、制御部20は、表1に例示された視認物体の位置や形状を地図情報30aから取得するのではなく、車両の前方風景を撮像した画像の画像認識に基づいて取得してもよい。画像認識に基づいて視認物体を予測する場合、地図情報30aに定義不能な動的な物体も視認物体として予測可能となる。
表2に示すように、制御部20は、動的な物体として前方車両のブレーキランプを視認物体として予測してもよい。ブレーキランプを視認物体として予測した場合において、制御部20は、運転操作としての発進や停車や減速が行われていれば視認物体の信頼度を加算してもよい。運転者は、前方車両のブレーキランプの消灯を視認してから発進を行う可能性が大きいし、前方車両のブレーキランプの点灯を視認してから停車や減速を行う可能性が大きいからである。また、制御部20は、急減速時における車両の前方の歩行者や自転車が視認物体である場合に、当該視認物体の信頼度を加算してもよい。
さらに、制御部20は、画像認識に基づいて動的な外部環境変化を検知してもよい。表2に示すように、制御部20は、外部環境変化として信号変化を検知し、信号変化時刻前後の一定期間内における視認物体が信号機であれば、当該視認物体の信頼度を加算してもよい。
また、視認物体は車両外部の物体に限られず、視認物体は車両が備える物体であってもよい。表2に示すように、制御部20は、車両に対する操作の受付時における操作部が視認物体である場合に、当該視認物体の信頼度を加算してもよい。操作部とは、例えば車両の操作パネルに備えられたスイッチやダイヤル等であってもよい。また、表2に示すように、制御部20は、車両が後退する後退期間におけるルームミラーやサイドミラーやタッチパネルディスプレイ(バックモニター)が視認物体である場合に、当該視認物体の信頼度を加算してもよい。さらに、表2に示すように、制御部20は、レーン変更時刻前の一定期間内におけるルームミラーやサイドミラーが視認物体である場合に、当該視認物体の信頼度を加算してもよい。また、表2に示すように、制御部20は、加減速時刻前後の一定期間内における速度計が視認物体である場合に、当該視認物体の信頼度を加算してもよい。
さらに、予測モジュール21bの機能により制御部20は、顔状態に基づいて信頼度を取得してもよい。具体的に、制御部20は、顔状態の単位時間当たりの変化量が小さいほど、視認物体の信頼度を高くしてもよい。顔状態の単位時間当たりの変化量が小さいほど、1個の物体を注視している可能性が大きくなるからである。このように、顔状態に基づいて信頼度を設定することにより、視認物体を注視している可能性が大きいほど高い信頼度を設定できる。
また、本発明においては、運転時の運転状況に基づいて視認物体を予測して運転者の視線を学習すればよく、必ずしも制御部20は、視認物体の信頼度に基づいて運転者の視線を学習しなくてもよい。また、制御部20は、必ずしもナビゲーションシステム10の案内状況と視認物体との関係性に基づいて信頼度を取得しなくてもよい。すなわち、本発明において、走行予定経路Rの案内は必須とならない。また、本発明は、視線を学習するシステムであればよく、視線を学習した結果を利用して行う案内も必須とならない。さらに、制御部20は、必ずしも運転操作と視認物体との関係性に基づいて信頼度を取得しなくてもよい。
運転時とは、運転者が車両に最初の操作を行ってから最後の操作を行うまでの期間であってもよいし、車両が公道を走行している期間であってもよい。運転状況とは、運転時に変化する状況であり、車両内部の状況であってもよいし、車両外部の状況であってもよい。運転時においては、運転状況が変化することとなるため、当該変化が生じた時刻ごとに運転者が視認する視認物体が変化することとなる。従って、予測部は、運転状況の変化が生じた時刻ごとに視認物体を予測してもよい。視認物体とは、車両内部の物体であってもよいし、車両外部の物体であってもよい。また、視認物体は位置が既知の物体であればよく、視認物体の位置に基づいて視線が導出可能であればよい。
顔状態とは、顔全体の位置や方向を含み、瞳孔や瞼の状態を含んでもよい。また、顔状態とは単一時刻における状態のみならず、顔の状態の経時変化(瞬き等)を含んでもよい。顔状態は、カメラや距離センサ等の検出結果に基づいて取得されたものであってもよい。作成部は、学習情報を新たに作成してもよいし、運転時に新たに取得した視線と顔状態との対応関係に基づいて既存の学習情報を更新してもよい。運転時に視線と顔状態との対応関係を蓄積できるため、信頼度が向上するように学習情報を更新していくことができる。学習情報が作成できれば、当該学習情報を参照することにより、顔状態に基づいて視線を導出することができる。導出した視線は、運転者に提供する各種案内や注意喚起に用いることができる。学習情報とは、顔状態と視線との対応関係を規定したテーブルであってもよいし、顔状態から視線を導出可能なテーブルや変換関数であってもよい。視線とは、少なくとも運転者が視認している方向を含み、運転者が視認している物体の距離(焦点距離)を含んでもよい。
ここで、予測部は、地図情報と、車両の現在地とに基づいて視認物体を予測してもよい。この構成において、地図情報と現在地とに基づいて運転者と物体との位置関係を特定でき、当該位置関係に基づいて運転者が視認している視認物体を絞り込むことができる。なお、顔の状態に基づいて運転者が視認している視認物体を絞り込んでもよい。例えば、予測部は、顔の正面の方向からのずれ角が閾値以内の方向に存在する物体に視認物体を絞り込んでもよい。
さらに、予測部は、運転者が視認物体を視認していることの信頼度を取得し、作成部は、信頼度に基づいて学習情報を作成してもよい。運転者が真に視認物体を視認していることの信頼度に基づいて学習情報を作成することにより、学習情報の精度を向上させることができる。例えば、信頼度が基準値以下の視認物体から導出された視線は学習情報の作成において考慮しないようにしてもよいし、信頼度が高い視認物体から導出された視線ほど重視するように学習情報が作成されてもよい。
予測部は、ナビゲーションシステムの案内状況と視認物体との関係性に基づいて信頼度を取得してもよい。ナビゲーションシステムの案内状況が、特定の物体を視認するように促される状況となっている場合に、当該特定の物体が視認物体であることの信頼度が高いと推定できる。例えば、ナビゲーションシステムが視認物体や当該視認物体の周辺についての案内や注意喚起をしている際には、当該視認物体を視認していることの信頼度が高いと推定できる。
さらに、予測部は、車両の運転操作と視認物体との関係性に基づいて信頼度を取得してもよい。特定の物体を視認することと特定の運転操作とが密接な関係にあり、当該特定の運転操作が行われている場合には当該特定の物体が視認物体であることの信頼度が高いと推定できる。ある視認物体を視認したことが原因で行われる運転操作は、当該視認物体と密接な関係にあると言える。反対に、ある運転操作を行っている最中や行った後に視認すべき視認物体は、当該運転操作と密接な関係にあると言える。むろん、運転者が手を触れて運転操作を行うスイッチ等の視認物体は、当該運転操作と密接な関係にあると言える。ここで、運転操作とは、運転時に検出される運転者の行動であればよく、必ずしも車両の運動状態に影響を与える操作に限らない。
さらに、予測部は、顔状態に基づいて信頼度を取得してもよい。何らかの視認物体を注視している可能性は顔状態に基づいて予測できる。従って、顔状態に基づいて信頼度を設定することにより、視認物体を注視している可能性が大きいほど高い信頼度を設定できる。
さらに、本発明のように、運転時の運転状況に基づいて視認物体を予測して運転者の視線を学習する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステム、視線学習システムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。