JP6435931B2 - 情報表示装置 - Google Patents

Description

本発明は、車両走行時の風景を地図に対応させて表示する情報表示装置に関する。

車両の走行時に、ナビゲーション装置が提供する地図に対応付けられたランドマークの画像を画面に表示し、車両周辺の風景との参照対比ができるようにすることで車両の道案内に資するようにした技術がある。特許文献１には、走行ルートに現れる地物の画像データを保持しておき、当該地物の画像データが変更されたと判定される場合に、ユーザに地物の変更内容を通知する地図情報変更通知装置が開示されている。これにより、以前ユーザが通ったルートと同一のルートにおいて風景が変わっていても、ユーザが風景の変化に不安を感じることを回避しようとするものである。また、特許文献１では、ユーザの操作により、変更された地物の画像データに代えて、以前の地物の画像データを画面に表示することが可能とされている。

特開２００９−１５２０５号公報

上記従来のナビゲーション装置によれば、ランドマークの変更に気付いた運転者にとって、暫くの間は以前のランドマークの画像が表示されることで走行の迷いが軽減され得る。しかしながら、運転者がランドマークの変更に慣れてしまうと、以前のランドマークの画像表示は運転者にとって却って煩わしいことがある。

本発明は、上記課題に鑑み、ランドマークに変化があった場合に、以前のランドマークの画像表示を運転者にとっての必要度に応じて実行する情報表示装置を提供するものである。

第１の発明は、車両に備えられる情報表示装置であって、車両位置を取得する測位部と、画像を表示する表示部と、地図上のランドマークの画像更新履歴を格納したランドマーク履歴記憶部と、前記表示部に、前記測位部が取得した車両位置に対応する風景画像に、前記画像更新履歴に含まれる過去のランドマークの画像を重畳表示させることが可能な表示制御部と、前記重畳表示に対する運転者の視線追跡結果に基づいて運転者がランドマークの更新を認識済であるか否かを判定する判定部と、前記判定部による判定結果を格納した認識結果記憶部とを備え、前記判定部が前記画像更新履歴に基づいて前記車両位置に対応する前記ランドマークの画像が更新されたことを検出した場合、前記表示制御部は、前記ランドマークについての前記判定結果を前記認識結果記憶部から取得し、取得した前記判定結果が認識済でないことを示す場合には、前記表示部に、前記車両位置に対応するランドマークの更新前の画像を前記風景画像に重畳表示させ、取得した前記判定結果が認識済であることを示す場合には、前記表示部に、前記車両位置に対応するランドマークの更新前の画像を前記風景画像に重畳表示させずに前記風景画像を表示させる。

第１の発明によれば、視線追跡結果に基づいて運転者がランドマークの更新を認識済であることの判定がなされる。ランドマークの更新を認識済であるか否かの判定結果は、認識結果記憶部に格納される。ランドマークの更新があると、認識結果記憶部に認識済であるとの判定結果が格納されていれば重畳表示は行われず、認識済でないとの判定結果が格納されていれば重畳表示が行われる。このように、本情報表示装置によれば、重畳表示の有無を運転者にとっての必要度に応じて切り換えることが可能であり、無意味に以前のランドマークが表示される煩わしさを解消することができる。

本発明によれば、ランドマークに変化があった場合に、以前のランドマークの画像表示を運転者にとっての必要度に応じて実行する情報表示装置を提供することができる。

本発明の実施形態に係る情報表示装置の構成を示すブロック図 本発明の実施形態に係る情報表示装置による表示を説明する図であって、（ａ）は現在の風景の表示、（ｂ）は拡張現実表示 本発明の実施形態に係る情報表示装置により拡張現実表示を行うか否かを判定する処理を説明するフローチャート 本発明の実施形態に係る情報表示装置によりランドマークの更新を認識済であるか否かを判定する処理を説明するフローチャート 本発明の実施形態に係る情報表示装置の変形例を説明する図

以下、図１〜図５を参照しながら、実施の形態について詳細に説明する。
[概要]
本実施形態の情報表示装置は、車両位置に対応する風景画像に過去に存在したランドマークの画像を重畳表示することが可能な構成において、重畳表示を行うか行わないかを決定する構成をさらに備えたものである。当該決定は、運転者の重畳表示に対する視線追跡結果に基づいてなされた、ランドマークの更新を認識済であることの判定結果に従う。認識済であれば重畳表示は行われず、認識済でなければ重畳表示が行われる。これにより、重畳表示の有無を運転者にとっての必要度に応じて切り換えることが可能であり、無意味に以前のランドマークが表示される煩わしさを解消することができる。

[情報表示装置の構成]
図１に、本実施形態に係る情報表示装置１の構成を示す。情報表示装置１は、車両に備えられ、例えばカーナビゲーション装置で構成される。情報表示装置１は、測位部１ａ、表示部１ｂ、表示制御部１ｃ、判定部１ｄ、地図履歴データベース（ランドマーク履歴記憶部）ＤＢ１、走行履歴データベースＤＢ２、視線追跡結果データベースＤＢ３、および、認識結果データベース（認識結果記憶部）ＤＢ４を有している。

測位部１ａは、ＧＰＳなどの測位センサ２１から測位信号Ａを受信し、現在の車両位置を算出する。算出された車両位置の情報は判定部１ｄへ供給される。

表示部１ｂは、表示制御部１ｃから供給される画像データによる画像を表示する。画像データとして、地図上の車両位置を表示する画像データ、および、車両位置に対応する風景画像データなどがある。風景画像データには、例えば、走行中に撮像装置によって取得した映像データ、または、予め地図に対応して作成されて保存された映像データまたはグラフィックスデータが使用される。

表示制御部１ｃは、表示部１ｂに上述の画像データによる画像表示を行わせる。また、表示制御部１ｃは、表示部１ｂによる風景画像に画像を重畳表示する拡張現実（ＡＲ：Augmented Reality）表示を行わせることが可能である。重畳表示される画像は、後述するように、表示される風景中に過去に存在したランドマークの画像である。表示制御部１ｃは、拡張現実表示を行うか否かを認識結果データベースＤＢ４（後述）に格納された情報を参照して決定する。

判定部１ｄは、ランドマークが更新されたことの検出行うとともに、運転者がランドマークが更新されたことを認識済であるか否かを判定する。また、判定部１ｄは、認識済であるか否かの判定結果を認識結果データベースＤＢ４（後述）に保存する。

地図履歴データベースＤＢ１は、地図データ、風景画像データ、および、地図上のランドマークの画像更新履歴を格納している。当該地図データと風景画像データと画像更新履歴とは互いに関連付けられており、ともに更新されるデータである。地図履歴データベースＤＢ１に格納された各種データは、判定部１ｄにより読み出されて表示制御部１ｃに供給される。

ランドマークは、例えば建造物、公園、名勝自然物などからなる。ランドマークの情報は、運転者に走行ルートの案内をするための目印として、当該ランドマークの画像データとともに登録されている。ランドマークは、他の物件に変化したり消失したりすることにより更新され得る。更新されるランドマークの画像の変遷を知ることができるよう、ランドマークの画像更新履歴には、過去から現在までの当該画像データが、ランドマークの地点ごとに蓄積されている。

走行履歴データベースＤＢ２は、走行日時、走行ルート、および、目印にしたランドマークの情報などを含む走行履歴を格納している。走行履歴データベースＤＢ２に格納されたデータは、判定部１ｄによる判定に用いられる。地図履歴データベースＤＢ１においてランドマークの画像データが更新されると、判定部１ｄによって現在のランドマークの画像データが走行履歴データベースＤＢ２における今回の走行データと関連付けられる。

視線追跡結果データベースＤＢ３は、運転者が表示部１ｂによる拡張現実表示をどのように目視したかの検出結果である視線追跡結果Ｂを格納している。視線追跡結果Ｂは、車両に設けられた視線追跡装置２２によって取得される。視線追跡結果データベースＤＢ３に格納されたデータは、判定部１ｄによる判定に用いられる。

認識結果データベースＤＢ４は、判定部１ｄによる、運転者がランドマークの更新を認識済であるか否かの判定結果を格納している。認識結果データベースＤＢ４に格納された判定結果は、以後の走行において、表示制御部１ｃによる拡張現実表示を行うか否かの決定に用いられる。

なお、ここでは、上記各データベースは情報表示装置１に設けられた記憶媒体に格納されるように構成されている。当該記憶媒体は、例えばクラウドなどの車両以外に設けられた記憶媒体から情報処理装置１にダウンロードされた上記各データベースを一時的に記憶するものでもよい。

[情報表示装置による処理の詳細]
次に、上記構成の情報処理装置１が行う処理を説明する。

判定部１ｄは、車両走行ごとに地図履歴データベースＤＢ１の画像更新履歴を参照して、最新の風景画像データに対応したランドマークの画像データが、前回走行時における風景画像データに対応したランドマークの画像データから更新されているか否かの検出を行う。当該検出は、例えば画像データで表された両ランドマークの画像を比較解析することにより行う。判定部１ｄは、比較された両画像に相違が認められなければランドマークが更新されなかったと判定し、比較された両画像に相違が認められれば、ランドマークが更新されたと判定する。

表示制御部１ｃは、こうして判定部１ｄが前回走行時から更新されたランドマークがあることを検出した場合に、当該検出結果を判定部１ｄから受け取り、表示部１ｂに拡張現実表示を行わせる。このとき、表示制御部１ｃは、当該ランドマークの地点における画像更新履歴から、拡張現実表示されることなく風景画像中に表示された最後の走行時におけるランドマークの画像データを抽出して表示部１ｂに供給する。これにより、表示部１ｂは当該画像データを用いた拡張現実表示を行う。表示部１ｂでなされる拡張現実表示を、図２を用いて説明する。以下では、拡張現実表示されることなく風景画像中にランドマークが表示された、過去の最後の走行を、前回走行であると仮定する。

図２（ａ）に、現在の風景画像を表示している例を示す。表示されている風景には、前回走行時にランドマークとしての店舗が存在していた地点Ｐが含まれている。当該店舗は現在では消失している。判定部１ｄは、地図履歴データベースＤＢ１の画像データの更新履歴を参照し、地点Ｐについての今回走行時における画像と前回走行時における画像とを比較解析することにより、ランドマークが更新されたと判定する。そして、表示制御部１ｃは、地図履歴データベースＤＢ１に格納されていた当該店舗の画像データを表示部１ｂに供給する。これにより、図２（ｂ）に示すように、表示部１ｂは、供給された店舗の画像Ｓを、現在の風景画像において地点Ｐに割り当てられている領域（破線で囲んで示す）に重畳表示する。

また、こうしてランドマークの更新に伴う拡張現実表示がなされた後に、判定部１ｄは、視線追跡結果データベースＤＢ３に格納されている視線追跡結果Ｂから、表示部１ｂが拡張現実表示を行った前回走行において運転者がどの程度の時間だけ拡張現実表示を見たかの情報を取得する。運転者が拡張現実表示を見た時間が長いほど、それだけ運転者がランドマークの更新された風景に不慣れであるとみなせる。

判定部１ｄは、視線追跡結果Ｂから、運転者が拡張現実表示を見た時間が所定時間未満であることを取得すると、運転者はランドマークの更新を認識済であると判定する。なお、運転者が当該拡張現実表示を見なかったことは、運転者が画面を見た時間が所定時間よりも短いことに含められる。一方、判定部１ｄは、運転者が拡張現実表示を見た時間が所定時間以上であることを取得すると、運転者はランドマークの更新を認識済でないと判定する。判定部１ｄは、当該判定結果を認識結果データベースＤＢ４に書き込む。認識結果データベースＤＢ４の格納情報は、当該書き込まれた判定結果により更新される。

当該ランドマークの地点を含む風景中を次に走行するときに、表示制御部１ｃは、認識結果データベースＤＢ４に格納されている判定部１ｄによる判定結果を取得する。表示制御部１ｃは、認識結果データベースＤＢ４から認識済であることを示す判定結果を取得した場合には、表示部１ｂに拡張現実表示を行わせずに重畳表示のない風景画像を表示させる。一方、表示制御部１ｃは、認識結果データベースＤＢ４から認識済でないことを示す判定結果を取得した場合には、表示部１ｂに拡張現実表示を行わせる。

しかし、当該ランドマークを含む風景中の走行が次に長期間経過した後に行われると、前回走行でたとえ運転者がランドマークの更新を認識できたとしても、現在のランドマークの記憶が定着していない虞がある。そこで、判定部１ｄは、このような期間経過を考慮する場合に、当該ランドマークを含む風景中の走行が前回の当該風景中の走行から所定期間が経過した後に行われる場合には、一律に認識済でないと判定してもよい。当該判定結果に従って、認識結果データベースＤＢ４の格納情報は更新される。この場合に、その後、拡張現実表示がなされた走行から所定期間が経過しないうちに行われる当該風景中の走行において、前述のように前回の視線追跡結果を用いた判定を行えばよい。

また、一旦、運転者がランドマークの更新を認識済であるとの判定がなされても、その後の走行において、運転者の記憶が曖昧になることにより、更新されたランドマークの地点の景観に当惑して道を誤る可能性がある。この場合には、認識結果データベースＤＢ４に認識済であることの情報を格納した意義が希薄になる。したがって、判定部１ｄは、前回の走行から上記所定期間が経過しない間に更新されたランドマークの地点を風景に含む走行ルートで走行がなされる場合において、当該地点を含む風景中で当該走行ルートからの逸脱走行がなされると、再び認識済でないという判定をしてもよい。当該判定結果に従って、認識結果データベースＤＢ４の格納情報は更新される。そして、例えば、以後の各走行では、当該地点を含む風景中で常に拡張現実表示をさせるようにする。

次に、図３に、情報処理装置１が拡張現実表示を行うか否かの決定を行う処理を説明するフローチャートを示す。当該フローは、情報処理装置１に備えられたプロセッサがメモリからプログラムを読み出して実行することにより実現可能である。

ステップＳ１０１では、判定部１ｄは、地図履歴データベースＤＢ１を参照し、表示する風景にランドマークが含まれているか否かを判定する。ここでは簡単化のために、一風景中に含まれるランドマークは１つまでとする。ステップＳ１０１でランドマークが含まれていればステップＳ１０２に進み、ステップＳ１０１でランドマークが含まれていなければステップＳ１０６に進む。

ステップＳ１０２では、判定部１ｄは、地図履歴データベースＤＢ１を参照し、今回の走行においてランドマークの画像が更新されているか否かを判定する。ステップＳ１０２でランドマークの画像が更新されていなければステップＳ１０３へ進み、ステップＳ１０２でランドマークの画像が更新されていればステップＳ１０５へ進む。

ステップＳ１０３では、判定部１ｄは、地図履歴データベースＤＢ１および走行履歴データベースＤＢ２を参照して、ランドマークの画像が更新された履歴があるか否かを判定する。ステップＳ１０３でランドマークの画像が更新された履歴があればステップＳ１０４へ進み、ステップＳ１０３でランドマークの画像が更新された履歴がなければステップＳ１０６へ進む。

ステップＳ１０４では、表示制御部１ｃは、認識結果データベースＤＢ４を参照して、ランドマークが過去に更新されたことを認識済であるか否かの判定結果を取得する。ステップＳ１０４でランドマークが過去に更新されたことを認識済でなければステップＳ１０５へ進み、ステップＳ１０４でランドマークが過去に更新されたことを認識済であればステップＳ１０６へ進む。

ステップＳ１０５では、表示制御部１ｃは、今回の走行で表示部１ｂに拡張現実表示を行わせる。ステップＳ１０６では、表示制御部１ｃは、今回の走行で表示部１ｂに拡張現実表示を行わせない。拡張現実表示を行わない場合は、現在の風景画像のみを表示する。

次に、図４に、判定部１ｄが、今回の走行をするにあたり、運転者がランドマークの更新を認識済であるとするか否かの判定を行う処理を説明するフローチャートを示す。当該フローは、情報処理装置１に備えられたプロセッサがメモリからプログラムを読み出して実行することにより実現可能である。なお、当該フローは、ランドマークが更新され、拡張現実表示が過去に行われた状況から開始されることを前提としている。

ステップＳ２０１では、判定部１ｄは、走行履歴データベースＤＢ２を参照して、今回の走行が前回の走行から所定期間以上経過したものであるか否かを判定する。ステップＳ２０１で今回の走行が前回の走行から所定期間以上経過したものでなければステップＳ２０２へ進み、ステップＳ２０１で今回の走行が前回の走行から所定期間以上経過したものであればステップＳ２０６へ進む。

ステップＳ２０２では、判定部１ｄは、走行履歴データベースＤＢ２および認識結果データベースＤＢ４を参照して、運転者がランドマークの更新を認識済であると判定されたことがあるか否かを判定する。ステップＳ２０２で認識済であると判定されたことがないのであればステップＳ２０３へ進み、ステップＳ２０２で認識済であると判定されたことがあるのであればステップＳ２０４へ進む。

ステップＳ２０３では、判定部１ｄは、視線追跡結果データベースＤＢ３を参照し、視線追跡結果Ｂから、運転者が前回走行において拡張現実表示を所定時間以上見たか否かを判定する。ステップＳ２０３で運転者が前回走行において拡張現実表示を所定時間以上見なかったならばステップＳ２０５へ進み、ステップＳ２０３で運転者が前回走行において拡張現実表示を所定時間以上見たならばステップＳ２０６へ進む。

ステップＳ２０４では、判定部１ｄは、走行履歴データベースＤＢ２および認識結果データベースＤＢ４を参照し、運転者がランドマークの更新を認識済であるとされた状態の走行で道を誤った（当該ランドマークを含む風景中を走行ルートから逸脱走行した）ことがあるか否かを判定する。ステップＳ２０４で運転者が認識済であるとされた状態の走行で道を誤ったことがなければステップＳ２０５へ進み、ステップＳ２０４で運転者が認識済であるとされた状態の走行で道を誤ったことがあればステップＳ２０６へ進む。

ステップＳ２０５では、判定部１ｄは、今回の走行をするにあたり、運転者がランドマークの更新を認識済であると判定する。当該認識済であることを示す判定結果は認識結果データベースＤＢ４に書き込まれる。ステップＳ２０６では、判定部１ｄは、今回の走行をするにあたり、運転者がランドマークの更新を認識済でないと判定する。当該認識済でないことを示す判定結果は認識結果データベースＤＢ４に書き込まれる。

[変形例]
図５に、情報表示装置１の変形例の構成による拡張現実表示を示す。当該拡張現実表示においては、前回走行時のランドマークである店舗の画像Ｓが、ランドマークが更新された地点Ｐの現在の画像に並ぶようにして、風景画像に重畳表示されている。この表示において、運転者の視線追跡を行う場合に、運転者の視線が、地点Ｐに向いたか、あるいは、画像Ｓに向いたかの結果を、図１で示した視線追跡結果Ｂとする。判定部１ｄは、運転者の視線が地点Ｐに向いていたならば運転者はランドマークの更新を認識済であると判定する。また、判定部１ｄは、運転者の視線が画像Ｓに向いていたならば運転者はランドマークの更新を認識済でないと判定する。
［実施の形態の効果等］
本実施形態によれば、視線追跡結果Ｂに基づいて運転者がランドマークの更新を認識済であることの判定がなされる。ランドマークの更新を認識済であるか否かの判定結果は、認識結果データベースＤＢ４に格納される。ランドマークの更新があると、認識結果データベースＤＢ４に認識済であることの判定結果が格納されていれば重畳表示は行われず、認識済でないことの判定結果が格納されていれば重畳表示が行われる。このように、情報表示装置１によれば、重畳表示の有無を運転者にとっての必要度に応じて切り換えることが可能であり、無意味に以前のランドマークが表示される煩わしさを解消することができる。

本発明は、カーナビゲーション装置などの車両搭載装置に適用可能である。

１ 情報表示装置
１ａ 測位部
１ｂ 表示部
１ｃ 表示制御部
１ｄ 判定部
２１ 測位センサ
２２ 視線追跡装置
ＤＢ１ 地図履歴データベース
ＤＢ２ 走行履歴データベース
ＤＢ３ 視線追跡結果データベース
ＤＢ４ 認識結果データベース
Ａ 測位信号
Ｂ 視線追跡結果
Ｐ 地点
Ｓ 画像

Claims (1)

1. 車両に備えられる情報表示装置であって、
   車両位置を取得する測位部と、
   画像を表示する表示部と、
   地図上のランドマークの画像更新履歴を格納したランドマーク履歴記憶部と、
   前記表示部に、前記測位部が取得した車両位置に対応する風景画像に、前記画像更新履
   歴に含まれる過去のランドマークの画像を重畳表示させることが可能な表示制御部と、
   前記重畳表示に対する運転者の視線追跡結果に基づいて運転者がランドマークの更新を
   認識済であるか否かを判定する判定部と、
   前記判定部による判定結果を格納した認識結果記憶部とを備え、
   前記判定部が前記画像更新履歴に基づいて前記車両位置に対応する前記ランドマークの
   画像が更新されたことを検出した場合、前記表示制御部は、前回走行時に記憶された前記ランドマークについての前記判定結果を前記認識結果記憶部から取得し、
   取得した前記判定結果が、運転者が前回走行時においてランドマークの更新を認識済でないことを示す場合には、前記表示部に、前記車両位置に対応するランドマークの更新前の画像を今回走行時の前記風景画像に重畳表示させ、
   取得した前記判定結果が、運転者が前回走行時においてランドマークの更新を認識済であることを示す場合には、前記表示部に、前記車両位置に対応するランドマークの更新前の画像を今回走行時の前記風景画像に重畳表示させずに前記風景画像を表示させる、
   ことを特徴とする情報表示装置。

Images