JP4737523B2 - 車載ナビゲーション装置 - Google Patents

Description

この発明は、車両前方の風景画像の上に案内情報を表示する車載ナビゲーション装置に関する。

従来、車載カメラで撮影した車両前方の風景画像を車載ディスプレイに表示するとともに、その風景画像の上に、別途作成された案内のための矢印を重畳して表示することにより運転者を誘導する車載ナビゲーション装置が知られている。例えば、特許文献１は、車載カメラで撮影した車両前方の交差点を含む風景画像の上に、運転者が進むべき交差点での進路を示す矢印図形を重畳表示して案内を行う車載用ナビゲーション装置の走行案内画像表示方法を開示している。

また、特許文献２は、車載カメラで撮影した車両前方の風景画像上に、運転者の進路を示す矢印図形を重畳表示して運転者に案内を行う際に、車載カメラの撮影方向を、車線変更時やカーブ走行時に、車両の進行方向ではなく、道路形状に沿った方向に向けることにより、望ましい前方映像を取得する車両用前方画像撮影装置および車両用案内表示装置を開示している。

さらに、特許文献３は、車載カメラで撮影した車両前方の風景画像上に、運転者の進路を示す矢印図形を重畳表示して運転者に案内を行う際に、複数の車載カメラを装備することにより、前方車両により前方風景が遮られる場合に、利用する車載カメラを切り替えて、望ましい前方映像を取得する車両用走行案内装置を開示している。

特開平７−６３５７２号公報 特開平１０−２８７１７７号公報 特開平１１−０２３３０５号公報

ところで、カメラで撮影した車両前方の風景画像上の対応する位置に、運転者に対する様々な誘導のための情報を重ねて表示する場合は、重ね合わせることに関して次のような問題がある。

自車の振動、右左折などの転回、路面の凹凸などによる自車の動揺に起因して、カメラで撮影した風景画像にブレがある場合、他の走行車両が風景画像に映り込むことにより案内したい対象が隠蔽されてしまう場合、降雨や降雪、夜間、逆光などにより案内対象が明確に撮影されていない場合などといった、案内情報を重ね合わせる背景画像として不適切な場合がある。このような風景画像を「不適切な画像」という。

また、車載ナビゲーション装置に内蔵された自車位置検出部によって計算される自車の位置および姿勢の正確さの度合い、および／または、カメラ位置姿勢計測部によって計測されるカメラの位置および姿勢の正確さの度合いにより、風景画像上に重ね合わされる誘導や案内のための情報が、本来重ね合わされる位置からずれてしまう場合がある。これを「不適切な位置姿勢」という。

さらに、運転者に提供する誘導や案内などの情報の種類によって、最適な背景としての風景画像の構図が考えられるが、取得した風景画像がその構図を満たしていない場合がある。これを「不適切な構図」という。運転者に対しては、常に、上述した不適切な画像、不適切な位置姿勢および不適切な構図をできるだけ回避した質の高い情報の提供が要求される。

従来の車載ナビゲーション装置にあっては、取得した風景画像において、交差点など重畳表示の対象が他車の存在や自車の進行方向の影響で隠蔽されていたり撮影されない場合や、撮影されても重畳表示の対象が画像の周辺部になる等、運転者の案内のために不適切な風景画像を撮影することを回避するため、上述した特許文献２および特許文献３に示されるように、カメラの撮影方向を制御する制御装置を設けたり、複数台のカメラを設けることが行われている。

しかしながら、これらの方法は、カメラの制御装置や複数のカメラを設置する必要があるので費用がかかる一方、逆光下や降雪時や降雨時の撮影といった気象条件によって不適切な風景画像しか撮影できない状況に関しては効果がきわめて限定的である。

この発明は、上述した諸問題を解消するためになされたものであり、運転者に対して質の高い案内情報を提供できる車載ナビゲーション装置を提供することを目的とする。

この発明に係る車載ナビゲーション装置は、前方の風景画像にコンテンツ情報を重畳して表示部に表示することにより案内を行う車載ナビゲーション装置において、前方の風景をカメラで撮影した風景画像を取得する映像取得部と、映像取得部で取得された風景画像から背景画像として好適な風景画像を選別し、該選別された風景画像と背景画像として好適であるかどうかの判断に使用した情報とを含む風景情報を出力する風景情報フィルタ部と、風景情報フィルタ部から出力される風景情報を蓄積する風景情報蓄積部と、風景情報蓄積部に蓄積されている風景情報から、風景情報に含まれる背景画像として好適であるかどうかの判断に使用した情報に基づき、コンテンツ情報を重畳させるのに最適な風景情報を選択する最適風景情報選択部と、最適風景情報選択部で選択された風景情報に含まれる風景画像とコンテンツ情報とを合成して案内情報として表示部に表示させるコンテンツ合成部とを備えている。

この発明によれば、ユーザに提示すべきコンテンツ情報を重畳するのに相応しい背景画像を、自らが過去に走行したことによって蓄積された風景画像の中から、精度の高いコンテンツの重ね合わせが可能な風景画像や情報提供のための望ましい構図を有する風景画像といった適切な風景画像を選択できるので、運転者へ提供する案内情報の品質を高めることができる。

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る車載ナビゲーション装置の構成を示すブロック図である。この車載ナビゲーション装置は、ナビゲーション制御部１、自車位置検出部２、地図データベース３、入力操作部４、カメラ５、映像取得部６、カメラ位置姿勢計測部７、風景情報フィルタ部８、風景情報蓄積部９、最適風景情報選択部１０、コンテンツ合成部１１および表示部１２から構成されている。

ナビゲーション制御部１は、車載ナビゲーション装置の全体を制御する。例えば、ナビゲーション制御部１は、自車位置検出部２から取得した自車の現在位置から、入力操作部４から入力された目的地までの誘導経路を、地図データベース３を参照して計算する経路計算や、この計算によって得られた誘導経路に沿った案内情報の生成といった、運転者を目的地に誘導するための基本的な機能を提供するための処理を行う。

また、ナビゲーション制御部１は、車両の現在位置、目的地または誘導経路に関連する交通情報や、観光地、飲食店、物販店等に関する情報の検索、ユーザが入力した条件にマッチした施設の検索といった処理を行う。さらに、ナビゲーション制御部１は、例えば矢印図形のような、風景画像に重ね合わせてユーザに提供すべきコンテンツを表す情報（以下、「コンテンツ情報」という）を、風景情報フィルタ部８、最適風景情報選択部１９およびコンテンツ合成部１１に提供する。

自車位置検出部２は、自車の現在の位置および姿勢を検出する。この自車位置検出部２は、例えばＧＰＳ（グローバルポジショニングシステム）、ＦＭ多重放送によって提供される誤差情報を用いてＧＰＳによる測位結果を補正するＤ−ＧＰＳ（ディファレンシャルＧＰＳ）または他の人工衛星を用いた測位方式、道路に設置された光ビーコンや電波ビーコンから供給される位置情報を用いる方式、車両の進行方向と走行距離から位置を得る自律航法、車両は道路上を走行するといった制約条件に基づき地図データベース３に登録されている道路の位置へ車両位置を補正するマップマッチング方式など、多様な位置検出方式を１つまたは２つ以上を組合せて実現することができる。この自車位置検出部２で検出された自車の現在の位置および姿勢を表す情報は、ナビゲーション制御部１、カメラ位置姿勢計測部７および風景情報フィルタ部８に送られる。

地図データベース３は、２次元地図情報の他に、３次元形状情報、３次元景観情報および施設情報を記憶している。３次元形状情報は、地盤や池、湖、山、谷などの地形、建物、道路や鉄道の高架、トンネルといった構造物などの３次元形状をモデル化した情報から成る。３次元景観情報は、３次元形状情報に、３次元形状を構成する面の色やイメージに関するデータを加えた情報から成る。施設情報は、構造物、施設、観光名所などの位置、名称、電話番号、住所などの情報から成る。この地図データベース３は、ナビゲーション制御部１およびカメラ位置姿勢計測部７によって参照される。

入力操作部４は、リモートコントローラ、タッチパネル、音声認識装置などから構成されており、ユーザである運転者または同乗者が目的地を入力したり、車載ナビゲーション装置が提供する情報を選択するために使用される。この入力操作部４から入力された目的地や選択結果を示す情報は、ナビゲーション制御部１に送られる。

カメラ５は、車両の所定位置に設置され、車両前方の風景を撮影する。このカメラ５で撮影することにより得られた映像信号は、映像取得部６に送られる。映像取得部６は、カメラ５から送られてくる映像信号を、コンピュータで処理可能なイメージ情報に変換する。この映像取得部６における変換によって得られたイメージ情報によって表された風景画像は、カメラ位置姿勢計測部７および風景情報フィルタ部８に送られる。

カメラ位置姿勢計測部７は、あらかじめ計測しておいた、車両を基準とした座標系におけるカメラ５の位置および姿勢を表す情報と、自車位置検出部２から得られる自車の緯度および経度といった地表の座標系における自車の位置および姿勢を表す情報とを用いて、地表の座標系におけるカメラ５の位置および姿勢を計算する。このカメラ位置姿勢計測部７において計算された、地表の座標系におけるカメラ５の位置および姿勢を表す情報（以下、「カメラ位置姿勢情報」という）は、風景情報フィルタ部８および最適風景情報選択部１０に送られる。

なお、カメラ位置姿勢計測部７に、映像取得部６からイメージ情報として送られてくる風景画像に対する画像認識的処理を行う機能を設け、風景画像中の道路上の中央線、停止線、ビルの輪郭等を抽出し、さらに、地図データベース３から取得した道路情報や３次元形状情報とのマッチング処理を行うことによって、カメラ５の位置および姿勢の計測精度を向上させるように構成することができる。

風景情報フィルタ部８は、ナビゲーション制御部１から得られるコンテンツ情報、カメラ位置姿勢計測部７から得られるカメラ位置姿勢情報（画像認識的処理が行われる場合は、該画像認識的処理による精度補正の状態を表す情報を含む）、自車位置検出部２から得られる自車の位置、姿勢およびそれらの精度を表す情報、ならびに、映像取得部６からコンテンツを重ね合わせる背景となる風景画像のイメージ情報を取得する。そして、これらの情報を用いて、この風景画像に対して適切な重ね合わせが可能かどうか、風景画像自体の質はどうか、コンテンツを重ね合わせる対象が撮影されているかどうか、構図として望ましいかどうか等を判断し、これら判断基準を満たす風景画像を選別し、選別した風景画像と判断基準として用いた情報とを１セットにし、風景情報として風景情報蓄積部９に格納する。この風景情報フィルタ部８において行われる処理の詳細は後述する。

最適風景情報選択部１０は、ナビゲーション制御部１から得られるコンテンツ情報とカメラ位置姿勢計測部７から得られるカメラ位置姿勢情報とに基づいて、コンテンツ情報とカメラ５の位置および姿勢とに一致または近接する風景情報を風景情報蓄積部９から検索し、最も適した風景画像を選択してコンテンツ合成部１１に送る。この最適風景情報選択部１０において行われる処理の詳細は後述する。

風景情報蓄積部９は、風景情報フィルタ部８で選別された風景画像と選別の判断基準として用いられた情報とを１セットにした風景情報を整理して蓄積し、最適風景情報選択部１０からの要求に応じて、カメラ５の位置および姿勢やコンテンツ情報の内容の一致または近接を条件に、該当する風景情報を検索して最適風景情報選択部１０に送る。

コンテンツ合成部１１は、最適風景情報選択部１０で選択された最適な風景情報を用いて、ナビゲーション制御部１から得られるコンテンツ情報と風景画像を表すイメージ情報とを合成し、表示部１２に送る。表示部１２は、例えば液晶パネルから構成されており、コンテンツ合成部１１から送られてくる情報に従って、風景画像上に様々な案内や誘導を行うコンテンツを重ね合わせた表示を行い、運転者に提示する。

次に、風景情報フィルタ部８で行われる風景情報フィルタ処理の一例を、図２に示すフローチャートを参照しながら説明する。なお、以下に説明する風景情報フィルタ処理では、風景情報として、図３に示すような、「取得時刻」、「風景画像」、「カメラ位置姿勢」、「カメラ位置姿勢の正確さの度合い」、「コンテンツ情報」および「構図評価値」が用いられるものとする。

まず、最新の風景情報、つまり現在時刻における風景情報の構築が行われる（ステップＳＴ１１）。具体的には、まず、図示しない時計機構から現在時刻が取得されるとともに、映像取得部６から風景画像が取得される。次いで、カメラ位置姿勢計測部７からカメラ位置姿勢情報が取得される。次いで、自車位置検出部２から得られる自車位置を算出するために用いられた情報と、カメラ位置姿勢計測部７から得られる画像認識的処理によるカメラ位置および姿勢の補正に用いられた情報から、カメラ位置姿勢の正確さの度合いが以下のようにして算出される。

すなわち、ＧＰＳ、車速センサ、方位センサおよびマップマッチングを利用して自車の位置および姿勢を計測する場合、ＧＰＳによる測位に利用する衛星の数をｎｓ、方位センサによって計測される方位の変化速度をＳｄ（ｄｅｇ／ｓｅｃ）とする。カメラ５の位置および姿勢の確からしさは、一般に、利用する衛星の数が大きいほど高く、右左折や方向転換時のように方位が変化している時は、方位センサの計測時間遅れやマップマッチングの特性に起因して低くなると考えられる。また、カメラ位置姿勢計測部７における画像認識的処理によってカメラ位置および姿勢の補正ができたか否かを示す値をＣｃ（補正済みなら「１」、補正できないなら「０」）とする。これらの値を使用してカメラ位置姿勢の正確さ度合いＣｃｐを、下式（１）に従って求める。
Ｃｃｐ＝ｋ＊ｎｓ−ｌ＊Ｓｄ＋ｍ＊Ｃｃ…（１）
ここで、ｋ、ｌおよびｍはＣｃｐに与える影響を調整するパラメータであり、システム設計者によって調整される。これらのパラメータｋ、ｌおよびｍにより、カメラ位置姿勢の正確さ度合いの微調整が行われる。

次いで、風景情報フィルタ部８は、ナビゲーション制御部１からコンテンツ情報、つまり運転者に提示したい情報の種類（例えば、交差点への転回方向指示、ビル内の店の案内、遠方の山や湖の案内等）と、その種類によって示される対象の地表を基準とした位置（例えば、緯度、経度、標高）を取得する。以上のようにして取得または算出された情報を、図３に示すような構造を有する風景情報として構築する。

上述した風景情報の構築が終了すると、次いで、この風景情報は、後の処理で利用するために、一次保管場所に保存される（ステップＳＴ１２）。この一次保管場所は、過去数分〜数十分程度分の風景情報を保管しておき、古くなったものから順に削除するような構造を有するのが好ましい。

次いで、正確さの度合いが調べられる（ステップＳＴ１３）。すなわち、まず、風景情報に含まれるカメラ位置姿勢の正確さの度合いＣｃｐが取り出され、あらかじめ定められたしきい値である定数Ａｃｃと比較される。この比較において、カメラ位置姿勢の正確さの度合いＣｃｐが定数Ａｃｃ以下である場合、つまり、カメラ位置姿勢の正確さの度合いＣｃｐが基準よりも不正確である場合には、この風景情報に対するステップＳＴ１４からステップＳＴ１９までの処理は行われず、風景情報フィルタ処理は終了する。

上述した定数Ａｃｃは、最適風景情報選択部１０の動作結果に影響を与えることに留意して、システム開発者の試行錯誤によって決定するように構成できる。また、ユーザである運転者が入力操作部４から入力するように構成することもできる。さらに、コンテンツ情報の種類によって定数Ａｃｃを使い分けるように構成することもできる。このステップＳＴ１３を経ることにより、ステップＳＴ１４以下では、カメラ５の位置および姿勢が、ある程度正確な風景情報に対してのみ処理が行われることになる。

上記ステップＳＴ１３において、カメラ位置姿勢の正確さの度合いＣｃｐが定数Ａｃｃより大きいことが判断された場合は、次いで、イメージ判断処理が行われる（ステップＳＴ１４）。すなわち、このイメージ判断処理では、風景情報を構成するイメージ情報の質が、重ね合わせの素材として一定レベルに達しているか否かが判断される。このステップＳＴ１４のイメージ判断処理の詳細を、図４に示すフローチャートを参照しながら説明する。

イメージ判断処理では、まず、明るさの分布計算が行われる（ステップＳＴ２１）。すなわち、処理対象となっている現在の風景情報に含まれる風景画像を構成する各画素の明るさに注目し、風景画像全体に対する中央値、分散値などといった統計値が計算される。次いで、明るさ分布は適切であるかどうかが調べられる（ステップＳＴ２２）。ステップＳＴ２１で計算した中央値が著しく明るい場合は画像が明るすぎ、中央値が著しく暗い場合は画像が暗すぎ、分散値がきわめて小さい場合はコントラストが低いので、何れも重ね合わせるための素材としての風景画像として適切ではないと判断される。このステップＳＴ２２で、明るさ分布が適切でないと判断された場合は、イメージ判断の結果はＮＧである旨を記憶し（ステップＳＴ２３）、その後、シーケンスは、図２のステップＳＴ１５にリターンする。このように、システム設計者が、これらの統計値に対するしきい値を調整することにより、適切な素材としての風景画像を選択できる。

上記ステップＳＴ２２において、明るさ分布が適切であると判断されると、明るさの分布補正処理が行われる（ステップＳＴ２４）。このように、極端に悪いイメージ情報（風景画像）を排除した上で、明るさ分布が適切である画像の補正を行うことにより、イメージ情報の質を向上させることができる。なお、ここでは画素単位で明るさの統計処理を行うように構成したが、これ以外にも様々な既存の画像処理的な手法により、質の悪い画像の排除や補正による質の向上を図るように構成できる。

次に、ブレの計算が行われる（ステップＳＴ２５）。この実施の形態１における「ブレ」とは、カメラ５を設置している自車の振動や転回によって、映像が不鮮明になったり、たとえ鮮明であっても、自車の転回や路面の凹凸によって風景画像が大きく動く場合をいう。このように、風景画像が大きく動く場合には、カメラ５の位置および姿勢を計測した結果が、実際の自車の動きよりも遅れて得られることが多く、その結果、処理している画像とカメラ５の位置および姿勢との間に時間的なずれが発生し、重ね合わせ表示の際に表示上のずれが発生しやすい状況にある。

このステップＳＴ２５では、このような状況を検出するために、図２に示すフローチャートのステップＳＴ１２で保存された一定期間の過去の風景画像と処理している画像とに対して画像認識的処理が行われ、両画像の間において対応する特徴のある点の動き具合が計算される。そして、計算された対応する特徴点の移動量の平均値や中央値といった統計値がブレの評価点として用いられる。対応する点が認識できない場合には、評価点を最低点とする。

なお、上述した画像認識的処理を用いる以外にも、例えば、ハンドルの切り角や、各車輪を支持するサスペンションの変位状態などといった車両状態を計測することによっても、これらのブレの状態を推測することが可能である。この場合、ハンドルの切り角の大きさや、サスペンションの変位量または変位速度の平均値などをブレの評価点として用いることができる。

次いで、ブレは許容範囲であるかどうかが調べられる（ステップＳＴ２６）。すなわち、ステップＳＴ２４で算出したブレの評価点が所定のしきい値以上であるかどうかが調べられる。このステップＳＴ２６において、ブレが許容範囲でないことが判断された場合、シーケンスは、ステップＳＴ２３に進み、上述したように、イメージ判断の結果はＮＧである旨が記憶され、その後、シーケンスは、図２に示すフローチャートのステップＳＴ１５にリターンする。

一方、ステップＳＴ２６において、ブレが許容範囲であることが判断された場合、次いで、イメージ判断の結果はＯＫである旨が記憶され（ステップＳＴ２７）、その後、シーケンスは、図２に示すフローチャートのステップＳＴ１５にリターンする。

図２に示すフローチャートのステップＳＴ１５では、適切なイメージ情報であるかどうかが調べられる。すなわち、ステップＳＴ１４で得られたイメージ判断の結果に基づき、現在の風景画像を構成するイメージ情報が素材として適切か否かが判断される。ここで、適切なイメージ情報でないことが判断された場合は、この風景情報に対するステップＳＴ１６からステップＳＴ１９までの処理は行われず、風景情報フィルタ処理は終了する。

一方、ステップＳＴ１５において、適切なイメージ情報であることが判断されると、次いで、ターゲット隠蔽判断処理が行われる（ステップＳＴ１６）。このターゲット隠蔽判断処理においては、コンテンツ情報を重畳する対象（以下、「ターゲット」という）がイメージ情報に含まれるか否かを判断するための処理が行われる。この処理については、次の処理のパターンがある。
（ａ）あらかじめ地図データベース３に格納されているような固定されている建造物がコンテンツの位置の手前に存在するためターゲットが見えなくなる場合
（ｂ）コンテンツの位置がカメラ５の視野角から外れることによってターゲットが見えなくなる場合
（ｃ）周辺の自動車など動的に変化するものによってターゲットが隠蔽される場合
（ｄ）フロントガラスへの降雪や降雨によって、視野が隠蔽される場合

上記（ａ）および（ｂ）については、コンテンツの位置と、カメラ位置姿勢、他の建造物の３次元形状データによる幾何学的計算、または、コンテンツの位置とカメラ位置姿勢、カメラ５の視野角による幾何学的計算によって判断が可能である。また、（ｃ）および（ｄ）については、カメラ５からの映像に対する画像認識的手法により検出することが可能である。例えば、ステップＳＴ１２で格納された一定期間の過去の風景情報および現在の風景情報の各イメージ情報を利用し、イメージ情報間の特徴点の対応関係を明らかにする。イメージ情報間の特徴点の動きと、カメラ位置および姿勢の動きを組み合わせれば、静的な建物に関する特徴点の動きは、カメラ位置および姿勢の動きと対応するものになっている。

一方、（ｃ）の他車に関する特徴点の動きは、他車自体の動きにも影響を受けるため、カメラ位置および姿勢の動きだけには対応しない。このような自車の動きで説明できない特徴点が含まれる領域については、他車が存在しているとみなすことができる。また、（ｄ）については、カメラ位置や姿勢に全く影響を受けることなく、画像が固定されることになるため、このような領域も特定できる。これら（ｃ）および（ｄ）で特定できた領域にコンテンツの位置が一致する場合には、他車が隠蔽していると判断できる。

なお、ここでは、画像認識的手法を用いてターゲットの隠蔽を判断するように構成したが、これに限定するものではなく、例えば自車にレーダ装置などといったセンサを備え、このセンサによる検出結果を用いてターゲットの隠蔽の有無を判断するように構成することもできる。

次いで、ステップＳＴ１６におけるターゲット隠蔽判断処理の結果に基づき、ターゲットが隠蔽されているかどうかが調べられる（ステップＳＴ１７）。ここで、ターゲットが隠蔽されていることが判断されると、この風景情報に対するステップＳＴ１８およびステップＳＴ１９の処理は行われず、風景情報フィルタ処理は終了する。

一方、ステップＳＴ１７において、ターゲットが隠蔽されていないことが判断されると、次いで、構図評価処理が行われる（ステップＳＴ１８）。すなわち、重ね合わせを行うコンテンツの位置とカメラ位置との距離や画像上のターゲットの位置から、構図の良否が構図の評価点として定量化される。例えば、交差点での右左折を案内する場合は、カメラ５が交差点の真ん中を画像の中央に捉えた上で、目印のための交差点周辺の建物を画像に含むような構図が望ましい。そこで、画像上において、交差点の真ん中と、画像の中央との画面上における距離を、画素数でｐとする。カメラ５と対象（この場合、交差点中央）との最適な距離をＤｂｅｓｔ、カメラ５と対象との実際の距離をＤとしたときの構図の評価点Ｅを、下式（２）を用いて算出する。
Ｅ＝ｋ＊ｐ＋（１−ｋ）｜Ｄ−Ｄｂｅｓｔ｜…（２）
ここで、ｋは、０＜ｋ＜１の範囲で、適切な構図の評価点になるように配慮して決定される。この評価点Ｅは小さい値ほど、優れた構図であることを示している。

また、道路周辺のビルや店の場合には、対象となるターゲットを十分に認識できるほどの距離に近づくことが重要であったり、山や湖などといったランドマークの案内の場合には、遠くても早めに案内を出すことを優先するなど、上記式（２）のｋやＤｂｅｓｔは、提示する情報の種類や、対象の大きさに応じてシステム開発者が調整する。この構図の評価点Ｅは、図２に示すように、風景情報に格納される。

次いで、上述した処理によって作成された風景情報が風景情報蓄積部９に格納される（ステップＳＴ１９）。以上により、風景情報フィルタ部８における風景情報フィルタ処理は終了する。

なお、この風景情報フィルタ部８における風景情報フィルタ処理は、一定時間毎に周期的に実施することができる。また、映像取得部６が映像を取得したタイミングで実施するように構成することもできる。

次に、最適風景情報選択部１０で行われる最適風景情報選択処理の詳細を、図５に示すフローチャートを参照しながら説明する。

まず、カメラ位置姿勢計測部７から得られる現在のカメラ位置および姿勢を表すカメラ位置姿勢情報とナビゲーション制御部１から得られるコンテンツ情報とに基づいて、利用可能な複数の風景情報が風景情報蓄積部９から選択されて読み込まれる（ステップＳＴ３１）。すなわち、最適風景情報選択部１０は、ターゲットが一致している風景情報の中から、現在のカメラ位置および姿勢が一定の範囲で近いものを取得する。この範囲は、適切な値を調整した上で決定することができる。

次いで、読み込まれた複数の風景情報の中から、最も構図の評価点の優れたものが最良風景情報として選択される（ステップＳＴ３２）。なお、ステップＳＴ３１では、数秒前といったきわめて近い過去の風景情報の他にも、例えば数ヶ月前に同様の案内がなされときに蓄積された風景情報が得られることがある。最適な風景情報として、近い過去の風景情報と遠い過去の風景情報が頻繁に切り替わることがないように、遠い過去の風景情報は、現在が降雪や降雨によって視界が遮られている場合や、全くの夜間で見えない場合などに限って利用されるように構成できる。このステップＳＴ３２において選択された最良の風景情報は、最適風景情報選択部１０の処理結果としてコンテンツ合成部１１に送られ、この最良の風景情報に基づきコンテンツが合成されてユーザに提供される。

なお、これら最適風景情報選択部１０は、あらかじめ定められた周期で、最適風景情報選択処理を繰り返し実行するように構成できる。また、ナビゲーション制御部１によって表示するコンテンツが変更された場合や、映像取得部６が映像を取得したタイミング、または、これらの組み合せで実行するように構成することもできる。

以上説明したように、この発明の実施の形態１に係る車載ナビゲーション装置によれば、ユーザに提示すべきコンテンツ情報を重畳するのに相応しい背景画像を、自らが過去に走行したことによって蓄積された風景画像の中から、精度の高いコンテンツの重ね合わせが可能な風景画像や情報提供のための望ましい構図を有する風景画像といった適切な風景画像を選択できるので、運転者へ提供する案内情報の品質を高めることができる。

実施の形態２．
上述した実施の形態１に係る車載ナビゲーション装置では、「不適切な画像」、「不適切な位置姿勢」および「不適切な構図」を回避した質の高い情報を提供できるように構成したが、この実施の形態２に係る車載ナビゲーション装置は、さらに、不適切な画像更新を回避するようにしたものである。

運転者は、運転中は通常車両の前方を中心として周囲を直接に監視して運転しなければならず、車載ナビゲーション装置の画像を注視することは危険である。そのため動画のように頻繁に画像を更新し、必要以上に運転者の注意を画面に引きつけること（不適切な画像更新）を避けるために、風景画像の更新周期を制御する必要がある。そこで、この実施の形態２に係る車載ナビゲーション装置では、実施の形態１に示した「不適切な画像」、「不適切な位置姿勢」および「不適切な構図」に加え、「不適切な画像更新」についても回避できるように制御する。

この実施の形態２に係る車載ナビゲーション装置の構成は、最適画像情報選択部１０で行われる処理を除き、上述した実施の形態１に係る車載ナビゲーション装置の構成と同じである。以下では、最適画像情報選択部１０で実行される最適画像情報選択処理についてのみ説明する。

図６は、実施の形態２に係る車載ナビゲーション装置の最適画像情報選択部１０で行われる最適画像情報選択処理の詳細を示すフローチャートである。ステップＳＴ３１およびステップＳＴ３２は、図５のフローチャートに示した処理と同じである。すなわち、まず、カメラ位置姿勢計測部７から得られる現在のカメラ位置および姿勢を表すカメラ位置姿勢情報とナビゲーション制御部１から得られるコンテンツ情報とに基づいて、利用可能な複数の風景情報が風景情報蓄積部９から選択されて読み込まれる（ステップＳＴ３１）。次いで、読み込まれた複数の風景情報の中から、最も構図の評価点の優れたものが最良風景情報として選択される（ステップＳＴ３２）。

次いで、現在使用している風景の採用時刻Ｔｄｉｓｐが取得される（ステップＳＴ３３）。この時刻Ｔｄｉｓｐは、最適風景情報選択部１０で風景情報を更新した時刻である。次いで、現在時刻ｔと時刻Ｔｄｉｓｐの差が最小画像更新時間Ｔｍｉｎを超えているか否かが調べられる（ステップＳＴ３４）。最新画像更新時間Ｔｍｉｎは、頻繁な画像更新を防止するために設けられており、例えば、１秒とか５秒などといった値があらかじめ与えられている。この最新画像更新時間Ｔｍｉｎの値は、運転者が設定するように構成することもできる。

ステップＳＴ３４において、現在時刻ｔと時刻Ｔｄｉｓｐの差が最小画像更新時間Ｔｍｉｎを超えていることが判断されると、次いで、ステップＳＴ３２において選択された最良風景情報が、最適風景情報選択部１０の最適風景情報として採用され（ステップＳＴ３５）、この採用された最適風景情報がコンテンツ合成部１１に提供される。また、時刻Ｔｄｉｓｐに現在時刻ｔを代入される。以上により、最適風景情報選択処理が終了する。上記ステップＳＴ３４において、現在時刻ｔと時刻Ｔｄｉｓｐの差が最小画像更新時間Ｔｍｉｎを超えていないことが判断されると、ステップＳＴ３５の処理はスキップされ、最適風景情報選択処理が終了する。

以上説明したように、この発明の実施の形態２に係る車載ナビゲーション装置によれば、重ね合わせの精度が高く、望ましい構図の重ね合わせ表示を望ましい更新周期で運転者に提供することができる。

実施の形態３．
図７は、この発明の実施の形態３に係る車載ナビゲーション装置を含むナビゲーションシステムの構成を示す図である。このナビゲーションシステムは、複数の自動車Ａ１６、Ｂ１７およびＣ１８にそれぞれ搭載される複数の車載ナビゲーション装置とセンタ１９とから構成されている。

自動車Ａ１６、Ｂ１７およびＣ１８に搭載される各車載ナビゲーション装置の構成は同一であるので、以下では、自動車Ａ１６に搭載される車載ナビゲーション装置についてのみ説明する。この自動車Ａ１６に搭載される車載ナビゲーション装置は、実施の形態１に係る車載ナビゲーション装置に、通信部１３が追加されて構成されている。通信部１３は、当該車載ナビゲーション装置とセンタ１９との間の通信を制御する。具体的には、通信部１３は、風景情報蓄積部９に蓄積された風景情報をセンタ１９に送信するとともに、センタ１９から送られてくる風景情報を受信して風景情報蓄積部９に格納する。

センタ１９は、通信部１４と共通風景情報蓄積部１５とから構成されている。通信部１４は、当該センタ１９と各自動車Ａ１６〜Ｃ１８に搭載された車載ナビゲーション装置との間の通信を制御する。具体的には、通信部１４は、共通風景情報蓄積部１５に蓄積された風景情報を各自動車Ａ１６〜Ｃ１８に搭載された車載ナビゲーション装置に送信するとともに、各自動車Ａ１６〜Ｃ１８に搭載された車載ナビゲーション装置から送られてくる風景情報を受信して共通風景情報蓄積部１５に格納する。

上述した通信部１３と通信部１４との間の通信は、無線ＬＡＮや携帯電話といった無線、道路側に設置された光ビーコンとの間で送受される赤外線などの光、インターネットや専用線などの有線、これらの組み合せなどを利用して行うことができる。

上記のように構成される、この発明の実施の形態３に係る車載ナビゲーション装置では、風景情報フィルタ部８と最適風景情報選択部１０は、実施の形態１で説明した処理と同じ処理を実施するが、風景情報蓄積部９に蓄積されている風景情報を、一定周期毎、またはエンジン始動や通信路が確保されたタイミングをトリガーとして、センタ１９の共通風景情報蓄積部１５に送る。

また、最適風景情報選択部１０から要求された風景情報が風景情報蓄積部９に存在しない場合は、共通風景情報蓄積部１５から他車が提供した風景情報が取得され、最適風景情報選択部１０に提供される。このような共通風景情報蓄積部１５に蓄積された風景情報の取得は、必要なときに行うように構成できる。また、通信路が確保されたときに、今後の経路上で必要になりそうな風景情報を共通風景情報蓄積部１５から一括して取得しておき、風景情報蓄積部９に保存しておくように構成することもできる。さらに、運転者による操作に応じて共通風景情報蓄積部１５から風景情報を取得し、風景情報蓄積部９に保存しておくように構成することもできる。

以上説明したように、この実施の形態３に係る車載ナビゲーション装置によれば、複数の自動車の車載ナビゲーション装置が風景情報をセンタ１９に蓄積し、各自動車の車載ナビゲーション装置が、センタ１９に蓄積された風景情報を共通に使用できるように構成したので、各自動車に搭載された車載ナビゲーション装置は、自ら走行したことがない地域の風景についても、他車によってセンタ１９に蓄積された風景情報を利用することにより、風景画像にコンテンツを重ね合わせて表示することが可能になる。

この発明の実施の形態１に係る車載ナビゲーション装置の構成を示すブロック図である。 この発明の実施の形態１に係る車載ナビゲーション装置の風景情報フィルタ部において実行される風景情報フィルタ処理の手順を示すフローチャートである。 この発明の実施の形態１に係る車載ナビゲーション装置で使用される風景情報の構造の例を示す図である。 図３のステップＳＴ１４で行われるイメージ判断処理の詳細を示すフローチャートである。 この発明の実施の形態１に係る車載ナビゲーション装置の最適風景情報選択部において行われる最適風景情報選択処理の手順を示すフローチャートである。 この発明の実施の形態２に係る車載ナビゲーション装置の最適風景情報選択部において行われる最適風景情報選択処理の手順を示すフローチャートである。 この発明の実施の形態３に係る車載ナビゲーション装置およびこれを用いたナビゲーションシステムの構成を示す図である。

符号の説明

１ ナビゲーション制御部、２ 自車位置検出部、３ 地図データベース、４ 入力操作部、５ カメラ、６ 映像取得部、７ カメラ位置姿勢計測部、８ 風景情報フィルタ部、１０ 最適風景情報選択部、１１ コンテンツ合成部、１２ 表示部、１３ 通信部、１４ 通信部、１５ 共通風景情報蓄積部、１６ 自動車Ａ、１７ 自動車Ｂ、１８ 自動車Ｃ、１９ センタ。

Claims (5)

1. 前方の風景画像にコンテンツ情報を重畳して表示部に表示することにより案内を行う車載ナビゲーション装置において、
   前方の風景をカメラで撮影した風景画像を取得する映像取得部と、
   前記映像取得部で取得された風景画像から背景画像として好適な風景画像を選別し、該選別された風景画像と背景画像として好適であるかどうかの判断に使用した情報とを含む風景情報を出力する風景情報フィルタ部と、
   前記風景情報フィルタ部から出力される風景情報を蓄積する風景情報蓄積部と、
   前記風景情報蓄積部に蓄積されている風景情報から、風景情報に含まれる背景画像として好適であるかどうかの判断に使用した情報に基づき、前記コンテンツ情報を重畳させるのに最適な風景情報を選択する最適風景情報選択部と、
   前記最適風景情報選択部で選択された風景情報に含まれる風景画像と前記コンテンツ情報とを合成して案内情報として前記表示部に表示させるコンテンツ合成部
   とを備えた車載ナビゲーション装置。
2. 自車の位置および姿勢を検出する自車位置検出部と、
   カメラの位置および姿勢を計測するカメラ位置姿勢計測部と、
   コンテンツ情報を提供するナビゲーション制御部とを備え、
   風景情報フィルタ部は、
   映像取得部によって取得された風景画像から、前記自車位置検出部で検出された自車の位置および姿勢、前記カメラ位置姿勢計測部で計測されたカメラの位置および姿勢、ならびに、前記ナビゲーション制御部から提供されるコンテンツの各状態に基づき、背景画像として好適な風景画像を選別する
   ことを特徴とする請求項１記載の車載ナビゲーション装置。
3. 最適風景情報選択部は、
   ナビゲーション制御部から提供されるコンテンツ情報とカメラ位置姿勢計測部で計測されたカメラの位置および姿勢を表す情報とに基づき、利用可能な複数の風景情報を選択し、前記複数の風景情報から構図の評価点に基づき、コンテンツ情報を重畳させるのに最適な風景情報を選択する
   ことを特徴とする請求項２記載の車載ナビゲーション装置。
4. 最適風景情報選択部は、所定時間以上の周期で、風景情報蓄積部に蓄積されている風景情報からコンテンツを重畳させるのに最適な風景情報を選択して更新を行うことを特徴とする請求項１記載の車載ナビゲーション装置。
5. 風景情報蓄積部に蓄積されている風景情報を外部に送信するとともに、外部から風景情報を受信して前記風景情報蓄積部に蓄積する通信部を備えたことを特徴とする請求項１または請求項４記載の車載ナビゲーション装置。

Images