本発明は、ナビゲーション装置に関し、より特定的には、地図情報を用いた地図画像またはカメラなどで撮影した実写画像を利用して出発地から目的地まで案内するナビゲーション装置およびその方法に関するものである。
近年、地図情報を用いて車両の位置周辺の地図画像を車載ディスプレイに表示するとともに、目的地が設定されると、現在位置から目的地までの経路を探索した後、探索された経路に沿って、車両を目的地まで案内するナビゲーション装置が広く普及している。具体的には、ナビゲーション装置は、探索された案内経路を他の道路と異なる色で表示したり、探索された案内経路の道路の表示幅を太くして表示する。これにより、ユーザは、探索された案内経路を他の道路と識別することができる。また、進路変更の必要な交差点などの案内対象交差点から所定距離に車両が到達したとき、案内対象交差点の案内図(例えば、交差点拡大図)が表示される。その結果、ユーザは、経路上の案内対象交差点において、車両が進むべき方向を把握することができる。
また、車載カメラで撮影した車両外部の様子を示す実写画像に案内図形(案内対象交差点において車両が進むべき方向を示す矢印等の図形)を重畳表示して、車両を目的地まで案内する案内画像表示(実写案内)と、地図情報を用いた案内画像表示(地図案内)をユーザの好みに合わせて選択可能であることが記載されている(例えば、特許文献1参照)。
特開平7−63572号公報
しかしながら、上記特許文献1に記載の従来の車載用ナビゲーション装置では、実写画像に案内図形を重畳した案内画像を用いて車両を案内する場合には、その時々の車両外部の状況によって、実写画像に案内図形を重畳した案内画像は、ユーザにとって分かりにくい場合がある。例えば、車両前方の様子を示す実写画像が先行車両等の障害物で遮蔽されている場合や、車両前方の道路がカーブや勾配して車両前方の様子を示す実写画像に案内対象交差点が撮像されない場合、および夜間や雨天時など車両前方の様子が明瞭に撮像されない場合などがある。これらの場合には、案内図形がどの道路または交差点を指しているか分かりづらく、ユーザは曲がるべき交差点を誤認識してしまう場合があった。また、ユーザが、地図情報を用いた案内画像(地図案内)、または実写画像に案内図形を重畳した案内画像(実写案内)のいずれを表示するかの切り替えを行わなければならず、煩わしい操作を必要とした。
それ故に、本発明は、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置およびその方法を提供することを目的とする。
本発明の目的は、以下の構成を備えたナビゲーション装置によって達成される。
本発明は、目的地への案内を示す案内画像を表示する表示部と、車両外部の状況を取得する状況取得部と、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成部と、地図情報を用いて地図案内画像を生成する地図案内生成部と、状況取得部によって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定部の判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示部に表示させる案内表示制御部とを備える。
また、状況取得部は、複数の車両外部の状況を取得する。状況判定部が、状況取得部によって取得された少なくとも1つの車両外部の状況から、地図案内画像を優先して表示すると判定した場合には、案内表示制御部は、地図案内画像を優先して表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を相対的に大きく表示させてもよい。
これにより、ナビゲーション装置は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、車両が所定の区間を移動している間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、状況取得部は、実写画像から、車両外部の状況を取得してもよい。
また、状況取得部は、実写画像における車両の前方方向の障害物による遮蔽度を算出する遮蔽度算出部を含んでいる。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度が閾値未満の場合には、実写案内画像を優先して表示すると判定し、遮蔽度算出部によって算出された遮蔽度が閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。なお、遮蔽度算出部は、実写画像において、案内対象交差点が表示されている領域である交差点領域のうち、前方方向の障害物と重なる領域の割合を遮蔽度として算出してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像した実写画像における車両の前方方向の障害物による遮蔽度を算出して、算出された遮蔽度に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、車両の前方を撮像した実写画像から車両前方を見通せる場合には、実写案内画像を優先して表示すると判定し、車両の前方を撮像した実写画像から車両前方を見通せない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。なお、交差点領域とは、案内対象交差点およびその周辺の所定範囲が含まれる領域である。また、状況判定部は、案内対象交差点判定部の判定結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、案内対象交差点判定部によって案内対象交差点が表示されている領域である領域の全てまたは一部が実写画像に存在すると判定された場合には、実写案内画像を優先して表示すると判定し、案内対象交差点判定部によって案内対象交差点が表示されている領域である領域の全てまたは一部が実写画像に存在しないと判定された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映る場合には、実写案内画像を優先して表示すると判定し、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映らない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の明るさを取得する明るさ取得部を含んでいる。また、状況判定部は、明るさ取得部によって取得された明るさに基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、明るさ取得部によって取得された明るさが閾値以上の場合には、実写案内画像を優先して表示すると判定し、明るさ取得部によって取得された明るさが閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の明るさに応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、昼間など車両外部が明るい場合には、実写案内画像を優先して表示すると判定し、夜間やトンネル内など車両外部が暗い場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の降水を検出する降水検出部を含んでいる。また、状況判定部は、降水検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、降水検出部によって降水が検出されない場合には、実写案内画像を優先して表示すると判定し、降水検出部によって降水が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の降水の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、雨が降っていない場合には、実写案内画像を優先して表示すると判定し、雨天時には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の霧を検出する霧検出部を含んでいる。また、状況判定部は、霧検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、霧検出部によって霧が検出されない場合には、実写案内画像を優先して表示すると判定し、霧検出部によって霧が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の霧の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、霧が発生していない場合には、実写案内画像を優先して表示すると判定し、霧が発生している場合には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、先行車両までの距離を測定する距離測定部を含んでいる。また、状況判定部は、距離測定部よって測定された距離に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、距離測定部によって測定された距離が閾値以上の場合には、実写案内画像を優先して表示すると判定し、距離測定部によって測定された距離が閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両前方の様子を見通すことができるか否かによって先行車両までの距離を測定し、測定された距離に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、測定された距離が閾値以上の場合には、車間距離が長く、車両前方の様子が見通せるので、実写案内画像を優先して表示すると判定し、測定された距離が閾値未満の場合には、車間距離が短く、車両前方の様子が見通せないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両の前方を撮像する撮像部の揺れを検出する揺れ検出部を含んでいる。また、状況判定部は、揺れ検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、揺れ検出部によって検出された揺れの大きさが閾値未満の場合には、実写案内画像を優先して表示すると判定し、揺れ検出部によって検出された揺れの大きさが閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像する撮像部の揺れの検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、走行中の路面が大きな凹凸で、検出された揺れの大きさが閾値未満の場合には、実写画像が揺れて実写画像の視認性が低いので、地図案内画像を優先して表示すると判定し、検出された揺れの大きさが閾値以上の場合には、実写画像の揺れが小さいので、実写案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、走行している道路の属性を取得する道路属性取得部を含んでいる。また、状況判定部は、道路属性取得部によって取得された属性に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、道路の属性に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、案内対象交差点の周辺に目印となる案内対象物を検出する案内対象物検出部を含んでいる。また、状況判定部は、案内対象物検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、案内対象交差点の周辺に目印となる案内対象物の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、実写案内生成部は、状況取得部によって取得された車両外部の状況に応じて表示モードの異なる実写案内画像を生成してもよい。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。また、状況判定部は、実写画像に、案内対象交差点判定部の判定結果に応じて形態の異なる案内図形を重畳することによって実写案内画像を生成してもよい。
これにより、ナビゲーション装置は、優先的に実写案内画像を表示させる場合において、さらに、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、形態の異なる案内図形を重畳した実写案内画像を生成することができる。その結果、案内対象交差点が実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
本発明の目的は、以下のステップを備えたナビゲーション方法によって達成される。
本発明は、車両外部の状況を取得する状況取得ステップと、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成ステップと、地図情報を用いて地図案内画像を生成する地図案内生成ステップと、状況取得ステップによって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定ステップの判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示させる案内表示制御ステップとを備える。
これにより、ナビゲーション方法は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
本発明によれば、上記説明から明らかなように、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じて視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。
図2Aは、第1の実施形態に係る地図DB3に格納される地図情報のうち、ノードデータの一例を示す図である。
図2Bは、第1の実施形態に係る地図DB3に格納される地図情報のうち、補間データの一例を示す図である。
図2Cは、第1の実施形態に係る地図DB3に格納される地図情報のうち、リンクデータの一例を示す図である。
図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。
図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。
図5は、カメラ視野空間の求め方を説明するための図である。
図6は、3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。
図7は、案内図形の形状および配置位置の求め方を説明するための図である。
図8は、第1の実施形態に係る実写案内画像の表示例である。
図9は、第1の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。
図11Aは、交差点領域について説明するための図である。
図11Bは、重なり領域について、およびその求め方を説明するための図である。
図11Cは、案内対象交差点を右に曲がる場合の、設定される交差点領域について説明するための図である。
図12Aは、案内対象交差点が車載カメラの撮像範囲に存在する場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。
図12Bは、カメラ視野空間に案内対象交差点が存在する場合の、実写画像の表示例である。
図13Aは、案内対象交差点が車載カメラの撮像範囲に存在しない場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。
図13Bは、カメラ視野空間に案内対象交差点が存在しない場合の、実写画像の表示例である。
図14Aは、複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
図14Bは、複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
図15は、複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。
図16は、第1の実施形態に係る実写案内画像および地図案内画像を同時に示す表示例である。
図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。
図20Aは、第3の実施形態に係る実写案内画像Aの表示例である。
図20Bは、第3の実施形態に係る実写案内画像Bの表示例である。
符号の説明
1 映像取得部
2 測位部
3 地図DB
4 入力部
5 表示部
6 制御部
7 経路探索部
8 地図案内生成部
9 実写案内生成部
10 状況取得部
11 状況判定部
12 案内表示制御部
(第1の実施形態)
図1を参照して、本発明における第1の実施形態に係るナビゲーション装置について説明する。なお、図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。また、各図面において、本発明に関係のない構成要素は省略している。
図1において、ナビゲーション装置は、映像取得部1、測位部2、地図DB3、入力部4、表示部5、および制御部6を備える。
映像取得部1は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal−Oxide Semiconductor)などを利用したカメラで撮像された映像を取得する。映像を取得するカメラは、車両天井部、車両先端部またはルームミラー背面などの場所に設置されて、好ましくは、車両の前方方向を撮像する。なお、車両の前方方向に限らず、車両の左右方向や後方方向などの前方方向以外の車両外部を撮像するものでも構わない。
測位部2は、車両の現在位置、速度、および方位を計測する。例えば、測位部2は、GNSS(Global Navigation Satellite System)受信機、車速センサ、およびジャイロセンサである。GNSS受信機は、例えばGPS(Global Positioning System)受信機であり、衛星からの電波を受信し、それを復調することで受信機の位置を算出する。
地図DB3は、例えばHDD(Hard Disc Drive)またはDVD(Digital Versatile Disc)などで構成される。地図DB3には、道路の形状データおよび交差点の位置データなどの地図情報が予め格納されている。ただし本発明はこれに限らず、地図情報は、図示しない通信手段(例えば、携帯電話)を通じて、センター設備から適宜ダウンロードして地図DB3に格納される構成であってもよい。
ここで、図2を参照して、地図DB3に格納される地図情報について説明する。地図DB3は、例えばノードデータ、補間ノードデータ、およびリンクデータなどを格納している。なお、図2は、地図DB3に格納されている地図情報のうち、本実施形態に関連する地図情報の一部を抜粋した地図情報の一例を示す図である。
図2Aは、交差点や合流地点など複数の方向に道路が分岐する地点(ノード)に関するノードデータである。ノードデータは、ノード毎に、緯度および経度などの位置情報、当該ノードに接続するリンクの数、およびリンクのIDから構成されている。図2Bは、リンク上に存在し、リンクが直線状でない場合など、リンクの形状を表現するための曲折点を示す補間ノードデータである。補間ノードデータは、補間ノード毎に、緯度および経度などの位置情報、および当該補間ノードを示す存在リンクIDから構成される。図2Cは、ノードとノードを結ぶ道路を示すリンクデータである。リンクデータは、リンク毎に、リンクの端点である始点ノードおよび終点ノード、リンクの長さ(単位は、例えばメートルやキロメートルなど)、一般道路や高速道路などを示す道路種別、道路幅、上述の補間ノードの数、および当該補間ノードを示すIDから構成されている。なお、リンクデータには、車線数または通行規制の情報が含まれていてもよい。
次に、図3を参照して、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成される状態について説明する。なお、図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。図3において、ノード(Node15)は、3つのリンクと接続し、さらに、リンクL6で別のノード(Node12)と結ばれている。また、リンクL6には、リンクの形状を形成する補間ノード(CN8およびCN9)が存在する。これにより、地図画像が形成される。なお、リンクが直線道路である場合には、補間ノードが存在しないことは言うまでもない。
入力部4は、例えばリモートコントローラー、タッチパネル、音声入力用のマイクと音声認識エンジンなどで構成され、ユーザの指示を受け付ける。ユーザによって入力される指示は、例えば目的地の設定、探索経路の選択、経路案内の開始などである。
表示部5は、例えばディスプレイで構成され、ユーザに対して情報を表示する。具体的には、目的地への案内を示す案内画像を表示する。また、後述する地図案内生成部8で生成される地図案内画像および/または後述する実写案内生成部9で生成される実写案内画像を含む案内画像を表示部5に表示する。
制御部6は、例えばCPU(Central Processing Unit)で構成される。また、制御部6は、経路探索部7、地図案内生成部8、実写案内生成部9、状況取得部10、状況判定部11、および案内表示制御部12を含んでいる。
経路探索部7は、入力部4から入力された目的地、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報などを参照して、現在位置から目的地に至る最適経路を探索する。
地図案内生成部8は、地図DB3に格納される地図情報を用いて所定領域の案内画像(以下、地図案内画像と称す)を生成する。ここで、所定領域とは、表示部5の表示画面に表示できる領域である。さらに、地図案内生成部8は、地図画像上において、経路探索部7で探索された経路の表示色を他の道路と異なる色に設定する。また、探索された経路は、他の道路より線幅を太く設定されてもよい。
実写案内生成部9は、経路探索部7で探索された案内経路、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報(例えば、道路形状データなど)に基づいて、案内対象交差点での車両の進むべき方向を示す矢印形状の案内図形を作成する。さらに、実写案内生成部9は、映像取得部1によって取得された実写画像に案内図形を重畳した案内画像(以下、実写案内画像と称す)を生成する。
ここで、図4〜図8を参照して、実写案内生成部9における案内図形および実写案内画像の生成方法について説明する。なお、図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。
まず、実写案内生成部9は、地図DB3に格納される地図情報による3次元地図、および映像取得部1によって取得された車両前方の様子を示す実写画像の撮像方向と撮像範囲を定めるパラメータであるカメラ位置、カメラ角(水平角、仰角)、焦点距離、および画像サイズに基づいて、3次元地図におけるカメラ視野空間を求める(ステップS1)。ここで、3次元地図とは、緯度、経度、および高度の位置情報で表される地図である。また、撮像方向と撮像範囲を定めるパラメータは、画角などの他のパラメータを用いて、換算されてもよい。また、3次元地図から高度情報を除いた2次元地図を用いてもよい。
また、カメラ視野空間は、図5に示すような方法で求められる。なお、図5は、カメラ視野空間を説明するための図である。まず、図5において、視点E(カメラ位置)からカメラ角方向に焦点距離fだけ離れた点Fを求める。さらに、点Fに表示部5の表示画面の縦横比に相当する横x縦yの平面(カメラ画面)が視点Eと点Fを結んだベクトルに垂直になるように設定される。次に、視点Eからカメラ画面の4隅の点へと結ぶ半直線によって得られる3次元空間が算出される。また、3次元空間は理論上無限遠まで延びるが、視点Eから適当な距離だけ離れたところで打ち切り、当該空間を視野空間とする。
次に、ステップS2において、実写案内生成部9は、3次元地図において、上述の方法で求められるカメラ視野空間内に存在する道路を検出する(以下、道路検出処理と称す)。なお、図6は、経路探索部7により探索された案内経路上の案内対象交差点を含む3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。具体的には、図6の例のように、視野空間に囲まれた道路(斜線で示した領域)がカメラ視野空間内に存在する道路として検出される。さらに、道路検出処理において、上述した地図DB3に格納されるノードデータ、補間ノードデータ、およびリンクデータに基づいて、検出された道路の形状データや道路幅などが抽出される。
次に、ステップS3において、実写案内生成部9は、道路検出処理により検出された道路のうち、経路探索部7によって探索された案内経路に該当する道路の形状データや道路幅などに基づいて、案内対象交差点での車両の進むべき方向を示す案内図形(矢印)を作成する。なお、図7は、案内図形の形状および配置位置の求め方を説明するための図である。続いて、図7に示す例のように、作成された案内図形は、カメラ視野空間内に存在する道路のうち、案内経路に該当する道路に配置される。なお、案内図形は、図7に示す矢印形状に限らず、例えば単なる折れ線であってもよい。
次に、ステップS4において、実写案内生成部9は、図5に示すカメラ画面を投影面として上記配置された案内図形を透視投影する(投影処理)。これにより、案内図形が投影される投影面が映像取得部1によって取得されるカメラ画面と一致するため、案内図形は、実写画像に表示されている道路(案内経路)上に重畳される(図8参照)。続いて、処理は、終了する。なお、実写画像に案内図形を重畳する際に、白線検知、道路端検知等の周知の画像認識技術を用いて、カメラで撮像された道路の位置を検出し、案内図形の重畳位置を補正するようにしてもよい。
状況取得部10は、車両外部の状況を取得する。取得される車両外部の状況は、例えば車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、および降水(降雨または降雪)および/または霧などの天候などである。なお、状況取得部10によって取得される車両外部の状況の詳細については後述する。
状況判定部11は、状況取得部10で取得された車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。
案内表示制御部12は、車両外部の状況のそれぞれに関して状況判定部11によって判定された判定結果に基づいて、実写案内画像または地図案内画像のどちらを優先して表示部5に表示させるかを制御する。
次に、図9〜図15を参照して、本実施形態のナビゲーション装置の動作の流れについて説明する。なお、図9は、本実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図9において、ユーザが入力部4から目的地を入力して、目的地が設定されたか否かを判定する(ステップS11)。判定の結果、目的地が設定されると(ステップS11でYes)、測位部2が車両の現在位置を検出して、経路探索部7は、現在位置から目的地に至る最適経路を探索する(ステップS12)。また、経路案内が開始されると、測位部2は、所定の時間間隔で車両の現在位置を検出する。続いて、車両の現在位置と最適経路を照合して目的地に到着したか否かを判定する(ステップS13)。判定の結果、目的地に到着していない場合(ステップS13でNo)には、処理は、ステップS14に進む。一方、目的地に到着した場合(ステップS13でYes)には、処理は、終了する。
次に、ステップS14において、制御部6は、車両から案内対象交差点までの距離が所定の距離(例えば、200m)以下か否かを判定する。判定の結果、案内対象交差点までの距離が所定の距離に到達していない場合(ステップS14でNo)には、処理は、ステップS19に進む。一方、案内対象交差点までの距離が所定の距離以下に到達した場合(ステップS14でYes)には、処理は、ステップS15に進む。ステップS15において、状況取得部10は、車両外部の状況を取得する。
次に、状況取得部10によって取得される車両外部の状況の詳細について説明する。まず、状況取得部10が、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度を車両外部の状況として取得する場合を説明する。状況取得部10は、先行車両等の障害物が表示されている領域(以下、先行車両領域と称す)を検出して、検出された領域の面積を遮蔽度として算出する。
ここで、先行車両領域を検出する手法としては、単眼カメラやステレオカメラを用いた公知の手法があり、本実施例においては、どちらであってもよい。例えば、単眼カメラを用いた車両検出手法としては、輝度値を参照する手法(車線上の輝度値を取得して路面上の障害物を検出する手法)や、射影変換画像を利用する手法(2フレーム間で射影変換画像の差分をとって移動物体を検出する手法)、先行車両のエッジを検出する手法(水平方向と垂直方向のエッジを検出して障害物を検出する手法)等がある。また、ステレオカメラを用いた車両検出手法としては、距離画像から先行車両の輪郭を抽出する手法や、ステレオ逆射影変換を用いて高さ情報を持つ物体を検出する手法、道路平面領域を抽出して路上の障害物を検出する手法などがある。さらに、他の検出手法としては、先行車両が存在しない状態で撮影した道路画像データを位置情報と関連付けて図示しない記憶手段に記憶しておき、測位部2の測位結果に基づいて、映像取得部1によって取得された実写画像と、現在の走行位置に対応する道路画像データとの差分をとることによって先行車両を検出することもできる。
上述の手法により、映像取得部1によって取得された実写画像に基づいて、先行車両領域が検出される。具体的には、図10において、斜線で示す領域が検出された先行車両領域である。なお、図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。また、状況取得部10は、検出された先行車両領域の面積を算出し、当該面積を、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度として取得する。なお、車両の前方を撮像した実写画像に複数の先行車両領域が存在する場合には、複数の先行車両領域の面積の総和を算出し、算出された面積を遮蔽度としてもよい。
また、状況取得部10は、車両の前方を撮像した実写画像において、案内対象交差点が表示されている領域(以下、交差点領域と称す)のうち、先行車両領域と重なる領域(以下、重なり領域と称す)を検出し、交差点領域に占める重なり領域の割合を遮蔽度として取得してもよい。ここで、交差点領域とは、図11Aの例のように、案内対象交差点およびその周辺の所定範囲が含まれる点線で囲まれる領域である。また、状況取得部10は、上述の手法により先行車両領域を検出し、交差点領域と先行車両領域との重なり領域を検出する(図11B参照)。これにより、状況取得部10は、交差点領域に占める重なり領域の割合を遮蔽度として取得する。また、交差点領域と先行車両領域の重なり、つまり重なり領域が大きいほど、遮蔽度が大きくなる。なお、交差点領域を設定する際、案内対象交差点において車両が進むべき方向に応じて交差点領域のその周辺の所定範囲の位置を変えるようにしてもよい。例えば、車両が案内対象交差点で右に曲がるときは、交差点領域は案内対象交差点の右側を多く含むように設定される(図11C参照)。
また、状況取得部10は、探索経路上の案内対象交差点が車両の前方を撮像した実写画像に存在するか否かを、車両外部の状況として取得する。案内対象交差点が車両の前方を撮像した実写画像に存在するか否かは、以下のようにして求められる。まず、測位部2が検出した車両の現在位置および地図DB3に格納される地図情報を参照して、探索経路上の案内対象交差点が検出される。次に、上述の図4のステップS1と同様の、カメラ視野空間(撮像範囲)が求められ、3次元地図において、案内対象交差点がカメラ視野空間に存在するか否かが判定される。
具体的には、図12Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。なお、本実施形態では、3次元地図の代わりにリンクおよびノードなどから構成される図を用いて説明する。この場合、検出された案内対象交差点がカメラ視野空間に存在する場合である。したがって、図12Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されるので、状況取得部10は、検出された案内対象交差点が車両の前方を撮像した実写画像に存在することを取得する。なお、交差点領域とは、上述の案内対象交差点およびその周辺の所定範囲が含まれる領域である。
一方、図13Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。この場合、検出された案内対象交差点がカメラ視野空間に存在しない場合である。例えば、車両前方の道路がカーブや勾配していて、検出された案内対象交差点が車両の前方を撮像した実写画像外に存在する場合である。したがって、図13Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されないので、状況取得部10は、案内対象交差点が車両の前方を撮像した実写画像に存在しないことを取得する。
また、状況取得部10は、車外の明るさを車両外部の状況として取得する。車外の明るさは、図示しない照度センサによって取得される。また、車外の明るさは、図示しないデータベースに格納される時刻と明るさの対応関係を参照して取得されてもよい。また、地図DB3に格納される地図情報を参照してトンネル内を走行していることを検出し、検出された結果を考慮して車外の明るさを取得するようにしてもかまわない。また、車外の明るさは、映像取得部1によって取得された実写画像の輝度に基づいて取得されてもよい。
また、状況取得部10は、降水または霧などの天候を車両外部の状況として取得する。降水の有無は、例えばワイパーの動作を検出することによって取得される。また、霧の発生の有無は、映像取得部1によって取得された実写画像の輝度を算出して、実写画像全体が白色であるか否かを判定することにより取得される。なお、降水または霧の有無は、図示しない通信手段を通じて、センター設備から適宜ダウンロードされる構成であってもよい。
図9に戻り、ステップS16において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図14は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
ここで、図14を参照して、状況判定部11における複数の車両外部の状況のそれぞれに関する判定方法およびその判定結果について説明する。車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度において、遮蔽度が閾値未満の場合には、状況判定部11は、実写案内画像を優先して表示する(以下、「実写優先」と称す)と判定する(図14A参照)。この場合、実写画像から車両前方が見通せるので、実写案内画像が有効である。一方、遮蔽度が閾値以上の場合には、状況判定部11は、地図案内画像を優先して表示する(以下、「地図優先」と称す)と判定する(図14B参照)。この場合、先行車両等の障害物によって実写画像から車両前方が見通せないので、実写案内画像は、有効でない。
また、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かにおいて、案内対象交差点が車両の前方を撮像した実写画像に存在する場合には、状況判定部11は、「実写優先」と判定する。この場合、実写画像に案内対象交差点が表示されるので、実写案内画像が有効である。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合には、状況判定部11は、「地図優先」と判定する。この場合、実写画像に案内対象交差点が表示されないので、実写案内画像は、有効でない。
また、車外の明るさにおいて、車外の明るさが閾値以上である場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、夜間やトンネル内など車外の明るさが閾値未満である場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。
また、降水および/または霧などの天候において、降水および霧がない場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、降水および/または霧がある場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。なお、降水に関しての判定条件を降水の有無とするのではなく、単位時間当たりの降水量が閾値以上であるか否かを判定してもかまわない。この場合、例えばワイパーの動作速度を検出して、当該動作速度に基づいて、降水量が算出される。
次に、図9のステップS17において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、降水などの天候について4つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された4つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS17でYes)には、案内表示制御部12は、優先して実写案内画像を表示させると制御して、処理は、ステップS18に進む。ステップS18において、実写案内画像が表示部5に表示される。具体的には、4つの車両外部の状況の判定結果が、図14Aの例のように、すべて「実写優先」となるので、案内表示制御部12は、実写案内生成部9で生成された実写案内画像を表示部5に表示させる。一方、4つの判定結果の少なくとも1つが「地図優先」となった場合(ステップS17でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS19に進む。ステップS19において、地図案内画像が表示部5に表示される。
また、図14Aに示す車両外部の状況から、例えば車両前方にトラックが自車両に接近し、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度が閾値以上となった場合には、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度に関して、状況判定部11は、「地図優先」と判定する(図14B参照)。これにより、判定結果の1つが、「地図優先」となるので、案内表示制御部12は、ステップS17において、優先して地図案内画像を表示させると制御する。その結果、表示部5に表示される案内画像は、優先的に地図案内生成部8で生成された地図案内画像に自動的に切り替えられる。
また、図15は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。図15の例のように、車両外部の状況のそれぞれに重み付けするポイントを設定してもよい。これにより、状況判定部11によって判定された結果に基づいて、実写案内画像または地図案内画像のいずれか一方に設定されたポイントが加算され、案内表示制御部12は、ポイントを多く獲得した方を表示部5に表示させる。具体的には、図15に示す例では、合計ポイントは、実写案内画像が50ポイント、地図案内画像が30ポイントであるので、案内表示制御部12は、優先して実写案内画像を表示部5に表示させる。なお、他の手段を用いて、実写案内画像または地図案内画像のいずれか一方を表示するようにしてもよい。
なお、案内表示制御部12によって実写案内画像または地図案内画像のいずれを優先して表示するかは、上述の4つの車両外部の状況の組み合わせに限らず、例えばいずれかの組み合わせ、もしくはいずれか1つの車両外部の状況のみを用いるようにしてもよい。さらに、上述の4つ車両外部の状況以外に、他の車両外部の状況を用いてもよい。
また、例えばレーダー等を用いて、状況取得部10は、自車両から先行車両までの距離を車両外部の状況として取得してもよい。この場合、自車両から先行車両までの距離が閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、測定された距離が閾値以上の場合には、状況判定部11は、「実写優先」と判定する。一方、測定された距離が閾値未満の場合は、状況判定部11は、「地図優先」と判定する。
また、状況取得部10は、道路幅または道路種別(例えば主要道路・細街路など)など車両走行中の道路の属性を取得してもよい。この場合、取得された道路の属性が案内画像の切り替えを行うための判定条件となる。これにより、取得された道路の属性が地図DB3に視認性のよい3次元CG(コンピュータグラフィックス)のデータが存在する主要道路の場合には、状況判定部11は、「地図優先」と判定する。一方、取得された道路の属性が地図DB3に視認性のよい3次元CGのデータが存在しない細街路の場合には、状況判定部11は、「実写優先」と判定する。また、走行中の道路の属性は、地図DB3に格納される地図情報から取得されてもよいし、映像取得部1によって取得された実写画像から取得されるようにしてもよい。
また、状況取得部10は、案内対象交差点の周辺に目印となる案内対象物を取得してもよい。ここで、目印となる案内対象物とは、信号機や、コンビニエンスストアまたはファミリーレストランなどのランドマークなどである。この場合、案内対象交差点の周辺に目印となる案内対象物が存在するか否かが案内画像の切り替えを行うための判定条件となる。これにより、案内対象交差点の周辺に目印となる案内対象物が存在する場合には、地図案内画像には、ランドマークを重畳して表示することができるので、状況判定部11は、「地図案内」と判定する。一方、目印となる案内対象物が存在しない場合には、状況判定部11は、「実写優先」と判定する。また、目印となる案内対象物は地図DB3から取得されてもよいし、映像取得部1によって取得された実写画像から検出して取得されるようにしてもよい。
また、車両が悪路(道路表面が凹凸の道路)を走行している場合、ジャイロなどを用いて、状況取得部10は、車載カメラの揺れの大きさを取得してもよい。この場合、取得された揺れの大きさが閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、揺れの大きさが閾値以上の場合には、揺れにより実写案内画像の視認性が低下するので、状況判定部11は、「地図優先」と判定する。一方、揺れの大きさが閾値未満の場合には、実写案内画像の視認性に問題がないので、状況判定部11は、「実写優先」と判定する。
また、本実施形態においては、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を優先して表示するとしたが、案内表示制御部12は、表示部5に実写案内画像と地図案内画像の2画面を表示させるようにしてもよい。例えば車両外部の状況に応じていずれか一方を強調して表示し、もう一方を表示画面の端に表示する。なお、図16は、案内表示制御部12が優先して実写案内画像を表示させる(例えば図9のステップS18)場合に、さらにもう1画面に地図案内画像を表示させた状態を示す表示例である。
図16の例のように、実写案内画像を強調して表示するため、実写案内画像が相対的に大きな画面で表示され、地図案内画像は相対的に小さな画面で表示されている。一方、案内表示制御部12が優先して地図案内画像を表示させる(例えば図9のステップS19)場合には、地図案内画像を強調して表示するため、地図案内画像は相対的に大きな画面で表示され、実写案内画像は相対的に小さな画面で表示される。この結果、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を大きく表示させることで、ユーザは、経路上の案内対象交差点において、車両が進むべき方向と探索された案内経路とを把握することができる。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に自動的に切り替えて表示することができる。
なお、本発明では、状況判定部11が、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定しているが、案内表示制御部12が判定するようにしてもよい。例えば、状況取得部10で取得された車両外部の状況が1つの場合には、状況判定部11または案内表示制御部12が判定してもよい。
また、本発明は、案内対象交差点までの距離が所定の距離以下に達した場合に、車両が進行すべき方向を示す案内図形の表示を行ったが、案内図形の代わりに、案内対象交差点に近づいていることを図示しない音声出力部からユーザに音声で通知してもよい。または、車両が進行すべき方向を示す案内図形の表示とともに、案内対象交差点に近づいていることを音声出力部からユーザに音声で通知してもよい。例えば、「200m先、左折です。」等の音声を出力してもよい。さらに、車両位置と案内対象交差点との距離が所定距離になった場合に、音声出力部から音声を出力させてもよい。例えば、「まもなく左方向です。」等の音声を出力してもよい。
(第2の実施形態)
前述した第1の実施形態のナビゲーション装置は、車両外部の状況に応じて実写案内画像または地図案内画像のいずれを優先して表示するかを制御して自動的に切り替えるとしたが、これから説明する第2の実施形態のナビゲーション装置は、実写案内画像または地図案内画像が頻繁に切り替わるのを防止するため、前回案内画像が切り替わった時点から、経過した時間を算出し、算出された経過時間に基づいて、優先して表示されている案内画像を切り替えるか否かを実現する。なお、第2の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図17を参照して、第2の実施形態の動作の流れについて説明する。なお、図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図17において、ステップS21〜ステップS23は、図9のステップS11〜ステップS13と同様の、処理を行う。続いて、ステップS24において、案内表示制御部12は、前回案内画像が切り替わった時点から所定の時間が経過したか否かを判定する。判定の結果、前回案内画像が切り替わった時点から所定の時間が経過している場合(ステップS24でYes)には、図9のステップS14〜ステップS19と同様の、処理が行われる(ステップS26〜ステップS31)。一方、前回案内画像が切り替わった時点から所定の時間が経過していない場合(ステップS24でNo)には、処理は、ステップS25に進む。ステップS25において、現状の優先して表示される案内画像を切り替えないで、現状の優先して表示される案内画像が継続される。
以上のように、本実施形態に係るナビゲーション装置によれば、案内表示制御部12は、前回案内画像が切り替わった時点からの経過時間を考慮しながら、優先して表示される案内画像を切り替えるか否かを制御する。これにより、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
なお、ステップS24において、前回案内画像が切り替わった時点から、所定の時間が経過したか否かを判定したが、経過時間の代わりに車両の移動距離を算出して、前回案内画像が切り替わった時点から車両が所定の距離以上を移動したか否かを判定して、優先して表示される案内画像を切り替えるか否かを制御するようにしてもよい。これにより、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。また、車両が所定の区間を走行している間は、案内画像がさらに切り替わらないようにしてもよい。例えば案内対象交差点の手前50m以内では、案内画像は切り替わらないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
(第3の実施形態)
第3の実施形態のナビゲーション装置は、車両外部の状況に応じて表示モードの異なる実写案内画像を生成することを実現する。ここで、表示モードとは、画像に表示される表示内容である。さらに、優先して実写案内画像が表示される場合、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに応じて、形態の異なる案内図形を重畳した実写案内画像が生成されることを特徴とする。なお、第3の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図18〜図20を参照して、第3の実施形態の動作の流れについて説明する。なお、図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図18において、ステップS41〜ステップS45は、図9のステップS11〜ステップS15と同様の、処理を行う。続いて、ステップS46において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに対して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。
次に、ステップS47において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、車外の明るさ、降水などの天候について3つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された3つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS47でYes)には、処理は、ステップS49に進む。一方、3つの車両外部の状況の判定結果の少なくとも1つが「地図優先」となった場合(ステップS47でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS48に進む。ステップS48において、地図案内画像が表示部5に表示される。
次に、ステップS49において、案内表示制御部12は、状況判定部11によって判定された案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに関する判定に応じて、形態の異なる案内図形を重畳した実写案内画像のいずれを優先して表示させるかを制御する。なお、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かの判定は、上述の案内対象交差点の交差点領域の全部または一部が実写画像に存在するか否かを判定する。判定の結果、案内対象交差点が車両の前方を撮像した実写画像に存在する場合(ステップS49でYes)には、案内表示制御部12は、優先して実写案内画像Aを表示させると制御して、処理は、ステップS50に進む。ステップS50において、実写案内画像Aが表示部5に表示される(図20A参照)。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合(ステップS49でNo)には、案内表示制御部12は、優先して実写案内画像Bを表示させると制御して、処理は、ステップS51に進む。ステップS51において、実写案内画像Bが表示部5に表示される(図20B参照)。なお、図20Aおよび図20Bのそれぞれは、形態の異なる案内図形を重畳した実写案内画像の表示例である。
図20Aは、案内対象交差点が車両の前方を撮像した実写画像に存在する場合に優先して表示される実写案内画像Aの表示例である。実写案内画像Aは、上述の実写案内画像と同様の、案内対象交差点において車両が進むべき方向を示す案内図形を実写画像に重畳表示した案内画像である。一方、図20Bは、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合に優先して表示される実写案内画像Bの表示例である。実写案内画像Bは、案内対象交差点まで車両が進むべき方向を示す案内図形(ガイド表示)を実写画面上の道路に沿って重畳表示し、さらに案内対象交差点において車両が進むべき方向を示す案内図形をガイド表示と異なる矢印(矢印A、矢印B、および矢印C)で重畳表示した案内画像である。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて実写案内画像を優先して表示させる場合において、さらに、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か判定に応じて、形態の異なる案内図形を重畳した実写案内画像を生成することができる。これにより、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
なお、実写案内画像の表示モードは本実施形態に限らない。また、本実施形態においては、地図案内画像と組み合わせた場合について説明したが、実写案内画像のみを表示し、車両外部の状況に応じて実写案内画像における案内図形を変更するようにしてもよい。また、第1の実施形態で説明した2画面同時表示の実施形態または第2の実施形態と、本実施形態とを組み合わせた実施形態であってもよい。
本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲から逸脱することなしに多くの他の改変例及び変形例が可能であることは言うまでもない。
本発明に係るナビゲーション装置は、車両内に設置されるカーナビゲーション装置、または、携帯電話などの移動体端末におけるナビゲーション装置として有用である。
本発明は、ナビゲーション装置に関し、より特定的には、地図情報を用いた地図画像またはカメラなどで撮影した実写画像を利用して出発地から目的地まで案内するナビゲーション装置およびその方法に関するものである。
近年、地図情報を用いて車両の位置周辺の地図画像を車載ディスプレイに表示するとともに、目的地が設定されると、現在位置から目的地までの経路を探索した後、探索された経路に沿って、車両を目的地まで案内するナビゲーション装置が広く普及している。具体的には、ナビゲーション装置は、探索された案内経路を他の道路と異なる色で表示したり、探索された案内経路の道路の表示幅を太くして表示する。これにより、ユーザは、探索された案内経路を他の道路と識別することができる。また、進路変更の必要な交差点などの案内対象交差点から所定距離に車両が到達したとき、案内対象交差点の案内図(例えば、交差点拡大図)が表示される。その結果、ユーザは、経路上の案内対象交差点において、車両が進むべき方向を把握することができる。
また、車載カメラで撮影した車両外部の様子を示す実写画像に案内図形(案内対象交差点において車両が進むべき方向を示す矢印等の図形)を重畳表示して、車両を目的地まで案内する案内画像表示(実写案内)と、地図情報を用いた案内画像表示(地図案内)をユーザの好みに合わせて選択可能であることが記載されている(例えば、特許文献1参照)。
特開平7−63572号公報
しかしながら、上記特許文献1に記載の従来の車載用ナビゲーション装置では、実写画像に案内図形を重畳した案内画像を用いて車両を案内する場合には、その時々の車両外部の状況によって、実写画像に案内図形を重畳した案内画像は、ユーザにとって分かりにくい場合がある。例えば、車両前方の様子を示す実写画像が先行車両等の障害物で遮蔽されている場合や、車両前方の道路がカーブや勾配して車両前方の様子を示す実写画像に案内対象交差点が撮像されない場合、および夜間や雨天時など車両前方の様子が明瞭に撮像されない場合などがある。これらの場合には、案内図形がどの道路または交差点を指しているか分かりづらく、ユーザは曲がるべき交差点を誤認識してしまう場合があった。また、ユーザが、地図情報を用いた案内画像(地図案内)、または実写画像に案内図形を重畳した案内画像(実写案内)のいずれを表示するかの切り替えを行わなければならず、煩わしい操作を必要とした。
それ故に、本発明は、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置およびその方法を提供することを目的とする。
本発明の目的は、以下の構成を備えたナビゲーション装置によって達成される。
本発明は、目的地への案内を示す案内画像を表示する表示部と、車両外部の状況を取得する状況取得部と、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成部と、地図情報を用いて地図案内画像を生成する地図案内生成部と、状況取得部によって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定部と、状況判定部の判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示部に表示させる案内表示制御部とを備える。
また、状況取得部は、複数の車両外部の状況を取得する。状況判定部が、状況取得部によって取得された少なくとも1つの車両外部の状況から、地図案内画像を優先して表示すると判定した場合には、案内表示制御部は、地図案内画像を優先して表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を表示させてもよい。
また、案内表示制御部は、状況判定部の判定に基づいて、実写案内画像または地図案内画像のいずれか一方を相対的に大きく表示させてもよい。
これにより、ナビゲーション装置は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ナビゲーション装置は、車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないことができる。その結果、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、案内表示制御部は、車両が所定の区間を移動している間は、優先して表示される案内画像をさらに切り替えないようにしてもよい。
これにより、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
また、状況取得部は、実写画像から、車両外部の状況を取得してもよい。
また、状況取得部は、実写画像における車両の前方方向の障害物による遮蔽度を算出する遮蔽度算出部を含んでいる。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、遮蔽度算出部によって算出された遮蔽度が閾値未満の場合には、実写案内画像を優先して表示すると判定し、遮蔽度算出部によって算出された遮蔽度が閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。なお、遮蔽度算出部は、実写画像において、案内対象交差点が表示されている領域である交差点領域のうち、前方方向の障害物と重なる領域の割合を遮蔽度として算出してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像した実写画像における車両の前方方向の障害物による遮蔽度を算出して、算出された遮蔽度に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、車両の前方を撮像した実写画像から車両前方を見通せる場合には、実写案内画像を優先して表示すると判定し、車両の前方を撮像した実写画像から車両前方を見通せない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。なお、交差点領域とは、案内対象交差点およびその周辺の所定範囲が含まれる領域である。また、状況判定部は、案内対象交差点判定部の判定結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、案内対象交差点判定部によって案内対象交差点が表示されている領域である交差点領域の全てまたは一部が実写画像に存在すると判定された場合には、実写案内画像を優先して表示すると判定し、案内対象交差点判定部によって案内対象交差点が表示されている領域である交差点領域の全てまたは一部が実写画像に存在しないと判定された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映る場合には、実写案内画像を優先して表示すると判定し、案内対象交差点が表示されている領域である交差点領域の全てまたは一部が案内画面に映らない場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の明るさを取得する明るさ取得部を含んでいる。また、状況判定部は、明るさ取得部によって取得された明るさに基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、明るさ取得部によって取得された明るさが閾値以上の場合には、実写案内画像を優先して表示すると判定し、明るさ取得部によって取得された明るさが閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の明るさに応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、昼間など車両外部が明るい場合には、実写案内画像を優先して表示すると判定し、夜間やトンネル内など車両外部が暗い場合には、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の降水を検出する降水検出部を含んでいる。また、状況判定部は、降水検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、降水検出部によって降水が検出されない場合には、実写案内画像を優先して表示すると判定し、降水検出部によって降水が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の降水の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、雨が降っていない場合には、実写案内画像を優先して表示すると判定し、雨天時には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両外部の霧を検出する霧検出部を含んでいる。また、状況判定部は、霧検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、霧検出部によって霧が検出されない場合には、実写案内画像を優先して表示すると判定し、霧検出部によって霧が検出された場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両外部の霧の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、霧が発生していない場合には、実写案内画像を優先して表示すると判定し、霧が発生している場合には、車両外部の様子が明瞭に表示されないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、先行車両までの距離を測定する距離測定部を含んでいる。また、状況判定部は、距離測定部よって測定された距離に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、距離測定部によって測定された距離が閾値以上の場合には、実写案内画像を優先して表示すると判定し、距離測定部によって測定された距離が閾値未満の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両前方の様子を見通すことができるか否かによって先行車両までの距離を測定し、測定された距離に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、測定された距離が閾値以上の場合には、車間距離が長く、車両前方の様子が見通せるので、実写案内画像を優先して表示すると判定し、測定された距離が閾値未満の場合には、車間距離が短く、車両前方の様子が見通せないので、地図案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、車両の前方を撮像する撮像部の揺れを検出する揺れ検出部を含んでいる。また、状況判定部は、揺れ検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。また、状況判定部は、揺れ検出部によって検出された揺れの大きさが閾値未満の場合には、実写案内画像を優先して表示すると判定し、揺れ検出部によって検出された揺れの大きさが閾値以上の場合には、地図案内画像を優先して表示すると判定してもよい。
これにより、ナビゲーション装置は、車両の前方を撮像する撮像部の揺れの検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。また、走行中の路面が大きな凹凸で、検出された揺れの大きさが閾値未満の場合には、実写画像が揺れて実写画像の視認性が低いので、地図案内画像を優先して表示すると判定し、検出された揺れの大きさが閾値以上の場合には、実写画像の揺れが小さいので、実写案内画像を優先して表示すると判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、走行している道路の属性を取得する道路属性取得部を含んでいる。また、状況判定部は、道路属性取得部によって取得された属性に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、道路の属性に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、状況取得部は、案内対象交差点の周辺に目印となる案内対象物を検出する案内対象物検出部を含んでいる。また、状況判定部は、案内対象物検出部の検出結果に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定してもよい。
これにより、ナビゲーション装置は、案内対象交差点の周辺に目印となる案内対象物の検出結果に応じて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定することができる。その結果、車両外部の状況に応じた案内画像が表示されるので、案内画像の視認性が向上する。
また、実写案内生成部は、状況取得部によって取得された車両外部の状況に応じて表示モードの異なる実写案内画像を生成してもよい。
また、状況取得部は、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定する案内対象交差点判定部を含んでいる。また、実写案内生成部は、実写画像に、案内対象交差点判定部の判定結果に応じて形態の異なる案内図形を重畳することによって実写案内画像を生成してもよい。
これにより、ナビゲーション装置は、優先的に実写案内画像を表示させる場合において、さらに、実写画像に案内対象交差点が表示されている領域である交差点領域の全てまたは一部が含まれているか否かを判定することで、形態の異なる案内図形を重畳した実写案内画像を生成することができる。その結果、案内対象交差点が実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
本発明の目的は、以下のステップを備えたナビゲーション方法によって達成される。
本発明は、車両外部の状況を取得する状況取得ステップと、車両の前方を撮像した実写画像を用いて実写案内画像を生成する実写案内生成ステップと、地図情報を用いて地図案内画像を生成する地図案内生成ステップと、状況取得ステップによって取得された車両外部の状況に基づいて、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する状況判定ステップと、状況判定ステップの判定に基づいて、少なくとも実写案内画像または地図案内画像を含む案内画像を表示させる案内表示制御ステップとを備える。
これにより、ナビゲーション方法は、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御することができる。したがって、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
本発明によれば、上記説明から明らかなように、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じて視認性のよい案内画像を優先的に、自動的に切り替えて表示することができる。
(第1の実施形態)
図1を参照して、本発明における第1の実施形態に係るナビゲーション装置について説明する。なお、図1は、第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図である。また、各図面において、本発明に関係のない構成要素は省略している。
図1において、ナビゲーション装置は、映像取得部1、測位部2、地図DB3、入力部4、表示部5、および制御部6を備える。
映像取得部1は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal−Oxide Semiconductor)などを利用したカメラで撮像された映像を取得する。映像を取得するカメラは、車両天井部、車両先端部またはルームミラー背面などの場所に設置されて、好ましくは、車両の前方方向を撮像する。なお、車両の前方方向に限らず、車両の左右方向や後方方向などの前方方向以外の車両外部を撮像するものでも構わない。
測位部2は、車両の現在位置、速度、および方位を計測する。例えば、測位部2は、GNSS(Global Navigation Satellite System)受信機、車速センサ、およびジャイロセンサである。GNSS受信機は、例えばGPS(Global Positioning System)受信機であり、衛星からの電波を受信し、それを復調することで受信機の位置を算出する。
地図DB3は、例えばHDD(Hard Disc Drive)またはDVD(Digital Versatile Disc)などで構成される。地図DB3には、道路の形状データおよび交差点の位置データなどの地図情報が予め格納されている。ただし本発明はこれに限らず、地図情報は、図示しない通信手段(例えば、携帯電話)を通じて、センター設備から適宜ダウンロードして地図DB3に格納される構成であってもよい。
ここで、図2A、図2Bおよび図2Cを参照して、地図DB3に格納される地図情報について説明する。地図DB3は、例えばノードデータ、補間ノードデータ、およびリンクデータなどを格納している。なお、図2A、図2Bおよび図2Cは、地図DB3に格納されている地図情報のうち、本実施形態に関連する地図情報の一部を抜粋した地図情報の一例を示す図である。
図2Aは、交差点や合流地点など複数の方向に道路が分岐する地点(ノード)に関するノードデータである。ノードデータは、ノード毎に、緯度および経度などの位置情報、当該ノードに接続するリンクの数、およびリンクのIDから構成されている。図2Bは、リンク上に存在し、リンクが直線状でない場合など、リンクの形状を表現するための曲折点を示す補間ノードデータである。補間ノードデータは、補間ノード毎に、緯度および経度などの位置情報、および当該補間ノードを示す存在リンクIDから構成される。図2Cは、ノードとノードを結ぶ道路を示すリンクデータである。リンクデータは、リンク毎に、リンクの端点である始点ノードおよび終点ノード、リンクの長さ(単位は、例えばメートルやキロメートルなど)、一般道路や高速道路などを示す道路種別、道路幅、上述の補間ノードの数、および当該補間ノードを示すIDから構成されている。なお、リンクデータには、車線数または通行規制の情報が含まれていてもよい。
次に、図3を参照して、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成される状態について説明する。なお、図3は、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図である。図3において、ノード(Node15)は、3つのリンクと接続し、さらに、リンクL6で別のノード(Node12)と結ばれている。また、リンクL6には、リンクの形状を形成する補間ノード(CN8およびCN9)が存在する。これにより、地図画像が形成される。なお、リンクが直線道路である場合には、補間ノードが存在しないことは言うまでもない。
入力部4は、例えばリモートコントローラー、タッチパネル、音声入力用のマイクと音声認識エンジンなどで構成され、ユーザの指示を受け付ける。ユーザによって入力される指示は、例えば目的地の設定、探索経路の選択、経路案内の開始などである。
表示部5は、例えばディスプレイで構成され、ユーザに対して情報を表示する。具体的には、目的地への案内を示す案内画像を表示する。また、後述する地図案内生成部8で生成される地図案内画像および/または後述する実写案内生成部9で生成される実写案内画像を含む案内画像を表示部5に表示する。
制御部6は、例えばCPU(Central Processing Unit)で構成される。また、制御部6は、経路探索部7、地図案内生成部8、実写案内生成部9、状況取得部10、状況判定部11、および案内表示制御部12を含んでいる。
経路探索部7は、入力部4から入力された目的地、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報などを参照して、現在位置から目的地に至る最適経路を探索する。
地図案内生成部8は、地図DB3に格納される地図情報を用いて所定領域の案内画像(以下、地図案内画像と称す)を生成する。ここで、所定領域とは、表示部5の表示画面に表示できる領域である。さらに、地図案内生成部8は、地図画像上において、経路探索部7で探索された経路の表示色を他の道路と異なる色に設定する。また、探索された経路は、他の道路より線幅を太く設定されてもよい。
実写案内生成部9は、経路探索部7で探索された案内経路、測位部2が検出した車両の現在位置、および地図DB3に格納される地図情報(例えば、道路形状データなど)に基づいて、案内対象交差点での車両の進むべき方向を示す矢印形状の案内図形を作成する。さらに、実写案内生成部9は、映像取得部1によって取得された実写画像に案内図形を重畳した案内画像(以下、実写案内画像と称す)を生成する。
ここで、図4〜図8を参照して、実写案内生成部9における案内図形および実写案内画像の生成方法について説明する。なお、図4は、実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャートである。
まず、実写案内生成部9は、地図DB3に格納される地図情報による3次元地図、および映像取得部1によって取得された車両前方の様子を示す実写画像の撮像方向と撮像範囲を定めるパラメータであるカメラ位置、カメラ角(水平角、仰角)、焦点距離、および画像サイズに基づいて、3次元地図におけるカメラ視野空間を求める(ステップS1)。ここで、3次元地図とは、緯度、経度、および高度の位置情報で表される地図である。また、撮像方向と撮像範囲を定めるパラメータは、画角などの他のパラメータを用いて、換算されてもよい。また、3次元地図から高度情報を除いた2次元地図を用いてもよい。
また、カメラ視野空間は、図5に示すような方法で求められる。なお、図5は、カメラ視野空間を説明するための図である。まず、図5において、視点E(カメラ位置)からカメラ角方向に焦点距離fだけ離れた点Fを求める。さらに、点Fに表示部5の表示画面の縦横比に相当する横x縦yの平面(カメラ画面)が視点Eと点Fを結んだベクトルに垂直になるように設定される。次に、視点Eからカメラ画面の4隅の点へと結ぶ半直線によって得られる3次元空間が算出される。また、3次元空間は理論上無限遠まで延びるが、視点Eから適当な距離だけ離れたところで打ち切り、当該空間をカメラ視野空間とする。
次に、ステップS2において、実写案内生成部9は、3次元地図において、上述の方法で求められるカメラ視野空間内に存在する道路を検出する(以下、道路検出処理と称す)。なお、図6は、経路探索部7により探索された案内経路上の案内対象交差点を含む3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。具体的には、図6の例のように、カメラ視野空間に囲まれた道路(斜線で示した領域)がカメラ視野空間内に存在する道路として検出される。さらに、道路検出処理において、上述した地図DB3に格納されるノードデータ、補間ノードデータ、およびリンクデータに基づいて、検出された道路の形状データや道路幅などが抽出される。
次に、ステップS3において、実写案内生成部9は、道路検出処理により検出された道路のうち、経路探索部7によって探索された案内経路に該当する道路の形状データや道路幅などに基づいて、案内対象交差点での車両の進むべき方向を示す案内図形(矢印)を作成する。なお、図7は、案内図形の形状および配置位置の求め方を説明するための図である。続いて、図7に示す例のように、作成された案内図形は、カメラ視野空間内に存在する道路のうち、案内経路に該当する道路に配置される。なお、案内図形は、図7に示す矢印形状に限らず、例えば単なる折れ線であってもよい。
次に、ステップS4において、実写案内生成部9は、図5に示すカメラ画面を投影面として上記配置された案内図形を透視投影する(投影処理)。これにより、案内図形が投影される投影面が映像取得部1によって取得されるカメラ画面と一致するため、案内図形は、実写画像に表示されている道路(案内経路)上に重畳される(図8参照)。続いて、処理は、終了する。なお、実写画像に案内図形を重畳する際に、白線検知、道路端検知等の周知の画像認識技術を用いて、カメラで撮像された道路の位置を検出し、案内図形の重畳位置を補正するようにしてもよい。
状況取得部10は、車両外部の状況を取得する。取得される車両外部の状況は、例えば車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、および降水(降雨または降雪)および/または霧などの天候などである。なお、状況取得部10によって取得される車両外部の状況の詳細については後述する。
状況判定部11は、状況取得部10で取得された車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。
案内表示制御部12は、車両外部の状況のそれぞれに関して状況判定部11によって判定された判定結果に基づいて、実写案内画像または地図案内画像のどちらを優先して表示部5に表示させるかを制御する。
次に、図9〜図15を参照して、本実施形態のナビゲーション装置の動作の流れについて説明する。なお、図9は、本実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
図9において、ユーザが入力部4から目的地を入力して、目的地が設定されたか否かを判定する(ステップS11)。判定の結果、目的地が設定されると(ステップS11でYes)、測位部2が車両の現在位置を検出して、経路探索部7は、現在位置から目的地に至る最適経路を探索する(ステップS12)。また、経路案内が開始されると、測位部2は、所定の時間間隔で車両の現在位置を検出する。続いて、車両の現在位置と最適経路を照合して目的地に到着したか否かを判定する(ステップS13)。判定の結果、目的地に到着していない場合(ステップS13でNo)には、処理は、ステップS14に進む。一方、目的地に到着した場合(ステップS13でYes)には、処理は、終了する。
次に、ステップS14において、制御部6は、車両から案内対象交差点までの距離が所定の距離(例えば、200m)以下か否かを判定する。判定の結果、案内対象交差点までの距離が所定の距離に到達していない場合(ステップS14でNo)には、処理は、ステップS19に進む。一方、案内対象交差点までの距離が所定の距離以下に到達した場合(ステップS14でYes)には、処理は、ステップS15に進む。ステップS15において、状況取得部10は、車両外部の状況を取得する。
次に、状況取得部10によって取得される車両外部の状況の詳細について説明する。まず、状況取得部10が、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度を車両外部の状況として取得する場合を説明する。状況取得部10は、先行車両等の障害物が表示されている領域(以下、先行車両領域と称す)を検出して、検出された領域の面積を遮蔽度として算出する。
ここで、先行車両領域を検出する手法としては、単眼カメラやステレオカメラを用いた公知の手法があり、本実施例においては、どちらであってもよい。例えば、単眼カメラを用いた車両検出手法としては、輝度値を参照する手法(車線上の輝度値を取得して路面上の障害物を検出する手法)や、射影変換画像を利用する手法(2フレーム間で射影変換画像の差分をとって移動物体を検出する手法)、先行車両のエッジを検出する手法(水平方向と垂直方向のエッジを検出して障害物を検出する手法)等がある。また、ステレオカメラを用いた車両検出手法としては、距離画像から先行車両の輪郭を抽出する手法や、ステレオ逆射影変換を用いて高さ情報を持つ物体を検出する手法、道路平面領域を抽出して路上の障害物を検出する手法などがある。さらに、他の検出手法としては、先行車両が存在しない状態で撮影した道路画像データを位置情報と関連付けて図示しない記憶手段に記憶しておき、測位部2の測位結果に基づいて、映像取得部1によって取得された実写画像と、現在の走行位置に対応する道路画像データとの差分をとることによって先行車両を検出することもできる。
上述の手法により、映像取得部1によって取得された実写画像に基づいて、先行車両領域が検出される。具体的には、図10において、斜線で示す領域が検出された先行車両領域である。なお、図10は、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図である。また、状況取得部10は、検出された先行車両領域の面積を算出し、当該面積を、車両の前方を撮像した実写画像において先行車両等の障害物による遮蔽度として取得する。なお、車両の前方を撮像した実写画像に複数の先行車両領域が存在する場合には、複数の先行車両領域の面積の総和を算出し、算出された面積を遮蔽度としてもよい。
また、状況取得部10は、車両の前方を撮像した実写画像において、案内対象交差点が表示されている領域(以下、交差点領域と称す)のうち、先行車両領域と重なる領域(以下、重なり領域と称す)を検出し、交差点領域に占める重なり領域の割合を遮蔽度として取得してもよい。ここで、交差点領域とは、図11Aの例のように、案内対象交差点およびその周辺の所定範囲が含まれる点線で囲まれる領域である。また、状況取得部10は、上述の手法により先行車両領域を検出し、交差点領域と先行車両領域との重なり領域を検出する(図11B参照)。これにより、状況取得部10は、交差点領域に占める重なり領域の割合を遮蔽度として取得する。また、交差点領域と先行車両領域の重なり、つまり重なり領域が大きいほど、遮蔽度が大きくなる。なお、交差点領域を設定する際、案内対象交差点において車両が進むべき方向に応じて交差点領域のその周辺の所定範囲の位置を変えるようにしてもよい。例えば、車両が案内対象交差点で右に曲がるときは、交差点領域は案内対象交差点の右側を多く含むように設定される(図11C参照)。
また、状況取得部10は、探索経路上の案内対象交差点が車両の前方を撮像した実写画像に存在するか否かを、車両外部の状況として取得する。案内対象交差点が車両の前方を撮像した実写画像に存在するか否かは、以下のようにして求められる。まず、測位部2が検出した車両の現在位置および地図DB3に格納される地図情報を参照して、探索経路上の案内対象交差点が検出される。次に、上述の図4のステップS1と同様の、カメラ視野空間(撮像範囲)が求められ、3次元地図において、案内対象交差点がカメラ視野空間に存在するか否かが判定される。
具体的には、図12Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。なお、本実施形態では、3次元地図の代わりにリンクおよびノードなどから構成される図を用いて説明する。この場合、検出された案内対象交差点がカメラ視野空間に存在する場合である。したがって、図12Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されるので、状況取得部10は、検出された案内対象交差点が車両の前方を撮像した実写画像に存在することを取得する。なお、交差点領域とは、上述の案内対象交差点およびその周辺の所定範囲が含まれる領域である。
一方、図13Aは、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図である。この場合、検出された案内対象交差点がカメラ視野空間に存在しない場合である。例えば、車両前方の道路がカーブや勾配していて、検出された案内対象交差点が車両の前方を撮像した実写画像外に存在する場合である。したがって、図13Bの例のように、検出された案内対象交差点の交差点領域の全てまたは一部が実写画像に表示されないので、状況取得部10は、案内対象交差点が車両の前方を撮像した実写画像に存在しないことを取得する。
また、状況取得部10は、車外の明るさを車両外部の状況として取得する。車外の明るさは、図示しない照度センサによって取得される。また、車外の明るさは、図示しないデータベースに格納される時刻と明るさの対応関係を参照して取得されてもよい。また、地図DB3に格納される地図情報を参照してトンネル内を走行していることを検出し、検出された結果を考慮して車外の明るさを取得するようにしてもかまわない。また、車外の明るさは、映像取得部1によって取得された実写画像の輝度に基づいて取得されてもよい。
また、状況取得部10は、降水または霧などの天候を車両外部の状況として取得する。降水の有無は、例えばワイパーの動作を検出することによって取得される。また、霧の発生の有無は、映像取得部1によって取得された実写画像の輝度を算出して、実写画像全体が白色であるか否かを判定することにより取得される。なお、降水または霧の有無は、図示しない通信手段を通じて、センター設備から適宜ダウンロードされる構成であってもよい。
図9に戻り、ステップS16において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図14Aおよび図14Bは、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図である。
ここで、図14Aおよび図14Bを参照して、状況判定部11における複数の車両外部の状況のそれぞれに関する判定方法およびその判定結果について説明する。車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度において、遮蔽度が閾値未満の場合には、状況判定部11は、実写案内画像を優先して表示する(以下、「実写優先」と称す)と判定する(図14A参照)。この場合、実写画像から車両前方が見通せるので、実写案内画像が有効である。一方、遮蔽度が閾値以上の場合には、状況判定部11は、地図案内画像を優先して表示する(以下、「地図優先」と称す)と判定する(図14B参照)。この場合、先行車両等の障害物によって実写画像から車両前方が見通せないので、実写案内画像は、有効でない。
また、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かにおいて、案内対象交差点が車両の前方を撮像した実写画像に存在する場合には、状況判定部11は、「実写優先」と判定する。この場合、実写画像に案内対象交差点が表示されるので、実写案内画像が有効である。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合には、状況判定部11は、「地図優先」と判定する。この場合、実写画像に案内対象交差点が表示されないので、実写案内画像は、有効でない。
また、車外の明るさにおいて、車外の明るさが閾値以上である場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、夜間やトンネル内など車外の明るさが閾値未満である場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。
また、降水および/または霧などの天候において、降水および霧がない場合には、実写案内画像が有効な状況であるので、状況判定部11は、「実写優先」と判定する。一方、降水および/または霧がある場合には、実写案内画像は、有効な状況でないので、状況判定部11は、「地図優先」と判定する。なお、降水に関しての判定条件を降水の有無とするのではなく、単位時間当たりの降水量が閾値以上であるか否かを判定してもかまわない。この場合、例えばワイパーの動作速度を検出して、当該動作速度に基づいて、降水量が算出される。
次に、図9のステップS17において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か、車外の明るさ、降水などの天候について4つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された4つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS17でYes)には、案内表示制御部12は、優先して実写案内画像を表示させると制御して、処理は、ステップS18に進む。ステップS18において、実写案内画像が表示部5に表示される。具体的には、4つの車両外部の状況の判定結果が、図14Aの例のように、すべて「実写優先」となるので、案内表示制御部12は、実写案内生成部9で生成された実写案内画像を表示部5に表示させる。一方、4つの判定結果の少なくとも1つが「地図優先」となった場合(ステップS17でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS19に進む。ステップS19において、地図案内画像が表示部5に表示される。
また、図14Aに示す車両外部の状況から、例えば車両前方にトラックが自車両に接近し、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度が閾値以上となった場合には、車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度に関して、状況判定部11は、「地図優先」と判定する(図14B参照)。これにより、判定結果の1つが、「地図優先」となるので、案内表示制御部12は、ステップS17において、優先して地図案内画像を表示させると制御する。その結果、表示部5に表示される案内画像は、優先的に地図案内生成部8で生成された地図案内画像に自動的に切り替えられる。
また、図15は、状況取得部10で取得された複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図である。図15の例のように、車両外部の状況のそれぞれに重み付けするポイントを設定してもよい。これにより、状況判定部11によって判定された結果に基づいて、実写案内画像または地図案内画像のいずれか一方に設定されたポイントが加算され、案内表示制御部12は、ポイントを多く獲得した方を表示部5に表示させる。具体的には、図15に示す例では、合計ポイントは、実写案内画像が50ポイント、地図案内画像が30ポイントであるので、案内表示制御部12は、優先して実写案内画像を表示部5に表示させる。なお、他の手段を用いて、実写案内画像または地図案内画像のいずれか一方を表示するようにしてもよい。
なお、案内表示制御部12によって実写案内画像または地図案内画像のいずれを優先して表示するかは、上述の4つの車両外部の状況の組み合わせに限らず、例えばいずれかの組み合わせ、もしくはいずれか1つの車両外部の状況のみを用いるようにしてもよい。さらに、上述の4つ車両外部の状況以外に、他の車両外部の状況を用いてもよい。
また、例えばレーダー等を用いて、状況取得部10は、自車両から先行車両までの距離を車両外部の状況として取得してもよい。この場合、自車両から先行車両までの距離が閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、測定された距離が閾値以上の場合には、状況判定部11は、「実写優先」と判定する。一方、測定された距離が閾値未満の場合は、状況判定部11は、「地図優先」と判定する。
また、状況取得部10は、道路幅または道路種別(例えば主要道路・細街路など)など車両走行中の道路の属性を取得してもよい。この場合、取得された道路の属性が案内画像の切り替えを行うための判定条件となる。これにより、取得された道路の属性が地図DB3に視認性のよい3次元CG(コンピュータグラフィックス)のデータが存在する主要道路の場合には、状況判定部11は、「地図優先」と判定する。一方、取得された道路の属性が地図DB3に視認性のよい3次元CGのデータが存在しない細街路の場合には、状況判定部11は、「実写優先」と判定する。また、走行中の道路の属性は、地図DB3に格納される地図情報から取得されてもよいし、映像取得部1によって取得された実写画像から取得されるようにしてもよい。
また、状況取得部10は、案内対象交差点の周辺に目印となる案内対象物を取得してもよい。ここで、目印となる案内対象物とは、信号機や、コンビニエンスストアまたはファミリーレストランなどのランドマークなどである。この場合、案内対象交差点の周辺に目印となる案内対象物が存在するか否かが案内画像の切り替えを行うための判定条件となる。これにより、案内対象交差点の周辺に目印となる案内対象物が存在する場合には、地図案内画像には、ランドマークを重畳して表示することができるので、状況判定部11は、「地図優先」と判定する。一方、目印となる案内対象物が存在しない場合には、状況判定部11は、「実写優先」と判定する。また、目印となる案内対象物は地図DB3から取得されてもよいし、映像取得部1によって取得された実写画像から検出して取得されるようにしてもよい。
また、車両が悪路(道路表面が凹凸の道路)を走行している場合、ジャイロなどを用いて、状況取得部10は、車載カメラの揺れの大きさを取得してもよい。この場合、取得された揺れの大きさが閾値以上であるか否かが案内画像の切り替えを行うための判定条件となる。これにより、揺れの大きさが閾値以上の場合には、揺れにより実写案内画像の視認性が低下するので、状況判定部11は、「地図優先」と判定する。一方、揺れの大きさが閾値未満の場合には、実写案内画像の視認性に問題がないので、状況判定部11は、「実写優先」と判定する。
また、本実施形態においては、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を優先して表示するとしたが、案内表示制御部12は、表示部5に実写案内画像と地図案内画像の2画面を表示させるようにしてもよい。例えば車両外部の状況に応じていずれか一方を強調して表示し、もう一方を表示画面の端に表示する。なお、図16は、案内表示制御部12が優先して実写案内画像を表示させる(例えば図9のステップS18)場合に、さらにもう1画面に地図案内画像を表示させた状態を示す表示例である。
図16の例のように、実写案内画像を強調して表示するため、実写案内画像が相対的に大きな画面で表示され、地図案内画像は相対的に小さな画面で表示されている。一方、案内表示制御部12が優先して地図案内画像を表示させる(例えば図9のステップS19)場合には、地図案内画像を強調して表示するため、地図案内画像は相対的に大きな画面で表示され、実写案内画像は相対的に小さな画面で表示される。この結果、車両外部の状況に応じて実写案内画像または地図案内画像のいずれか一方を大きく表示させることで、ユーザは、経路上の案内対象交差点において、車両が進むべき方向と探索された案内経路とを把握することができる。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて地図案内画像あるいは実写案内画像のいずれを優先して表示するかを制御する。これにより、ユーザが切り替え操作することなく、車両外部の状況に応じた視認性のよい案内画像を優先的に自動的に切り替えて表示することができる。
なお、本発明では、状況判定部11が、状況取得部10で取得された複数の車両外部の状況のそれぞれに関して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定しているが、案内表示制御部12が判定するようにしてもよい。例えば、状況取得部10で取得された車両外部の状況が1つの場合には、状況判定部11または案内表示制御部12が判定してもよい。
また、本発明は、案内対象交差点までの距離が所定の距離以下に達した場合に、車両が進行すべき方向を示す案内図形の表示を行ったが、案内図形の代わりに、案内対象交差点に近づいていることを図示しない音声出力部からユーザに音声で通知してもよい。または、車両が進行すべき方向を示す案内図形の表示とともに、案内対象交差点に近づいていることを音声出力部からユーザに音声で通知してもよい。例えば、「200m先、左折です。」等の音声を出力してもよい。さらに、車両位置と案内対象交差点との距離が所定距離になった場合に、音声出力部から音声を出力させてもよい。例えば、「まもなく左方向です。」等の音声を出力してもよい。
(第2の実施形態)
前述した第1の実施形態のナビゲーション装置は、車両外部の状況に応じて実写案内画像または地図案内画像のいずれを優先して表示するかを制御して自動的に切り替えるとしたが、これから説明する第2の実施形態のナビゲーション装置は、実写案内画像または地図案内画像が頻繁に切り替わるのを防止するため、前回案内画像が切り替わった時点から、経過した時間を算出し、算出された経過時間に基づいて、優先して表示されている案内画像を切り替えるか否かを実現する。なお、第2の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図17を参照して、第2の実施形態の動作の流れについて説明する。なお、図17は、第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図17において、ステップS21〜ステップS23は、図9のステップS11〜ステップS13と同様の、処理を行う。続いて、ステップS24において、案内表示制御部12は、前回案内画像が切り替わった時点から所定の時間が経過したか否かを判定する。判定の結果、前回案内画像が切り替わった時点から所定の時間が経過している場合(ステップS24でYes)には、図9のステップS14〜ステップS19と同様の、処理が行われる(ステップS26〜ステップS31)。一方、前回案内画像が切り替わった時点から所定の時間が経過していない場合(ステップS24でNo)には、処理は、ステップS25に進む。ステップS25において、現状の優先して表示される案内画像を切り替えないで、現状の優先して表示される案内画像が継続される。
以上のように、本実施形態に係るナビゲーション装置によれば、案内表示制御部12は、前回案内画像が切り替わった時点からの経過時間を考慮しながら、優先して表示される案内画像を切り替えるか否かを制御する。これにより、優先して表示される案内画像を切り替えてから所定の時間が経過するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
なお、ステップS24において、前回案内画像が切り替わった時点から、所定の時間が経過したか否かを判定したが、経過時間の代わりに車両の移動距離を算出して、前回案内画像が切り替わった時点から車両が所定の距離以上を移動したか否かを判定して、優先して表示される案内画像を切り替えるか否かを制御するようにしてもよい。これにより、優先して表示される案内画像を切り替えてから車両が所定の距離を移動するまでの間は、優先して表示される案内画像をさらに切り替えないようにする。また、車両が所定の区間を走行している間は、案内画像がさらに切り替わらないようにしてもよい。例えば案内対象交差点の手前50m以内では、案内画像は切り替わらないようにする。その結果、ユーザが案内画面を見る機会が多い区間(例えば案内対象交差点の手前など)において、案内画像が頻繁に切り替わらないので、ユーザが困惑することを防止することができる。
(第3の実施形態)
第3の実施形態のナビゲーション装置は、車両外部の状況に応じて表示モードの異なる実写案内画像を生成することを実現する。ここで、表示モードとは、画像に表示される表示内容である。さらに、優先して実写案内画像が表示される場合、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに応じて、形態の異なる案内図形を重畳した実写案内画像が生成されることを特徴とする。なお、第3の実施形態のナビゲーション装置の構成は、第1の実施形態のものと同様であるので図示を省略する。また、図18〜図20Bを参照して、第3の実施形態の動作の流れについて説明する。なお、図18は、第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャートである。
まず、図18において、ステップS41〜ステップS45は、図9のステップS11〜ステップS15と同様の、処理を行う。続いて、ステップS46において、状況判定部11は、状況取得部10で取得された複数の車両外部の状況のそれぞれに対して、実写案内画像または地図案内画像のいずれを優先して表示するかを判定する。なお、図19は、複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図である。
次に、ステップS47において、案内表示制御部12は、上述の車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度、車外の明るさ、降水などの天候について3つの車両外部の状況のそれぞれに関する判定に基づいて、実写案内画像または地図案内画像のいずれを優先して表示させるかを制御する。状況判定部11によって判定された3つの車両外部の状況の判定結果がすべて「実写優先」となった場合(ステップS47でYes)には、処理は、ステップS49に進む。一方、3つの車両外部の状況の判定結果の少なくとも1つが「地図優先」となった場合(ステップS47でNo)には、案内表示制御部12は、優先して地図案内画像を表示させると制御して、処理は、ステップS48に進む。ステップS48において、地図案内画像が表示部5に表示される。
次に、ステップS49において、案内表示制御部12は、状況判定部11によって判定された案内対象交差点が車両の前方を撮像した実写画像に存在するか否かに関する判定に応じて、形態の異なる案内図形を重畳した実写案内画像のいずれを優先して表示させるかを制御する。なお、案内対象交差点が車両の前方を撮像した実写画像に存在するか否かの判定は、上述の案内対象交差点の交差点領域の全部または一部が実写画像に存在するか否かを判定する。判定の結果、案内対象交差点が車両の前方を撮像した実写画像に存在する場合(ステップS49でYes)には、案内表示制御部12は、優先して実写案内画像Aを表示させると制御して、処理は、ステップS50に進む。ステップS50において、実写案内画像Aが表示部5に表示される(図20A参照)。一方、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合(ステップS49でNo)には、案内表示制御部12は、優先して実写案内画像Bを表示させると制御して、処理は、ステップS51に進む。ステップS51において、実写案内画像Bが表示部5に表示される(図20B参照)。なお、図20Aおよび図20Bのそれぞれは、形態の異なる案内図形を重畳した実写案内画像の表示例である。
図20Aは、案内対象交差点が車両の前方を撮像した実写画像に存在する場合に優先して表示される実写案内画像Aの表示例である。実写案内画像Aは、上述の実写案内画像と同様の、案内対象交差点において車両が進むべき方向を示す案内図形を実写画像に重畳表示した案内画像である。一方、図20Bは、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合に優先して表示される実写案内画像Bの表示例である。実写案内画像Bは、案内対象交差点まで車両が進むべき方向を示す案内図形(ガイド表示)を実写画面上の道路に沿って重畳表示し、さらに案内対象交差点において車両が進むべき方向を示す案内図形をガイド表示と異なる矢印(矢印A、矢印B、および矢印C)で重畳表示した案内画像である。
以上のように、本実施形態に係るナビゲーション装置によれば、車両外部の状況に応じて実写案内画像を優先して表示させる場合において、さらに、案内対象交差点が車両の前方を撮像した実写画像に存在するか否か判定に応じて、形態の異なる案内図形を重畳した実写案内画像を生成することができる。これにより、案内対象交差点が車両の前方を撮像した実写画像に存在しない場合であっても、視認性の高く、ユーザが直感的に状況確認できる実写画像を用いた実写案内画像を表示することができる。
なお、実写案内画像の表示モードは本実施形態に限らない。また、本実施形態においては、地図案内画像と組み合わせた場合について説明したが、実写案内画像のみを表示し、車両外部の状況に応じて実写案内画像における案内図形を変更するようにしてもよい。また、第1の実施形態で説明した2画面同時表示の実施形態または第2の実施形態と、本実施形態とを組み合わせた実施形態であってもよい。
本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲から逸脱することなしに多くの他の改変例及び変形例が可能であることは言うまでもない。
本発明に係るナビゲーション装置は、車両内に設置されるカーナビゲーション装置、または、携帯電話などの移動体端末におけるナビゲーション装置として有用である。
第1の実施形態に係るナビゲーション装置の構成を示す機能ブロック図
第1の実施形態に係る地図DB3に格納される地図情報のうち、ノードデータの一例を示す図
第1の実施形態に係る地図DB3に格納される地図情報のうち、補間ノードデータの一例を示す図
第1の実施形態に係る地図DB3に格納される地図情報のうち、リンクデータの一例を示す図
ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノードから構成された状態の一例を示す図
実写案内生成部9における案内図形および実写案内画像の生成する動作の流れを示すフローチャート
カメラ視野空間の求め方を説明するための図
3次元地図およびカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図
案内図形の形状および配置位置の求め方を説明するための図
第1の実施形態に係る実写案内画像の表示例
第1の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート
車両の前方を撮像した実写画像における先行車両等の障害物による遮蔽度を説明するための図
交差点領域について説明するための図
重なり領域について、およびその求め方を説明するための図
案内対象交差点を右に曲がる場合の、設定される交差点領域について説明するための図
案内対象交差点が車載カメラの撮像範囲に存在する場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図
カメラ視野空間に案内対象交差点が存在する場合の、実写画像の表示例
案内対象交差点が車載カメラの撮像範囲に存在しない場合の、ノードデータ、補間ノードデータ、およびリンクデータを用いてリンクおよびノード、ならびに車載カメラの位置を示すアイコンから構成された状態の一例を示す図とカメラ視野空間を車両進行方向に対してその上方向からの様子を示す図
カメラ視野空間に案内対象交差点が存在しない場合の、実写画像の表示例
複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図
複数の車両外部の状況のそれぞれに関する判定条件およびその判定結果の一例を示す図
複数の車両外部の状況のそれぞれに関する判定条件、その判定結果、および重み付けのポイントならびに合計ポイントの一例を示す図
第1の実施形態に係る実写案内画像および地図案内画像を同時に示す表示例
第2の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート
第3の実施形態に係るナビゲーション装置の動作の流れを示すフローチャート
複数の車両外部の状況のそれぞれに関する切り替え対象の案内画像、判定条件、およびその判定結果の一例を示す図
第3の実施形態に係る実写案内画像Aの表示例
第3の実施形態に係る実写案内画像Bの表示例
符号の説明
1 映像取得部
2 測位部
3 地図DB
4 入力部
5 表示部
6 制御部
7 経路探索部
8 地図案内生成部
9 実写案内生成部
10 状況取得部
11 状況判定部
12 案内表示制御部