この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像を用いて案内する技術に関する。
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、実写映像を用いた交差点で経路を誘導する際に、誘導する道路に沿って矢印を表示する技術が開示されている。
特許第2915508号公報
特開平11−108684号公報
一般に、運転を行う際には、自車から見える範囲だけでなく、自車周辺の道路形状を把握することができれば、迂回または経路の修正が可能となるため運転行動に余裕が生まれ、より安全な運転が可能になる。しかしながら、特許文献1および特許文献2に開示された技術では、実写映像を用いて経路誘導を行うので、前方の状況を詳しく知ることはできるが、自車周辺の道路形状を知ることができない。そこで、自車周辺の道路形状を知ることができるようにして、より安全な運転が可能になるカーナビゲーション装置の開発が望まれている。
この発明は、上述した要請に応えるためになされたものであり、その課題は、より安全な運転を可能にできるナビゲーション装置を提供することにある。
この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された位置の周辺の地図データを地図データベースから取得し、該地図データから道路データを収集する道路データ収集部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像に、道路データ収集部で収集された道路データによって示される道路の図を重畳させた映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備えている。
この発明に係るナビゲーション装置によれば、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路形状を知ることができ、より安全な運転が可能になる。
この発明の実施の形態1に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態1に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置において実写映像に道路を合成する前後の映像の例を示す図である。
この発明の実施の形態1に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置において使用されるコンテンツの種類を説明するための図である。
この発明の実施の形態2に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態2に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理における統廃合を説明するための図である。
この発明の実施の形態3に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態5に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態5に係るカーナビゲーション装置において実写映像に交差点が合成された映像の例を示す図である。
この発明の実施の形態6に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態6に係るカーナビゲーション装置において実写映像の道路が強調された映像の例を示す図である。
この発明の実施の形態6に係るカーナビゲーション装置において実写映像の道路が強調された映像の他の例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について添付した図に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化したりするため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。
また、ナビゲーション制御部9は、地図データベース5から読み出した地図データに基づき生成した地図、映像取得部8から取得した映像データによって示される映像または自己の内部の映像合成処理部14(詳細は後述する)で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における種々の処理によって生成された表示データは、表示部10に送られる。
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14、表示決定部15および道路データ収集部16を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。
経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせた実写案内図を生成する。
また、映像合成処理部14は、映像取得部8で取得された実写映像に、道路データ収集部16で収集された道路データによって示される道路の図を重畳させた実写案内図を生成する。この映像合成処理部14で生成された実写案内図は、実写案内図データとして表示決定部15に送られる。
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
道路データ収集部16は、映像合成処理部14からの指示に応答して、地図データベース5から、位置方位計測部4から送られてくる位置方位データによって示される自車位置の周辺の道路データ(道路リンク)を収集する。この道路データ収集部16によって収集された道路データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態1に係るカーナビゲーション装置の動作を、映像合成処理部14で行われる映像合成処理を中心に、図2に示すフローチャートを参照しながら説明する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。すなわち、映像合成処理部14は、位置方位計測部4から自車位置方位データを取得するとともに、その時点において映像取得部8で生成された映像データを取得する。このステップST11で取得される映像データによって示される映像は、例えば図3(a)に示すような実写映像である。
次いで、コンテンツ生成が行われる(ステップST12)。すなわち、映像合成処理部14は、地図データベース5から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系(以下、「基準座標系」と呼ぶ)で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。
また、映像合成処理部14は、道路データ収集部16で収集された道路データを取得し、コンテンツ情報として追加する。このステップST12において、ユーザに提示したいコンテンツと、その総数aが確定する。このステップST12で行われるコンテンツ生成処理については、後にさらに詳細に説明する。
次いで、コンテンツ総数aが取得される(ステップST13)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツの総数aを取得する。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iがコンテンツ総数aより大きくなったかどうかを調べる。このステップST15において、合成済みコンテンツ数iがコンテンツ総数aより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、合成済みコンテンツ数iがコンテンツ総数aより大きくないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST17)。すなわち、映像合成処理部14は、ステップST11で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST11で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
次いで、映像合成処理が行われる(ステップST18)。すなわち、映像合成処理部14は、ステップST11で取得した映像上の、ステップST17で計算された位置に、ステップST16で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。これにより、図3(b)に示すように、実写映像に道路の図が重畳された映像が生成される。
次いで、カウンタの内容iがインクリメントされる(ステップST19)。すなわち、映像合成処理部14は、カウンタの内容iをインクリメントする。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
次に、上述した映像合成処理のステップST12で行われるコンテンツ生成処理の詳細を、図4に示すフローチャートを参照しながら説明する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、収集するコンテンツの種類が決定される(ステップST22)。収集するコンテンツの種類は、例えば図5に示すように、案内する状況に応じて変化する。映像合成処理部14は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、コンテンツの収集が行われる(ステップST23)。すなわち、映像合成処理部14は、ステップST21で決定された範囲内に存在するコンテンツであって、ステップST22で決定された種類のコンテンツを、地図データベース5または他の処理部などから収集する。
次いで、道路データを収集する範囲が決定される(ステップST24)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、道路データを収集する範囲と定め、その範囲を道路データ収集部16に指示する。この道路データを収集する範囲は、ステップST21で決定されたコンテンツを収集する範囲と同じであってもよいし、異なる範囲であってもよい。
次いで、道路データが収集される(ステップST25)。すなわち、道路データ収集部16は、映像合成処理部14からの指示に応答して、ステップST24で決定された道路データを収集する範囲内に存在する道路データを収集し、映像合成処理部14に送る。
次いで、道路データがコンテンツに追加される(ステップST26)。すなわち、映像合成処理部14は、ステップST25で収集した道路データをコンテンツに加える。以上により、コンテンツ生成処理は終了し、シーケンスは、映像合成処理に戻る。
なお、上述した映像合成処理部14では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
以上説明したように、この発明の実施の形態1に係るカーナビゲーション装置によれば、表示部10の画面内に、カメラ7で撮影した自車周辺の実写映像を表示する際に、自車周辺の道路の図を重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路形状を知ることができ、より安全な運転が可能になる。
実施の形態2.
この発明の実施の形態2に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14は、映像取得部8で取得された実写映像に、道路データ収集部16で収集された道路データ(以下、「収集道路データ」という)から、高架道路の除去または道路の統合などを行った後の道路データ(以下、「統廃合後道路データ」という)、換言すれば、最終的な描画に使用される道路データによって示される道路を重畳させた実写案内図を生成する。
また、実施の形態2に係るカーナビゲーション装置で行われる映像合成処理は、ステップST12で行われるコンテンツ生成処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違するコンテンツ生成処理の詳細を、高架道路のような道路に接続されていない道路を除去する処理を例に挙げて、図6に示すフローチャートを参照しながら説明する。なお、図4のフローチャートに示した実施の形態1に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。次いで、収集するコンテンツの種類が決定される(ステップST22)。次いで、コンテンツの収集が行われる(ステップST23)。次いで、道路データを収集する範囲が決定される(ステップST24)。次いで、道路データが収集される(ステップST25)。
次いで、現在走行中の道路データが統廃合後データとされる(ステップST31)。すなわち、映像合成処理部14は、自車が現在走行中の道路に対応する道路データを、統廃合後道路データとする。
次いで、統廃合後道路データ内の道路データと接続される道路データを探す処理が行われる(ステップST32)。すなわち、映像合成処理部14は、統廃合後道路データに接続されている道路データを、収集道路データから探す。ここで、「接続されている」とは、2つの道路データにおいて、端点の片方が同一であることを意味する。
次いで、接続する道路データが存在するかどうかが調べられる(ステップST33)。このステップST33において、接続する道路データが存在することが判断されると、接続する道路データが統廃合後道路データに移される(ステップST34)。すなわち、映像合成処理部14は、ステップST32で見つかった道路データを、収集道路データから削除し、統廃合後道路データに加える。その後、シーケンスはステップST32に戻り、上述した処理が繰り返される。
ステップST33において、接続する道路データが存在しないことが判断されると、統廃合後道路データがコンテンツに追加される(ステップST35)。これにより、映像合成処理において、統廃合後道路データによって示される道路の図のみが、換言すれば、高架道路のような走行中の道路に接続されていない道路を除く走行可能な道路のみが実写映像に重畳される。その後、コンテンツ生成処理は終了する。
なお、上述したコンテンツ生成処理では、高架道路のような道路に接続していない道路を除去するという条件下での処理についてのみ説明したが、それ以外の条件下、例えば図7(a)に示すような、中央分離帯が存在するために道路データが複数に分割されているときに、これらを統合するように構成することもできる。今、道路データに基づく道路を全部描画すると、図7(b)に示すように全ての道路の図が描画されるが、例えば案内に必要な道路のみを描画するように統廃合すると、図7(c)に示すような道路の図が描画され、中央分離帯を統合すると、図7(d)に示すような走行中の道路とその延長および脇道の図みが描画され、交差点で曲がった先のみ描画するように統廃合すると、図7(e)に示すように、交差点で曲がった先の道路の図のみが描画される。
以上説明したように、この発明の実施の形態2に係るカーナビゲーション装置によれば、例えば、道路が中央分離帯で分割されている場合には上りと下りで別の道路データが存在するが、これらの道路データを統合して1本の道路として描画し、または、高架などで通過できない道路データは描画しないように構成したので、一般の地図と同様の道路表示を行うことができる。
実施の形態3.
この発明の実施の形態3に係るカーナビゲーション装置の構成は、道路データ収集部16の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。道路データ収集部16は、自車の速度に応じて、道路データを収集する範囲を変更する。
また、実施の形態3に係るカーナビゲーション装置で行われる映像合成処理は、ステップST12で行われるコンテンツ生成処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違するコンテンツ生成処理の詳細を、図8に示すフローチャートを参照しながら説明する。なお、上述した実施の形態1または実施の形態2に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態1または実施の形態2で使用した符号と同じ符号を付して説明を簡略化する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。次いで、収集するコンテンツの種類が決定される(ステップST22)。次いで、コンテンツの収集が行われる(ステップST23)。次いで、道路データを収集する範囲が決定される(ステップST24)。
次いで、車速が所定の閾値v[km/h]より大きいかどうかが調べられる(ステップST41)。すなわち、映像合成処理部14は、車速センサ2から得られる車速信号によって示される車速が、所定の閾値v[km/h]より大きいかどうかを調べる。ここで、閾値v[km/h]は、ナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に変更できるように構成することもできる。
このステップST41において、車速が所定の閾値v[km/h]より大きいことが判断されると、コンテンツを収集する範囲が縦長にされる(ステップST42)。すなわち、映像合成処理部14は、ステップST24で決定された道路データを収集する範囲を、自車の進行方向に2倍に拡大し、その範囲を道路データ収集部16に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の進行方向に10m分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。また、自車の進行方向を拡大する代わりに、自車の左右方向の幅を狭める方法を用いることもできる。その後、シーケンスはステップST44に進む。
一方、ステップST41において、車速が所定の閾値v[km/h]より大きくないことが判断されると、コンテンツを収集する範囲が横長にされる(ステップST43)。すなわち、映像合成処理部14は、ステップST24で決定された道路データを収集する範囲を、自車の左右方向に2倍に拡大し、その範囲を道路データ収集部16に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の左右方向に10m分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。その後、シーケンスはステップST44に進む。
ステップST44では、道路データが収集される。すなわち、道路データ収集部16は、ステップST42またはステップST43で拡大された範囲内に存在する道路データを収集し、映像合成処理部14に送る。
次いで、表示する案内の種類が調べられる(ステップST45)。このステップST45において、表示する案内が「交差点誘導案内」であることが判断されると、交差点までの経路と交差点を曲がった先の経路が選択される(ステップST46)。すなわち、映像合成処理部14は、ステップST44で収集した道路データをフィルタリングして、自車から交差点までの経路に対応する道路データと、交差点を曲がった先の道路データのみを選択する。その後、シーケンスはステップST48に進む。
上記ステップST45において、表示する案内が「料金所案内」であることが判断されると、料金所までの経路が選択される(ステップST47)。すなわち、映像合成処理部14は、ステップST44で収集した道路データをフィルタリングして、自車から料金所までの経路に対応する道路データのみを選択する。その後、シーケンスはステップST48に進む。
上記ステップST45において、表示する案内が「交差点誘導案内」および「料金所案内」以外であることが判断されると、経路の選択は行われず、シーケンスはステップST48に進む。ステップST48においては、ステップST44、ST46およびST47で選択された道路データがコンテンツに追加される。その後、コンテンツ生成処理は終了する。
なお、上述したコンテンツ生成処理では、実施の形態2に係るカーナビゲーション装置で行われる処理、つまり道路データを実際の道路に合わせて統廃合する処理は行っていないが、上述した実施の形態3に係るカーナビゲーション装置におけるコンテンツ生成処理は、この統廃合する処理と組み合わせて実行するように構成することもできる。
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、例えば、車速が速い時は進行方向に広範囲で道路データを描画し、車速が遅い時は左右に広範囲に描画するように構成できるので、運転に必要な道路のみを表示することができ、不要な道路表示を抑制することができる。
実施の形態4.
この発明の実施の形態4に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態4に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図9に示すフローチャートを参照しながら説明する。なお、実施の形態1に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツが道路データであるかどうかを調べる。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、車線数nが取得される(ステップST52)。すなわち、映像合成処理部14は、ステップST16でコンテンツ情報として取得した道路データから車線数nを取得する。次いで、描画する道路データの幅が決定される(ステップST53)。すなわち、映像合成処理部14は、ステップST52で取得した車線数nに応じて描画する道路の幅を決定する。例えば、描画する道路の幅=n×10[cm]、というように決定する。なお、描画する道路の幅の決定方法は、上記に限定するものではなく、道路の幅の値を非線形に変化させたり、ユーザが定めた値に変化させたりするように構成することもできる。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる(ステップST18)。次いで、カウンタの内容iがインクリメントされる(ステップST19)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上述した例では、道路の属性の1つである車線数に応じて描画する道路幅を変更するように構成したが、道路の他の属性(幅、種別、重要性など)に応じて描画する道路の表示形態(幅、色、輝度、透過度など)を変更するように構成することもできる。
以上説明したように、この発明の実施の形態4に係るカーナビゲーション装置によれば、道路の属性(幅、車線数、種別または重要性など)に応じて道路の表示形態(幅、色、輝度または透過度など)を変更するように構成したので、例えば、一方通行で入れない道路は色を変更して表示するように構成したので、運転者は自車周辺の道路の存在に加え、道路の情報も一目で知ることができる。
実施の形態5.
この発明の実施の形態5に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態5に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図10に示すフローチャートを参照しながら説明する。なお、実施の形態4に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態4で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、道路データの端点が取得される(ステップST61)。すなわち、映像合成処理部14は、ステップST16で取得された道路データの端点を取得する。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップST17においては、映像合成処理部14は、道路データに関しては、ステップST61で取得した端点の映像上における位置計算を実行する。次いで、映像合成処理が行われる(ステップST18)。このステップST18においては、映像合成処理部14は、道路データに関しては、ステップST17で計算された端点の描画を行う。これにより、図11に示すように、交差点が所定の図形で描画される。なお、交差点の図形に色彩を付するように構成することもできる。また、ステップST18においては、端点の描画だけでなく、道路を同時に描画するように構成できる。次いで、カウンタの内容iがインクリメントされる(ステップST19)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上述した例では、道路を描画する際に、端点のみ、または端点と道路の描画を行うように構成したが、実施の形態4に係るカーナビゲーション装置と類似の方法で、道路の属性(幅、車線数、種別または重要性など)に応じて道路の表示形態(幅、色、格子パターンなどの模様、輝度または透過度など)および/または端点の属性(大きさ、色、格子パターンなどの模様、輝度または透過度など)を変更する処理を行うように構成することもできる。
以上説明したように、この発明の実施の形態5に係るカーナビゲーション装置によれば、道路の交点(交差点)を所定の図形で描画できるので、交差点が明示され、道路の把握が容易になる。
実施の形態6.
この発明の実施の形態6に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態6に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図12に示すフローチャートを参照しながら説明する。なお、実施の形態4に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態4で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、道路データの幅情報が取得される(ステップST71)。すなわち、映像合成処理部14は、ステップST16で取得された道路データ(道路リンク)から幅情報を取得する。通常、道路リンクには幅情報が含まれているので、その幅情報が取得される。なお、道路リンクに幅情報が含まれていない場合は、車線数情報から、例えば、幅=車線数×2[m]、というように間接的に算出するか、幅に関連する情報が全く存在しない場合は、一律に例えば3[m]のように概算で定めることができる。
次いで、道路データの形状が決定される(ステップST72)。すなわち、映像合成処理部14は、ステップST71で取得した幅情報を用いて、描画する道路の形状を決定する。この道路の形状は、例えば、道路の端点間の距離×幅の矩形とすることができる。なお、道路の形状は2次元の図形である必要はなく、道路の端点間の距離×幅×幅の直方体といった3次元図形とすることもできる。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップST17においては、映像合成処理部14は、道路データに関しては、ステップST72で決定された形状の頂点の映像上の位置計算を実行する。次いで、映像合成処理が行われる(ステップST18)。このステップST18においては、映像合成処理部14は、道路データに関しては、ステップST72で決定された形状の描画を行う。これにより、図13−1(a)に示すように、道路の部分のみがCGで上書きされた実写映像が描画される。なお、図13−1(b)に示すように、ステップST72で決定された形状の輪郭を縁取り、各面は透明に描画するように構成することもできる。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上記の説明では実写映像の上に道路を描画しているが、エッジ抽出やパターンマッチングなどの画像認識技術を用いて実写映像内の車両・歩行者・ガードレール・街路樹などの道路(歩道)上に存在する物体を認識し、認識した物体の上には道路を描画しないといった処理を行ってもよい。この処理を行った場合は、例えば図13−2(c)、図13−2(d)のような表示データが得られる。
以上説明したように、この発明の実施の形態6に係るカーナビゲーション装置によれば、実写映像上の道路がCGで上書きされて強調されるので、運転者は自車周囲の道路を容易に知ることができる。また、実写映像上の道路をCGで上書きする代わりに道路の輪郭を表示する場合は、運転者は自車周囲の道路を容易に知ることができるとともに、道路面が覆い隠されないので運転の邪魔にならず、ユーザは道路面を容易に評価することができる。
また、実写映像上の道路に上書きまたは輪郭を表示するときに、車速に応じて範囲を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。さらに、実写映像上の道路に上書きまたは輪郭を表示するときに、道路の属性に応じて上書きまたは輪郭の表示形態を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。
以上のように、この発明に係るナビゲーション装置は、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を重畳して表示するように構成したので、カーナビゲーション装置などに用いるのに適している。
この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像を用いて案内する技術に関する。
従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた実写映像の上に、CG(Computer Graphics)によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている(例えば、特許文献1参照)。
また、同様の技術として、特許文献2は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献2には、実写映像を用いた交差点で経路を誘導する際に、誘導する道路に沿って矢印を表示する技術が開示されている。
特許第2915508号公報
特開平11−108684号公報
一般に、運転を行う際には、自車から見える範囲だけでなく、自車周辺の道路形状を把握することができれば、迂回または経路の修正が可能となるため運転行動に余裕が生まれ、より安全な運転が可能になる。しかしながら、特許文献1および特許文献2に開示された技術では、実写映像を用いて経路誘導を行うので、前方の状況を詳しく知ることはできるが、自車周辺の道路形状を知ることができない。そこで、自車周辺の道路形状を知ることができるようにして、より安全な運転が可能になるカーナビゲーション装置の開発が望まれている。
この発明は、上述した要請に応えるためになされたものであり、その課題は、より安全な運転を可能にできるナビゲーション装置を提供することにある。
この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された位置の周辺の地図データを地図データベースから取得し、該地図データから道路データを収集する道路データ収集部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像に、透視変換を用いて、道路データ収集部で収集された道路データによって示される道路の図を重畳させた映像を生成する映像合成処理部と、映像合成処理部で生成された映像を表示する表示部を備えている。
この発明に係るナビゲーション装置によれば、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路形状を知ることができ、より安全な運転が可能になる。
この発明の実施の形態1に係るカーナビゲーション装置の構成を示すブロック図である。
この発明の実施の形態1に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置において実写映像に道路を合成する前後の映像の例を示す図である。
この発明の実施の形態1に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態1に係るカーナビゲーション装置において使用されるコンテンツの種類を説明するための図である。
この発明の実施の形態2に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態2に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理における統廃合を説明するための図である。
この発明の実施の形態3に係るカーナビゲーション装置で行われる映像合成処理の中のコンテンツ生成処理の詳細を示すフローチャートである。
この発明の実施の形態4に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態5に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態5に係るカーナビゲーション装置において実写映像に交差点が合成された映像の例を示す図である。
この発明の実施の形態6に係るカーナビゲーション装置の動作を、映像合成処理を中心に示すフローチャートである。
この発明の実施の形態6に係るカーナビゲーション装置において実写映像の道路が強調された映像の例を示す図である。
この発明の実施の形態6に係るカーナビゲーション装置において実写映像の道路が強調された映像の他の例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について添付した図に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、GPS(Global Positioning System)レシーバ1、車速センサ2、方位センサ3、位置方位計測部4、地図データベース5、入力操作部6、カメラ7、映像取得部8、ナビゲーション制御部9および表示部10を備えている。
GPSレシーバ1は、複数の衛星からの電波を受信することにより自車位置を計測する。このGPSレシーバ1で計測された自車位置は、自車位置信号として位置方位計測部4に送られる。車速センサ2は、自車の速度を逐次計測する。この車速センサ2は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ2で計測された自車の速度は、車速信号として位置方位計測部4に送られる。方位センサ3は、自車の進行方向を逐次計測する。この方位センサ3で計測された自車の進行方位(以下、単に「方位」という)は、方位信号として位置方位計測部4に送られる。
位置方位計測部4は、GPSレシーバ1から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、GPSレシーバ1からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化したりするため、車速センサ2からの車速信号および方位センサ3からの方位信号を用いた自律航法を利用して自車位置を計測し、GPSレシーバ1による計測を補う処理を実行する。
位置方位計測部4で計測された自車の現在位置および方位は、上述したように、GPSレシーバ1の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部4は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース5から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部9に送られる。
地図データベース5は、道路の位置、道路の種別(高速道路、有料道路、一般道路または細街路など)、道路に関する規制(速度制限または一方通行など)または交差点近傍のレーン情報といった道路データの他、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに3つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース5に保持されている地図データは、上述したように位置方位計測部4によって読み出される他、ナビゲーション制御部9によって読み出される。
入力操作部6は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも1つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部6の操作によって発生されたデータは、操作データとしてナビゲーション制御部9に送られる。
カメラ7は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも1つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ7で撮影することにより得られた映像信号は、映像取得部8に送られる。
映像取得部8は、カメラ7から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部8における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部9に送られる。
ナビゲーション制御部9は、入力操作部6から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部6から入力された条件にマッチした施設の検索といったデータ処理を実行する。
また、ナビゲーション制御部9は、地図データベース5から読み出した地図データに基づき生成した地図、映像取得部8から取得した映像データによって示される映像または自己の内部の映像合成処理部14(詳細は後述する)で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部9の詳細は後述する。ナビゲーション制御部9における種々の処理によって生成された表示データは、表示部10に送られる。
表示部10は、例えばLCD(Liquid Crystal Display)から構成されており、ナビゲーション制御部9から送られてくる表示データにしたがって、地図および/または実写映像などを画面に表示する。
次に、ナビゲーション制御部9の詳細を説明する。ナビゲーション制御部9は、目的地設定部11、経路計算部12、案内表示生成部13、映像合成処理部14、表示決定部15および道路データ収集部16を備えている。なお、図1においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。
目的地設定部11は、入力操作部6から送られてくる操作データにしたがって目的地を設定する。この目的地設定部11で設定された目的地は、目的地データとして経路計算部12に送られる。
経路計算部12は、目的地設定部11から送られてくる目的地データ、位置方位計測部4から送られてくる自車位置方位データ、および、地図データベース5から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部12で計算された誘導経路は、誘導経路データとして表示決定部15に送られる。
案内表示生成部13は、表示決定部15からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図(以下、「地図案内図」という)を生成する。この案内表示生成部13で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、3次元CGを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部13で生成された地図案内図は、地図案内図データとして表示決定部15に送られる。
映像合成処理部14は、表示決定部15からの指示に応じて、実写映像を用いた案内図(以下、「実写案内図」という)を生成する。例えば、映像合成処理部14は、地図データベース5から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部8から送られてくる映像データによって示される実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど(以下、「コンテンツ」という)を重ね合わせた実写案内図を生成する。
また、映像合成処理部14は、映像取得部8で取得された実写映像に、道路データ収集部16で収集された道路データによって示される道路の図を重畳させた実写案内図を生成する。この映像合成処理部14で生成された実写案内図は、実写案内図データとして表示決定部15に送られる。
表示決定部15は、上述したように、案内表示生成部13に対して地図案内図の生成を指示するとともに、映像合成処理部14に対して実写案内図の生成を指示する。また、表示決定部15は、位置方位計測部4から送られてくる自車位置方位データ、地図データベース5から読み出した自車周辺の地図データ、入力操作部6から送られてくる操作データ、案内表示生成部13から送られてくる地図案内図データおよび映像合成処理部14から送られてくる実写案内図データに基づき表示部10の画面に表示する内容を決定する。この表示決定部15において決定された表示内容に対応するデータは、表示データとして表示部10に送られる。
これにより、表示部10には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部6のメニューボタンが押されている場合はメニューが表示され、入力操作部6によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。
また、表示部10の画面に表示する案内図は、例えば案内表示生成部13で生成された地図案内図(例えば平面地図)を画面の左側に配置し、映像合成処理部14で生成された実写案内図(例えば実写映像を用いた交差点拡大図)を画面の右側に配置するというように、実写案内図と地図案内図とを1つの画面内に同時に表示するように構成できる。
道路データ収集部16は、映像合成処理部14からの指示に応答して、地図データベース5から、位置方位計測部4から送られてくる位置方位データによって示される自車位置の周辺の道路データ(道路リンク)を収集する。この道路データ収集部16によって収集された道路データは、映像合成処理部14に送られる。
次に、上記のように構成される、この発明の実施の形態1に係るカーナビゲーション装置の動作を、映像合成処理部14で行われる映像合成処理を中心に、図2に示すフローチャートを参照しながら説明する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。すなわち、映像合成処理部14は、位置方位計測部4から自車位置方位データを取得するとともに、その時点において映像取得部8で生成された映像データを取得する。このステップST11で取得される映像データによって示される映像は、例えば図3(a)に示すような実写映像である。
次いで、コンテンツ生成が行われる(ステップST12)。すなわち、映像合成処理部14は、地図データベース5から自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報は、誘導する経路、自車周辺の道路ネットワーク、ランドマーク、交差点などユーザに提示したいコンテンツが、図形、文字列またはイメージとそれを表示すべき座標値の集合として表現される。この座標値は、例えば、緯度および経度のように地上で一意に決定されるような座標系(以下、「基準座標系」と呼ぶ)で与えられる。そして、図形であれば、各頂点の基準座標系での座標、文字列またはイメージであれば、それが表示される基準となる座標が与えられる。
また、映像合成処理部14は、道路データ収集部16で収集された道路データを取得し、コンテンツ情報として追加する。このステップST12において、ユーザに提示したいコンテンツと、その総数aが確定する。このステップST12で行われるコンテンツ生成処理については、後にさらに詳細に説明する。
次いで、コンテンツ総数aが取得される(ステップST13)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツの総数aを取得する。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容iが「1」に設定される。なお、カウンタは、映像合成処理部14の内部に設けられている。
次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、具体的には、映像合成処理部14は、カウンタの内容である合成済みコンテンツ数iがコンテンツ総数aより大きくなったかどうかを調べる。このステップST15において、合成済みコンテンツ数iがコンテンツ総数aより大きくなったことが判断されると、映像合成処理は終了し、その時点でコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、合成済みコンテンツ数iがコンテンツ総数aより大きくないことが判断されると、i番目のコンテンツ情報が取得される(ステップST16)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツ情報のうちのi番目のコンテンツ情報を取得する。
次いで、透視変換によるコンテンツ情報の映像上の位置が計算される(ステップST17)。すなわち、映像合成処理部14は、ステップST11で取得した自車位置方位(基準座標系における自車の位置方位)、カメラ7の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ7の固有値を使用し、ステップST11で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。
次いで、映像合成処理が行われる(ステップST18)。すなわち、映像合成処理部14は、ステップST11で取得した映像上の、ステップST17で計算された位置に、ステップST16で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを描画する。これにより、図3(b)に示すように、実写映像に道路の図が重畳された映像が生成される。
次いで、カウンタの内容iがインクリメントされる(ステップST19)。すなわち、映像合成処理部14は、カウンタの内容iをインクリメントする。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
次に、上述した映像合成処理のステップST12で行われるコンテンツ生成処理の詳細を、図4に示すフローチャートを参照しながら説明する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、収集するコンテンツの種類が決定される(ステップST22)。収集するコンテンツの種類は、例えば図5に示すように、案内する状況に応じて変化する。映像合成処理部14は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、カーナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。
次いで、コンテンツの収集が行われる(ステップST23)。すなわち、映像合成処理部14は、ステップST21で決定された範囲内に存在するコンテンツであって、ステップST22で決定された種類のコンテンツを、地図データベース5または他の処理部などから収集する。
次いで、道路データを収集する範囲が決定される(ステップST24)。すなわち、映像合成処理部14は、例えば自車を中心とする半径50mの円形、または、自車から前方50m、左右10mの矩形といった範囲を、道路データを収集する範囲と定め、その範囲を道路データ収集部16に指示する。この道路データを収集する範囲は、ステップST21で決定されたコンテンツを収集する範囲と同じであってもよいし、異なる範囲であってもよい。
次いで、道路データが収集される(ステップST25)。すなわち、道路データ収集部16は、映像合成処理部14からの指示に応答して、ステップST24で決定された道路データを収集する範囲内に存在する道路データを収集し、映像合成処理部14に送る。
次いで、道路データがコンテンツに追加される(ステップST26)。すなわち、映像合成処理部14は、ステップST25で収集した道路データをコンテンツに加える。以上により、コンテンツ生成処理は終了し、シーケンスは、映像合成処理に戻る。
なお、上述した映像合成処理部14では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。
以上説明したように、この発明の実施の形態1に係るカーナビゲーション装置によれば、表示部10の画面内に、カメラ7で撮影した自車周辺の実写映像を表示する際に、自車周辺の道路の図を重畳して表示するように構成したので、運転者は、自車周辺の見えない位置にある道路形状を知ることができ、より安全な運転が可能になる。
実施の形態2.
この発明の実施の形態2に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14は、映像取得部8で取得された実写映像に、道路データ収集部16で収集された道路データ(以下、「収集道路データ」という)から、高架道路の除去または道路の統合などを行った後の道路データ(以下、「統廃合後道路データ」という)、換言すれば、最終的な描画に使用される道路データによって示される道路を重畳させた実写案内図を生成する。
また、実施の形態2に係るカーナビゲーション装置で行われる映像合成処理は、ステップST12で行われるコンテンツ生成処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違するコンテンツ生成処理の詳細を、高架道路のような道路に接続されていない道路を除去する処理を例に挙げて、図6に示すフローチャートを参照しながら説明する。なお、図4のフローチャートに示した実施の形態1に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。次いで、収集するコンテンツの種類が決定される(ステップST22)。次いで、コンテンツの収集が行われる(ステップST23)。次いで、道路データを収集する範囲が決定される(ステップST24)。次いで、道路データが収集される(ステップST25)。
次いで、現在走行中の道路データが統廃合後データとされる(ステップST31)。すなわち、映像合成処理部14は、自車が現在走行中の道路に対応する道路データを、統廃合後道路データとする。
次いで、統廃合後道路データ内の道路データと接続される道路データを探す処理が行われる(ステップST32)。すなわち、映像合成処理部14は、統廃合後道路データに接続されている道路データを、収集道路データから探す。ここで、「接続されている」とは、2つの道路データにおいて、端点の片方が同一であることを意味する。
次いで、接続する道路データが存在するかどうかが調べられる(ステップST33)。このステップST33において、接続する道路データが存在することが判断されると、接続する道路データが統廃合後道路データに移される(ステップST34)。すなわち、映像合成処理部14は、ステップST32で見つかった道路データを、収集道路データから削除し、統廃合後道路データに加える。その後、シーケンスはステップST32に戻り、上述した処理が繰り返される。
ステップST33において、接続する道路データが存在しないことが判断されると、統廃合後道路データがコンテンツに追加される(ステップST35)。これにより、映像合成処理において、統廃合後道路データによって示される道路の図のみが、換言すれば、高架道路のような走行中の道路に接続されていない道路を除く走行可能な道路のみが実写映像に重畳される。その後、コンテンツ生成処理は終了する。
なお、上述したコンテンツ生成処理では、高架道路のような道路に接続していない道路を除去するという条件下での処理についてのみ説明したが、それ以外の条件下、例えば図7(a)に示すような、中央分離帯が存在するために道路データが複数に分割されているときに、これらを統合するように構成することもできる。今、道路データに基づく道路を全部描画すると、図7(b)に示すように全ての道路の図が描画されるが、例えば案内に必要な道路のみを描画するように統廃合すると、図7(c)に示すような道路の図が描画され、中央分離帯を統合すると、図7(d)に示すような走行中の道路とその延長および脇道の図みが描画され、交差点で曲がった先のみ描画するように統廃合すると、図7(e)に示すように、交差点で曲がった先の道路の図のみが描画される。
以上説明したように、この発明の実施の形態2に係るカーナビゲーション装置によれば、例えば、道路が中央分離帯で分割されている場合には上りと下りで別の道路データが存在するが、これらの道路データを統合して1本の道路として描画し、または、高架などで通過できない道路データは描画しないように構成したので、一般の地図と同様の道路表示を行うことができる。
実施の形態3.
この発明の実施の形態3に係るカーナビゲーション装置の構成は、道路データ収集部16の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。道路データ収集部16は、自車の速度に応じて、道路データを収集する範囲を変更する。
また、実施の形態3に係るカーナビゲーション装置で行われる映像合成処理は、ステップST12で行われるコンテンツ生成処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違するコンテンツ生成処理の詳細を、図8に示すフローチャートを参照しながら説明する。なお、上述した実施の形態1または実施の形態2に係るカーナビゲーション装置のコンテンツ生成処理と同じ処理を行うステップには、実施の形態1または実施の形態2で使用した符号と同じ符号を付して説明を簡略化する。
コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される(ステップST21)。次いで、収集するコンテンツの種類が決定される(ステップST22)。次いで、コンテンツの収集が行われる(ステップST23)。次いで、道路データを収集する範囲が決定される(ステップST24)。
次いで、車速が所定の閾値v[km/h]より大きいかどうかが調べられる(ステップST41)。すなわち、映像合成処理部14は、車速センサ2から得られる車速信号によって示される車速が、所定の閾値v[km/h]より大きいかどうかを調べる。ここで、閾値v[km/h]は、ナビゲーション装置の製作者があらかじめ定めておくように構成できるし、ユーザが任意に変更できるように構成することもできる。
このステップST41において、車速が所定の閾値v[km/h]より大きいことが判断されると、コンテンツを収集する範囲が縦長にされる(ステップST42)。すなわち、映像合成処理部14は、ステップST24で決定された道路データを収集する範囲を、自車の進行方向に2倍に拡大し、その範囲を道路データ収集部16に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の進行方向に10m分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。また、自車の進行方向を拡大する代わりに、自車の左右方向の幅を狭める方法を用いることもできる。その後、シーケンスはステップST44に進む。
一方、ステップST41において、車速が所定の閾値v[km/h]より大きくないことが判断されると、コンテンツを収集する範囲が横長にされる(ステップST43)。すなわち、映像合成処理部14は、ステップST24で決定された道路データを収集する範囲を、自車の左右方向に2倍に拡大し、その範囲を道路データ収集部16に指示する。なお、道路データを収集する範囲の拡大方法としては、例えば自車の左右方向に10m分拡大するというように、任意の距離だけ拡大する方法を用いることもできる。また、道路データを収集する範囲の拡大方法および拡大率は、カーナビゲーション装置の製作者があらかじめ定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。その後、シーケンスはステップST44に進む。
ステップST44では、道路データが収集される。すなわち、道路データ収集部16は、ステップST42またはステップST43で拡大された範囲内に存在する道路データを収集し、映像合成処理部14に送る。
次いで、表示する案内の種類が調べられる(ステップST45)。このステップST45において、表示する案内が「交差点誘導案内」であることが判断されると、交差点までの経路と交差点を曲がった先の経路が選択される(ステップST46)。すなわち、映像合成処理部14は、ステップST44で収集した道路データをフィルタリングして、自車から交差点までの経路に対応する道路データと、交差点を曲がった先の道路データのみを選択する。その後、シーケンスはステップST48に進む。
上記ステップST45において、表示する案内が「料金所案内」であることが判断されると、料金所までの経路が選択される(ステップST47)。すなわち、映像合成処理部14は、ステップST44で収集した道路データをフィルタリングして、自車から料金所までの経路に対応する道路データのみを選択する。その後、シーケンスはステップST48に進む。
上記ステップST45において、表示する案内が「交差点誘導案内」および「料金所案内」以外であることが判断されると、経路の選択は行われず、シーケンスはステップST48に進む。ステップST48においては、ステップST44、ST46およびST47で選択された道路データがコンテンツに追加される。その後、コンテンツ生成処理は終了する。
なお、上述したコンテンツ生成処理では、実施の形態2に係るカーナビゲーション装置で行われる処理、つまり道路データを実際の道路に合わせて統廃合する処理は行っていないが、上述した実施の形態3に係るカーナビゲーション装置におけるコンテンツ生成処理は、この統廃合する処理と組み合わせて実行するように構成することもできる。
以上説明したように、この発明の実施の形態3に係るカーナビゲーション装置によれば、例えば、車速が速い時は進行方向に広範囲で道路データを描画し、車速が遅い時は左右に広範囲に描画するように構成できるので、運転に必要な道路のみを表示することができ、不要な道路表示を抑制することができる。
実施の形態4.
この発明の実施の形態4に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態4に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図9に示すフローチャートを参照しながら説明する。なお、実施の形態1に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態1で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)。このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。すなわち、映像合成処理部14は、ステップST12で生成したコンテンツが道路データであるかどうかを調べる。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、車線数nが取得される(ステップST52)。すなわち、映像合成処理部14は、ステップST16でコンテンツ情報として取得した道路データから車線数nを取得する。次いで、描画する道路データの幅が決定される(ステップST53)。すなわち、映像合成処理部14は、ステップST52で取得した車線数nに応じて描画する道路の幅を決定する。例えば、描画する道路の幅=n×10[cm]、というように決定する。なお、描画する道路の幅の決定方法は、上記に限定するものではなく、道路の幅の値を非線形に変化させたり、ユーザが定めた値に変化させたりするように構成することもできる。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。次いで、映像合成処理が行われる(ステップST18)。次いで、カウンタの内容iがインクリメントされる(ステップST19)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上述した例では、道路の属性の1つである車線数に応じて描画する道路幅を変更するように構成したが、道路の他の属性(幅、種別、重要性など)に応じて描画する道路の表示形態(幅、色、輝度、透過度など)を変更するように構成することもできる。
以上説明したように、この発明の実施の形態4に係るカーナビゲーション装置によれば、道路の属性(幅、車線数、種別または重要性など)に応じて道路の表示形態(幅、色、輝度または透過度など)を変更するように構成したので、例えば、一方通行で入れない道路は色を変更して表示するように構成したので、運転者は自車周辺の道路の存在に加え、道路の情報も一目で知ることができる。
実施の形態5.
この発明の実施の形態5に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態5に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図10に示すフローチャートを参照しながら説明する。なお、実施の形態4に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態4で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、道路データの端点が取得される(ステップST61)。すなわち、映像合成処理部14は、ステップST16で取得された道路データの端点を取得する。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップST17においては、映像合成処理部14は、道路データに関しては、ステップST61で取得した端点の映像上における位置計算を実行する。次いで、映像合成処理が行われる(ステップST18)。このステップST18においては、映像合成処理部14は、道路データに関しては、ステップST17で計算された端点の描画を行う。これにより、図11に示すように、交差点が所定の図形で描画される。なお、交差点の図形に色彩を付するように構成することもできる。また、ステップST18においては、端点の描画だけでなく、道路を同時に描画するように構成できる。次いで、カウンタの内容iがインクリメントされる(ステップST19)。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上述した例では、道路を描画する際に、端点のみ、または端点と道路の描画を行うように構成したが、実施の形態4に係るカーナビゲーション装置と類似の方法で、道路の属性(幅、車線数、種別または重要性など)に応じて道路の表示形態(幅、色、格子パターンなどの模様、輝度または透過度など)および/または端点の属性(大きさ、色、格子パターンなどの模様、輝度または透過度など)を変更する処理を行うように構成することもできる。
以上説明したように、この発明の実施の形態5に係るカーナビゲーション装置によれば、道路の交点(交差点)を所定の図形で描画できるので、交差点が明示され、道路の把握が容易になる。
実施の形態6.
この発明の実施の形態6に係るカーナビゲーション装置の構成は、映像合成処理部14の機能を除き、図1に示した実施の形態1に係るカーナビゲーション装置の構成と同じである。映像合成処理部14の機能は、以下において詳細に説明する。
また、実施の形態6に係るカーナビゲーション装置の映像合成処理部14で行われる映像合成処理は、コンテンツが道路データである場合の処理を除き、図2に示した実施の形態1に係るカーナビゲーション装置で行われる映像合成処理と同じである。以下では、実施の形態1と相違する部分を中心に、図12に示すフローチャートを参照しながら説明する。なお、実施の形態4に係るカーナビゲーション装置の映像合成処理と同じ処理を行うステップには、実施の形態4で使用した符号と同じ符号を付して説明を簡略化する。
映像合成処理では、まず、自車位置方位および映像が取得される(ステップST11)。次いで、コンテンツ生成が行われる(ステップST12)。このステップST12で実行されるコンテンツ生成処理としては、実施の形態1に係るコンテンツ生成処理(図4参照)に限らず、実施の形態2に係るコンテンツ生成処理(図6参照)または実施の形態3に係るコンテンツ生成処理(図8参照)を用いることができる。
次いで、コンテンツ総数aが取得される(ステップST13)。次いで、カウンタの内容iが「1」に初期化される(ステップST14)。次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる(ステップST15)、このステップST15において、全てのコンテンツ情報の合成処理が終了したことが判断されると、映像合成処理は終了し、その時点においてコンテンツが合成された映像データが、表示決定部15に送られる。
一方、ステップST15において、全てのコンテンツ情報の合成処理が終了していないことが判断されると、次いで、i番目のコンテンツ情報が取得される(ステップST16)。次いで、コンテンツが道路データであるかどうかが調べられる(ステップST51)。このステップST51において、コンテンツが道路データでないことが判断されると、シーケンスはステップST17に進む。
一方、ステップST51において、コンテンツが道路データであることが判断されると、次いで、道路データの幅情報が取得される(ステップST71)。すなわち、映像合成処理部14は、ステップST16で取得された道路データ(道路リンク)から幅情報を取得する。通常、道路リンクには幅情報が含まれているので、その幅情報が取得される。なお、道路リンクに幅情報が含まれていない場合は、車線数情報から、例えば、幅=車線数×2[m]、というように間接的に算出するか、幅に関連する情報が全く存在しない場合は、一律に例えば3[m]のように概算で定めることができる。
次いで、道路データの形状が決定される(ステップST72)。すなわち、映像合成処理部14は、ステップST71で取得した幅情報を用いて、描画する道路の形状を決定する。この道路の形状は、例えば、道路の端点間の距離×幅の矩形とすることができる。なお、道路の形状は2次元の図形である必要はなく、道路の端点間の距離×幅×幅の直方体といった3次元図形とすることもできる。その後、シーケンスはステップST17に進む。
ステップST17においては、透視変換によるコンテンツ情報の映像上の位置が計算される。このステップST17においては、映像合成処理部14は、道路データに関しては、ステップST72で決定された形状の頂点の映像上の位置計算を実行する。次いで、映像合成処理が行われる(ステップST18)。このステップST18においては、映像合成処理部14は、道路データに関しては、ステップST72で決定された形状の描画を行う。これにより、図13−1(a)に示すように、道路の部分のみがCGで上書きされた実写映像が描画される。なお、図13−1(b)に示すように、ステップST72で決定された形状の輪郭を縁取り、各面は透明に描画するように構成することもできる。その後、シーケンスはステップST15に戻り、上述した処理が繰り返される。
なお、上記の説明では実写映像の上に道路を描画しているが、エッジ抽出やパターンマッチングなどの画像認識技術を用いて実写映像内の車両・歩行者・ガードレール・街路樹などの道路(歩道)上に存在する物体を認識し、認識した物体の上には道路を描画しないといった処理を行ってもよい。この処理を行った場合は、例えば図13−2(c)、図13−2(d)のような表示データが得られる。
以上説明したように、この発明の実施の形態6に係るカーナビゲーション装置によれば、実写映像上の道路がCGで上書きされて強調されるので、運転者は自車周囲の道路を容易に知ることができる。また、実写映像上の道路をCGで上書きする代わりに道路の輪郭を表示する場合は、運転者は自車周囲の道路を容易に知ることができるとともに、道路面が覆い隠されないので運転の邪魔にならず、ユーザは道路面を容易に評価することができる。
また、実写映像上の道路に上書きまたは輪郭を表示するときに、車速に応じて範囲を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。さらに、実写映像上の道路に上書きまたは輪郭を表示するときに、道路の属性に応じて上書きまたは輪郭の表示形態を変更することができるので、運転に必要な道路のみを表示し、不要な道路表示を抑制することができる。
なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置は、カメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。
以上のように、この発明に係るナビゲーション装置は、表示部に、カメラで撮影した前方の映像を表示する際に、現在位置の周辺の道路の図を重畳して表示するように構成したので、カーナビゲーション装置などに用いるのに適している。