WO2009084126A1

WO2009084126A1 - ナビゲーション装置

Info

Publication number: WO2009084126A1
Application number: PCT/JP2008/002264
Authority: WO
Inventors: Yoshihisa Yamaguchi; Takashi Nakagawa; Toyoaki Kitano; Hideto Miyazaki; Tsutomu Matsubara
Original assignee: Mitsubishi Electric Corporation
Priority date: 2007-12-28
Filing date: 2008-08-21
Publication date: 2009-07-09
Also published as: JP2011052960A

Abstract

　地図データを保持する地図データベース５と、現在位置・方位を計測する位置方位計測部４と、計測された位置の周辺の地図データを地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部１３と、前方を撮影するカメラ７と、カメラで撮影された前方の映像を取得する映像取得部８と、取得された映像から実写映像を用いた案内図である実写案内図を生成する映像合成処理部１４と、地図案内図上の所定の地点に対応する実写案内図上の地点を決定する対応地点決定部１６と、決定された２地点を結ぶ図形を生成する対応表示生成部１７と、地図案内図、実写案内図および２地点を結ぶ図形を１画面内に表示するべく決定する表示決定部１５と、表示決定部による決定にしたがって表示を行う表示部１０を備えている。

Description

ナビゲーション装置

　この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特に地図データに基づき生成された地図とカメラで撮影することにより得られた実写映像とを組み合わせて表示する技術に関する。

　従来、カーナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた映像の上に、ＣＧ（Computer Graphics）によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている（例えば、特許文献１参照）。

　また、同様に、特許文献２は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。すなわち、特許文献２には、地図と実写映像を用いた案内図といった表示モードまたはスケールが異なる地図を同時に表示する技術が開示されている。

特許第２９１５５０８号公報特開平１１－１０８６８４号公報

　しかしながら、上述した従来の技術では、次のような問題がある。すなわち、通常の地図は平面的に表現されるのに対し、実写映像は実際の空間を撮影したものであり立体的に表現される。地図と実写映像は自車近傍の状態を表しているという共通性はあるものの、表現方法が異なることから、地図で表現される交差点またはランドマークなどと実写映像で表現されるそれらとの対応関係を理解することは容易ではない。

　また、地図と実写映像とは表現方法が異なることから、各々で表現しやすい情報が異なる。上述した特許文献１または特許文献２には、地図と実写映像とを排他的に切り替えて表示したり、地図と実写映像とを並列に表示したりする技術が開示されているが、次のような問題がある。例えば、交差点から遠い位置にいる場合には、運転者は交差点までの距離を知りたいが、実写映像では交差点が小さくしか写らないので距離感がわかりにくいのに対し、地図では自車と交差点の間の距離または道路形状などを理解しやすい。逆に、交差点に接近した場合には、地図では、分岐する道路が実際の運転者が見ている道路のいずれに対応するのかわかりにくいが、実写映像では、この対応付けが容易である。

　特許文献１または特許文献２に開示されているように、距離に応じて地図と実写映像とを排他的に切り替えた場合には、表現方法が急激に変化するために、運転者は混乱に陥る場合がある。一方、地図と実写映像とを並べて表示するだけでは、各々の表現形式には不適な状況であっても、一定の画面を占有することになり、効果的な表現ができないという問題がある。

　この発明は、上述した諸問題を解消するためになされたものであり、その課題は、地図と実写映像との関係を分かりやすく表示できるナビゲーション装置を提供することにある。

　この発明に係るナビゲーション装置は、上記課題を解決するために、地図データを保持する地図データベースと、現在位置および方位を計測する位置方位計測部と、位置方位計測部で計測された位置の周辺の地図データを地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部と、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像から実写映像を用いた案内図である実写案内図を生成する映像合成処理部と、案内表示生成部で生成された地図案内図上の所定の地点に対応する、映像合成処理部で生成された実写案内図上の地点を決定する対応地点決定部と、対応地点決定部で決定された実写案内図上の地点と地図案内図上の所定の地点との対応を示す対応表示を生成する対応表示生成部と、案内表示生成部で生成された地図案内図、映像合成処理部で生成された実写案内図および対応表示生成部で生成された対応表示を画面内に表示する表示部を備えている。

　この発明に係るナビゲーション装置によれば、地図案内図上の所定の地点に対応する実写案内図上の地点を決定し、これら決定された実写案内図上の地点と地図案内図上の地点との対応を示す対応表示を生成し、地図案内図、実写案内図および対応表示を画面内に表示するように構成したので、地図と実写映像との関係を分かりやすく表示できる。

この発明の実施の形態１に係るカーナビゲーション装置の構成を示すブロック図である。この発明の実施の形態１に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に示すフローチャートである。図２のステップＳＴ１４で行われるコンテンツ合成映像作成処理の詳細を示すフローチャートである。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像とを図形で対応付けた表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像とを図形で対応付けた他の表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像とを図形で対応付けたさらに他の表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像とを同一高さにして対応付けた表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像とを形態的な特徴を有する図形で対応付けた表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像との表示面積を変更した表示例を示す図である。この発明の実施の形態１に係るカーナビゲーション装置において、自車周辺地図とコンテンツ合成映像との表示位置を変更した表示例を示す図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について添付した図に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係るナビゲーション装置、特に車に適用したカーナビゲーション装置の構成を示すブロック図である。このカーナビゲーション装置は、ＧＰＳレシーバ１、車速センサ２、方位センサ３、位置方位計測部４、地図データベース５、入力操作部６、カメラ７、映像取得部８、ナビゲーション制御部９および表示部１０を備えている。

　ＧＰＳレシーバ１は、複数の衛星からの電波を受信することにより自車位置を計測する。このＧＰＳレシーバ１で計測された自車位置は、自車位置信号として位置方位計測部４に送られる。車速センサ２は、自車の速度を逐次計測する。この車速センサ２は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ２で計測された自車の速度は、車速信号として位置方位計測部４に送られる。方位センサ３は、自車の進行方向を逐次計測する。この方位センサ３で計測された自車の進行方位は、方位信号として位置方位計測部４に送られる。

　位置方位計測部４は、ＧＰＳレシーバ１から送られてくる自車位置信号から自車の現在位置および進行方位を計測する。なお、トンネルの中または周囲の建造物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、ＧＰＳレシーバ１からの自車位置信号だけでは自車の現在位置および進行方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ２からの車速信号および方位センサ３からの方位信号を用いた自律航法を利用して自車位置を計測し、ＧＰＳレシーバ１による計測を補う処理を実行する。

　位置方位計測部４で計測された自車の現在位置および進行方位は、上述したように、ＧＰＳレシーバ１の受信状態の悪化による計測精度の悪化、タイヤ直径の摩耗、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部４は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース５から取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および進行方位は、自車位置方位データとしてナビゲーション制御部９に送られる。

　地図データベース５は、道路の位置、道路の種別（高速道路、有料道路、一般道路または細街路など）、道路に関する規制（速度制限または一方通行など）、交差点近傍のレーン情報、道路周辺の施設の情報などを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに３つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース５に保持されている地図データは、位置方位計測部４およびナビゲーション制御部９によって読み出される。

　入力操作部６は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも１つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、カーナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部６の操作によって発生されたデータは、操作データとしてナビゲーション制御部９に送られる。

　カメラ７は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも１つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ７で撮影することにより得られた映像信号は、映像取得部８に送られる。

　映像取得部８は、カメラ７から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部８における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部９に送られる。

　ナビゲーション制御部９は、入力操作部６から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったカーナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部６から入力された条件にマッチした施設の検索といったデータ処理を実行する。このナビゲーション制御部９の詳細は後述する。ナビゲーション制御部９における処理によって得られた表示データは、表示部１０に送られる。

　表示部１０は、例えばＬＣＤ（Liquid Crystal Display）から構成されており、ナビゲーション制御部９から送られてくる表示データにしたがって、地図および／または実写映像などを画面に表示する。

　次に、ナビゲーション制御部９の詳細を説明する。ナビゲーション制御部９は、目的地設定部１１、経路計算部１２、案内表示生成部１３、映像合成処理部１４、表示決定部１５、対応地点決定部１６および対応表示生成部１７を備えている。なお、図面の煩雑さを避けるために、上記構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。

　目的地設定部１１は、入力操作部６から送られてくる操作データにしたがって目的地を設定する。この目的地設定部１１で設定された目的地は、目的地データとして経路計算部１２に送られる。

　経路計算部１２は、目的地設定部１１から送られてくる目的地データ、位置方位計測部４から送られてくる自車位置方位データ、および、地図データベース５から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部１２で計算された誘導経路は、誘導経路データとして表示決定部１５に送られる。

　案内表示生成部１３は、表示決定部１５からの指示に応じて、例えば地図または３次元ＣＧを用いた交差点拡大図などといった従来のカーナビゲーション装置で用いられている案内図（以下、「地図案内図」という）を生成する。この案内表示生成部１３で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、３次元ＣＧを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお。地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部１３で生成された地図案内図は、地図案内図データとして表示決定部１５に送られる。

　映像合成処理部１４は、表示決定部１５からの指示に応じて、実写映像を用いた案内図（以下、「実写案内図」という）を生成する。例えば、地図データベース５から、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物の情報を取得し、映像取得部８から送られてくる映像データによって形成される映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど（以下、「コンテンツ」という）を重ね合わせたコンテンツ合成映像から成る実写案内図を生成する。この映像合成処理部１４で生成された実写案内図は、実写案内図データとして表示決定部１５に送られる。

　表示決定部１５は、上述したように、案内表示生成部１３に対し地図案内図の生成を指示するとともに、映像合成処理部１４に対し実写案内図の生成を指示する。また、表示決定部１５は、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した車両周辺の地図データ、入力操作部６から送られてくる操作データ、案内表示生成部１３から送られてくる地図案内図データ、映像合成処理部１４から送られてくる実写案内図データおよび対応表示生成部１７から送られてくる図形データに基づき表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータは、表示データとして表示部１０に送られる。

　これにより、表示部１０には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部６のメニューボタンが押されている場合はメニューが表示され、入力操作部６によって実写表示モードに設定された場合は実写映像を用いた案内画像が表示される。なお、実写映像を用いた案内画像への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定以下になった場合に実写映像を用いた案内画像に切り替わるように構成することもできる。

　また、表示部１０の画面に表示する案内図は、例えば案内表示生成部１３で生成された地図案内図（例えば平面地図）は画面の左側に配置し、映像合成処理部１４で生成された実写案内図（例えば実写映像を用いた交差点拡大図）は画面の右側に配置するというように、実写案内図と地図案内図とを１つの画面内に同時に表示するように構成できる。

　対応地点決定部１６は、映像合成処理部１４で生成された実写案内図の所定の地点に対応する、案内表示生成部１３で生成された地図案内図の地点を検索して決定する。所定の地点としては、例えば右左折する交差点、次の交差点またはランドマークなどを用いることができる。なお、地図案内図と実写案内図とを対応させる地点の種類は、カーナビゲーション装置の設計者が予め定めるように構成できるし、ユーザが設定できるように構成することもできる。

　実写案内図における地点は、位置方位計測部４からの自車位置方位データと地図データベース５からの地図データとから計算することができる。例えば、図４～図６に示すように、交差点の角にＸＸ劇場が存在する場合、対応地点決定部１６は、自車位置方位データによって示される自車位置とその周辺の地図データからＸＸ劇場までの距離および方角を計算し（例えば前方１００ｍ右１０ｍ）、この計算した距離および方角に対応する実写案内図上の地点を、カメラ７の画角および高さなどの設置情報を考慮した透視変換手法などを用いて計算する。なお、実写案内図における地点の計算は、自車位置方位データと地図データとを用いた方法に限定されず、実写映像内のエッジを抽出して対応する地点を検出するといった画像認識技術を用いて行うこともできる。

　対応表示生成部１７は、対応地点決定部１６で対応付けられた地図案内図の地点と実写案内図の地点の対応が明確になるように表示するための処理を実行する。例えば、対応表示生成部１７は、地図案内図上の地点とそれに対応する実写案内図上の地点との対応を示す対応表示を生成し、その対応が明確になるようにする。ここで、対応表示としては、例えば、図形や直線または曲線を用いて対応を示すものなど、その対応が示せるものであれば他のものでもよい。この対応表示生成部１７における処理結果は、表示決定部１５に送られる。以下、対応表示生成部１７で行われる幾つかの具体的な処理を説明する。

（１）対応表示生成部１７は、例えば、図４～図６に示すように、地図案内図の地点（ＸＸ劇場）と実写案内図の対応する地点とを結ぶ線の図形を生成する処理を実行する。このとき、２つの地点間を結ぶ線だけでなく、図６に示すように、名称やジャンルなどを示した看板を間に挟んだ線の図形を生成するように構成できる。この対応表示生成部１７で生成された線の図形は、表示決定部１５に送られる。

（２）対応表示生成部１７は、例えば、図７に示すように、対応付けられた２つの地点の表示部１０の画面上での高さの差が一定以内の距離になるように揃える処理を実行する。この距離は、例えば１０ピクセルといったように、カーナビゲーション装置の作成者があらかじめ定めるように構成できるし、ユーザが任意の値を設定するように構成することもできる。なお、２地点の高さを揃えるには、地図案内図または実写案内図の高さをずらす方法、地図案内図の縮尺を変更することにより地点の高さを一定距離以内にする方法、あるいは映像合成処理部１４で実写映像を表示する縮尺を変更する方法などを挙げることができる。

（３）対応表示生成部１７は、例えば、図４～図７に示すように、実写案内図と地図案内図を同時に表示する場合に、案内表示生成部１３に対し、ヘディングアップ表示方式（進む方向が上側になるように表示する方式）の地図案内図に強制的に変更するように指示し、案内表示生成部１３は、ヘディングアップ表示方式の地図案内図を表示する処理を実行する。

（４）対応表示生成部１７は、例えば、図８に示すように、実写案内図と地図案内図とで共通に描画する図形の配色、ハッチングパターン、明滅パターン、グラデーションまたは形状などといった形態的な特徴を同一または類似にする処理を実行する。図形の形態的な特徴は、カーナビゲーション装置の作成者が事前に定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。

（５）対応表示生成部１７は、例えば、図９に示すように、交差点や分岐経路までの距離に応じて地図案内図と実写案内図との表示面積の割合を変化させる処理を実行する。この場合、地図案内図と実写案内図との表示面積の割合を変化させる方法および表示位置は、カーナビゲーション装置の作成者が事前に定めるように構成できるし、ユーザが任意に変更できるように構成することもできる。

（６）対応表示生成部１７は、例えば、図１０で示すように、運転者に交差点や分岐道で右左折などの誘導案内をする際に、その誘導する方向に応じて地図案内図と実写案内図の配置を変更する処理を実行する。例えば、右左折する方向に実写案内図を配置させる処理を実行する。

　次に、上記のように構成される、この発明の実施の形態１に係るカーナビゲーション装置の動作を、自車周辺情報表示処理を中心に、図２に示すフローチャートを参照しながら説明する。なお、自車周辺情報表示処理は、自車の移動に応じて、自車周辺の地図に自車位置を示す図形を組み合わせた地図案内図としての自車周辺地図と、実写案内図としてのコンテンツ合成映像（詳細は後述する）とを生成し、これらを組み合わせた画像を表示部１０に表示する処理である。

　自車周辺情報表示処理では、まず、自車周辺情報表示の終了であるかどうかが調べられる（ステップＳＴ１１）。すなわち、ナビゲーション制御部９は、入力操作部６から自車周辺情報表示の終了が指示されているかどうかを調べる。このステップＳＴ１１において、自車周辺情報表示の終了であることが判断されると、自車周辺情報表示処理は終了する。

　一方、ステップＳＴ１１において、自車周辺情報表示の終了でないことが判断されると、自車位置方位が取得される（ステップＳＴ１２）。すなわち、ナビゲーション処理部９は、位置方位計測部４から自車位置方位データを取得する。

　次いで、自車周辺地図が作成される（ステップＳＴ１３）。すなわち、ナビゲーション制御部９の案内表示生成部１３は、ステップＳＴ１２で取得した自車位置方位データに基づき、その時点で設定されている縮尺での自車周辺の地図データを地図データベース５から検索し、この検索によって得られた地図データで示される地図上に、自車位置と方位を表す図形（自車マーク）を重ね合わせた自車周辺地図を作成する。

　なお、ナビゲーション制御部９の目的地設定部１１および経路計算部１２において、目的地が設定されて誘導経路が計算されており、目的地へ誘導するために右左折する必要がある場合には、案内表示生成部１３は、この自車周辺地図の上に、さらに、自車の進むべき道路を案内するための矢印などの図形を重ね合わせた自車周辺地図を作成する。

　次いで、コンテンツ合成映像作成処理が行われる（ステップＳＴ１４）。すなわち、ナビゲーション制御部９の映像合成処理部１４は、地図データベース５から、自車周辺の道路ネットワーク、ランドマークまたは交差点などに関する周辺物の情報を検索し、映像取得部８で取得された自車周辺の映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなどといったコンテンツを重ね合わせたコンテンツ合成映像を生成する。このステップＳＴ１４で行われる処理の詳細は、後に、図３に示すフローチャートを参照して詳細に説明する。

　次いで、表示作成処理が行われる（ステップＳＴ１５）。すなわち、ナビゲーション制御部９の表示決定部１５は、ステップＳＴ１３において案内表示生成部１３で作成された自車周辺地図と、ステップＳＴ１４において映像合成処理部１４で作成されたコンテンツ合成映像とを組み合わせ、さらに、対応表示生成部１７で行われた自車周辺地図とコンテンツ合成映像と対応付ける処理の結果にしたがって１画面分の表示データを生成する。その後、シーケンスはステップＳＴ１１に戻り、上述した処理が繰り返される。このステップＳＴ１５で生成される表示データに基づき作成される、自車周辺地図とコンテンツ合成映像と対応付けた画面の具体例については、後に詳細に説明する。

　次に、ステップＳＴ１４で行われるコンテンツ合成映像作成処理の詳細を、図３に示すフローチャートを参照しながら説明する。このコンテンツ合成映像作成処理は、主として映像合成処理部１４で実行される。

　コンテンツ合成映像作成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ２１）。すなわち、映像合成処理部１４は、ステップＳＴ１２で取得された自車位置方位データと、その時点で映像取得部８において取得された映像情報を取得する。

　次いで、コンテンツ生成が行われる（ステップＳＴ２２）。すなわち、映像合成処理部１４は、地図データベース５から自車の周辺物を検索し、その中からドライバに提示したいコンテンツ情報を生成する。コンテンツ情報には、例えば、ドライバに右左折を指示して目的地へ誘導したい場合には、交差点の名称文字列、交差点の座標、交差点を含む走行すべき道路ネットワークの座標値の系列（実際には、この座標系列を結んだ矢印図形を描画するために必要な矢印図形の頂点の座標値系列）などが含まれる。また、自車周辺の有名なランドマークを案内したい場合には、そのランドマークの名称文字列、ランドマークの座標、ランドマークに関する歴史または見所、営業時間などといったランドマークに関する情報の文字列または写真などが含まれる。なお、コンテンツ情報は、上述した以外に、自車周辺の道路ネットワークの個々の座標と各道路の一方通行または進入禁止などといった交通規制情報、車線数などの情報といった地図情報そのものであってもよい。

　なお、コンテンツ情報の座標値は、例えば、緯度および経度のように、地上で一意に決定される座標系（以下、「基準座標系」という）で与えられる。このステップＳＴ２２においては、ドライバに提示したいコンテンツと、その総数ａが確定する。

　次いで、カウンタの内容ｉが「１」に初期化される（ステップＳＴ２３）。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容ｉが「１」に設定される。なお、カウンタは、映像合成処理部１４の内部に設けられている。

　次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ２４）、具体的には、映像合成処理部１４は、カウンタの内容である合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったかどうかを調べる。このステップＳＴ２４において、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったことが判断されると、コンテンツ合成映像作成処理は終了し、自車周辺情報表示処理にリターンする。

　一方、ステップＳＴ２４において、合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなっていないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ２５）。すなわち、映像合成処理部１４は、ステップＳＴ２２で生成したコンテンツ情報のうちのｉ番目のコンテンツ情報を取得する。

　次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ２６）。すなわち、映像合成処理部１４は、ステップＳＴ２１で取得した自車位置方位（基準座標系における自車の位置方位）、カメラ７の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ７の固有値を使用し、ステップＳＴ２１で取得した映像上のコンテンツを表示すべき基準座標系における位置を計算する。この計算は透視変換と言われる座標変換計算と同じである。

　次いで、映像合成処理が行われる（ステップＳＴ２７）。すなわち、映像合成処理部１４は、ステップＳＴ２１で取得した映像上のステップＳＴ２６で計算された位置に、ステップＳＴ２５で取得したコンテンツ情報によって示された図形、文字列またはイメージなどを合成する。

　次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ２８）。すなわち、映像合成処理部１４は、カウンタの内容をインクリメントする。その後、シーケンスはステップＳＴ２４に戻り、上述した処理が繰り返される。

　なお、上述した映像合成処理部１４では、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した映像の上にコンテンツを合成するように構成することもできる。

　次に、上述した自車周辺情報表示処理の表示作成処理（ステップＳＴ１５）で生成される表示データに基づいて作成される、地図案内図としての自車周辺地図と実写案内図としてのコンテンツ合成映像とを対応付けた幾つかの画面の具体例を説明する。

（１）第１の具体例
　表示作成処理では、対応地点決定部１６は、ステップＳＴ１４において映像合成処理部１４によって合成に使用されたコンテンツ情報が、ステップＳＴ１３において案内表示生成部１３で作成された自車周辺地図上で対応する位置を計算し、対応表示生成部１７に送る。対応表示生成部１７は、同一のコンテンツ情報が、自車周辺地図とコンテンツ合成映像との各々で表示されている箇所を結ぶ線の図形を生成して表示決定部１５に送る。表示決定部１５は、案内表示生成部１３から送られてくる地図案内図データ、映像合成処理部１４から送られてくる実写案内図データおよび対応表示生成部１７から送られてくる図形データに基づき表示部１０の画面に表示する内容を決定し、表示データとして表示部１０に送る。これにより、図４に示すような画面が表示部１０に表示される。この構成によれば、地図で表現されているコンテンツ情報と、映像上で表現されているコンテンツ情報の対応関係を理解しやすくなる。

　なお、図５に示すように、自車周辺地図とコンテンツ合成映像との対応付け表示を行う場合に、コンテンツ合成映像側にコンテンツ情報の対象となる名称文字列を表示せず、自車周辺地図側にのみ名称文字列を表示し、自車周辺地図からコンテンツ合成映像に向けて矢印図形を形成して表示するように構成することもできる。

　また、図６に示すように、自車周辺地図とコンテンツ合成映像の両方を共通に指し示すために、両者で共通の名称文字列を配置し、この名称文字列から自車周辺地図とコンテンツ合成映像との双方に向けて、対応付けを表現する矢印図形を表示するように構成することもできる。この対応付けの表現は、図６に示す例では矢印図形を用いているが、直線または曲線などで両者を結びつけるようにしてもよい。

（２）第２の具体例
　表示作成処理では、対応表示生成部１７は、対応地点決定部１６で決定された２地点の画面上の高さが所定範囲内になるように表示決定部１５に指示し、表示決定部１５は、この指示に応答して、案内表示生成部１３に対して自車周辺地図の表示位置の変更、案内表示生成部１３に対して自車周辺地図の縮尺の変更、映像合成処理部１４に対してコンテンツ合成映像の実写映像の表示位置の変更または映像合成処理部１４に対してコンテンツ合成映像の実写映像を表示する縮尺の変更の少なくとも１つを指示し、この指示にしたがって、案内表示生成部１３で生成された地図および映像合成処理部１４で生成された映像を１つの画面内に表示するべく、案内表示生成部１３で生成された地図、映像合成処理部１４で生成された映像および対応表示生成部１７で生成された対応表示の表示位置を決定する。これにより、自車周辺地図において案内している箇所と、コンテンツ合成映像において案内している箇所の画面上の位置の差が所定範囲内になるので、両者の対応関係を理解しやすくすることができる。

　図７は、自車周辺地図とコンテンツ合成映像が左右に配置されている場合の例を示しており、案内対象となるＸＸ交差点の上下方向の位置が、画面上で同じになるように調整されている。なお自車周辺地図とコンテンツ合成映像が上下に配置されている場合は、案内対象の左右方向の位置が画面上で同じになるように調整することができる。

（３）第３の具体例
　表示作成処理では、対応表示生成部１７は、図４～図７に示すように、自車周辺地図とコンテンツ合成映像を表示する場合においては、案内表示生成部１３に対し、進行方向を画面の上側に表示するヘディングアップ表示方式の自車周辺地図を自動的に生成するように指示し、案内表示生成部１３は、ヘディングアップ表示方式の自車周辺地図を生成して表示決定部１５に送るように構成できる。この構成によれば、ノースアップ表示方式で自車周辺地図を表示する場合に比べて、自車周辺地図とコンテンツ合成映像との間の対応関係を理解しやすくなる。

（４）第４の具体例
　表示作成処理では、対応表示生成部１７は、図８に示すように、自車周辺地図上に重ね合わせる自車が進むべき誘導経路を示す図形またはランドマークの位置を示す図形の配色またはハッチングパターンなどといった形態的な特徴を、ステップＳＴ１３で生成される自車周辺地図とステップＳＴ１４で生成されるコンテンツ合成映像とで同一または類似とするように構成できる。この構成によれば、地図と映像の間での対応関係を理解しやすくすることができる。

　なお、図形の形態的な特徴は、色またはハッチングなどといった図形の塗りつぶしパターンに限らず、図形の形状をも同じとし、その図形の形状を２次元的に投影した表示を自車周辺地図に表示し、３次元的に投影した表示をコンテンツ合成映像に表示するように構成することもできる。

（５）第５の具体例
　コンテンツ合成映像では、交差点部分が画面上で占める領域は、自車が交差点から遠ければ小さくなる。一方、自車が交差点に近づけば、その交差点部分が画面上で占める割合は大きくなる。これに対し、自車周辺地図では、表示面積と縮尺が一定であれば取得できる自車周辺の情報は交差点までの距離とは関係しない。

　この性質を利用し、表示作成処理では、対応表示生成部１７は、自車周辺地図とコンテンツ合成映像との表示面積の割合を変更するように表示決定部１５に指示し、表示決定部１５は、対応表示生成部１７からの指示に応じて、対応地点決定部１６で決定された地点である交差点までの距離に応じて、案内表示生成部１３に対して自車周辺地図の表示面積の変更を指示し、かつ、映像合成処理部１４に対してコンテンツ合成映像の表示面積の変更を指示し、これらの指示にしたがって、案内表示生成部１３で生成された自車周辺地図および映像合成処理部１４で生成されたコンテンツ合成映像を１つの画面内に表示するべく決定する。これにより、例えば図９に示すように、交差点までの距離が大きい場合には、自車周辺地図側を大きく表示し、交差点が近づくにつれコンテンツ合成映像側を大きく表示するように構成できる。この構成によれば、ドライバは、より多くの情報を取得することができる。

（６）第６の具体例
　表示作成処理では、対応表示生成部１７は、対応地点決定部１６で決定された地点、例えば交差点までの距離に応じて、自車周辺地図およびコンテンツ合成映像の配置を変更するように表示決定部１５に指示し、表示決定部１５は、対応表示生成部１７からの指示に応じて、案内表示生成部１３で生成される自車周辺地図と映像合成処理部１４で生成されるコンテンツ合成映像の画面上での配置を変更する。これにより、交差点の右左折の案内を行う際に、その曲がる方向に応じて、自車周辺地図とコンテンツ合成映像の配置を変更することができるので、ドライバは、この配置からも自車の進むべき方向を容易に知ることができる。

　図１０は、左折を誘導している場合の表示例を示しており、コンテンツ合成映像が自車周辺地図の左側に配置されている。右折を誘導する場合には、逆に、コンテンツ合成映像は自車周辺地図の右側に配置される。

　なお、図示の実施の形態では、車に適用したカーナビゲーション装置として説明したが、この発明に係るナビゲーション装置はカメラを有する携帯電話機、飛行機等の移動体に対しても同様に適用することができる。

　以上のように、この発明に係るナビゲーション装置は、地図案内図上の所定の地点に対応する実写案内図上の地点を決定し、これら決定された実写案内図上の地点と地図案内図上の地点との対応を示す対応表示を生成し、地図案内図、実写案内図および対応表示を画面内に表示するように構成したので、地図と実写映像との関係を分かりやすく表示でき、カーナビゲーション装置などに用いるのに適している。

Claims

　地図データを保持する地図データベースと、
　現在位置および方位を計測する位置方位計測部と、
　前記位置方位計測部で計測された位置の周辺の地図データを前記地図データベースから取得し、該地図データから地図を用いた案内図である地図案内図を生成する案内表示生成部と、
　前方を撮影するカメラと、
　前記カメラで撮影された前方の映像を取得する映像取得部と、
　前記映像取得部で取得された映像から実写映像を用いた案内図である実写案内図を生成する映像合成処理部と、
　前記案内表示生成部で生成された地図案内図上の所定の地点に対応する、前記映像合成処理部で生成された実写案内図上の地点を決定する対応地点決定部と、
　前記対応地点決定部で決定された前記実写案内図上の地点と前記地図案内図上の所定の地点との対応を示す対応表示を生成する対応表示生成部と、
　前記案内表示生成部で生成された地図案内図、前記映像合成処理部で生成された実写案内図および前記対応表示生成部で生成された対応表示を画面内に表示する表示部と
を備えたナビゲーション装置。
　表示部の画面に表示する内容を決定する表示決定部を備え、
対応表示生成部は、前記対応地点決定部で決定された前記実写案内図上の地点と前記地図案内図上の所定の地点の画面上の高さが所定範囲内になるように前記表示決定部に指示し、
　前記表示決定部は、前記対応表示生成部からの指示に応じて、案内表示生成部に対して地図案内図の表示位置の変更、前記案内表示生成部に対して地図案内図の縮尺の変更、映像合成処理部に対して実写映像の表示位置の変更または前記映像合成処理部に対して実写映像を表示する縮尺の変更の少なくとも１つを指示し、該指示にしたがって、前記地図案内図、前記実写案内図、および前記対応表示の表示位置を決定する
ことを特徴とする請求項１記載のナビゲーション装置。
　対応表示生成部は、地図案内図と実写案内図とを表示する場合に、案内表示生成部に対し、進行方向を画面の上側に表示するヘディングアップ表示方式の地図案内図を生成するように指示し、
　案内表示生成部は、前記対応表示生成部からの指示に応じて、ヘディングアップ表示方式の地図案内図を生成する
ことを特徴とする請求項１記載のナビゲーション装置。
　対応表示生成部は、案内表示生成部で生成された地図案内図および映像合成処理部で生成された実写案内図の各々に重畳する対応表示として、同一または類似の形態的な特徴を有する図形を生成する
ことを特徴とする請求項１記載のナビゲーション装置。
　表示部の画面に表示する内容を決定する表示決定部を備え、
対応表示生成部は、地図案内図と実写案内図との表示面積の割合を変更するように前記表示決定部に指示し、
　前記表示決定部は、前記対応表示生成部からの指示に応じて、対応地点決定部で決定された地点までの距離に応じて、案内表示生成部に対して地図案内図の表示面積の変更を指示し、かつ、映像合成処理部に対して実写映像の表示面積の変更を指示し、該指示にしたがって、前記地図案内図、前記実写案内図、および前記対応表示の表示位置を決定する
ことを特徴とする請求項１記載のナビゲーション装置。
　表示部の画面に表示する内容を決定する表示決定部を備え、
　対応表示生成部は、対応地点決定部で決定された前記実写案内図上の地点と前記地図案内図上の所定の地点の２地点までの距離に応じて、地図案内図および実写案内図の配置を変更するように前記表示決定部に指示し、
前記表示決定部は、前記対応表示生成部からの指示に応じて、案内表示生成部で生成される地図案内図と映像合成処理部で生成される実写映像の画面上の配置を変更する
ことを特徴とする請求項１記載のナビゲーション装置。