WO2009095966A1

WO2009095966A1 - ナビゲーション装置

Info

Publication number: WO2009095966A1
Application number: PCT/JP2008/003361
Authority: WO
Inventors: Yoshihisa Yamaguchi; Takashi Nakagawa; Toyoaki Kitano; Hideto Miyazaki; Tsutomu Matsubara
Original assignee: Mitsubishi Electric Corporation
Priority date: 2008-01-31
Filing date: 2008-11-18
Publication date: 2009-08-06
Also published as: JP2011079338A

Abstract

　前方を撮影するカメラ７と、カメラで撮影された前方の映像を取得する映像取得部８と、映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部１６と、拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部１４と、映像合成処理部で合成された映像を表示する表示部１０を備えている。

Description

ナビゲーション装置

　この発明は、ユーザを目的地まで案内するナビゲーション装置に関し、特にカメラで撮影することにより得られた実写映像を用いて案内する技術に関する。

　従来、ナビゲーション装置において、走行中に車載カメラでリアルタイムに前方を撮影し、この撮影により得られた映像の上に、ＣＧ（Computer Graphics）によって案内情報を重畳して表示することにより経路誘導を行う技術が知られている（例えば、特許文献１参照）。

　また、同様の技術として、特許文献２は、ナビゲーション情報要素を感覚的に把握しやすいように表示するカーナビゲーションシステムを開示している。このカーナビゲーションシステムは、自動車のノーズなどに取付けた撮像カメラで進行方向の景色を撮像し、ナビゲーション情報要素の背景表示について地図画像と実写映像とをセレクタで選択できるようにして、この背景画像に対して画像合成部によりナビゲーション情報要素を重ね合せて表示器に表示する。この特許文献２には、実写映像を用いた交差点での経路誘導に関して、誘導する道路に沿って矢印を表示する技術が開示されている。

　ところで、運転者に提示する映像の中で、運転行動を行うために有用な部分は画面の一部だけであることが多い。例えば、交差点の経路誘導を行う場合は、交差点の周囲の映像は有用であるが、上空の映像は不要である。しかしながら、上述した特許文献１および特許文献２に開示された技術では、撮影した映像を単純に提示しているので、不要な情報が多いという問題があった。

　このような問題に対処するために、特許文献３は、車載カメラによるモニタ画面に対する運転者の注目を、常に車両進行方向に向けさせ、それ以外の撮像画像に対する注目度を低下させる車両周辺監視装置を開示している。この車両周辺監視装置は、車両の車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、撮像画像の一部を鮮鋭化するＡエリアと、撮像画像の残りの部分を非鮮鋭化するＢエリアとに分けてモニタ画面に表示する。この構成により、モニタ画面を見る運転者は、Ａエリアの表示画像に注視し、Ｂエリアへの注目度は低下する。

特許２９１５５０８号公報特開平１１－１０８６８４号公報特開２００３－２７４３９３号公報

　しかしながら、特許文献３に開示された技術では、表示される映像の大きさは変わらないので、ユーザにとって有用な情報が少ないエリアが画面の大半を占めるという問題がある。

　この発明は、上述した問題を解消するためになされたものであり、その課題は、画面の多くのエリアにユーザにとって有用な情報を表示できるナビゲーション装置を提供することにある。

　この発明に係るナビゲーション装置は、上記課題を解決するために、前方を撮影するカメラと、カメラで撮影された前方の映像を取得する映像取得部と、映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部と、拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、映像合成処理部で合成された映像を表示する表示部を備えている。

　この発明に係るナビゲーション装置によれば、カメラで撮影することにより得られた映像の一部を切り取って拡大または縮小して画面に表示するように構成したので、ユーザにとって有用な情報を、画面の多くのエリアに表示できる。

この発明の実施の形態１に係るナビゲーション装置の構成を示すブロック図である。この発明の実施の形態１に係るナビゲーション装置の動作を、コンテンツ合成映像作成処理を中心に示すフローチャートである。この発明の実施の形態１に係るナビゲーション装置のコンテンツ合成映像作成処理の中で行われるコンテンツ生成処理の詳細を示すフローチャートである。この発明の実施の形態１に係るナビゲーション装置で使用されるコンテンツの種類の例を示す図である。この発明の実施の形態１に係るナビゲーション装置のコンテンツ合成映像作成処理の中で行われる伸縮処理の詳細を示すフローチャートである。この発明の実施の形態１に係るナビゲーション装置の動作を説明するための図である。この発明の実施の形態２に係るナビゲーション装置のコンテンツ合成映像作成処理の中で行われる伸縮処理の詳細を示すフローチャートである。図７に示す伸縮処理のステップＳＴ４１で行われる元画像の範囲を修正する処理を詳細に示すフローチャートである。この発明の実施の形態２に係るナビゲーション装置の動作を説明するための図である。この発明の実施の形態３に係るナビゲーション装置の構成を示すブロック図である。この発明の実施の形態３に係るナビゲーション装置のコンテンツ合成映像作成処理の中で行われる伸縮処理の詳細を示すフローチャートである。この発明の実施の形態３に係るナビゲーション装置の動作を説明するための図である。この発明の実施の形態４に係るナビゲーション装置の構成を示すブロック図である。この発明の実施の形態４に係るナビゲーション装置のコンテンツ合成映像作成処理の中で行われる伸縮処理の詳細を示すフローチャートである。この発明の実施の形態４に係るナビゲーション装置における元画像の修正方法を示す図である。この発明の実施の形態４に係るナビゲーション装置における元画像の修正方法の利点を説明するための図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係るナビゲーション装置の構成を示すブロック図である。なお、以下では、ナビゲーション装置の一例として、車両に搭載されるカーナビゲーション装置を例に挙げて説明する。ナビゲーション装置は、ＧＰＳ（Global Positioning System）レシーバ１、車速センサ２、方位センサ３、位置方位計測部４、地図データベース５、入力操作部６、カメラ７、映像取得部８、ナビゲーション制御部９および表示部１０を備えている。

　ＧＰＳレシーバ１は、複数の衛星からの電波を受信することにより自車位置を計測する。このＧＰＳレシーバ１で計測された自車位置は、自車位置信号として位置方位計測部４に送られる。車速センサ２は、自車の速度を逐次計測する。この車速センサ２は、一般には、タイヤの回転数を計測するセンサから構成されている。車速センサ２で計測された自車の速度は、車速信号として位置方位計測部４に送られる。方位センサ３は、自車の進行方向を逐次計測する。この方位センサ３で計測された自車の進行方位（以下、単に「方位」という）は、方位信号として位置方位計測部４に送られる。

　位置方位計測部４は、ＧＰＳレシーバ１から送られてくる自車位置信号から自車の現在位置および方位を計測する。なお、トンネルの中または周囲の建物などによって自車の上空が遮られている場合は、電波を受信できる衛星の数がゼロまたは少なくなって受信状態が悪くなり、ＧＰＳレシーバ１からの自車位置信号だけでは自車の現在位置および方位が計測できなくなったり、計測できても精度が悪化するため、車速センサ２からの車速信号および方位センサ３からの方位信号を用いた自律航法を利用して自車位置を計測し、ＧＰＳレシーバ１による計測を補う処理を実行する。

　位置方位計測部４で計測された自車の現在位置および方位は、上述したように、ＧＰＳレシーバ１の受信状態の悪化による計測精度の悪化、タイヤの摩耗による直径の変化、温度変化に起因する車速の誤差またはセンサ自体の精度に起因する誤差などといった様々な誤差を含んでいる。そこで、位置方位計測部４は、計測により得られた誤差を含んだ自車の現在位置および方位を、地図データベース５から読み出した地図データから取得した道路データを用いてマップマッチングを行うことにより修正する。この修正された自車の現在位置および方位は、自車位置方位データとしてナビゲーション制御部９に送られる。

　地図データベース５は、道路の位置、道路の種別（高速道路、有料道路、一般道路または細街路など）、道路に関する規制（速度制限または一方通行など）または交差点近傍のレーン情報といった道路データの他、道路周辺の施設のデータなどを含む地図データを保持している。道路の位置は、道路を複数のノードとノード間を直線で結ぶリンクとで表現し、このノードの緯度および経度を記録することにより表現されている。例えば、あるノードに３つ以上のリンクが接続されている場合は、そのノードの位置で複数の道路が交わっていることを表している。この地図データベース５に保持されている地図データは、上述したように位置方位計測部４によって読み出される他、ナビゲーション制御部９によって読み出される。

　入力操作部６は、リモートコントローラ、タッチパネルまたは音声認識装置などの少なくとも１つから構成されており、ユーザである運転者または同乗者が、操作によって、目的地を入力したり、ナビゲーション装置が提供する情報を選択したりするために使用される。この入力操作部６の操作によって発生されたデータは、操作データとしてナビゲーション制御部９に送られる。

　カメラ７は、自車の前方を撮影するカメラまたは周囲全体を含む幅広い方向を一度に撮影できるカメラなどの少なくとも１つから構成されており、自車の進行方向を含む自車近傍を撮影する。このカメラ７で撮影することにより得られた映像信号は、映像取得部８に送られる。

　映像取得部８は、カメラ７から送られてくる映像信号を、計算機で処理可能なデジタル信号に変換する。この映像取得部８における変換により得られたデジタル信号は、映像データとしてナビゲーション制御部９に送られる。

　ナビゲーション制御部９は、入力操作部６から入力された目的地までの誘導経路の計算、誘導経路と自車の現在位置および方位とに応じた案内情報の生成、または、自車位置周辺の地図と自車位置を示す自車マークを合成した案内図の生成などといったナビゲーション装置が有する自車周辺の地図を表示する機能、および、自車を目的地に誘導するための機能などを提供するためのデータ処理を行う他、自車位置、目的地または誘導経路に関連する交通情報、観光地、飲食店または物販店などの情報の検索、入力操作部６から入力された条件にマッチした施設の検索といったデータ処理を実行する。

　また、ナビゲーション制御部９は、地図データベース５から読み出した地図データに基づき生成した地図、映像取得部８から取得した映像データによって示される映像または自己の内部の映像合成処理部１４（詳細は後述する）で合成された画像を、単独で、または、これらを組み合わせて表示するための表示データを生成する。このナビゲーション制御部９の詳細は後述する。ナビゲーション制御部９における種々の処理によって生成された表示データは、表示部１０に送られる。

　表示部１０は、例えばＬＣＤ（Liquid Crystal Display）から構成されており、ナビゲーション制御部９から送られてくる表示データにしたがって、地図および／または実写映像などを画面に表示する。

　次に、ナビゲーション制御部９の詳細を説明する。ナビゲーション制御部９は、目的地設定部１１、経路計算部１２、案内表示生成部１３、映像合成処理部１４、表示決定部１５および拡大縮小処理部１６を備えている。なお、図１においては、図面の煩雑さを避けるために、上記複数の構成要素間の接続の一部を省略しているが、省略した部分については、以下において出現する都度説明する。

　目的地設定部１１は、入力操作部６から送られてくる操作データにしたがって目的地を設定する。この目的地設定部１１で設定された目的地は、目的地データとして経路計算部１２に送られる。経路計算部１２は、目的地設定部１１から送られてくる目的地データ、位置方位計測部４から送られてくる自車位置方位データ、および、地図データベース５から読み出した地図データを用いて、目的地までの誘導経路を計算する。この経路計算部１２で計算された誘導経路は、誘導経路データとして表示決定部１５に送られる。

　案内表示生成部１３は、表示決定部１５からの指示に応じて、従来のカーナビゲーション装置で用いられている地図による案内図（以下、「地図案内図」という）を生成する。この案内表示生成部１３で生成される地図案内図には、平面地図、交差点拡大図、高速略図などといった実写映像を用いない様々な案内図が含まれる。また、地図案内図は、平面地図に限定されず、３次元ＣＧを用いた案内図または平面地図を俯瞰する案内図であってもよい。なお、地図案内図を作成する技術は周知であるので、ここでは詳細な説明は省略する。この案内表示生成部１３で生成された地図案内図は、地図案内図データとして表示決定部１５に送られる。

　映像合成処理部１４は、表示決定部１５からの指示に応じて、実写映像を用いた案内図（以下、「実写案内図」という）を生成する。例えば、映像合成処理部１４は、地図データベース５から読み出した地図データから、自車周辺の道路ネットワーク、ランドマークまたは交差点などといった周辺物（この発明の「案内対象物」に対応する）の情報を取得し、映像取得部８から送られてくる映像データによって示される実写映像を拡大縮小処理部１６（詳細は後述する）で伸縮した後の実写映像上に存在する周辺物の周辺に、この周辺物の形状または内容などを説明するための図形、文字列またはイメージなど（以下、「コンテンツ」という）を重ね合わせたコンテンツ合成映像を生成する。この映像合成処理部１４によって生成されたコンテンツ合成映像は、実写案内図データとして表示決定部１５に送られる。

　表示決定部１５は、上述したように、案内表示生成部１３に対して地図案内図の生成を指示するとともに、映像合成処理部１４に対して実写案内図の生成を指示する。また、表示決定部１５は、位置方位計測部４から送られてくる自車位置方位データ、地図データベース５から読み出した自車周辺の地図データ、および、入力操作部６から送られてくる操作データに基づき表示部１０の画面に表示する内容を決定する。案内表示生成部１３から送られてくる地図案内図データおよび映像合成処理部１４から送られてくる実写案内図データに基づき表示部１０の画面に表示する内容を決定する。この表示決定部１５において決定された表示内容に対応するデータ、つまり、案内表示生成部１３から送られてくる地図案内図データまたは映像合成処理部１４から送られてくる実写案内図データは、表示データとして表示部１０に送られる。

　これにより、表示部１０には、例えば、車両が交差点に近づいた場合には交差点拡大図が表示され、入力操作部６のメニューボタンが押されている場合はメニューが表示され、入力操作部６によって実写表示モードに設定された場合は実写映像を用いた実写案内図が表示される。なお、実写映像を用いた実写案内図への切り替えは、実写表示モードの設定が行われる場合以外にも、自車と曲がるべき交差点の距離が一定値以下になった場合に実写案内図に切り替わるように構成することもできる。

　また、表示部１０の画面に表示する案内図は、例えば案内表示生成部１３で生成された地図案内図（例えば平面地図）を画面の左側に配置し、映像合成処理部１４で生成された実写案内図（例えば実写映像を用いた交差点拡大図）を画面の右側に配置するというように、実写案内図と地図案内図とを１つの画面内に同時に表示するように構成できる。

　拡大縮小処理部１６は、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の一部を切り取って拡大または縮小する。この拡大縮小処理部１６で拡大または縮小された映像を表す映像データは、映像合成処理部１４に送られる。

　次に、上記のように構成される、この発明の実施の形態１に係るナビゲーション装置の動作を説明する。このナビゲーション装置では、自車の移動に応じて、自車周辺の地図に自車位置を示す図形（自車マーク）を組み合わせた地図案内図としての自車周辺地図と、実写案内図としてのコンテンツ合成映像とを生成し、これらを表示部１０に表示する。地図案内図としての自車周辺地図を生成する処理は周知であるので説明を省略し、以下では、実写案内図としてのコンテンツ合成映像を生成する処理を、図２に示すフローチャートを参照しながら説明する。このコンテンツ合成映像作成処理は、主として映像合成処理部１４で実行される。

　コンテンツ合成映像作成処理では、まず、自車位置方位および映像が取得される（ステップＳＴ１１）。すなわち、映像合成処理部１４は、位置方位計測部４から自車位置方位データを取得するとともに、その時点で映像取得部８において生成された映像データを該映像取得部８から取得する。

　次いで、コンテンツ生成が行われる（ステップＳＴ１２）。すなわち、映像合成処理部１４は、地図データベース５から読み出した地図データから自車の周辺物を検索し、その中からユーザに提示したいコンテンツ情報を生成する。コンテンツ情報には、例えば、ユーザに右左折を指示して目的地へ誘導したい場合には、交差点の名称文字列、交差点の座標、経路誘導矢印の座標などが含まれる。また、自車周辺の有名なランドマークを案内したい場合には、そのランドマークの名称文字列、ランドマークの座標、ランドマークに関する歴史または見所、営業時間などといったランドマークに関する情報の文字列または写真などが含まれる。なお、コンテンツ情報は、上述した以外に、自車周辺の道路ネットワークの個々の座標と各道路の一方通行または進入禁止などといった交通規制情報、車線数などの情報といった地図情報そのものであってもよい。このステップＳＴ１２で行われるコンテンツ生成処理については、後に、さらに詳細に説明する。

　なお、コンテンツ情報の座標値は、例えば、緯度および経度のように、地上で一意に決定される座標系（以下、「基準座標系」という）で与えられる。このステップＳＴ１２の処理によって、ユーザに提示したいコンテンツと、その総数ａが確定する。

　次いで、コンテンツ総数ａが取得される（ステップＳＴ１３）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツの総数ａを取得する。次いで、カウンタの内容ｉが初期化される（ステップＳＴ１４）。すなわち、合成済みコンテンツ数をカウントするためのカウンタの内容ｉに「１」が設定される。なお、カウンタは、映像合成処理部１４の内部に設けられている。

　次いで、全てのコンテンツ情報の合成処理が終了したかどうかが調べられる（ステップＳＴ１５）、具体的には、映像合成処理部１４は、カウンタの内容である合成済みコンテンツ数ｉが、ステップＳＴ１３で取得したコンテンツ総数ａより大きくなったかどうかを調べる。このステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了していない、つまり合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなっていないことが判断されると、ｉ番目のコンテンツ情報が取得される（ステップＳＴ１６）。すなわち、映像合成処理部１４は、ステップＳＴ１２で生成したコンテンツ情報のうちのｉ番目のコンテンツ情報を取得する。

　次いで、透視変換によるコンテンツ情報の映像上の位置が計算される（ステップＳＴ１７）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した自車位置方位（基準座標系における自車の位置方位）、カメラ７の自車を基準にした座標系における位置方位、および、あらかじめ取得しておいた画角および焦点距離といったカメラ７の固有値を使用し、ステップＳＴ１６で取得したコンテンツ情報を表示すべき基準座標系における映像上の位置を計算する。この計算は、透視変換と言われる座標変換計算と同じである。

　次いで、映像合成処理が行われる（ステップＳＴ１８）。すなわち、映像合成処理部１４は、ステップＳＴ１１で取得した映像上の、ステップＳＴ１７で計算された位置に、ステップＳＴ１６で取得したコンテンツ情報によって示される図形、文字列またはイメージなどといったコンテンツを合成する。

　次いで、カウンタの内容ｉがインクリメントされる（ステップＳＴ１９）。すなわち、映像合成処理部１４は、カウンタの内容をインクリメント（＋１）する。その後、シーケンスはステップＳＴ１５に戻り、上述した処理が繰り返される。

　上記ステップＳＴ１５において、全てのコンテンツ情報の合成処理が終了した、つまり合成済みコンテンツ数ｉがコンテンツ総数ａより大きくなったことが判断されると、次いで、伸縮処理が実行される（ステップＳＴ２０）。このステップＳＴ２０で行われる伸縮処理の詳細は、後述する。その後、コンテンツ合成映像作成処理は終了する。

　なお、上述したコンテンツ合成映像作成処理では、映像合成処理部１４は、透視変換を用いて映像上にコンテンツを合成するように構成したが、映像に対して画像認識処理を行うことにより映像内の対象を認識し、その認識した対象の上にコンテンツを合成するように構成することもできる。

　また、コンテンツ合成映像作成処理では、先にコンテンツ情報を映像上に重畳し、その後、伸縮処理するように構成したが、先に伸縮処理を実行し、その後、伸縮処理が実行された映像上にコンテンツ情報を重畳するように構成することもできる。

　次に、上述したコンテンツ合成映像作成処理（図２参照）のステップＳＴ１２で行われるコンテンツ生成処理の詳細を、図３に示すフローチャートを参照しながら説明する。

　コンテンツ生成処理では、まず、コンテンツを収集する範囲が決定される（ステップＳＴ２１）。すなわち、映像合成処理部１４は、例えば自車を中心とする半径５０ｍの円形、または、自車から前方５０ｍ、左右１０ｍの矩形といった範囲を、コンテンツを収集する範囲と定める。なお、コンテンツを収集する範囲は、ナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。

　次いで、収集するコンテンツの種類が決定される（ステップＳＴ２２）。収集するコンテンツの種類は、例えば図４に示すように、案内する状況に応じて変化する。映像合成処理部１４は、案内する状況に応じて収集するコンテンツの種類を決定する。なお、コンテンツの種類は、ナビゲーション装置の製作者が予め定めるように構成できるし、ユーザが任意に設定するように構成することもできる。

　次いで、コンテンツの収集が行われる（ステップＳＴ２３）。すなわち、映像合成処理部１４は、ステップＳＴ２１で決定した範囲内に存在するコンテンツであって、ステップＳＴ２２で決定した種類のコンテンツを、地図データベース５または他の処理部などから収集する。その後、シーケンスは、コンテンツ合成映像作成処理にリターンする。

　次に、上述したコンテンツ合成映像作成処理（図２参照）のステップＳＴ２０で行われる伸縮処理の詳細を、図５に示すフローチャートおよび図６に示す説明図を参照しながら説明する。

　伸縮処理では、まず、案内対象物の画像上の情報が計算される（ステップＳＴ３１）。すなわち、拡大縮小処理部１６は、映像取得部８から映像合成処理部１４を介して送られてくる映像データによって示される映像（以下、「元画像」という）上に存在する案内対象物（ランドマークまたは交差点など）の画像の幅ｗｉｄｔｈ［ｐｉｘｅｌ］、高さｈｅｉｇｈｔ［ｐｉｘｅｌ］および中心点（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）［ｐｉｘｅｌ］を決定する。具体的には、拡大縮小処理部１６は、図６（ａ）に示すような元画像に対して画像認識を行い、図６（ｂ）に示すような元画像内に存在する案内対象物の範囲を計算し、その範囲の最大幅をｗｉｄｔｈ、最大高さをｈｅｉｇｈｔ、最大幅を持つ水平位置と最大高さが交わる点を中心点（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）とする。ここで、画像認識は、元画像のエッジを抽出して地図データベース５から得られる自車の周囲の地図データと比較するなどの方法により行うことができる。なお、画像認識は、上述した方法に限らず、他の方法を用いて行うこともできる。

　次いで、元画像の範囲が設定される（ステップＳＴ３２）。すなわち、拡大縮小処理部１６は、図６（ｃ）に太線で示すように、拡大縮小処理の対象とする元画像の範囲を決定する。この範囲は、例えば以下の条件を満たす範囲とすることができる。
　ｃｅｎｔｅｒ＿ｘ－ｗｉｄｔｈ／２＜ｘ座標＜ｃｅｎｔｅｒ＿ｘ＋ｗｉｄｔｈ／２
　ｃｅｎｔｅｒ＿ｙ－ｈｅｉｇｈｔ／２＜ｙ座標＜ｃｅｎｔｅｒ＿ｙ＋ｈｅｉｇｈｔ／２

　なお、上述した範囲に加えて、周囲の１０［ｐｉｘｅｌ］も範囲とするといったように、ナビゲーション装置の製作者またはユーザが任意に範囲の大きさを制御するように構成することもできる。また、映像合成処理部１４で重畳したコンテンツが範囲内に含まれるように範囲を拡大するといった処理を行うように構成することもできる。

　次いで、倍率が決定される（ステップＳＴ３３）。すなわち、拡大縮小処理部１６は、拡大縮小処理を行う際の倍率を決定する。この倍率は、例えば縦２倍・横２倍といったように、ナビゲーション装置の製作者またはユーザが任意に定めるように構成できる。また、拡大後の画像が表示部１０の画面全体の大きさになるように倍率を定めることもできる。なお、倍率は、縦横等倍でなくてもよいし、上半分は縦１．１倍、下半分は縦１．２倍といったように一部の倍率を変化させるように構成することもできる。

　次いで、拡大縮小処理が行われる（ステップＳＴ３４）。すなわち、拡大縮小処理部１６は、ステップＳＴ３２で決定した範囲と、ステップＳＴ３３で決定した倍率を用いて、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の拡大縮小処理を行う。この拡大縮小処理部１６で拡大または縮小された画像を表す映像データは、映像合成処理部１４に送られる。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。これにより、図６（ｄ）に示すように、ステップＳＴ３２で決定された範囲が拡大されて表示部１０の画面に表示される。

　なお、上述した伸縮処理のステップＳＴ３１では、画像認識を行って案内対象物の画像上の幅、高さおよび中心点を決定するように構成したが、位置方位計測部４から送られてくる自車位置方位データと地図データベース５から取得した自車の周辺の地図データとを用いて、透視変換と呼ばれる座標変換を行うことにより案内対象物の画像上の幅、高さおよび中心点を計算するように構成することもできる。また、画像認識と透視変換とを組み合わせて使用して案内対象物の画像上の幅、高さおよび中心点を決定するように構成することもできる。

　さらに、上述した伸縮処理のステップＳＴ３１およびステップＳＴ３２の処理では、案内対象物の画像上の幅、高さおよび中心点を用いて拡大縮小処理の対象とする元画像の範囲を定めるように構成したが、案内対象物の画像上の幅、高さおよび中心点を用いず、例えば元画像の中心を中心とする一辺が１００［ｐｉｘｅｌ］の正方形といったように、カーナビゲーション装置の製作者またはユーザが任意に定めた範囲を拡大縮小処理の対象とする元画像の範囲とするように構成することもできる。

　以上説明したように、この発明の実施の形態１に係るナビゲーション装置によれば、余計な情報の少ない、換言すれば、ユーザにとって有用な情報を、画面の多くのエリアに表示してユーザに提示することができる。例えば、案内するランドマークが画面に小さく写っている場合、ランドマークの周囲のみが拡大して表示されるので、ランドマーク以外の情報を抑制し、ユーザにとって有用なランドマークを画面の多くのエリアを使用して表示できる。

実施の形態２．
　この発明の実施の形態２に係るナビゲーション装置の構成は、拡大縮小処理部１６の機能を除き、図１に示した実施の形態１に係るナビゲーション装置の構成と同じである。拡大縮小処理部１６は、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を修正して拡大または縮小する。

　次に、上記のように構成される、この発明の実施の形態２に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理（図５参照）を除き、実施の形態１に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図７および図８に示すフローチャートおよび図９に示す説明図を参照しながら説明する。なお、実施の形態１に係るナビゲーション装置の伸縮処理（図５参照）と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。

　伸縮処理では、まず、案内対象物の画像上の情報が計算される（ステップＳＴ３１）。次いで、元画像の範囲が設定される（ステップＳＴ３２）。このステップＳＴ３２の処理により、例えば、図９（ａ）に太枠で示すように、拡大縮小処理を行う元画像の範囲が決定される。

　次いで、元画像の範囲が修正される（ステップＳＴ４１）。すなわち、拡大縮小処理部１６は、案内対象物が好適な範囲内に存在するように、ステップＳＴ３２で設定した元画像の範囲を修正する。このステップＳＴ４１で実行される元画像の範囲を修正する処理の詳細を、図８に示すフローチャートを参照しながら説明する。

　元画像の範囲を修正する処理では、まず、案内対象物の範囲が取得される（ステップＳＴ５１）。すなわち、拡大縮小処理部１６は、伸縮処理のステップＳＴ３１と同様の処理にて、元画像に対して画像認識を行い、元画像内に存在する案内対象物の範囲を計算し、その範囲の最大幅、最大高さおよび最大幅を持つ水平位置と最大高さが交わる中心点を求める。ここで、画像認識は、元画像のエッジを抽出して地図データベース５から得られる自車の周囲の地図データと比較するなどの方法により行うこともできる。なお、画像認識は、上述した方法に限らず、他の方法を用いて行うこともできる。

　次いで、案内対象物を表示する範囲が決定される（ステップＳＴ５２）。すなわち、拡大縮小処理部１６は、案内対象物を表示する範囲を決定する。この範囲は、ナビゲーション装置の製作者またはユーザがあらかじめ定めておくように構成することができる。案内対象物を表示する範囲は、例えば、左端または上端といった点または線で指定するように構成できるし、画像内の矩形などといった範囲で指定するように構成することもできる。

　次いで、元画像の範囲が修正される（ステップＳＴ５３）。すなわち、拡大縮小処理部１６は、ステップＳＴ５１で取得した案内対象物の範囲が、ステップＳＴ５２で決定した範囲内になるように元画像の範囲を修正する。この修正は、例えば、以下の方法で行うことができる。
（１）案内対象物の中心点が指定された位置または範囲に納まるように、図９（ａ）に示すような元画像の範囲を、図９（ｂ）に示すように移動させる。なお、図９（ｂ）に示す例では、元画像の範囲を左側に移動させた例を示している。
（２）案内対象物の中心点が指定された位置または範囲に納まるように、図９（ａ）に示すような元画像の範囲を、図９（ｃ）に示すように拡大し、または、図９（ｄ）に示すように縮小する。
（３）上記（１）と（２）を組み合わせる。

　この元画像の範囲を修正する処理が終了すると、シーケンスは、伸縮処理にリターンする。伸縮処理では、次いで、倍率が決定される（ステップＳＴ３３）。次いで、拡大縮小処理が行われる（ステップＳＴ３４）。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。これにより、ステップＳＴ３２において、図９（ａ）に示すように決定された範囲が、ステップＳＴ４１において、図９（ｂ）、図９（ｃ）または図９（ｄ）に示すように修正されて表示部１０の画面に表示される。

　以上説明したように、この発明の実施の形態２に係るナビゲーション装置によれば、案内対象物が所望の範囲内に存在するように、移動、拡大または縮小する元画像の範囲を変化させるように構成したので、案内対象物が常に一定の場所に存在する映像をユーザに提示することができ、案内が見やすくなる。

実施の形態３．
　図１０は、この発明の実施の形態３に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態１に係るナビゲーション装置のナビゲーション制御部９に案内対象物距離計算部１７が追加されるとともに、拡大縮小処理部１６が拡大縮小処理部１６ａに変更されて構成されている。

　案内対象物距離計算部１７は、位置方位計測部４から送られてくる自車位置方位データと、地図データベース５から取得した地図データを用いて、自車と案内対象物までの距離を計算する。この案内対象物距離計算部１７で計算される距離は、自車から案内対象物までの直線距離、または、自車から案内対象物までの経路の距離のいずれであってもよい。この案内対象物距離計算部１７で計算された距離は、拡大縮小処理部１６ａに送られる。

　拡大縮小処理部１６ａは、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を、案内対象物距離計算部１７から送られてくる距離に応じて変更して拡大または縮小する。この拡大縮小処理部１６ａで拡大または縮小された映像を表す映像データは、映像合成処理部１４に送られる。

　次に、上記のように構成される、この発明の実施の形態３に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理（図５参照）を除き、実施の形態１に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図１１に示すフローチャートおよび図１２に示す説明図を参照しながら説明する。なお、図５のフローチャートに示した実施の形態１に係るナビゲーション装置の伸縮処理と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。

　伸縮処理では、まず、案内対象物の画像上の情報が計算される（ステップＳＴ３１）。次いで、案内対象物までの距離が計算される（ステップＳＴ６１）。すなわち、案内対象物距離計算部１７は、位置方位計測部４から送られてくる自車位置方位データと、地図データベース５から取得した地図データを用いて、自車と案内対象物までの距離を計算し、拡大縮小処理部１６ａに送る。

　次いで、元画像の範囲が設定される（ステップＳＴ６２）。すなわち、拡大縮小処理部１６ａは、実施の形態１に係る伸縮処理（図５参照）のステップＳＴ３２と同様の処理により、拡大縮小処理を行う元画像の範囲を決定し、その後、案内対象物距離計算部１７から送られてくる、自車から案内対象物までの距離ｄ［ｍ］に応じて元画像の範囲を変更する。

　例えば、拡大縮小処理部１６ａは、映像合成処理部１４から送られてくる拡大縮小処理を行う元画像の範囲を、以下の倍率で拡大する。
　ｄ≦１５０の場合　倍率＝（２００－ｄ）［％］
　ｄ＞１５０の場合　倍率＝５０［％］

　次いで、倍率が決定される（ステップＳＴ３３）。次いで、拡大縮小処理が行われる（ステップＳＴ３４）。すなわち、拡大縮小処理部１６ａは、ステップＳＴ６２で決定した範囲と、ステップＳＴ３３で決定した倍率を用いて、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の拡大縮小処理を行う。この拡大縮小処理部１６ａで拡大または縮小された画像を表す画像データは、映像合成処理部１４に送られる。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。

　これにより、図１２（ａ）に示すような元画像に対し、自車から案内対象物までの距離が大きい場合は、図１２（ｂ）に示すように、拡大縮小処理の対象とする元画像の範囲が決定され、自車から案内対象物までの距離が小さい場合（案内対象物に近い場合）は、図１２（ｃ）に示すように、拡大縮小処理の対象とする元画像の範囲が決定されて元画像の一部（案内対象物が含まれる部分）が拡大されて表示部１０の画面に表示される。

　以上説明したように、この発明の実施の形態３に係るナビゲーション装置によれば、案内対象物までの距離に応じて、拡大または縮小する元画像の範囲を変化させるように構成したので、自車位置から案内対象物までの距離に応じて、不要な情報を抑制する方法を変えることができる。例えば、案内対象物が交差点であるときに、交差点に近づいたときには横長な範囲を拡大するといった表示が可能になる。

実施の形態４．
　図１３は、この発明の実施の形態４に係るナビゲーション装置の構成を示すブロック図である。このナビゲーション装置は、実施の形態１に係るナビゲーション装置のナビゲーション制御部９に走行状況判断部１８が追加されるとともに、拡大縮小処理部１６が拡大縮小処理部１６ｂに変更されて構成されている。

　走行状況判断部１８は、自車の走行状況を判断する。走行状況には、（１）誘導経路に沿って行われる右左折の方向などといった案内に関係するもの、（２）道路を走行する側（日本では左側通行、アメリカでは右側通行など）または車線数などといった道路の状況に関するもの、（３）自車が走行しているレーンなどといったリアルタイムに変化する状況に関するものが含まれる。

　拡大縮小処理部１６ｂは、映像取得部８から映像合成処理部１４を経由して送られてくる映像データによって示される映像の一部を切り取る範囲を、走行状況判断部１８から送られてくる走行状況に応じて決定し、あるいは、走行状況に応じて変更して拡大または縮小する。この拡大縮小処理部１６ｂで切り取られ、あるいは、拡大または縮小された映像を表す映像データは、映像合成処理部１４に送られる。

　次に、上記のように構成される、この発明の実施の形態４に係るナビゲーション装置の動作を説明する。このナビゲーション装置の動作は、伸縮処理（図５参照）を除き、実施の形態１に係るナビゲーション装置の動作と同じである。以下では、伸縮処理の詳細を、図１４に示すフローチャート、図１５および図１６に示す説明図を参照しながら説明する。なお、実施の形態１に係るナビゲーション装置の伸縮処理（図５参照）と同じ処理を行うステップには、実施の形態１で使用した符号と同じ符号を付して説明を簡略化する。

　伸縮処理では、まず、走行状況が取得される（ステップＳＴ７１）。すなわち、拡大縮小処理部１６ｂは、走行状況判断部１８から走行状況を取得する。

　次いで、元画像の範囲が修正される（ステップＳＴ７２）。すなわち、拡大縮小処理部１６ｂは、ステップＳＴ７１で取得した走行状況を元に元画像の範囲を切り出す。この場合、切り出した元画像の範囲を、さらに拡大または縮小するように修正することもできる。修正は、例えば、図１５に示すような、走行状況と元画像の修正方法を対応付けた表を用いて行うことができる。図１５において、画面上のｘ［ｍ］分とは、図２に示すフローチャートのステップＳＴ１７の透視変換といった方法を用いて計算された左右方向のｘ［ｍ］のことを意味する。

　次いで、倍率が決定される（ステップＳＴ３３）。次いで、拡大縮小処理が行われる（ステップＳＴ３４）。その後、伸縮処理は終了し、シーケンスは、コンテンツ合成映像作成処理にリターンする。

　走行状況を元に元画像の範囲を修正することにより、図１６に示すような、拡大または縮小する範囲を道路に応じて設定することができる。例えば、修正前の元画像の範囲が元画像の中心を切り出す範囲であった場合を考える。ナビゲーション装置の地図データベース５に格納されている道路データは、道路の中心線と幅で構成されていることが多いため、単純に元画像の中心を切り出した場合は、図１６の（ａ）に示すように左に偏った、右端の道路が見えない画像をユーザに提示することになる。この場合、走行する側が判明していれば、固定幅だけ範囲をずらすことにより、図１６の（ｂ）に示すように多少は道路の中心に近い画像を切り出すことができる。さらに、車線数を考慮することにより、図１６の（ｃ）に示すように、より道路の中心に近い画像を切り出すことができる。さらに、走行レーンを考慮することにより、図１６の（ｄ）のように、さらに道路の中心に近い画像を切り出すことができる。

　以上説明したように、この発明の実施の形態４に係るナビゲーション装置によれば、切り出しまたは拡大縮小処理の対象とする元画像の範囲を、運転状況（曲がろうとしている方向、走行する側（日本では左側、アメリカでは右側）など）に合わせて変化させることができるので、ユーザに提示する映像の範囲を、道路に応じて決定できる。また、切り出し、拡大または縮小する元画像の範囲を、自車が走行しているレーンに応じて変化させることができるので、ユーザに提示する映像の範囲を、道路に応じて決定できる。

　なお、上述した実施の形態１～実施の形態４においては、この発明のナビゲーション装置の一例として車両に適用されるカーナビゲーション装置を例に挙げて説明したが、この発明に係るナビゲーション装置は、カーナビゲーション装置に限らず、カメラを備えた携帯電話器、飛行機などの移動体などにも適用することができる。

　以上のように、この発明に係るナビゲーション装置は、カメラで撮影することにより得られた映像の一部を切り取って拡大または縮小して画面に表示するように構成したので、ユーザにとって有用な情報を、画面の多くのエリアに表示できるので、カーナビゲーションシステムのナビゲーション装置などに用いるのに適している。

Claims

　前方を撮影するカメラと、
　前記カメラで撮影された前方の映像を取得する映像取得部と、
　前記映像取得部で取得された映像の一部を切り取って拡大または縮小する拡大縮小処理部と、
　前記拡大縮小処理部で拡大または縮小された映像に、該映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、
　前記映像合成処理部で合成された映像を表示する表示部
とを備えたナビゲーション装置。
　拡大縮小処理部は、案内対象物が所定の範囲内に存在するように、映像取得部で取得された映像の一部を切り取る範囲を修正して拡大または縮小する
ことを特徴とする請求項１記載のナビゲーション装置。
　地図データを保持する地図データベースと、
　現在位置を計測する位置方位計測部と、
　前記位置方位計測部で計測された現在位置から案内対象物までの距離を前記地図データベースから読み出した地図データに基づき計算する案内対象物距離計算部とを備え、
　拡大縮小処理部は、前記案内対象物距離計算部で計算された距離に応じて、映像取得部で取得された映像の一部を切り取る範囲を変更して拡大または縮小する
ことを特徴とする請求項１記載のナビゲーション装置。
　前方を撮影するカメラと、
　前記カメラで撮影された前方の映像を取得する映像取得部と、
　自己の走行状況を判断する走行状況判断部と、
　前記映像取得部で取得された映像のうちの前記走行状況判断部で判断された走行状況に応じた範囲の映像を切り出し、該切り出した映像上に存在する案内対象物を説明するための図形、文字列またはイメージを含むコンテンツを重畳させて合成する映像合成処理部と、
　前記映像合成処理部で合成された映像を表示する表示部
とを備えたナビゲーション装置。
　前記走行状況判断部で判断される走行状況は、運転状況または走行しているレーンを含む
ことを特徴とする請求項４記載のナビゲーション装置。