JP3753306B2

JP3753306B2 - 移動体ナビゲーションシステム

Info

Publication number: JP3753306B2
Application number: JP2000273382A
Authority: JP
Inventors: 仁志藤本; 由香里平塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-09-08
Filing date: 2000-09-08
Publication date: 2006-03-08
Anticipated expiration: 2020-09-08
Also published as: JP2002081947A

Description

【０００１】
【発明の属する技術分野】
この発明は、移動体の進行経路案内表示を行うナビゲーションシステムに関し、より詳細には、その地図表示画面をよりリアルに表示する技術に関する。
【０００２】
【従来の技術】
一般にカーナビゲーションシステムは、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号を受信することにより、自己の位置を認識するＧＰＳ航法と、車速や進行方向を感知して相対位置を認識する自律航法とを組み合わせることで、精度良く求められた自己の位置を、光ディスク等記憶媒体に格納された地図情報を元に生成された地図表示上に図示するものである。また、目的地までの経路を探索し、地図表示上に図示することで、道を間違えることなく、目的地まで利用者を案内・誘導することを目的としている。
【０００３】
図１０は、例えば特開平１１−１０８６８４号公報に示された従来のカーナビゲーションシステムを示す構成図である。２０１はＧＰＳ航法や、自律航法、経路探索、地図画面生成、ナビゲーション情報生成などのカーナビゲーション機能を実現するカーナビゲーション制御部である。２０２は車に搭載され、前方の風景を撮像する撮像装置、２０３は映像信号をＡ／Ｄ変換する映像処理回路、２０４は前記カーナビゲーション制御部２０１から出力される地図情報か、前記映像処理回路２０３から出力される実写映像かのいずれかを選択し出力するセレクタである。２０５は使用者が操作し、前記セレクタ２０４が選択する映像を切り替え、また、カーナビゲーション制御部２０１に対する指示を生成する操作手段である。２０６はセレクタ２０４から出力される画像と、カーナビゲーション制御部２０１から出力されるナビゲーション情報とを重畳する画像合成部、２０７は画像合成部から出力された画像を表示する、液晶表示器などの表示器である。
【０００４】
従来のカーナビゲーションシステムでは、使用者は操作手段２０５を操作して、撮像装置２０２で撮像した実写映像に、カーナビゲーション制御部２０１で生成したナビゲーション情報を合成表示することを選択できる。使用者の現地点から見える範囲に限られるが、より実際的なナビゲーション画像が得られるようになっている。
【０００５】
また、特開平１１−２１１４８６号公報では予め記憶された風景画像情報を表示するもので、前記風景画像情報を記録する時に、天気状態を同時に記憶しておくことで、希望する状態の実写画像を表示する技術が開示されている。このナビゲーション装置は、日射量検出部と降水量検出部とを備え、撮像時の天候を同時に記録できるように構成するものである。
【０００６】
さらに、特開平９−４４０７６号公報では、記憶された地図情報と建物等の仮想風景画像から、完全に３次元コンピュータグラフィクスで街の画像を生成する技術が開示されている。この技術は、時刻や季節などの状況に応じた画像を生成することを特徴としている。予め記憶している地図情報と、同様に予め記憶している仮想風景画像から街の風景を生成するものである。
【０００７】
【発明が解決しようとする課題】
ナビゲーションで必要とされる情報は、過去に移動体が移動したことのない未知の任意の場所における、より実際的な風景である。曲がる場所の付近にどのような目印があるのか、交差点はどのように見えるのかといった情報を直感的に使用者に提供する必要がある。目印とするものは使用者によって異なることと、街中の状態は刻一刻と変化していることを考慮して、最新の直感的なナビゲーション画像を提供する必要がある。
【０００８】
しかしながら、従来の移動体自身に撮像装置を装着したナビゲーションシステムでは、現時点で使用者が見ることの出来る風景を表示するのみであり、また、たとえ記憶手段を備えたとしても、移動体がそれまでに移動したことのある場所で撮像した画像を記憶し表示することができるのみであり、移動体が過去に移動したことのない未知の場所の画像は、表示することはできないという問題があった。
【０００９】
一方、通過予定の場所の混雑状態を知る目的で、カーナビゲーションを携帯電話に接続し、インターネットへのアクセスにより高速道路の合流部等の生映像を取得する試みが行われている。また、記憶しておいた実写情報に、生成した天候の状態を表す画像を合成する従来技術もあるが、いずれにせよ、単に実写映像を表示するか、何らかの情報を実写映像に重畳合成し表示するのみであり、任意の地点での、実写映像を用いた画面表示を行うことができないという問題があった。
【００１０】
この発明は、従来の移動体ナビゲーションシステムにおける上述した問題点を解消し、過去に移動体が移動したことのない未知の場所であっても、最新の直感的な風景を任意の地点において連続的に生成し、利用者に分かり易い移動体ナビゲーションシステムを提供するものである。
【００１１】
【課題を解決するための手段】
この発明に係る移動体ナビゲーションシステムは、移動体に搭載された移動体ナビゲーション装置と、実写画像を撮像する撮像装置を有し前記移動体ナビゲーション装置と無線通信を行う複数の基地局と、前記複数の基地局から取得した各地点の実写画像を管理するサーバーとを備え、前記サーバーは、各基地局から収集した実写画像を保存するための実写画像データベースを有し、該実写画像データベースには、所定時刻毎に撮像された実写画像が保存されており、前記移動体ナビゲーション装置は、移動体の撮像地点毎の通過時刻を推定し、該通過時刻を元に前記基地局を介して遠隔地にある撮像地点の実写画像を前記実写画像データベースから取得することを特徴とするものである。
【００１２】
また、前記移動体ナビゲーション装置は、前記基地局を介して取得した遠隔地の実写画像を用いて３次元地図画像を生成する３次元画像生成手段を有することを特徴とするものである。
【００１４】
また、前記実写画像データベースには、前記実写画像を天候毎に区分して保存されており、前記サーバーまたは前記移動体ナビゲーション装置のいずれかに時間と場所から天候状態を予測する手段をさらに備え、前記移動体ナビゲーション装置は、該通過時刻における天候状態を考慮した実写画像を前記実写画像データベースから取得することを特徴とするものである。
【００１５】
また、前記天候状態を予測する手段として地域の天候概況を用いたことを特徴とするものである。
【００１６】
さらに、前記移動体ナビゲーション装置は、予め地図情報と景観状態情報を記憶した記録媒体をさらに備え、前記３次元画像生成手段は、実写画像が撮像された位置情報と、前記地図情報と、前記景観状態情報とを用いて３次元オブジェクトの形状に画像を貼り付けることにより３次元画像を生成することを特徴とするものである。
【００１７】
【発明の実施の形態】
実施の形態１．
図１は、本実施の形態１に係わるナビゲーションシステムの構成図である。図１において、１はナビゲーションの対象となる移動体に搭載される移動体ナビゲーション装置、２は移動体ナビゲーション装置１と無線で通信を行う基地局、３は基地局が接続されている通信網、４は通信網に接続され各地の実写画像を管理するサーバーである。基地局２は複数存在し、通信網３に接続される。５は各基地局２から収集した実写画像を保存する実写画像データベースである。
【００１８】
６は道路周囲の風景映像を撮像する撮像装置、９は通信網３と接続するための網通信手段、８は移動体ナビゲーション装置１と通信するための無線通信手段、７は撮像装置６と無線通信手段８と網通信手段９とを制御する制御部である。撮像装置６と制御部７と無線通信手段８と網通信手段９とは基地局２を構成する要素である。
【００１９】
１０は基地局２と通信するための無線通信手段、１３はナビゲーションの機能を実現し、移動体ナビゲーション装置１を構成する各要素を制御するナビゲーション制御部、１１は基地局２と通信網３とを経由しサーバー４から取得した遠隔地の実写画像データを記憶する画像記憶手段、１４は画像記憶手段１１に一旦記憶された実写画像データを用いてより実際的な３次元地図画像を生成する３次元画像生成手段、１５は３次元画像生成手段１４により生成された画像を表示する画像表示手段、１２は使用者がナビゲーション制御部１３に対して各種制御を行うための指示をする操作手段である。無線通信手段１０と、画像記憶手段１１と、操作手段１２と、ナビゲーション制御部１３と、３次元画像生成手段と、画像表示手段１５とは移動体ナビゲーション装置１を構成する要素である。
【００２０】
図２および図３は、本実施の形態１に係わるナビゲーションシステムの動作を説明するための模式図である。１６は移動体ナビゲーション装置１を搭載した移動体、１７はナビゲーション制御部１３によって検索された検索経路である。
【００２１】
図１から図３を用いて、動作について説明する。基地局２は、信号機等の道路周辺を撮像するのに好適な場所に設置される。それぞれの基地局２は、１つあるいは複数の撮像装置６を備え、撮像装置６が撮像する範囲と方向、および撮像地点の情報を、実写画像データベース５上に画像に関連付けられるかたちで記憶される。もちろん、撮像範囲と方向、および撮像地点の情報を画像情報のヘッダ部分に保持する方法を用いてもよい。
【００２２】
まず、ナビゲーション制御部１３は、操作手段１２によって使用者が入力した目的地到達までに、移動体１６がとるべき検索経路１７を求める。次に、検索経路１７の進行方向に向かった道路周囲の風景が撮像されている地点を求めるために検索経路１７の情報を、サーバー４へ送る。移動体ナビゲーション装置１とサーバー４との通信は、移動体ナビゲーション装置１を構成する無線通信手段１０と基地局２を構成する無線通信手段８との間での無線通信と、基地局２を構成する網通信手段９を用い、通信網３を経由して行われる基地局２とサーバー４間の通信によって実現される。検索経路１７の情報を受け取ったサーバー４は、該検索経路１７に沿った、実写画像の撮像地点を移動体ナビゲーション装置１に通知する。
【００２３】
撮像地点情報については、地図情報が記憶されている記録媒体に予め含まれ、該記録媒体から読み出す方法でもよい。その場合、検索経路１７の情報をサーバー４へ送る必要は無い。
【００２４】
移動体ナビゲーション装置１は、実写画像の撮像地点毎に通過予測時間を推定し、撮像地点情報と関連付けて、サーバー４に実写映像の送信を要求する。要求を受けたサーバー４は、実写画像データベース５から実写画像を取り出し、移動体ナビゲーション装置１に送る。移動体ナビゲーション装置１は受信した各地点の実写画像データを一旦画像記憶手段１１に保存する。
【００２５】
ナビゲーション制御部１３は、移動する視点ごとに、地図情報と、画像記憶手段１１に記憶された実写画像データと、３次元画像生成手段１４を用いて表示画面を生成し、画像表示手段１５により画面表示を行う。これにより、移動体ナビゲーション装置１の進行にともなって変化する風景画像のナビゲーション画像を得ることができる。また、操作手段１２よって利用者が指示した地点での風景画像を表示することも、同様に可能となる。
【００２６】
図４と図５は、実写画像データベース５の構成と運用方法の一例を説明するための表である。図４は図３に示す地点Ａにおける実写画像を管理する「地点Ａの画像更新管理テーブル」である。風景画像に影響を与える要素は太陽の位置と天候なので、異なる状態において撮像した画像を実写画像データベース５に保存する必要がある。映像の更新方法としては、記憶されている画像が一定期間よりも古い場合で、かつその時の天候状態が一致した場合に、基地局２で新たに撮像された画像が置き換えられ、画像更新管理テーブルの撮像日時が更新される。
【００２７】
図５は地点Ａでの日付と時間毎の天候状態の一例を示した表である。図５のような天候状態で、前記画像更新の一定期間を１日以内とした場合に、画像更新管理テーブルは図４のようになる。図４の太線で囲んだ部分は、現在更新された情報である。前記画像更新の一定期間を長くとることで、実写画像データベース５更新のための実写画像データ転送量を削減することができる。
【００２８】
任意の地点での天候情報は、基地局２毎に天候検出のための各種装置を備えてもよいが、装置の小型化、安価なシステムの構築の観点から、地域天気情報サービスなどにより、別途提供される天候情報を用いるのが望ましい。
【００２９】
サーバー４は、移動体ナビゲーション装置１からの画像要求に対して、撮像地点と通過予測時間により、当該状況下での天候予測を行い、実写画像データベース５から予測される天候条件の実写画像を取り出し、移動体ナビゲーション装置１へ送信する。
【００３０】
本実施の形態１では、撮像装置６と無線通信手段８が基地局２に含まれ、基地局２が実写画像の撮像と、移動体ナビゲーション装置１との無線通信機能を有する場合を示したが、もちろんそれぞれの機能を分離し、実写画像の撮像機能のみを持つ基地局２や、移動体ナビゲーション装置１との無線通信機能のみを持つ基地局２が存在してもよい。また、網通信手段９は有線により通信網３と接続されていてもよいし、無線により接続されていてもよい。
【００３１】
次に、建物の高さ、形状等の情報を元に生成した３次元コンピュータグラフィクス画像において、撮像画像データを、建物を構成する面毎に分割し、テクスチャとして貼り付ける方法は、視点位置が変化した場合も、より自然な画像を生成できるが、処理量が多くなる欠点がある。
【００３２】
ここでは、図６を用いて、より簡易な撮像画像データの貼り付け方法について説明する。当該方法は、撮像画像データを、位置情報と、予め記憶している地図情報と、地図情報に含まれる形で記憶している景観状態情報とを用いて、生成する３次元ナビゲーション画像に貼り付けるものである。
【００３３】
１００は道路部分を示す路面領域、１０１及び１０２は道路に面した建物等建造物部分を示す左右の側面領域、１０３は空や遠方の風景を示す遠景領域、１０４は道路の継続する先を示す先行領域である。この例は、景観状態情報として、道路の左右とも「都心状態」である場合を示す。景観状態情報は、郊外における「見通し状態」や、低い町並みを表す「住宅地状態」のように、道路脇の状態を分類した情報である。該情報は、左右の領域を貼り付ける３次元オブジェクトの形状と関連付けられるものである。また、道路の左右が異なる状態で規定されていてもよいし、道路の途中から変化してもよい。
【００３４】
まず、実写画像データが撮像された地点の位置情報と、撮像方向と、画角と、地図情報から、路面領域１００、左側面領域１０１、右側面領域１０２、遠景領域１０３、先行領域１０４に相当する領域を生成する。それぞれの領域は単純な四角形ではなく、道路の曲がり方によっては複雑な多角形で構成される場合もある。これらの領域は３次元的なオブジェクトとして規定する。
【００３５】
図７は前記領域を、位置関係をわかり易く説明するために、異なる視点から見た図である。１０５は実写画像を撮像した画像視点位置である。実写画像の左側面領域１０１の画像は、道路の左側に垂直に配置されたオブジェクトに貼り付けられる。右側面領域１０２は、道路の右側に垂直に配置されたオブジェクトに貼り付けられる。路面領域１００は道路部分を表す水平に配置されたオブジェクトに貼り付けられる。もちろん、道路が傾斜している場合は、それに従った形のオブジェクトとなる。遠景領域１０３は十分遠方にある風景を示し、視点から十分遠方で、視線に直行する面をなすオブジェクトに貼り付けられる。先行領域１０４の画像は、道路上の画像視点位置からある程度の距離にあり、視線に直行する面に貼り付けられる。この領域には、当該撮像地点の先に位置する別の撮像地点からの実写画像を貼り付けても良い。
【００３６】
次に、実写映像が貼り付けられた３次元オブジェクトに対して、希望する視点位置から見たナビゲーション画像を３次元グラフィクス処理により生成する。
以上のようにすることで、画像生成に要する処理量を抑えかつ、実際的なナビゲーション画像を得ることが可能となる。
【００３７】
図８と図９は、道路の左右の景観状態情報がいずれも「見通し状態」にある場合の例を説明する図である。図６と図７と同一の部分についての説明は省略する。１０６は左地面領域、１０７は右地面領域である。左地面領域１０６と右地面領域１０７は、路面領域と同様に水平に配置されたオブジェクトにそれぞれ貼り付けられる。実写映像が貼り付けられた３次元オブジェクトに対して、希望する視点位置から見たナビゲーション画像を３次元グラフィクス処理により生成することで、遠くまで見通せる風景を任意の視点位置からの実際的なナビゲーション画像を得ることが可能となる。
【００３８】
【発明の効果】
以上のように、この発明によれば、移動体に搭載された移動体ナビゲーション装置と、実写画像を撮像する撮像装置を有し前記移動体ナビゲーション装置と無線通信を行う複数の基地局と、前記複数の基地局から取得した各地点の実写画像を管理するサーバーとを備え、前記サーバーは、各基地局から収集した実写画像を保存するための実写画像データベースを有し、該実写画像データベースには、所定時刻毎に撮像された実写画像が保存されており、前記移動体ナビゲーション装置は、移動体の撮像地点毎の通過時刻を推定し、該通過時刻を元に前記基地局を介して遠隔地にある撮像地点の実写画像を前記実写画像データベースから取得するので、過去に移動体が移動したことのない未知の場所であっても、最新の直感的な風景を任意の地点において連続的に生成し、利用者に分かり易いナビゲーションシステムを提供することができるとともに、刻一刻変化する画像のうち最も新しい画像に対応した、最も現実に近い画像を取得することができる。
【００３９】
また、前記移動体ナビゲーション装置は、前記基地局を介して取得した遠隔地の実写画像を用いて３次元地図画像を生成する３次元画像生成手段を有することにより、過去に移動体が移動したことのない任意の地点の３次元画像を取得することができる。
【００４１】
また、前記実写画像データベースには、前記実写画像を天候毎に区分して保存されており、前記サーバーまたは前記移動体ナビゲーション装置のいずれかに時間と場所から天候状態を予測する手段をさらに備え、前記移動体ナビゲーション装置は、該通過時刻における天候状態を考慮した実写画像を前記実写画像データベースから取得することにより、前記実写画像の中から天候を考慮した最も現実に近い実写画像データを取得できる。
【００４２】
また、前記天候状態を予測する手段として地域の天候概況を用いたことより、前記サーバーまたは前記移動体ナビゲーション装置の小型化、安価なシステムの構築が実現できる。
【００４３】
さらに、前記移動体ナビゲーション装置は、予め地図情報と、景観状態情報を記憶した記録媒体をさらに備え、前記３次元生成手段は、実写画像が撮像された位置情報と、前記地図情報と、前記景観状態情報とを用いて３次元オブジェクトの形状に画像を貼り付けることにより３次元画像を生成するので、画像生成に要する処理量を抑え、任意の視点位置からの最新の直感的なナビゲーション画像を取得することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係るナビゲーションシステムの構成図である。
【図２】この発明の実施の形態１に係るナビゲーションシステムの動作説明の模式図である。
【図３】この発明の実施の形態１に係るナビゲーションシステムの動作説明の模式図である。
【図４】実写映像データベース５の構成と運用方法の一例を説明する表である。
【図５】実写映像データベース５の構成と運用方法の一例を説明する表である。
【図６】撮像画像データの貼り付け方法における説明図である。
【図７】図６の領域を異なる視点から表わした図である。
【図８】道路の左右の景観状態情報がいずれも「見通し状態」にある場合の説明図である。
【図９】図８の領域を異なる視点から表わした図である。
【図１０】従来のカーナビゲーションシステムを示す構成図である。
【符号の説明】
１移動体ナビゲーション装置、２基地局、３通信網、４サーバー、５実写画像データベース、６撮像装置、７制御部、８無線通信装置、９網通信手段、１０無線通信手段、１１画像記憶手段、１２操作手段、１３ナビゲーション制御部、１４３次元画像生成手段、１５画像表示手段、１６移動体、１７ルート、１００路面領域、１０１左側面領域、１０２右側面領域、１０３遠景領域、１０４先行領域、１０５画像視点位置、１０６左地面領域、１０７右地面領域、２０１カーナビゲーション制御部、２０２撮像装置、２０３映像処理回路、２０４セレクタ、２０５操作手段、２０６画像合成部、２０７表示部。

Claims

移動体に搭載された移動体ナビゲーション装置と、
実写画像を撮像する撮像装置を有し、前記移動体ナビゲーション装置と無線通信を行う複数の基地局と、
前記複数の基地局から取得した各地点の実写画像を管理するサーバーと
を備え、
前記サーバーは、各基地局から収集した実写画像を保存するための実写画像データベースを有し、
該実写画像データベースには、所定時刻毎に撮像された実写画像が保存されており、
前記移動体ナビゲーション装置は、移動体の撮像地点毎の通過時刻を推定し、該通過時刻を元に前記基地局を介して遠隔地にある撮像地点の実写画像を前記実写画像データベースから取得する
ことを特徴とする移動体ナビゲーションシステム。
請求項１に記載の移動体ナビゲーションシステムにおいて、前記移動体ナビゲーション装置は、前記基地局を介して取得した遠隔地の実写画像を用いて３次元地図画像を生成する３次元画像生成手段を有することを特徴とする移動体ナビゲーションシステム。
請求項１または２に記載の移動体ナビゲーションシステムにおいて、
前記実写画像データベースには、前記実写画像を天候毎に区分して保存されており、
前記サーバーまたは前記移動体ナビゲーション装置のいずれかに時間と場所から天候状態を予測する手段をさらに備え、
前記移動体ナビゲーション装置は、該通過時刻における天候状態を考慮した実写画像を前記実写画像データベースから取得することを特徴とする移動体ナビゲーションシステム。
請求項３に記載の移動体ナビゲーションシステムにおいて、
前記天候状態を予測する手段として、地域の天候概況を用いたことを特徴とする移動体ナビゲーションシステム。
請求項２に記載の移動体ナビゲーションシステムにおいて、
前記移動体ナビゲーション装置は、予め地図情報と景観状態情報を記憶した記録媒体をさらに備え、
前記３次元画像生成手段は、実写画像が撮像された位置情報と、前記地図情報と、前記景観状態情報とを用いて３次元オブジェクトの形状に画像を貼り付けることにより３次元画像を生成することを特徴とする移動体ナビゲーションシステム。