JP3847539B2 - 画像情報処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像データを処理する処理装置に係り、特に地図、図形の処理機能を持つ画像情報処理装置に関する。
【０００２】
【従来の技術】
従来、特開平１１−１７４９５０号公報に記載のように、地図を表示してその中の所定の場所を指定することによってその場所に関する数値情報、図形情報、画像情報、音声情報、ハイパーリンク情報などを出力するものがあった。また、コンピュータグラフィックスで作成された風景映像を表示し、所定の被写体に対して情報を対応ずけて管理するものと、地理上の空間を記述する座標に対して情報を対応付けて管理するものがある。前者の場合は被写体が例えば人物ならば、氏名、性別年齢などの情報を管理する例がある。後者の場合は、指定された場所の経度や緯度を管理したり経度や緯度に対応して記憶されている住所、地名、店名等の情報を管理するといった例がある。上記の公報の発明は、コンピュータグラフィックスに代わってビデオカメラで映像を利用する場合の問題点を解決するものである。即ち、ビデオカメラの移動やズームやパンによってビデオ映像の座標系と地理上の空間との座標系との対応が変化してしまうという問題点に対応するものである。その解決策としてビデオ映像信号の画素位置を規定する座標系と地図上の座標系とを対応付ける座標対応手段を設けたものである。
【０００３】
【発明が解決しようとする課題】
上記に示されたものは単に地図上のある場所についての情報が記憶されていると言う一般的な技術が示されているに過ぎない。
【０００４】
ところで、ナビゲーション装置においてはナビゲーション地図はある縮尺である場所、建造物などが表示されている。そしてある場所などの詳細は示されておらず、特定の目的地に行くため、適当な縮尺の地図を人手を介して検索させて表示させなければならないが、このことは困難であり、ユーザに負担をかける。したがって、出来る限り地図種別や縮尺を自動選択したい。更に、ある表示された地図はそれ自体は一義的に決まったものであり、これに適当な地理情報を関連付けることは全く考えられていなかった。
【０００５】
したがって、本発明は地図上から関連する映像情報を求め、この映像情報に付与された地理情報を使って人手を介することなく適切な縮尺のナビゲーション地図を得ることを目的とする。
【０００６】
【課題を解決するための手段】
ナビゲーション地図からそれに関連する映像を外部から受ける。その映像にはフレーム毎またはオブジェクト毎に縮尺を含む地理情報が付加されている。この地理情報を利用し、適切な縮尺のナビゲーション地図を表示する。
【０００７】
【発明の実施の形態】
図１(ａ)は画像情報処理装置に表示された案内映像の例を示したものである。ここでは、温泉の案内映像を例に説明する。画像情報処理装置は具体的にはカーナビゲーション装置、ディジタル再生テレビ、またはＰＣなどが挙げられる。なお、この映像を表示するための処理については後述する。ディスプレイ７０００には温泉案内映像７０５０が表示されている。温泉宿７８００、富士山７８１０、太陽７８２０はそれぞれＩＳＯ／ＩＥＣ１４４９６-２で規格化されてるＭＰＥＧ‐４の画像圧縮手法で圧縮され転送されてきたオブジェクトである。ここで、温泉宿が太い線で表されている。これはこのオブジェクトに位置情報やその他のユーザデータが付与されていることを示している。
【０００８】
カーソル７９００で温泉宿のオブジェクトを選択すると、このオブジェクトにはオブジェクトの属性が埋め込まれており、その一つである地理情報すなわち緯度、経度、地図種別、縮尺(縮尺)の情報が読み出される。地理情報の持ち方については後述する。すると、自動的に適当な縮尺７７１０の地図情報が選択される。そして、ナビ画面７１００にその縮尺の地図が表示される。地図上には現在位置７４００と温泉宿７７００への経路７６００が示される。このような経路表示は従来のナビゲーションの技術で実現される。
【０００９】
以上が本発明の実施形態の特徴とするところである。即ち、案内映像はＭＰＥＧ−４に従った画像圧縮法により表示されるものでオブジェクト単位で指定可能であり且つ、そのオブジェクトに情報が埋め込む事が可能であること。および、地図情報の縮尺が自動的に選択されることである。
【００１０】
図２は画像処理装置のハードウェアおよびソフトウェア構成を示したものである。ＣＰＵ１０００は全体の動作を制御するものであり、ＣＰＵバス８０００によって他の装置に接続されている。メモリ２０００はＯＳ１、ＯＳ２の２つのＯＳと、それぞれこれらのＯＳ上で動作するＭＰＥＧ−４プレーヤと呼ばれるプログラム２３００と、ナビゲーション処理部と呼ばれるプログラム２５００が記憶されている。ＭＰＥＧ−４プレーヤはＭＰＥＧ−４で表わされたデータを入力して、デコードして表示できるようにするものである。ナビゲーションは地図を表示する、経路を探索する、経路を表示するなどの機能を持つものである。グラフィックスプロセッサ３０００はグラフィックスメモリ４０００に格納されている映像をディスプレイ信号線９０００を介してディスプレイ７０００に表示する。グラフィックスメモリ４０００には前景用フレームバッファ４１００と背景用フレームバッファ(ナビゲーション用の地図情報が記憶されている)４２００とが設けられている。
【００１１】
入出力制御装置５０００はマウス５１００やキーボード５２００などの入力装置が接続されている。これらの入力装置はＰＣを使って実現するときの例であって、カーナビゲーション装置に適用する場合はもっと簡便な入力装置とされる。例えばリモコンによって実現される。入出力制御装置５０００は更にディジタル通信やディジタル放送(地上波、および衛星通信を含む)を受信するアンテナを備えた無線通信機器５３００が接続されている。読み取り装置５４００は地図データを記憶したＣＤ−ＲＯＭやＤＶＤのプレーヤである。なお、これは、書き替えの出来ない固定的な地図データである必要はなく、書き換え可能な記録媒体をもって構成し、通信によって更新された地図情報を受信し記憶しても良い。更に、ＧＰＳ衛星から現在位置を示す情報を受信し、入出力制御装置５０００に与えるＧＰＳ５５００が備えられている。また、更に図示していないが補助記憶装置が入出力制御装置に接続されている。これは個人情報やディジタル画像や、ディジタル放送で受信したデータを格納するスマートメディアやコンパクトフラッシュ（登録商標）やマルチメディアカードである。入出力制御装置はこれらの装置からの入力にしたがって、ＣＰＵ１０００に処理を遂行させる割り込み信号線６０００を備えている。
【００１２】
図３はＭＰＥＧ−４プレーヤ処理部２３００の詳細を示したものである。メモリ２０００にはＭＰＥＧ−４圧縮データを格納する領域２０２０とＭＰＥＧ−４伸長データを格納する領域２０６０がある。ＭＰＥＧ−４プレーヤ処理部２３００はＭＰＥＧ−４で圧縮されたデータを取り扱い表示させるためのプログラムである。ＭＰＥＧ−４表示ライブラリ２３０１は前景のフレームバッファ４１００に対するアドレスを持っている。更に、ＭＰＥＧ−４表示ライブラリ２３０１は色変換テーブル２３１１を備えている。ＭＰＥＧ−４プレーヤ処理部２３００はＭＰＥＧ−４入力部２３８０で圧縮データを入力し、ＭＰＥＧ−４デコード部２３７０でデコードし、ＭＰＥＧ−４表示ライブラリで示されたグラフィックスメモリ４０００内の前景用フレームバッファ４１００のアドレスにデータを転送する。
【００１３】
１つのＣＰＵとメモリで２つのＯＳを共存させる技術は知られているのでここでは詳述しない。２つのＯＳを共存させるためのプログラムがＯＳ共存技術２７００である。ＯＳ共存技術内に共用メモリ２８００があり、ＭＰＥＧ−４プレーヤ処理部２３００とナビゲーション処理部２５００との間でプロセス間通信が可能である。
【００１４】
図４はＭＰＥＧ−４プレーヤ処理部の動作を説明するものである。ＭＰＥＧ−４圧縮データ２０２０をＭＰＥＧ−４デコード部２３７０でデコードしてＭＰＥＧ−４伸長データ２０６０を得る。次にＭＰＥＧ−４データに含まれている色情報を参照して色変換テーブル２３１１を検索し（２０７０）、ビデオ信号（ＲＧＢ）２０８０を得る。これは、グラフィックスプロセッサ３０００に与えられて表示される。
【００１５】
図５は先に説明したＭＰＥＧ−４圧縮データをメモリ２０００に取り込む部分を説明している。衛星１０００を利用したディジタル放送あるいはディジタル通信により例えば、ＭＰＥＧ−２ＴＳ、および音声ＰＥＳと呼ばれるＩＳＯ／ＩＥＣ１３８１８−１で規格化されている標準の伝送フォーマットに、データはブロック単位に分割された単位を載せることで伝送される。即ち、ブロックに分割された単位のデータが衛星１００００から繰り返し送信されることになる。また、衛星１００００からはデータの種別・情報が記されている。ＤＩＩ（Ｄｏｗｎｌｏａｄ Ｉｎｆｏ Ｉｎｄｉｃａｔｉｏｎ）も一緒に伝送される。
【００１６】
無線通信機器５３００は衛星１００００から送信されたブロックおよびＤＩＩをデータカルーセル５３１０というデータの保持形式でこれを保持する。ユーザにとって特定のＭＰＥＧ−４圧縮データを取得する際には、メモリ２０００に配置されている図１０のテーブルのＩＤをもとに、もしも映像データ取得場所がデータカルーセルの場合、ＤＩＩからＩＤ値を使って、ブロックに分割された単位に関する情報を取得する。所望のブロックに分割された単位である場合には、そのブロックを取得する。取得した複数ブロックを構築することで、所望のＭＰＥＧ−４圧縮データを取得する。
【００１７】
図５でデータを取得する契機、または図１の画像をどのように取得して表示するかについて図６から図８を用いて説明する。ユーザからの要求に基づき図６のようなナビゲーション地図情報７１００がディスプレイ７０００に表示されている。図で７１７５は十字カーソルである。図７のように十字カーソルを温泉街７３００にあわせる。すると「選択」と言う表示が出ると共に「映像あります」と言う表示が出る。ここで、たとえば、マウスの左ボタンをクリックするといった決定の操作をすると、図８のようにＭＰＥＧ−４により表わされる温泉街の図７２００（図１に相当、上記のディジタル放送またはディジタル通信により受信）が得られる。ここで温泉街のある温泉宿を指定するとそこに至る地図と経路が表示される。
【００１８】
図９は図６から図８までの処理の処理フローを示す。始めにカーナビゲーションの地図情報により２万分の１の縮尺の地図が表示される（９００１）。次に、十字カーソルをナビ地図上の温泉街７３００のランドマーク上に移動する（９０１０）。当該ランドマークに映像情報があるかを判定し（９０２０）、無ければ別のランドマークに十字カーソルを移動させる。映像信号があれば「映像あります」の文字表示を行なう（９０３０）。ナビ地図上のある十字カーソルで指定したランドマーク例えば温泉街を選択する（９０４０）。映像情報があれば（９０５０）データカルーセル５３１０から映像情報を取得する（９０６０）。これをＭＰＥＧ−４プレーヤ２３００によって映像信号を伸長する（９０７０）。そして例えば温泉街の紹介映像が表示される（９０８０）。ここで前述したように、温泉街の映像情報から所望のオブジェクトを選択・指定がなされるとオブジェクトに埋め込まれている情報が読み出される。詳細地図の表示などが終わったなら映像停止メニューを選択すると（９０９０）、映像の表示は終了し（９１００）、この映像表示の処理は終了する（９１１０）。
【００１９】
図１０はメモリ２０００内に設けられたテーブルであって、ナビ地図上のそれぞれの場所、建造物などについて、それについての映像が存在するかどうか、またそれはどこに存在するかの情報が記憶されており、図９の処理中に参照される。
【００２０】
図１１、図１２、図１３、図１４、図１５は他の実施形態を示すものである。前述の実施形態では利用者が選択すると映像情報が表示されたのに対して、これは自動車が映像情報を持っている場所、建造物などの近くに来ると映像情報を自動的に表示するものである。
【００２１】
図１１はナビ画面の２万分の１の地図を表示したものである。地図上では自車がまだ三角７４００で示されている位置にいるものとする。
【００２２】
次に、図１２に示す位置に自車が移動し、図１３の位置に至る。すると温泉街７３００と言う場所の近傍に来たことをもって、映像情報７０５０が自動的に表示される。
【００２３】
近傍とは図１４に示すように自車位置７４００を中心としたある半径を持った円内７５１０を示す場合がある。また、図１４の右に示すように自車の進行方向にある角度で開いた三角形内７５００を示す場合もある。
【００２４】
以上の処理を図１５により説明する。映像表示プログラム２の処理が開始されると（１５０００）、先ず、ＧＰＳ５５００によって自車の位置が測定される（１５０１０）。次に、ナビ地図上に自車位置を示すマーク７４００を表示する。自車の近傍に場所、建造物などの目印となるものがあるか、例えば温泉街があるかが判定される（１５０３０）。無ければそのまま自動車は進行する。ある場合は次のステップに進んで、映像情報が存在するかどうかが判定される（１５０４０）。なければそのまま自車位置７４００を表示する。存在するときは、データカルーセル５３１０から映像データを取得する（１５０５０）。そして、映像情報をナビの地図の表示に代わって表示する（１５０６０）。ここでオブジェクトを指定してそのオブジェクトに埋め込まれた情報を読み出すなどの処理をすることが出来る。なにもしないまま自車がその場所や建造物などを通り過ぎれば（１５０７０）、映像の表示を停止し（１５０８０）、映像表示の処理を終わる（１５０９０）。
【００２５】
図１６から図２１は映像情報を表示したらどのような処理が行なわれるのかの２つの実施形態を示している。
【００２６】
図１６は先の説明とは違って映像情報のフレーム単位で属性情報が埋め込まれている場合を示している。カーソル７９００によってこのフレームを選択すると、図２３のように埋め込まれた属性情報にしたがって、縮尺が２千分の１の経路情報がナビに表示される。
【００２７】
図１８は映像情報のオブジェクト単位でカーソル７９００によって指定される場合を示している。このときも図１９に示すように、図１７と同様に縮尺２千分の１の地図情報上に経路情報が表示される。
【００２８】
図２２はＭＰＥＧ−４の規格で定められたデータ構造を示すものである。最上段にあるものが一まとまりのビデオシーケンス（１３０００）であり、以下、個々のオブジェクトの情報（１３００１）、画像の品質に関する情報（１３００２）、あるフレームと動画の差分を示すランダムアクセス単位（１３００３）と、ある瞬間の再生画面（１３００４）に分けられている。これらについては本発明には直接関係なく、ＭＰＥＧ−４の規格を示しただけである。ここで着目されるのはユーザデータ領域があることである。これを利用して、位置データや地図の適正な縮尺のデータなどを埋め込むことが可能なことである。
【００２９】
図２３にユーザデータ領域のデータ構造を示す。ユーザデータフォーマットはＭＰＥＧ−４ビデオ規格に定められたｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ（１００００）で始まりユーザデータ終了コード（１０００７）で終わるようになっている。その間にユーザデータが設定される。最初にメーカ識別子（１０００１）が格納されている。これは本発明とは直接関係ない。次に情報種別（１０００２）が記録される。これは地理情報か、ＵＲＬかなどの情報種別が記録されるもので、本実施形態においてはＯｘ１(１６進法の１)が設定される。次に緯度(１０００３)、経度（１０００４）の情報が記録される。次は地図種別であり、住宅地図、道路地図の種別（１０００５）がある。本実施形態では道路地図を示すＯｘ２が記録されている。次は縮尺（１０００６）であり、最適な縮尺が一つ指定されている。このようにＭＰＥＧ−４の映像に緯度、経度の情報や最適な地図の縮尺を指定する情報が埋め込まれている。
【００３０】
図２０は図１６、図１７の処理に関するフローチャートである。映像・ナビ地図連携プログラム１が開始されると（２００００）、先に述べたカーソルで映像情報の取得を指定した、または、ある場所や建造物の近傍に来たことによって自動的に要求され、ディジタル放送またはディジタル通信によって送られたＭＰＥＧ−４による映像情報を受信し（２００１０）、
映像情報７０５０を表示する（２００２０）。この映像画面のフレームが選択される（２００３０）。すると、ＭＰＥＧ−４プレーヤからフレーム番号が取得される（２００４０）。取得したフレーム番号を元に、図２３で示すフレームに埋め込まれた（ＭＰＥＧ−４のユーザ情報領域に書き込まれた）位置情報から生成された映像フレームと位置情報関連テーブル(図示せず)を参照する（２００５０）。位置情報が存在するかどうかを判定し、存在すればナビゲーション処理部２５００に共有メモリ２８００を介して位置情報を通知する（２００７０）。同じく図２３で示されたユーザ情報領域から地図種別選択情報を得る（２００８０）。同様に、図２３で示されたユーザ情報領域から地図の縮尺を選択する（２００９０）。ナビゲーション処理部２５００はこれに基づき地図を表示し（２０１００）、自車位置と映像中の目的の位置情報から経路探索を行なう（２０１１０）。そして、経路探索結果７６００を表示された地図上に表示し（２０１２０）、このプログラムの処理を終了する（２０１３０）。
【００３１】
図２１は図２０がフレームを選択したときの処理フローだったのに対して、オブジェクトを指定したときのフローであり、基本的には変わらない。
【００３２】
映像・ナビ地図連携プログラム２が開始されると（２１０００）、先に述べたカーソルで映像情報の取得を指定した、または、ある場所や建造物の近傍に来たことによって自動的に要求され、放送によって送られたＭＰＥＧ−４による映像情報を受信し（２１０１０）、映像情報７０５０を表示する（２１０２０）。存在するオブジェクトのＭＰＥＧ−４情報内に位置情報が存在すると（２１０３０）当該オブジェクトの輪郭を強調表示する（２１０４０）。そして、オブジェクト内のユーザデータをチェックする（２１０５０）。即ち、図２２の１３００１の階層に示されるユーザ領域(詳しくは)図２３の内容を検索する。映像画面内のある特定の目的地例えば温泉宿オブジェクト７８００が選択されると（２１０６０）、そのオブジェクトに位置情報が存在するかを判断し（２１０７０）、存在すれば、ナビゲーション処理部２５００に共有メモリ２８００を介して位置情報を通知する（２１０８０）。図２３で示されたユーザ情報領域から地図種別選択情報を得る（２１０９０）。同様に、図２３で示されたユーザ情報領域から地図の縮尺を選択する（２１１００）。ナビゲーション処理部２５００はこれに基づき地図を表示し（２１１１０）、自車位置と映像中の目的の位置情報から経路探索を行なう（２１１２０）。そして、経路探索結果７６００を表示された地図上に表示し（２１１３０）、このプログラムの処理を終了する（２１１４０）。
【００３３】
以上のように本実施形態ではナビゲーション地図の表示中に詳細を見たい場所や建造物があると、それを指定することによってオブジェクト単位に取り扱え、画像情報にユーザデータを埋め込むことが出来るＭＰＥＧ−４の画像データを放送によって受信する。そして、ＭＰＥＧ−４の画像上のオブジェクトまたはフレームに書き込まれて指定された、地図種別や地図表示の縮尺に従い、ナビゲーションシステムが地図の表示をし、経路探索をして、これを表示する。
【００３４】
このようにすることにより、人の操作なしに走行中に最適な縮尺でのナビゲーション地図が表示される。
【００３５】
【発明の効果】
本発明によれば、ナビゲーションにおいて、人手を介さず適当な縮尺とされた選択された目的地への地図が表示される。
【図面の簡単な説明】
【図１】本発明の実施例の概要を説明する図。
【図２】本発明の画像情報処理装置の一実施例の構成を示す図。
【図３】ＭＰＥＧ−４プレーヤ処理部の詳細を示す図。
【図４】ＭＰＥＧ−４プレーヤ処理部の動作を示すフローチャート。
【図５】ＭＰＥＧ−４圧縮データを取り込む部分についての詳細図。
【図６】ナビゲーション地図の例を示す図。
【図７】十字カーソルをランドマークに合わせて選択した状態を示す図。
【図８】ＭＰＥＧ−４による画像情報を示す図。
【図９】図６から図８に至る処理のフローチャート。
【図１０】メモリ内に設けられたオブジェクト毎に映像情報が存在するかどうかを示すテーブルを示す図。
【図１１】ナビゲーションの地図画面の例を示す図。
【図１２】自動車が移動した場合のナビゲーションの地図画面の例を示す図。
【図１３】ランドマークの近傍に来たことによって自動的に映像情報が表示されることを説明する図。
【図１４】画像情報処理装置の近傍の範囲を説明する図。
【図１５】図１１から図１３に至る処理を示すフローチャート。
【図１６】フレーム単位で属性情報が埋め込まれている映像画面の例を示す図。
【図１７】属性情報に埋め込まれた縮尺でナビゲーション画面を表示した状態を示す図。
【図１８】オブジェクト単位で属性情報が埋め込まれている映像画面の例を示す図。
【図１９】属性情報に埋め込まれた縮尺でナビゲーション画面を表示した状態を示す図。
【図２０】図１６、図１７の処理に関するフローチャート。
【図２１】図１８、図１９の処理に関するフローチャート。
【図２２】ＭＰＥＧ−４の規格で定められたデータ構造を示す図。
【図２３】ユーザデータ領域のデータ構造を示す図。
【符号の説明】
１０００：ＣＰＵ、２０００：メモリ、３０００：グラフィックプロセッサ、４０００：グラフィックスメモリ、５０００：入出力制御装置、６０００：割り込み信号線、７０００：ディスプレイ、８０００：ＣＰＵバス。

Claims (4)

1. ナビゲーション地図を表示する手段と、ナビゲーション地図のランドマークに対応して、配信される縮尺を含む地理情報が付加された映像を受信する手段と、前記映像に付加された前記地理情報を前記映像と関連づけて記憶する記憶手段とを備え、
   前記表示する手段は、表示のために選択された映像に関連づけられた地理情報を読み出し、当該地理情報に含まれる縮尺に従ってナビゲーション地図を表示することを特徴とする画像情報処理装置。
2. 前記映像はユーザデータ領域を含むＭＰＥＧ−４の映像圧縮技術を利用した映像であることを特徴とする請求項１記載の画像情報処理装置。
3. ナビゲーション地図を表示する手段と、ナビゲーション地図のランドマーク近傍に来たことに応答して、配信される縮尺を含む地理情報が付加された映像を受信する手段と、前記映像に付加された前記地理情報を前記映像と関連づけて記憶する記憶手段とを備え、
   前記表示する手段は、前記地理情報に含まれる前記縮尺に従ってナビゲーション地図を表示することを特徴とする画像情報処理装置。
4. ナビゲーション地図を表示する手段と、カーソルによって指定されたナビゲーション地図のランドマークに対応して、配信される縮尺を含む地理情報が付加された映像を受信する手段と、前記映像に付加された前記地理情報を前記映像と関連づけて記憶する記憶手段とを備え、
   前記表示手段は、前記地理情報に含まれる前記縮尺に従ってナビゲーション地図を表示することを特徴とする画像情報処理装置。

Images