JP4078080B2 - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- JP4078080B2 JP4078080B2 JP2002006070A JP2002006070A JP4078080B2 JP 4078080 B2 JP4078080 B2 JP 4078080B2 JP 2002006070 A JP2002006070 A JP 2002006070A JP 2002006070 A JP2002006070 A JP 2002006070A JP 4078080 B2 JP4078080 B2 JP 4078080B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- route
- graphic
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Instructional Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パノラマ画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識できるようにしたものである。
【０００２】
【従来の技術】
従来、使用者の意図を反映した画像を表示する方法としては、たとえば道路などの経路に沿った一枚以上のパノラマ実写画像の中から、使用者による視点情報の指定に応じて一枚のパノラマ実写画像を選択し、そのパノラマ実写画像の一部分を切り出して表示することが行われていた。ここで視点情報は、たとえば視点位置情報や視線方向情報などからなる。道路などの経路に沿った一枚以上のパノラマ実写画像は、たとえば、全周方向が撮影できるように配置した一台以上のビデオカメラなどを用いて道路などの経路に沿って撮影した全周方向の映像を基に合成され、撮影地点の位置姿勢情報と関連付けて記憶されたものである。画像表示の際に、ジョイスティックを前後に倒すなどの操作によって視点位置情報を変化させ、その視点位置情報に応じた画像を表示することにより、使用者に前進や後退といった移動の感覚を提示することが行われていた。また、ジョイスティックを左右にねじるなどの操作によって視線方向情報を変化させ、その視線方向情報に応じて画像の切り出し部分を変化させることにより、使用者に見回しの感覚を提示することが行われていた。
【０００３】
【発明が解決しようとする課題】
しかし、次の分岐点で進行可能な経路を矢印などの図形で表示してパノラマ実写画像に合成して表示することは行われていなかった。そのため使用者は、ウォークスルー時に、進行できる経路と、撮影データが存在しないなどの理由で進行できない経路を識別することができなかった。
【０００４】
本発明は以上の点に鑑みてなされたものであり、パノラマ画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識できるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上述の目的を達成するために、本願請求項１記載の情報処理装置は、操作部を用いたユーザー指示に応じて視点位置情報及び視線方向情報を含む視点情報を計算する視点計算手段と、複数のパノラマ画像を保持するパノラマ画像記憶手段と、前記パノラマ画像記憶手段に記憶されているパノラマ画像の経路情報を保持する経路記憶手段と、前記視点情報および前記経路情報に基づいて次の分岐点における進行可能経路情報を計算する進行可能経路計算手段と、前記パノラマ記憶手段に記憶されている前記視点情報に基づくパノラマ画像から、前記視線方向情報に基づく切出画像を生成する切出画像生成手段と、前記進行可能経路情報に基づいて進行可能経路を表す標識図形を生成し、該生成された標識図形を前記視線方向情報に応じて回転することにより標識図形表示画像を生成する標識図形画像生成手段と、前記切出画像と前記標識図形表示画像とを合成して表示画像を生成する画像生成手段とを備えることを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【０００８】
［第１の実施形態］
第１の実施形態の概要は次のとおりである。本実施形態の画像提示装置によれば、使用者は分岐点で進行可能な経路を認識しながら実世界を疑似体験することができる。
【０００９】
図１は第１の実施形態による画像提示装置の概略構成を示すブロック図である。
【００１０】
１は操作部であり、たとえばジョイスティックからなる。操作部１の操作は使用者により手動で行われ、使用者がその意図を反映させることができる。操作部１の操作により、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定などが行われる。操作部１の操作情報は視点計算手段２に送出される。なお、操作部１はジョイスティックに限らず、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定ができる装置であれば何でもよく、たとえばマウスやトラックボールやキーボードなどで構成してもよい。
【００１１】
２は視点計算手段であり、操作部１から受け取った操作情報に基づいて視点情報を計算し、進行可能経路計算手段４および画像生成手段６に送出する。
【００１２】
５はパノラマ実写画像記憶手段であり、画像生成手段６に引き渡すデータを保持する。パノラマ実写画像記憶手段５には道路などの経路に沿った複数の地点におけるパノラマ実写画像が保持されている。そしてパノラマ実写画像群には、たとえば先頭から順にフレーム番号が振られている。各パノラマ実写画像は複数の分割画像に分割して保持しておいてもよい。パノラマ実写画像記憶手段５に保持されるパノラマ実写画像は、たとえば全周方向が撮影できるように配置した一台以上のビデオカメラなどによって道路などの経路に沿って撮影した映像から合成され、たとえば撮影地点の位置姿勢情報と関連付けられたものである。
【００１３】
３は撮影経路記憶手段であり、進行可能経路計算手段４に引き渡すデータを保持する。撮影経路記憶手段３には、パノラマ実写画像記憶手段に記憶されているパノラマ実写画像群の撮影時の経路（以後、撮影経路と呼ぶ）を表すデータが保持されている。撮影経路を表すデータは、たとえば、撮影経路を区分する点（以後、分岐点と呼ぶ）と分岐点を結ぶ線分（以後、経路と呼ぶ）からなる。このとき、分岐点、経路には、それぞれを唯一に特定できるＩＤが付けられている。なお、分岐点を結ぶ線分とは、２つの分岐点の間、すなわち区間を表す直線もしくは曲線である。
【００１４】
分岐点や経路の記述に関しては、種々の方法が考えられるが、本実施形態では、図２Ａ、Ｂに示すような形態で分岐点や経路が記述されているものとする。図２Ａは分岐点の記述例を説明する図である。また、図２Ｂは、経路の記述例を説明する図である。図２Ａに示されるように、分岐点リスト２００において、各分岐点について、それを特定するための分岐点ＩＤ２０１とその位置を表す座標データ２０２と分岐点に付与された名称２０３とが記述される。なお、名称データは付与されてもされなくてもかまわない。また、図２Ｂに示されるように、経路リスト２１０においては、各経路について、経路ＩＤ２１１と、その経路の両端の分岐点を示す開始分岐点２１２、終了分岐点２１３、及び経路の名称２１４が記述される。なお、名称データは付与されてもされなくてもかまわない。なお、開始フレーム番号２１５、終了フレーム番号２１６は、パノラマ実写画像に関連付けられた撮影地点の位置姿勢情報などに基づいて特定された、それぞれ開始分岐点２１２と終了分岐点２１３に対応するパノラマ実写画像のフレーム番号である。
【００１５】
なお、分岐点とフレーム番号との対応付けは、撮影地点の位置姿勢情報などに従って自動的に行われるものとしたが、使用者が手動で対応付けをすることも可能である。この場合、分岐点に挟まれたパノラマ実写画像群の各パノラマ実写画像の位置を、例えば、当該分岐点を結ぶ線分上に等間隔に割り当てるようにすれば、撮影地点の位置姿勢情報を用いずに対応付けデータを生成、保持することが可能である。
【００１６】
４は進行可能経路計算手段であり、視点計算手段２から送られてきた視点情報と撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、次の分岐点で進行可能な経路を計算して、画像生成手段６に送出する。具体的な計算方法としては、まず視点情報に基づいて次の分岐点を求める。その分岐点を開始分岐点とする経路が進行可能経路であり、それは撮影経路データに基づいて求めることができる。
【００１７】
６は画像生成手段であり、視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。切出画像の生成においては、たとえば図３のような処理が行われる。まず画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得する。その際、視線方向情報を利用して、画像生成に必要な分割画像のみを取得してもよい。次に、視線方向情報に応じて、全周パノラマ画像または分割画像から必要な部分画像を切り出す。そして、切り出した部分画像を円筒面にテクスチャマッピングし、透視変換処理を施すことによって、視点情報に応じた中心射影画像を生成する。
【００１８】
さらに画像生成手段６では、図４に示すように、進行可能経路計算手段４から送られてきた進行可能経路情報に基づいて、次の分岐点で進行可能な経路を表す矢印などの標識図形を生成し、切出画像と合成して表示画像を生成する。
【００１９】
ここで、図５に示すように、標識図形の一部分である、次の分岐点における進行予定経路を表す部分図形の色などの属性を変えることにより、進行予定経路が容易に認識できるようにすることも可能である。また、使用者の視線方向に応じて標識図形全体を回転させることにより、進行方向が容易に認識できるようにすることも可能である。なお、標識図形は矢印に限らず、進行可能経路または進行予定経路を表す図形であれば何でもよい。また、標識図形を画像や文字などで置き換えることも可能である。さらに、進行不可能な経路を標識図形や画像や文字などで表すことも可能である。
【００２０】
７は画像表示部であり、たとえばプロジェクタおよびスクリーンから構成され、画像生成手段６で生成された表示画像を取得して表示する。なお、画像表示部７はプロジェクタおよびスクリーンに限らず、画像を表示することができる媒体であれば何でもよく、たとえばＣＲＴや液晶モニタでもよい。また、画像表示部７は複数備えられていてもよく、その場合には使用者は広視野の画像を観察することが可能になる。そしてその場合には、画像生成手段６およびパノラマ実写画像記憶手段５の個数はたとえば画像表示部７の個数と同数となる。ここで、複数備えられた画像表示部の一部または全部に進行可能な経路を表す標識図形を表示してもよい。
【００２１】
以上のような構成を備えた第１の実施形態の制御手順について、以下説明する。図６は本実施形態の画像提示装置における処理の手順を説明するフローチャートである。
【００２２】
ステップＳ１ではデータ準備を行う。ステップＳ１では撮影経路記憶手段３に格納するテキストなどのデータおよびパノラマ実写画像記憶手段５に格納する画像データを用意する。
【００２３】
データ準備後、ステップＳ２でシステムが起動される。ステップＳ３で操作部１が操作され、操作情報が視点計算手段２に送られる。
【００２４】
次にステップＳ４において、視点計算手段２が操作部１から受け取った操作情報に基づいて視点情報を計算し、計算した視点情報を進行可能経路計算手段４および画像生成手段６に送出する。
【００２５】
次にステップＳ５において、進行可能経路計算手段４が、視点計算手段２から受け取った視点情報と撮影経路記憶手段３から受け取った撮影経路情報に基づいて、次の分岐点で進行可能な経路を計算して、画像生成手段６に送出する。
【００２６】
次にステップＳ６において、画像生成手段６が視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。さらに、進行可能経路計算手段４から送られてきた進行可能経路情報に基づいて、進行可能な経路を表す標識図形を生成し、切出画像と合成して表示画像を生成する。
【００２７】
次にステップＳ７において、画像生成手段６で生成した表示画像を画像表示部７に表示する。
【００２８】
その後ステップＳ８においてシステムを終了するかどうかがチェックされ、システムを終了させる場合にはステップＳ９でシステムを終了させ、終了させない場合はステップＳ３に戻り、上述の処理を繰り返す。
【００２９】
なお本実施形態では進行可能な経路を表す標識図形を切出画像に合成する場合を示したが、これに限定されることはなく、進行可能な経路を表す標識図形を切出画像と合成せずに、画像表示部７とは別の表示部に表示してもよい。
【００３０】
また、標識図形の表示位置や大きさを操作できるようにしてもよい。さらに、標識図形の表示／非表示を切り替えられるようにしてもよい。
【００３１】
以上のように、第１の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、次の分岐点で進行可能な経路を容易に認識し、さらに次の分岐点における進行予定経路を容易に認識することができる。
【００３２】
［第２の実施形態］
第２の実施形態では、地図画像記憶手段を備え、パノラマ実写画像上に地図画像を合成し、さらに地図画像上に進行可能な全ての経路を表す経路図形を合成して、使用者に提示する。
【００３３】
図７は第２の実施形態における画像提示装置の概略構成を示すブロック図である。第１の実施形態による画像提示装置（図１）と同様の構成には同一の参照番号を付して、その詳細な説明を省略する。第２の実施形態では、地図画像記憶手段８を持つ点が異なる。また、第１の実施形態での画像生成手段６が画像合成手段９となっている点が異なる。
【００３４】
地図画像記憶手段８は、画像合成手段９に引き渡すデータを保持する。地図画像記憶手段８には、たとえばパノラマ実写画像に関連付けられた撮影地点の位置情報に対応した地図画像が保持されている。
【００３５】
画像合成手段９は、視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。また、視点計算手段２から送られてきた視点情報に応じた地図画像を地図画像記憶手段８から取得する。さらに、撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、撮影経路を表す、たとえば直線などから構成される経路図形を生成する。そして図８に示すように、切出画像と地図画像と経路図形を合成して表示画像を生成する。
【００３６】
ここで図９に示すように、進行可能経路計算手段４から送られてきた進行可能経路情報と視点計算手段２から送られてきた視点情報に基づいて、経路図形の一部分である、次の分岐点における進行予定経路を表す部分図形の色などの属性を変えることにより、進行予定経路が容易に認識できるようにすることも可能である。また、経路図形の一部分である、現在進行している経路を表す部分図形の色などの属性を変えることにより、現在の進行経路が容易に認識できるようにすることも可能である。さらに、地図画像上に現在の視点位置と視線方向を表す矢印などの図形を描画しても良い。なお、図１０に示すように、経路図形と標識図形を同時に表示することも可能である。
【００３７】
また、使用者の視線方向情報に応じて地図画像および経路図形全体を回転させることにより、進行方向が容易に認識できるようにすることも可能である。なお、経路図形は直線などによる構成に限らず、撮影経路または進行可能経路または進行予定経路を表す図形であれば何でもよい。また、経路図形は画像や文字などで置き換えることも可能である。さらに、進行不可能な経路を経路図形や画像や文字などで表すことも可能である。
【００３８】
以上のような構成を備えた第２の実施形態の制御手順について、以下説明する。図１１は本発明の画像提示装置における処理の手順を説明するフローチャートである。なお、第１の実施形態に示したフローチャート（図６）と同様の処理を行うステップについては同一の参照番号を付し、詳細な説明を省略する。以下では第１の実施形態と第２の実施形態で異なる部分の説明を行う。
【００３９】
第２の実施形態でも、第１の実施形態と同様、ステップＳ１でデータ準備を行う。ステップＳ１では、撮影経路記憶手段３に格納するデータおよびパノラマ実写画像記憶手段５に格納するデータおよび地図画像記憶手段８に格納するデータを用意する。
【００４０】
また第２の実施形態では、ステップＳ５に続いてステップＳ１０で画像合成を行う。ステップＳ１０では、画像合成手段９が視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。また、視点計算手段２から送られてきた視点情報に応じた地図画像を地図画像記憶手段８から取得する。さらに、撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、撮影経路を表す、たとえば直線などから構成される経路図形を生成する。そして、切出画像と地図画像と経路図形を合成して表示画像を生成する。
【００４１】
なお本実施形態では地図画像および経路図形を切出画像に合成する場合を示したが、これに限定されることはなく、地図画像および経路図形を切出画像と合成せずに、画像表示部７とは別の表示部に表示してもよい。
【００４２】
また、地図画像および経路図形の表示位置や大きさを操作できるようにしてもよい。さらに、地図画像または経路図形の表示／非表示を切り替えられるようにしてもよい。
【００４３】
一方、地図画像上の一点を操作部１または図示しない別の操作部で指示することにより、システム起動時の初期視点位置を指定することもできる。さらに、前記の点を起点とした方向を操作部１または図示しない別の操作部で指示することにより、システム起動時の初期視線方向を指定することもできる。
【００４４】
以上のように、第２の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、進行可能な全ての経路を容易に認識し、また次の分岐点における進行予定経路を容易に認識し、さらに現在の進行経路を容易に認識することができる。また、システム起動時の初期視点位置または初期視線方向を地図画像上で指定することができる。
【００４５】
［他の実施形態］
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４６】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４７】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４８】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４９】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識することができる。
【００５１】
また、パノラマ画像の経路情報を保持しているので、次の分岐点における進行可能経路を用意に求めることができる。
【図面の簡単な説明】
【図１】第１の実施形態における処理のブロック図を示す。
【図２】第１の実施形態における、分岐点および経路の記述例を説明する図である。
【図３】第１の実施形態における、視点に応じた部分画像をパノラマ画像から切り出し、円筒面にテクスチャマッピングして透視変換することで、パースペクティブが正しい画像を生成する方法を説明する図である。
【図４】第１の実施形態における、パノラマ実写画像から生成した切出画像と進行可能経路を表す標識図形との合成を説明する図である。
【図５】第１の実施形態における、進行予定経路を表す部分図形の色などの属性を変えた場合の画面表示例を説明する図である。
【図６】第１の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【図７】本発明の第２の実施形態における処理のブロック図を示す。
【図８】第２の実施形態における、切出画像と地図画像と経路図形との合成を説明する図である。
【図９】第２の実施形態における、進行予定経路を表す部分図形と現在の進行経路を表す部分図形の色などの属性を変えた場合の画面表示例を説明する図である。
【図１０】第２の実施形態における、切出画像と地図画像と経路図形と標識図形の合成を説明する図である。
【図１１】第２の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【発明の属する技術分野】
本発明は、パノラマ画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識できるようにしたものである。
【０００２】
【従来の技術】
従来、使用者の意図を反映した画像を表示する方法としては、たとえば道路などの経路に沿った一枚以上のパノラマ実写画像の中から、使用者による視点情報の指定に応じて一枚のパノラマ実写画像を選択し、そのパノラマ実写画像の一部分を切り出して表示することが行われていた。ここで視点情報は、たとえば視点位置情報や視線方向情報などからなる。道路などの経路に沿った一枚以上のパノラマ実写画像は、たとえば、全周方向が撮影できるように配置した一台以上のビデオカメラなどを用いて道路などの経路に沿って撮影した全周方向の映像を基に合成され、撮影地点の位置姿勢情報と関連付けて記憶されたものである。画像表示の際に、ジョイスティックを前後に倒すなどの操作によって視点位置情報を変化させ、その視点位置情報に応じた画像を表示することにより、使用者に前進や後退といった移動の感覚を提示することが行われていた。また、ジョイスティックを左右にねじるなどの操作によって視線方向情報を変化させ、その視線方向情報に応じて画像の切り出し部分を変化させることにより、使用者に見回しの感覚を提示することが行われていた。
【０００３】
【発明が解決しようとする課題】
しかし、次の分岐点で進行可能な経路を矢印などの図形で表示してパノラマ実写画像に合成して表示することは行われていなかった。そのため使用者は、ウォークスルー時に、進行できる経路と、撮影データが存在しないなどの理由で進行できない経路を識別することができなかった。
【０００４】
本発明は以上の点に鑑みてなされたものであり、パノラマ画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識できるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上述の目的を達成するために、本願請求項１記載の情報処理装置は、操作部を用いたユーザー指示に応じて視点位置情報及び視線方向情報を含む視点情報を計算する視点計算手段と、複数のパノラマ画像を保持するパノラマ画像記憶手段と、前記パノラマ画像記憶手段に記憶されているパノラマ画像の経路情報を保持する経路記憶手段と、前記視点情報および前記経路情報に基づいて次の分岐点における進行可能経路情報を計算する進行可能経路計算手段と、前記パノラマ記憶手段に記憶されている前記視点情報に基づくパノラマ画像から、前記視線方向情報に基づく切出画像を生成する切出画像生成手段と、前記進行可能経路情報に基づいて進行可能経路を表す標識図形を生成し、該生成された標識図形を前記視線方向情報に応じて回転することにより標識図形表示画像を生成する標識図形画像生成手段と、前記切出画像と前記標識図形表示画像とを合成して表示画像を生成する画像生成手段とを備えることを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態について説明する。
【０００８】
［第１の実施形態］
第１の実施形態の概要は次のとおりである。本実施形態の画像提示装置によれば、使用者は分岐点で進行可能な経路を認識しながら実世界を疑似体験することができる。
【０００９】
図１は第１の実施形態による画像提示装置の概略構成を示すブロック図である。
【００１０】
１は操作部であり、たとえばジョイスティックからなる。操作部１の操作は使用者により手動で行われ、使用者がその意図を反映させることができる。操作部１の操作により、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定などが行われる。操作部１の操作情報は視点計算手段２に送出される。なお、操作部１はジョイスティックに限らず、画像生成の基となるパノラマ実写画像の指定と、そのパノラマ実写画像から切り出す部分の指定ができる装置であれば何でもよく、たとえばマウスやトラックボールやキーボードなどで構成してもよい。
【００１１】
２は視点計算手段であり、操作部１から受け取った操作情報に基づいて視点情報を計算し、進行可能経路計算手段４および画像生成手段６に送出する。
【００１２】
５はパノラマ実写画像記憶手段であり、画像生成手段６に引き渡すデータを保持する。パノラマ実写画像記憶手段５には道路などの経路に沿った複数の地点におけるパノラマ実写画像が保持されている。そしてパノラマ実写画像群には、たとえば先頭から順にフレーム番号が振られている。各パノラマ実写画像は複数の分割画像に分割して保持しておいてもよい。パノラマ実写画像記憶手段５に保持されるパノラマ実写画像は、たとえば全周方向が撮影できるように配置した一台以上のビデオカメラなどによって道路などの経路に沿って撮影した映像から合成され、たとえば撮影地点の位置姿勢情報と関連付けられたものである。
【００１３】
３は撮影経路記憶手段であり、進行可能経路計算手段４に引き渡すデータを保持する。撮影経路記憶手段３には、パノラマ実写画像記憶手段に記憶されているパノラマ実写画像群の撮影時の経路（以後、撮影経路と呼ぶ）を表すデータが保持されている。撮影経路を表すデータは、たとえば、撮影経路を区分する点（以後、分岐点と呼ぶ）と分岐点を結ぶ線分（以後、経路と呼ぶ）からなる。このとき、分岐点、経路には、それぞれを唯一に特定できるＩＤが付けられている。なお、分岐点を結ぶ線分とは、２つの分岐点の間、すなわち区間を表す直線もしくは曲線である。
【００１４】
分岐点や経路の記述に関しては、種々の方法が考えられるが、本実施形態では、図２Ａ、Ｂに示すような形態で分岐点や経路が記述されているものとする。図２Ａは分岐点の記述例を説明する図である。また、図２Ｂは、経路の記述例を説明する図である。図２Ａに示されるように、分岐点リスト２００において、各分岐点について、それを特定するための分岐点ＩＤ２０１とその位置を表す座標データ２０２と分岐点に付与された名称２０３とが記述される。なお、名称データは付与されてもされなくてもかまわない。また、図２Ｂに示されるように、経路リスト２１０においては、各経路について、経路ＩＤ２１１と、その経路の両端の分岐点を示す開始分岐点２１２、終了分岐点２１３、及び経路の名称２１４が記述される。なお、名称データは付与されてもされなくてもかまわない。なお、開始フレーム番号２１５、終了フレーム番号２１６は、パノラマ実写画像に関連付けられた撮影地点の位置姿勢情報などに基づいて特定された、それぞれ開始分岐点２１２と終了分岐点２１３に対応するパノラマ実写画像のフレーム番号である。
【００１５】
なお、分岐点とフレーム番号との対応付けは、撮影地点の位置姿勢情報などに従って自動的に行われるものとしたが、使用者が手動で対応付けをすることも可能である。この場合、分岐点に挟まれたパノラマ実写画像群の各パノラマ実写画像の位置を、例えば、当該分岐点を結ぶ線分上に等間隔に割り当てるようにすれば、撮影地点の位置姿勢情報を用いずに対応付けデータを生成、保持することが可能である。
【００１６】
４は進行可能経路計算手段であり、視点計算手段２から送られてきた視点情報と撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、次の分岐点で進行可能な経路を計算して、画像生成手段６に送出する。具体的な計算方法としては、まず視点情報に基づいて次の分岐点を求める。その分岐点を開始分岐点とする経路が進行可能経路であり、それは撮影経路データに基づいて求めることができる。
【００１７】
６は画像生成手段であり、視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。切出画像の生成においては、たとえば図３のような処理が行われる。まず画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得する。その際、視線方向情報を利用して、画像生成に必要な分割画像のみを取得してもよい。次に、視線方向情報に応じて、全周パノラマ画像または分割画像から必要な部分画像を切り出す。そして、切り出した部分画像を円筒面にテクスチャマッピングし、透視変換処理を施すことによって、視点情報に応じた中心射影画像を生成する。
【００１８】
さらに画像生成手段６では、図４に示すように、進行可能経路計算手段４から送られてきた進行可能経路情報に基づいて、次の分岐点で進行可能な経路を表す矢印などの標識図形を生成し、切出画像と合成して表示画像を生成する。
【００１９】
ここで、図５に示すように、標識図形の一部分である、次の分岐点における進行予定経路を表す部分図形の色などの属性を変えることにより、進行予定経路が容易に認識できるようにすることも可能である。また、使用者の視線方向に応じて標識図形全体を回転させることにより、進行方向が容易に認識できるようにすることも可能である。なお、標識図形は矢印に限らず、進行可能経路または進行予定経路を表す図形であれば何でもよい。また、標識図形を画像や文字などで置き換えることも可能である。さらに、進行不可能な経路を標識図形や画像や文字などで表すことも可能である。
【００２０】
７は画像表示部であり、たとえばプロジェクタおよびスクリーンから構成され、画像生成手段６で生成された表示画像を取得して表示する。なお、画像表示部７はプロジェクタおよびスクリーンに限らず、画像を表示することができる媒体であれば何でもよく、たとえばＣＲＴや液晶モニタでもよい。また、画像表示部７は複数備えられていてもよく、その場合には使用者は広視野の画像を観察することが可能になる。そしてその場合には、画像生成手段６およびパノラマ実写画像記憶手段５の個数はたとえば画像表示部７の個数と同数となる。ここで、複数備えられた画像表示部の一部または全部に進行可能な経路を表す標識図形を表示してもよい。
【００２１】
以上のような構成を備えた第１の実施形態の制御手順について、以下説明する。図６は本実施形態の画像提示装置における処理の手順を説明するフローチャートである。
【００２２】
ステップＳ１ではデータ準備を行う。ステップＳ１では撮影経路記憶手段３に格納するテキストなどのデータおよびパノラマ実写画像記憶手段５に格納する画像データを用意する。
【００２３】
データ準備後、ステップＳ２でシステムが起動される。ステップＳ３で操作部１が操作され、操作情報が視点計算手段２に送られる。
【００２４】
次にステップＳ４において、視点計算手段２が操作部１から受け取った操作情報に基づいて視点情報を計算し、計算した視点情報を進行可能経路計算手段４および画像生成手段６に送出する。
【００２５】
次にステップＳ５において、進行可能経路計算手段４が、視点計算手段２から受け取った視点情報と撮影経路記憶手段３から受け取った撮影経路情報に基づいて、次の分岐点で進行可能な経路を計算して、画像生成手段６に送出する。
【００２６】
次にステップＳ６において、画像生成手段６が視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。さらに、進行可能経路計算手段４から送られてきた進行可能経路情報に基づいて、進行可能な経路を表す標識図形を生成し、切出画像と合成して表示画像を生成する。
【００２７】
次にステップＳ７において、画像生成手段６で生成した表示画像を画像表示部７に表示する。
【００２８】
その後ステップＳ８においてシステムを終了するかどうかがチェックされ、システムを終了させる場合にはステップＳ９でシステムを終了させ、終了させない場合はステップＳ３に戻り、上述の処理を繰り返す。
【００２９】
なお本実施形態では進行可能な経路を表す標識図形を切出画像に合成する場合を示したが、これに限定されることはなく、進行可能な経路を表す標識図形を切出画像と合成せずに、画像表示部７とは別の表示部に表示してもよい。
【００３０】
また、標識図形の表示位置や大きさを操作できるようにしてもよい。さらに、標識図形の表示／非表示を切り替えられるようにしてもよい。
【００３１】
以上のように、第１の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、次の分岐点で進行可能な経路を容易に認識し、さらに次の分岐点における進行予定経路を容易に認識することができる。
【００３２】
［第２の実施形態］
第２の実施形態では、地図画像記憶手段を備え、パノラマ実写画像上に地図画像を合成し、さらに地図画像上に進行可能な全ての経路を表す経路図形を合成して、使用者に提示する。
【００３３】
図７は第２の実施形態における画像提示装置の概略構成を示すブロック図である。第１の実施形態による画像提示装置（図１）と同様の構成には同一の参照番号を付して、その詳細な説明を省略する。第２の実施形態では、地図画像記憶手段８を持つ点が異なる。また、第１の実施形態での画像生成手段６が画像合成手段９となっている点が異なる。
【００３４】
地図画像記憶手段８は、画像合成手段９に引き渡すデータを保持する。地図画像記憶手段８には、たとえばパノラマ実写画像に関連付けられた撮影地点の位置情報に対応した地図画像が保持されている。
【００３５】
画像合成手段９は、視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。また、視点計算手段２から送られてきた視点情報に応じた地図画像を地図画像記憶手段８から取得する。さらに、撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、撮影経路を表す、たとえば直線などから構成される経路図形を生成する。そして図８に示すように、切出画像と地図画像と経路図形を合成して表示画像を生成する。
【００３６】
ここで図９に示すように、進行可能経路計算手段４から送られてきた進行可能経路情報と視点計算手段２から送られてきた視点情報に基づいて、経路図形の一部分である、次の分岐点における進行予定経路を表す部分図形の色などの属性を変えることにより、進行予定経路が容易に認識できるようにすることも可能である。また、経路図形の一部分である、現在進行している経路を表す部分図形の色などの属性を変えることにより、現在の進行経路が容易に認識できるようにすることも可能である。さらに、地図画像上に現在の視点位置と視線方向を表す矢印などの図形を描画しても良い。なお、図１０に示すように、経路図形と標識図形を同時に表示することも可能である。
【００３７】
また、使用者の視線方向情報に応じて地図画像および経路図形全体を回転させることにより、進行方向が容易に認識できるようにすることも可能である。なお、経路図形は直線などによる構成に限らず、撮影経路または進行可能経路または進行予定経路を表す図形であれば何でもよい。また、経路図形は画像や文字などで置き換えることも可能である。さらに、進行不可能な経路を経路図形や画像や文字などで表すことも可能である。
【００３８】
以上のような構成を備えた第２の実施形態の制御手順について、以下説明する。図１１は本発明の画像提示装置における処理の手順を説明するフローチャートである。なお、第１の実施形態に示したフローチャート（図６）と同様の処理を行うステップについては同一の参照番号を付し、詳細な説明を省略する。以下では第１の実施形態と第２の実施形態で異なる部分の説明を行う。
【００３９】
第２の実施形態でも、第１の実施形態と同様、ステップＳ１でデータ準備を行う。ステップＳ１では、撮影経路記憶手段３に格納するデータおよびパノラマ実写画像記憶手段５に格納するデータおよび地図画像記憶手段８に格納するデータを用意する。
【００４０】
また第２の実施形態では、ステップＳ５に続いてステップＳ１０で画像合成を行う。ステップＳ１０では、画像合成手段９が視点計算手段２から送られてきた視点情報に応じて、画像生成の基となるパノラマ実写画像をパノラマ実写画像記憶手段５から取得し、視点情報に応じた切出画像を生成する。また、視点計算手段２から送られてきた視点情報に応じた地図画像を地図画像記憶手段８から取得する。さらに、撮影経路記憶手段３から送られてきた撮影経路情報に基づいて、撮影経路を表す、たとえば直線などから構成される経路図形を生成する。そして、切出画像と地図画像と経路図形を合成して表示画像を生成する。
【００４１】
なお本実施形態では地図画像および経路図形を切出画像に合成する場合を示したが、これに限定されることはなく、地図画像および経路図形を切出画像と合成せずに、画像表示部７とは別の表示部に表示してもよい。
【００４２】
また、地図画像および経路図形の表示位置や大きさを操作できるようにしてもよい。さらに、地図画像または経路図形の表示／非表示を切り替えられるようにしてもよい。
【００４３】
一方、地図画像上の一点を操作部１または図示しない別の操作部で指示することにより、システム起動時の初期視点位置を指定することもできる。さらに、前記の点を起点とした方向を操作部１または図示しない別の操作部で指示することにより、システム起動時の初期視線方向を指定することもできる。
【００４４】
以上のように、第２の実施形態によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が、進行可能な全ての経路を容易に認識し、また次の分岐点における進行予定経路を容易に認識し、さらに現在の進行経路を容易に認識することができる。また、システム起動時の初期視点位置または初期視線方向を地図画像上で指定することができる。
【００４５】
［他の実施形態］
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４６】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４７】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４８】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４９】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、パノラマ実写画像を利用したウォークスルーシステムの使用者が進行可能経路を容易に認識することができる。
【００５１】
また、パノラマ画像の経路情報を保持しているので、次の分岐点における進行可能経路を用意に求めることができる。
【図面の簡単な説明】
【図１】第１の実施形態における処理のブロック図を示す。
【図２】第１の実施形態における、分岐点および経路の記述例を説明する図である。
【図３】第１の実施形態における、視点に応じた部分画像をパノラマ画像から切り出し、円筒面にテクスチャマッピングして透視変換することで、パースペクティブが正しい画像を生成する方法を説明する図である。
【図４】第１の実施形態における、パノラマ実写画像から生成した切出画像と進行可能経路を表す標識図形との合成を説明する図である。
【図５】第１の実施形態における、進行予定経路を表す部分図形の色などの属性を変えた場合の画面表示例を説明する図である。
【図６】第１の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
【図７】本発明の第２の実施形態における処理のブロック図を示す。
【図８】第２の実施形態における、切出画像と地図画像と経路図形との合成を説明する図である。
【図９】第２の実施形態における、進行予定経路を表す部分図形と現在の進行経路を表す部分図形の色などの属性を変えた場合の画面表示例を説明する図である。
【図１０】第２の実施形態における、切出画像と地図画像と経路図形と標識図形の合成を説明する図である。
【図１１】第２の実施形態における、画像提示装置における処理の手順を説明するフローチャートである。
Claims (11)
- 操作部を用いたユーザー指示に応じて視点位置情報及び視線方向情報を含む視点情報を計算する視点計算手段と、
複数のパノラマ画像を保持するパノラマ画像記憶手段と、
前記パノラマ画像記憶手段に記憶されているパノラマ画像の経路情報を保持する経路記憶手段と、
前記視点情報および前記経路情報に基づいて次の分岐点における進行可能経路情報を計算する進行可能経路計算手段と、
前記パノラマ記憶手段に記憶されている前記視点情報に基づくパノラマ画像から、前記視線方向情報に基づく切出画像を生成する切出画像生成手段と、
前記進行可能経路情報に基づいて進行可能経路を表す標識図形を生成し、該生成された標識図形を前記視線方向情報に応じて回転することにより標識図形表示画像を生成する標識図形画像生成手段と、
前記切出画像と前記標識図形表示画像とを合成して表示画像を生成する画像生成手段とを備えることを特徴とする情報処理装置。 - 前記切出画像は、前記視点情報に基づくパノラマ画像から前記視線方向情報に基づき切り出した画像に対して中心射影画像への変換を施した画像であることを特徴とする請求項１に記載の情報処理装置。
- 前記標識図形における進行予定経路を表す部分図形の属性が、前記標識図形における他の図形の属性と異なることを特徴とする請求項１に記載の情報処理装置。
- 前記標識図形の表示位置または大きさを使用者が操作できることを特徴とする請求項１乃至請求項３のいずれかに記載の情報処理装置。
- さらに、地図画像を記憶する地図画像記憶手段を有し、
前記経路情報に基づいてパノラマ画像が保持されている経路を示す経路図形を生成し、前記地図画像に該経路図形を合成する合成手段とを有することを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理装置。 - 前記経路図形において進行予定経路を表す部分図形の属性が、前記経路図形における他の図形の属性と異なることを特徴とする請求項５に記載の情報処理装置。
- 前記地図画像を前記視線方向情報に応じて回転させることを特徴とする請求項６に記載の情報処理装置。
- 前記地図画像上で初期視点位置または初期視線方向を指定できることを特徴とする請求項５に記載の画像提示装置。
- 視点位置情報及び視線方向情報を操作するためのユーザ−指示を操作部から入力し、
前記ユーザ指示に基づき、視点位置情報及び視線方向情報を含む視点情報を計算し、
前記視点位置情報および前記経路情報に基づいて次の分岐点における進行可能経路情報を計算する進行可能経路計算手段と、
パノラマ記憶手段に記憶されている前記視点情報に基づくパノラマ画像から、前記視線方向情報に基づく切出画像を生成し、
前記進行可能経路情報に基づいて進行可能経路を表す標識図形を生成し、該生成された標識図形を前記視線方向情報に応じて回転することにより標識図形表示画像を生成し、
前記切出画像と前記標識図形表示画像とを合成して表示画像を生成することを特徴とする情報処理方法。 - コンピュータを用いて、請求項９に記載の情報処理方法を実現するためのプログラム。
- コンピュータを用いて請求項９に記載の情報処理方法を実現するためのプログラムをコンピュータが読み取り可能に記録した記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002006070A JP4078080B2 (ja) | 2002-01-15 | 2002-01-15 | 情報処理装置および方法 |
| US10/331,549 US7411594B2 (en) | 2002-01-15 | 2002-12-31 | Information processing apparatus and method |
| US12/169,926 US7791618B2 (en) | 2002-01-15 | 2008-07-09 | Information processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002006070A JP4078080B2 (ja) | 2002-01-15 | 2002-01-15 | 情報処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208634A JP2003208634A (ja) | 2003-07-25 |
| JP4078080B2 true JP4078080B2 (ja) | 2008-04-23 |
Family
ID=27644940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002006070A Expired - Fee Related JP4078080B2 (ja) | 2002-01-15 | 2002-01-15 | 情報処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078080B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3641750B2 (ja) * | 2003-07-16 | 2005-04-27 | 壮一 野村 | 地図経路等情報管理システム |
| JP4207941B2 (ja) * | 2005-09-02 | 2009-01-14 | パナソニック株式会社 | 画像表示装置及び画像生成装置 |
| JP2008283614A (ja) * | 2007-05-14 | 2008-11-20 | King Jim Co Ltd | 画像表示システム、画像送信システム |
| JP5576456B2 (ja) * | 2012-10-30 | 2014-08-20 | パイオニア株式会社 | 表示制御装置、表示制御方法および表示制御装置用プログラム |
| JP6030935B2 (ja) * | 2012-12-04 | 2016-11-24 | 任天堂株式会社 | 情報処理プログラム、表示制御装置、表示システム及び表示方法 |
| JP2014222446A (ja) * | 2013-05-14 | 2014-11-27 | 大日本印刷株式会社 | 映像出力装置、映像出力方法、及びプログラム |
| JP6248447B2 (ja) * | 2013-07-23 | 2017-12-20 | カシオ計算機株式会社 | 携帯機器、その制御方法およびその制御プログラム |
| JP2014224822A (ja) * | 2014-07-03 | 2014-12-04 | パイオニア株式会社 | 表示制御装置、表示制御方法および表示制御装置用プログラム |
| KR20200100046A (ko) * | 2017-12-28 | 2020-08-25 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
| JP2018138928A (ja) * | 2018-05-17 | 2018-09-06 | パイオニア株式会社 | 情報表示装置用のプログラム、情報表示方法および情報表示装置 |
-
2002
- 2002-01-15 JP JP2002006070A patent/JP4078080B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208634A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7411594B2 (en) | Information processing apparatus and method | |
| EP1404126B1 (en) | Video combining apparatus and method | |
| US7626596B2 (en) | Image reproducing method and apparatus for displaying annotations on a real image in virtual space | |
| US7673246B2 (en) | Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof | |
| KR20020025301A (ko) | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 | |
| US20070183685A1 (en) | Image combining apparatus, image combining method and storage medium | |
| JP4078080B2 (ja) | 情報処理装置および方法 | |
| JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
| JP2004234455A (ja) | 情報処理方法および画像再生装置 | |
| JP2020160944A (ja) | 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム | |
| JP4577106B2 (ja) | 遠隔指示システム及びその方法 | |
| US20240054739A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2004062755A (ja) | 画像提示装置および情報処理方法 | |
| JP2000067227A (ja) | 画像表示装置、方法および記憶媒体 | |
| JP2005174024A (ja) | 画像生成装置及び方法 | |
| JP4371863B2 (ja) | 再生装置及び方法 | |
| JP3572025B2 (ja) | 画像再生装置及び画像処理装置とそれらの方法 | |
| JP2004070608A (ja) | 仮想空間呈示装置及び情報管理装置並びにそれらの制御方法 | |
| JP3432213B2 (ja) | 画像再生装置及び方法 | |
| JP2004070609A (ja) | 画像再生装置及び方法 | |
| JP2004199159A (ja) | 情報処理方法、情報処理装置、プログラムおよび記憶媒体 | |
| JP2003208146A (ja) | 画像表示装置および情報処理方法 | |
| JP2004280250A (ja) | 情報処理装置および方法 | |
| JP2006126402A (ja) | 地図表示方法およびナビゲーション装置 | |
| WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4078080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |