JP3572025B2 - 画像再生装置及び画像処理装置とそれらの方法 - Google Patents
画像再生装置及び画像処理装置とそれらの方法 Download PDFInfo
- Publication number
- JP3572025B2 JP3572025B2 JP2001063923A JP2001063923A JP3572025B2 JP 3572025 B2 JP3572025 B2 JP 3572025B2 JP 2001063923 A JP2001063923 A JP 2001063923A JP 2001063923 A JP2001063923 A JP 2001063923A JP 3572025 B2 JP3572025 B2 JP 3572025B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- display
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実空間の撮影によって得られた画像データをもとにウォークスルーが可能な仮想空間を表現する画像再生装置及び方法、並びに画像処理装置及び方法に関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視点方向に基づいて対応するフレームを取得し、これを再生する。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平１１−１６８７５４）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向をみることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置と視線方向とに基づいてパノラマ画像から再生すべき部分画像を切り出し、これを表示することが考えられる。
【０００７】
このようなウォークスルー再生において、パノラマ画像に仮想の建築物等のコンピュータグラフィックス（ＣＧ）による画像を合成して表示することが試みられている。パノラマ画像へのＣＧ画像の描画の実行、停止を切替ることで、状態の異なるパノラマ画像を任意のタイミングで切り替えて表示することが可能となる。
【０００８】
【発明が解決しようとする課題】
しかしながら、パノラマ画像にＣＧ画像を合成して再生する場合には、当該パノラマ画像データから表示画像を生成し、重畳すべきＣＧ画像を生成し、表示画像に含まれるオブジェクトとＣＧ画像とのオクルージョン判定をして表示画像とＣＧ画像の合成を行うという処理が必要となり、リアルタイムな表示に支障を来してしまう。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するにおいて、状態の異なるパノラマ画像を任意に切替可能とするとともに、その再生のリアルタイム性を向上することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像再生装置は以下の構成を備える。すなわち、
同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納する格納手段と、
１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へ表示させる抽出手段と、
前記抽出手段によって抽出され表示中の画像系列から他の画像系列への切り替えを指示する指示手段と、
前記指示手段によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択手段と、
前記選択手段で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御手段とを備え、
前記格納手段において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含む。
【００１１】
また、上記の目的を達成するための本発明による画像再生方法は以下の工程を備える。すなわち、
同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納装置に格納する格納工程と、
前記格納装置に格納された１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へと表示させる抽出工程と、
前記抽出工程によって抽出されて表示中の画像系列から他の画像系列への切り替えを指示する指示工程と、
前記指示工程によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択工程と、
前記選択工程で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御工程とを備え、
前記格納工程において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含む。
【００１２】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１３】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを現実空間の位置としての地図データと対応付けて保持する。そして、体験者の仮想空間における視点位置と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１４】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムは、画像データ収集システム９０と画像再生装置１とを含んで構成される。画像再生装置１は、画像データ保存部１０、地図データ保存部２０、画像・地図対応付け部３０、操作部４０、対応付けデータ保存部５０、画像再生制御部６０、表示部７０を有する。
【００１５】
画像データ保存部１０は、後で詳述する画像データ収集システム９０によって得られた実写画像データとしてのフレームデータを格納する。地図データ保存部２０は、地図のイメージ情報と該地図イメージ上の各位置を経度と緯度に関連した座標で表すための座標情報を含む地図データを格納する。地図データ保存部２０には、少なくとも画像データ収集システム９０によって撮影され、画像データ保存部１０に保存されたフレームデータの現実空間位置に対応した範囲の地図データが保存されている。なお、地図データは、不図示のハードディスク、ＲＡＭまたは他の外部記憶装置に保存される。
【００１６】
画像・地図対応付け部３０は、画像データ保存部１０に保存されているフレームデータから各視点位置のパノラマ画像データを生成し、これを地図データ保存部２０に保存されている地図データと対応付ける。こうして対応付けされたパノラマ画像データと地図データは、対応付けデータとして対応付けデータ保存部５０に保存される。なお、画像・地図対応付け部３０では、同一時刻において複数の撮影装置から得られたフレームデータからパノラマ画像を生成し、その時刻におけるＧＰＳ情報から対応する地図データ（地図上の位置データ）を特定し、これらを対応付け、対応付けデータ保存部５０に保存する。後述するように、ＧＰＳ情報と複数の撮影装置から得られたフレームデータの各々にはタイムコードが付加され、このタイムコードにより同一時刻のフレーム、ＧＰＳ情報が取得される。
【００１７】
操作部４０は、マウス、キーボード、ジョイスティック等を備える。なお、上述の画像・地図対応付け部３０において、操作部４０からの操作入力に従って、画像データ保存部１０に保存されたフレームと地図データ保存部２０に保存された地図データとの対応付けを編集可能としてもよい。
【００１８】
画像再生制御部６０は、操作部４０からの操作入力に従って体験者の視点位置（地図上の位置）、視線方向を決定し、対応付けデータ保存部５０で保存されたデータから必要な画像データを読み出し、表示部７０で表示を行うための画像データを生成する。
【００１９】
図２は、画像データ保存部１０に保存されるフレームデータを収集するための画像データ収集システム９０の構成例を示す図である。図２に示されるように、この画像データ収集システム９０は、撮影部９１、記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられる。以下、各部について、図３〜図５を参照して詳細に説明する。
【００２０】
図３は、撮影部９１の構成を詳細に示すブロック図である。本実施形態では、撮影部９１は車輌などの移動体に搭載して用いられる。撮影部９１は、ｎ台（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号発生部９４から成る。ビデオカメラ９１−１〜ｎにはそれぞれ同期信号発生部９４からの外部同期信号を入力することが可能であり、本実施形態では、同期信号発生部９４より出力される外部同期信号を用いてビデオカメラ９１−１〜ｎのｎ台の撮影タイミングを一致させている。
【００２１】
図４は、記録部９２の構成を詳細に示すブロック図である。記録部９２はタイムコード発生部９５と、ビデオカメラ９１−１〜ｎに対応する録画部（本例ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎからの画像出力は、それぞれ録画部９２−１〜ｎの入力となる。また、タイムコード発生部９５は、撮影時刻を表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画像入力とタイムコード発生部９５からのタイムコードを取り込み、タイムコードつきのビデオデータとして記録する。
【００２２】
以上のようにしてＶＣＲ９２−１〜ｎのそれぞれに収集された画像情報は、Ａ／Ｄ変換部９３によってディジタルの画像データに変換され、画像データ保存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構成を詳細に示すブロック図である。Ａ／Ｄ変換部９３は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣＲ９２−１〜ｎの各々に対応するビデオ・キャプチャ・ボード（以下、キャプチャ・ボード）９３−１〜ｎを有する。キャプチャ・ボードは必ずしもビデオカメラの台数分必要ではなく、ＰＣに搭載できる数のキャプチャ・ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣＲから供給されるアナログ画像データをディジタル画像データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９６に接続された、ハードディスク等を含んで構成される画像データ保存部１０またはその他の記憶媒体に保存する。
【００２３】
更に、本システムにおいては、タイムコード発生部９５からタイムコードが発生するタイミングでＧＰＳ９７より位置データを取得し、取得した位置データをその時点のタイムコードと対応付けて保持する。
【００２４】
図６は画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。図６に示すように、画像データ保存部１０には、タイムコードが付加されたフレームとタイムコードが付加された位置データとが格納されることになる。よって、このタイムコードを介して、フレームと位置データが対応付けられる。なお、図６では１つのビデオカメラからのビデオデータしか示していないが、ビデオデータは上述したようにビデオカメラの台数分（ｎ台分）が存在する。
【００２５】
なお、ＧＰＳにおける３次元位置の算出は公知であり、ここでは詳細な説明を省略する。以上のようにして、ｎ台のビデオカメラによって画像を撮影しながら、ＧＰＳによって逐次得られる緯度、経度データＰ（θ，φ）をタイムコード発生部７２からのタイムコードに対応付けて格納していく。従って、このタイムコードを介して、ビデオデータの各フレームと、ＧＰＳから得られた緯度，経度データを対応付けることができる。
【００２６】
なお、画像データがキャプチャ・ボード９３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、記録されているタイムコードを用いてキャプチャ開始部分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ・ボードを介して取得されるディジタル画像データがすべて同時刻に撮影された、同じ長さのキャプチャデータで構成されるようにする。
【００２７】
次に、画像再生装置１について説明する。図７は、本実施形態による画像再生装置１のハード構成を示すブロック図である。図７に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図７において、ディスク１０５は画像データ保存部１０を構成するものであり、図２〜図６に関連して説明した画像データ収集システム９０によって得られたフレームデータと位置データが記憶されている。なお、ディスク１０５は上述の画像データ保存部１０のみならず、図１に示した地図データ保存部２０、対応付けデータ保存部５０をも構成するものである。
【００２８】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、画像データと地図データとを対応付けて格納する画像・地図対応付け部３０として、また、対応付けデータ保存部５０に保存された画像データをもとに画像再生を行う画像再生制御部６０として機能する。
【００２９】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部７０を構成する。マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像保持・再生装置１へのユーザの操作入力を行うためのものであリ、上述の操作部４０を構成する。
【００３０】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。図８は本実施形態のウォークスルーシステムにおける、画像再生装置１の処理内容を説明する図である。
【００３１】
画像データ保存部１０には、上述した画像データ収集システム９０によって、ｎ台のビデオカメラ９１−１〜ｎによって得られたビデオデータに基づくタイムコード付のフレームデータと、ＧＰＳ９７によって得られた位置データに基づくタイムコード付の位置データが格納されている。
【００３２】
画像・地図対応付け部３０は、同一のタイムコードのフレームデータを接合してパノラマ画像を生成するとともに、地図データ保存部２０に保持されている地図データを参照して当該タイムコードに対応する位置データを地図上の位置に変換する。そして、得られたパノラマ画像と、地図上の位置とを対応付けた対応付けデータ２１０を生成し、対応付けデータ保存部５０に格納する。
【００３３】
なお、対応付けデータ格納部５０において、本実施形態では次のデータ格納形態をとる。すなわち、交差点や曲がり角を区分点とし、区分点と区分点で挟まれた線分を道として、各区分点、道にＩＤを割り当て、このＩＤを対応するパノラマ画像に付加する。１つの道に対応するパノラマ画像群には、先頭から順に番号が振られる。
【００３４】
図９はこの様子を説明する図である。図９において、例えばＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。なお、これらＩＤや地図との対応は、地図データ保存部２０に保存されている。
【００３５】
ＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するフレームが特定されると、それらフレームに挟まれたパノラマ画像群が道Ｒ１に対応することとなる。図では、このパノラマ画像群にはｎ個のパノラマ画像が存在する。そして、区分点Ｃ１とＣ２に対応するフレームにはそれぞれＣ１、Ｃ２のＩＤが付与され、パノラマ画像群の各パノラマ画像には、順番にＲ１−１〜Ｒ１−ｎが付与されている。
【００３６】
なお、区分点とパノラマ画像との対応付けは、ＧＰＳデータに従って自動的に行われるものとしたが、ユーザが画像データ保存部に保持されたビデオフレームを再生しながら、フレームと対応する地図上の交差点を指定することによって、上述のような対応付けをすることも可能である。この場合、区分点に挟まれたパノラマ画像群の各パノラマ画像の位置を、例えば、当該区分点を結ぶ線分上に等間隔に割り当てる（上記例では、Ｃ１とＣ２を結ぶ線分をｎ＋１等分して、各分割位置に順番にｎ個のパノラマ画像を割り当てる）ようにすれば、ＧＰＳを用いずに上述のような対応付けデータを生成、保持することが可能である。
【００３７】
以上のようにして格納された対応付けデータを用いてウォークスルー再生が行われる。ウォークスルー再生では、操作部４０よりジョイスティック１１０等を用いたウォークスルーのための操作が行われると、画像再生制御部６０がこの操作入力に応じて体験者の地図上の視点位置（地図上の道における位置）と視線方向を生成する。更に画像再生制御部６０は、この生成された視点位置と視線方向、及び表示部７０に表示される画像の画角に基づいて、表示部７０に表示すべき画像を、対応付けデータ２１０に格納されたパノラマ画像に基づいて生成し、表示部７０に表示させる。例えば、視点位置が地図上のａ地点であり、視線方向が進行方向に対して１５度の方向を向いている場合は、ａ地点に対応するパノラマ画像中の１５度の方向に対応する部分画像が抽出されることになる。こうして、体験者の視点位置の地図上における移動と視線方向に対応するように、画像再生制御部６０が表示画像の取得と、表示部７０への表示を行うことにより、ウォークスルー再生が実現されることになる。
【００３８】
さて、上記の構成において、対応付けデータ保存部５０によって保持されたパノラマ画像（本実施形態では３６０度の全周画像とする）をメモリ上に読み出し、表示部７０への表示画角に対応した任意の視線方向の画像を生成し、これにＣＧ画像を重畳して表示することが可能である。このようにすることで、ウォークスルー再生にバリエーションを持たせることができる。しかしながら、表示画角及び視線方向に対応して切り出した画像にＣＧ画像を重畳描画する際に、切り出し画像とＣＧ画像との間で画素単位でのオクルージョン判定を行う必要が生じる。このため、ＣＧ画像の描画処理に時間がかかり、表示タイミングの遅れを招いてしまう。
【００３９】
一方、最初からＣＧが描画されたパノラマ画像を用いようとした場合は、ＣＧ画像の描画処理による表示タイミングの遅れは解決するが、任意のタイミングでＣＧ画像の描画を実行／停止するといったような、パノラマ画像の状態を任意のタイミングで切り替えるという柔軟な表示操作ができなくなってしまう。
【００４０】
本実施形態のウォークスルーシステムでは、同一経路に対応したパノラマ画像系列を、表示したい状態に応じて複数種類用意しておき、これらを必要に応じて切り替えてウォークスルー再生に用いることで、任意のタイミングでのパノラマ画像の状態の切り替えを可能としつつ、リアルタイムな画像表示を確実に行えるようにする。
【００４１】
図１０は第１実施形態によるパノラマ画像の再生処理機能を説明する図である。図１０に示しているのは画像再生制御部６０の機能構成である。画像再生制御部６０は、対応付けデータ保存部５０に保持された、複数の状態に対応した同一経路のパノラマ画像系列から切替指示に応じて所望のパノラマ画像系列を選択して、ウォークスルー再生を行う。
【００４２】
図１０において、対応付けデータ格納部５０にはｓ個のそれぞれ異なる状態のパノラマ画像と地図データが対応付けられた、ｓ個の対応付けデータが格納されている。本例では、状態１〜ｓの対応付けデータ５０１〜５０ｓが格納されている。状態１の対応付けデータ５０１が実写画像から得られたパノラマ画像を含み、他の状態２〜ｓの対応付けデータ５０２〜５０ｓは、状態１のパノラマ画像にそれぞれ異なるＣＧが重畳描画されているものとする。なお、本実施形態では、各状態毎の対応付けデータに含まれるパノラマ画像の集合をパノラマ画像系列と称する。図１０の例の場合、ｓ個のパノラマ画像系列が存在することになる。
【００４３】
画像再生制御部６０において、６０１は状態選択部であり、操作部４０より与えられる操作信号（状態変更指示信号）と、後述の状態間関連付けデータ５１０に従って、対応付けデータ保存部５０に保持されている複数のパノラマ画像系列のうちの一つを画像再生に用いるパノラマ画像系列として選択し、後段へ通知する。
【００４４】
６０２はパノラマ画像復号部であり、状態選択部６０１で選択されたパノラマ画像系列から、現在の視点位置に対応するパノラマ画像を復号する。視点位置生成部６０５は、状態選択部６０１によってパノラマ画像系列の変更があった場合に、それまでのパノラマ画像系列に対する視点位置に基づいて、変更後のパノラマ画像系列に対する適切な視点位置を決定する。６０３は切り出し部であり、パノラマ画像復号部６０２で復号されたパノラマ画像から、視線方向と表示画角に応じた部分画像を切り出す。表示制御部６０４は、切り出し部６０３で切り出された画像を表示部７０に表示させるべく制御する。
【００４５】
なお、対応付けデータ格納部５０は、状態１〜ｓの対応付けデータ５０１〜５０ｓが同一の経路のパノラマ画像で構成されていることを示す状態間関連付けデータ５１０を格納している。本例では、１つの経路にｓ種類の状態のパノラマ画像系列（ｓ個の対応付けデータ）がある場合を説明しているが、複数の経路と、それぞれの経路に複数種類の状態のパノラマ画像が存在するようにすることも可能である。この場合、状態間関連付けデータ５１０は、各経路毎にどのパノラマ画像系列（対応付けデータ）が属しているかを示すことになる。
【００４６】
また、本実施形態の場合、状態間関連付けデータ５１０は、複数の状態のパノラマ画像の切り替え順序を示す情報を有する。この情報を持つことにより、状態選択部６０１に入力される状態変更指示信号は、状態の切り替えを指示するだけで、状態間関連付けデータ５１０に登録された切り替え順序で、パノラマ画像系列が順次選択され、切り替わることになる。もちろん、状態変更指示は、状態３のパノラマ画像に切り替えるといったように、具体的に状態を指定する信号であってもよい。
【００４７】
図１１は第１実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。操作部４０より状態変更指示が入力されると、画像再生制御部６０の状態選択部６０１は状態変更イベントの発生を検出する。状態変更イベントの発生が検出されると、ステップＳ１０２へ進み、切り換え後に表示すべきパノラマ画像の状態を決定する。上述したように、本実施形態では状態間関連付けデータ５１０に状態変更指示による切り替え順序が登録されており、例えば、状態１→状態２…→状態ｓ→状態１→…というよに切り替わるものとする。従って、例えば現在状態２のパノラマ画像系列が選択されているとすると、状態変更イベントにより状態３のパノラマ画像系列を用いることになる。
【００４８】
次にステップＳ１０３において、視点位置生成部６０５は、ステップＳ１０２で決定した新しい状態のパノラマ画像系列における最初の視点位置を決定する。ここでは、変更直前に表示されたパノラマ画像の視点位置に基づいて、新しい状態のパノラマ画像系列に切り替えた後の最初に表示すべき視点位置を決定する。具体的には、変更前のパノラマ画像系列の視点位置に最も近い変更後のパノラマ画像系列の視点位置を求め、これを最初に表示すべき視点位置に決定する。或いは、変更後のパノラマ画像系列において、上記求めた視点位置の次の視点位置を最初に表示すべき視点位置に決定する。
【００４９】
このような処理を行うのは、次の理由による。すなわち、１つのパノラマ画像系列を基に、コンピュータグラフィックス描画を重畳して複数のパノラマ画像系列を生成した場合は、各パノラマ画像の視点位置が完全に一致するので、変更直前のパノラマ画像の視点位置と変更後のパノラマ画像の視点位置を一致させることができる。
【００５０】
しかしながら、同一経路について異なる実写画像データを用いた場合、例えば朝、昼、夜において撮影された実写画像データを基に、それぞれ状態１、状態２、状態３のパノラマ画像系列を作成した場合は、交通事情等により状態１、２、３の対応付けデータは、それぞれ個別にパノラマ画像と視点位置との対応付けがなされたものとなるので、完全には一致しない。従って、それまで表示していたパノラマ画像の視点位置に最も近い視点位置を変更後の対応付けデータから取り出すという処理を行うことで、ウォークスルー再生中の状態変更をより自然に見せるようにする。
【００５１】
ステップＳ１０４では、パノラマ画像復号部６０２において、ステップＳ１０２で選択されたパノラマ画像系列より、ステップＳ１０３で決定された視点位置に対応するパノラマ画像を選択し、これを復号する。そして、ステップＳ１０５において、画像切り出し部６０３は、復号されたパノラマ画像から、視線方向と表示画角に基づいてパノラマ画像から対応する部分を切り出して表示用画像を生成し、表示制御部６０４がこれを表示部７０に表示させる。
【００５２】
なお、ステップＳ１０１で状態変更イベントが発生していな場合は、ステップＳ１１０へ進み、視点位置生成部６０５が現在使用中のパノラマ画像系列における次の視点位置を決定し、ステップＳ１０４へ進む。以上のステップＳ１０１からＳ１０５、Ｓ１１０の処理を、終了操作があるまで繰り返す（ステップＳ１０６）。
【００５３】
以上のように第１実施形態によれば、状態の異なるパノラマ画像系列への切り替えを、ウォークスルー再生を継続させながら、状態変更指示を行うだけで行うことができる。また、ＣＧを重畳描画させた画像再生を行う場合でも、予めＣＧが描画されたパノラマ画像への切り換えを行うだけなので、画像再生のリアルタイム性を損なうことがなく、ＣＧ描画の有無を自在に切り替えることも可能である。
【００５４】
＜第２実施形態＞
第１実施形態では、対応付けデータが、地図上の位置とパノラマ画像系列の各パノラマ画像とが対応付けられたものである場合を説明した。第２実施形態では、図９を用いて説明したような、地図上の区分点と道によって地図上の位置とパノラマ画像とを対応付けた場合に特化させて説明する。
【００５５】
図９で説明したように、図１２は第２実施形態による対応付けデータ保存部５０のデータ構成例を示す図である。状態１〜状態ｓのそれぞれの状態毎に、地図上の道（１〜ｎ）、区分点（１〜ｍ）との対応づけがなされている。状態間関連付けデータ５１０は、状態１〜状態ｓのパノラマ画像系列を関連づけるものであり、本実施形態では、画像系列の切り換え順序をも含む。
【００５６】
図１３は第２実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。操作部４０より状態変更指示が入力されると、画像再生制御部６０の状態選択部６０１は状態変更イベントの発生を検出する（ステップＳ２０１）。状態変更イベントの発生が検出されると、ステップＳ２０１からステップＳ２０２へ進み、切り換え後に表示すべきパノラマ画像系列を決定する。上述したように、第２実施形態では状態間関連付けデータ５１０には、状態変更指示による切り替え順序が登録されており、例えば、状態１→状態２…→状態ｓ→状態１→…というように切り替わるものとする。従って、例えば現在状態２のパノラマ画像が再生されているとすると、状態変更イベントにより状態３のパノラマ画像を用いることになる。
【００５７】
次にステップＳ２０３において、ステップＳ２０２で決定した新しい状態のパノラマ画像系列を用いて表示すべき最初の視点位置を決定する。ここでは、変更直前に表示されたパノラマ画像の視点位置、すなわち、どの「道」の何番目のパノラマ画像であるか（フレーム順位）に基づいて、新しい状態のパノラマ系列に切り替えた後の最初に表示すべきパノラマ画像の視点位置（どの道の何番目のフレーム）を決定する。このようにすることで、各道に含まれる画像数が対応付けデータ毎に異なっていても、より正しく次の視点位置を決定できる。例えば、現在選択されているパノラマ画像系列において、ある道に１０枚のパノラマ画像が存在し、現在の視点位置がその道の６番目のパノラマ画像を示しており、切り替え後のパノラマ画像系列の対応する道には１５枚のパノラマ画像が存在する場合、９番目のパノラマ画像が選択されることになる（１５×６／１０）。
【００５８】
ステップＳ２０４では、ステップＳ２０２で選択されたパノラマ画像系列より、ステップＳ２０３で決定された視点位置（「道」と「フレーム順位」）に対応するパノラマ画像を選択する。そして、ステップＳ２０５において、選択したパノラマ画像が符号化されている場合はこれを復号し、視線方向と表示画角に基づいてパノラマ画像から対応する部分を切出して表示用画像を生成し、これを表示部７０に送って表示させる。
【００５９】
なお、ステップＳ２０１で状態変更イベントが発生していな場合は、ステップＳ２１０へ進み、現在使用中のパノラマ画像系列における次の視点位置（「道」と「フレーム順位」）を決定し、ステップＳ２０４へ進む。以上のステップＳ２０１からＳ２０５、Ｓ２１０の処理を、終了操作があるまで繰り返す（ステップＳ２０６）。
【００６０】
以上のように第２実施形態によれば、第１実施形態と同様の効果を奏する他、区分点と、道によってパノラマ画像と地図データが対応付けられて保存されている場合でも、迅速且つ自然に状態を変更することができる。
【００６１】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するにおいて、状態の異なるパノラマ画像を任意に切替可能になるとともに、その再生のリアルタイム性が向上する。
【図面の簡単な説明】
【図１】本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】画像データ保存部１０に保存されるフレームデータを収集するための画像データ収集システム９０の構成例を示す図である。
【図３】撮影部９１の構成を詳細に示すブロック図である。
【図４】記録部９２の構成を詳細に示すブロック図である。
【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック図である。
【図６】画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。
【図７】本実施形態による画像再生装置１のハード構成を示すブロック図である。
【図８】本実施形態のウォークスルーシステムにおける、画像再生装置１の処理内容を説明する図である。
【図９】道と区分点を用いたパノラマ画像の地図データへの対応付けを説明する図である。
【図１０】第１実施形態によるパノラマ画像の再生処理機能を説明する図である。
【図１１】第１実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。
【図１２】第２実施形態による対応付けデータ保存部５０のデータ構成例を示す図である。
【図１３】第２実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。
【発明の属する技術分野】
本発明は、実空間の撮影によって得られた画像データをもとにウォークスルーが可能な仮想空間を表現する画像再生装置及び方法、並びに画像処理装置及び方法に関する。
【０００２】
【従来の技術】
移動体に搭載された撮影装置によって現実空間を撮影し、撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば遠藤、片山、田村、廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市空間の電脳映像化について”（信学ソサイエティ、ＰＡ−３−４、ｐｐ．２７６−２７７、１９９７年）、または廣瀬、渡辺、谷川、遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳映像都市空間の構築（２）−実写画像を用いた広域仮想空間の生成−”（日本バーチャルリアリティ学会第２回大会論文集、ｐｐ．６７−７０、１９９７年）などを参照）。
【０００３】
移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するＩｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。
【０００４】
このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、体験者の仮想空間における位置と視点方向に基づいて対応するフレームを取得し、これを再生する。
【０００５】
現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、タイムコードを用いて対応付ける手法が提案されている（特開平１１−１６８７５４）。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。
【０００６】
このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向をみることができるようにする。このため、各視点位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておき、体験者の仮想空間における視点位置と視線方向とに基づいてパノラマ画像から再生すべき部分画像を切り出し、これを表示することが考えられる。
【０００７】
このようなウォークスルー再生において、パノラマ画像に仮想の建築物等のコンピュータグラフィックス（ＣＧ）による画像を合成して表示することが試みられている。パノラマ画像へのＣＧ画像の描画の実行、停止を切替ることで、状態の異なるパノラマ画像を任意のタイミングで切り替えて表示することが可能となる。
【０００８】
【発明が解決しようとする課題】
しかしながら、パノラマ画像にＣＧ画像を合成して再生する場合には、当該パノラマ画像データから表示画像を生成し、重畳すべきＣＧ画像を生成し、表示画像に含まれるオブジェクトとＣＧ画像とのオクルージョン判定をして表示画像とＣＧ画像の合成を行うという処理が必要となり、リアルタイムな表示に支障を来してしまう。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するにおいて、状態の異なるパノラマ画像を任意に切替可能とするとともに、その再生のリアルタイム性を向上することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像再生装置は以下の構成を備える。すなわち、
同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納する格納手段と、
１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へ表示させる抽出手段と、
前記抽出手段によって抽出され表示中の画像系列から他の画像系列への切り替えを指示する指示手段と、
前記指示手段によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択手段と、
前記選択手段で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御手段とを備え、
前記格納手段において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含む。
【００１１】
また、上記の目的を達成するための本発明による画像再生方法は以下の工程を備える。すなわち、
同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納装置に格納する格納工程と、
前記格納装置に格納された１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へと表示させる抽出工程と、
前記抽出工程によって抽出されて表示中の画像系列から他の画像系列への切り替えを指示する指示工程と、
前記指示工程によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択工程と、
前記選択工程で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御工程とを備え、
前記格納工程において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含む。
【００１２】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。
【００１３】
＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態では、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影して得られた実写画像データからパノラマ画像データを生成し、このパノラマ画像データを現実空間の位置としての地図データと対応付けて保持する。そして、体験者の仮想空間における視点位置と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを実現する。
【００１４】
図１は本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムは、画像データ収集システム９０と画像再生装置１とを含んで構成される。画像再生装置１は、画像データ保存部１０、地図データ保存部２０、画像・地図対応付け部３０、操作部４０、対応付けデータ保存部５０、画像再生制御部６０、表示部７０を有する。
【００１５】
画像データ保存部１０は、後で詳述する画像データ収集システム９０によって得られた実写画像データとしてのフレームデータを格納する。地図データ保存部２０は、地図のイメージ情報と該地図イメージ上の各位置を経度と緯度に関連した座標で表すための座標情報を含む地図データを格納する。地図データ保存部２０には、少なくとも画像データ収集システム９０によって撮影され、画像データ保存部１０に保存されたフレームデータの現実空間位置に対応した範囲の地図データが保存されている。なお、地図データは、不図示のハードディスク、ＲＡＭまたは他の外部記憶装置に保存される。
【００１６】
画像・地図対応付け部３０は、画像データ保存部１０に保存されているフレームデータから各視点位置のパノラマ画像データを生成し、これを地図データ保存部２０に保存されている地図データと対応付ける。こうして対応付けされたパノラマ画像データと地図データは、対応付けデータとして対応付けデータ保存部５０に保存される。なお、画像・地図対応付け部３０では、同一時刻において複数の撮影装置から得られたフレームデータからパノラマ画像を生成し、その時刻におけるＧＰＳ情報から対応する地図データ（地図上の位置データ）を特定し、これらを対応付け、対応付けデータ保存部５０に保存する。後述するように、ＧＰＳ情報と複数の撮影装置から得られたフレームデータの各々にはタイムコードが付加され、このタイムコードにより同一時刻のフレーム、ＧＰＳ情報が取得される。
【００１７】
操作部４０は、マウス、キーボード、ジョイスティック等を備える。なお、上述の画像・地図対応付け部３０において、操作部４０からの操作入力に従って、画像データ保存部１０に保存されたフレームと地図データ保存部２０に保存された地図データとの対応付けを編集可能としてもよい。
【００１８】
画像再生制御部６０は、操作部４０からの操作入力に従って体験者の視点位置（地図上の位置）、視線方向を決定し、対応付けデータ保存部５０で保存されたデータから必要な画像データを読み出し、表示部７０で表示を行うための画像データを生成する。
【００１９】
図２は、画像データ保存部１０に保存されるフレームデータを収集するための画像データ収集システム９０の構成例を示す図である。図２に示されるように、この画像データ収集システム９０は、撮影部９１、記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられる。以下、各部について、図３〜図５を参照して詳細に説明する。
【００２０】
図３は、撮影部９１の構成を詳細に示すブロック図である。本実施形態では、撮影部９１は車輌などの移動体に搭載して用いられる。撮影部９１は、ｎ台（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号発生部９４から成る。ビデオカメラ９１−１〜ｎにはそれぞれ同期信号発生部９４からの外部同期信号を入力することが可能であり、本実施形態では、同期信号発生部９４より出力される外部同期信号を用いてビデオカメラ９１−１〜ｎのｎ台の撮影タイミングを一致させている。
【００２１】
図４は、記録部９２の構成を詳細に示すブロック図である。記録部９２はタイムコード発生部９５と、ビデオカメラ９１−１〜ｎに対応する録画部（本例ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎからの画像出力は、それぞれ録画部９２−１〜ｎの入力となる。また、タイムコード発生部９５は、撮影時刻を表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画像入力とタイムコード発生部９５からのタイムコードを取り込み、タイムコードつきのビデオデータとして記録する。
【００２２】
以上のようにしてＶＣＲ９２−１〜ｎのそれぞれに収集された画像情報は、Ａ／Ｄ変換部９３によってディジタルの画像データに変換され、画像データ保存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構成を詳細に示すブロック図である。Ａ／Ｄ変換部９３は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣＲ９２−１〜ｎの各々に対応するビデオ・キャプチャ・ボード（以下、キャプチャ・ボード）９３−１〜ｎを有する。キャプチャ・ボードは必ずしもビデオカメラの台数分必要ではなく、ＰＣに搭載できる数のキャプチャ・ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣＲから供給されるアナログ画像データをディジタル画像データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９６に接続された、ハードディスク等を含んで構成される画像データ保存部１０またはその他の記憶媒体に保存する。
【００２３】
更に、本システムにおいては、タイムコード発生部９５からタイムコードが発生するタイミングでＧＰＳ９７より位置データを取得し、取得した位置データをその時点のタイムコードと対応付けて保持する。
【００２４】
図６は画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。図６に示すように、画像データ保存部１０には、タイムコードが付加されたフレームとタイムコードが付加された位置データとが格納されることになる。よって、このタイムコードを介して、フレームと位置データが対応付けられる。なお、図６では１つのビデオカメラからのビデオデータしか示していないが、ビデオデータは上述したようにビデオカメラの台数分（ｎ台分）が存在する。
【００２５】
なお、ＧＰＳにおける３次元位置の算出は公知であり、ここでは詳細な説明を省略する。以上のようにして、ｎ台のビデオカメラによって画像を撮影しながら、ＧＰＳによって逐次得られる緯度、経度データＰ（θ，φ）をタイムコード発生部７２からのタイムコードに対応付けて格納していく。従って、このタイムコードを介して、ビデオデータの各フレームと、ＧＰＳから得られた緯度，経度データを対応付けることができる。
【００２６】
なお、画像データがキャプチャ・ボード９３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、記録されているタイムコードを用いてキャプチャ開始部分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ・ボードを介して取得されるディジタル画像データがすべて同時刻に撮影された、同じ長さのキャプチャデータで構成されるようにする。
【００２７】
次に、画像再生装置１について説明する。図７は、本実施形態による画像再生装置１のハード構成を示すブロック図である。図７に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図７において、ディスク１０５は画像データ保存部１０を構成するものであり、図２〜図６に関連して説明した画像データ収集システム９０によって得られたフレームデータと位置データが記憶されている。なお、ディスク１０５は上述の画像データ保存部１０のみならず、図１に示した地図データ保存部２０、対応付けデータ保存部５０をも構成するものである。
【００２８】
ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、画像データと地図データとを対応付けて格納する画像・地図対応付け部３０として、また、対応付けデータ保存部５０に保存された画像データをもとに画像再生を行う画像再生制御部６０として機能する。
【００２９】
ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部７０を構成する。マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像保持・再生装置１へのユーザの操作入力を行うためのものであリ、上述の操作部４０を構成する。
【００３０】
次に、以上の構成を備えた本実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。図８は本実施形態のウォークスルーシステムにおける、画像再生装置１の処理内容を説明する図である。
【００３１】
画像データ保存部１０には、上述した画像データ収集システム９０によって、ｎ台のビデオカメラ９１−１〜ｎによって得られたビデオデータに基づくタイムコード付のフレームデータと、ＧＰＳ９７によって得られた位置データに基づくタイムコード付の位置データが格納されている。
【００３２】
画像・地図対応付け部３０は、同一のタイムコードのフレームデータを接合してパノラマ画像を生成するとともに、地図データ保存部２０に保持されている地図データを参照して当該タイムコードに対応する位置データを地図上の位置に変換する。そして、得られたパノラマ画像と、地図上の位置とを対応付けた対応付けデータ２１０を生成し、対応付けデータ保存部５０に格納する。
【００３３】
なお、対応付けデータ格納部５０において、本実施形態では次のデータ格納形態をとる。すなわち、交差点や曲がり角を区分点とし、区分点と区分点で挟まれた線分を道として、各区分点、道にＩＤを割り当て、このＩＤを対応するパノラマ画像に付加する。１つの道に対応するパノラマ画像群には、先頭から順に番号が振られる。
【００３４】
図９はこの様子を説明する図である。図９において、例えばＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。なお、これらＩＤや地図との対応は、地図データ保存部２０に保存されている。
【００３５】
ＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するフレームが特定されると、それらフレームに挟まれたパノラマ画像群が道Ｒ１に対応することとなる。図では、このパノラマ画像群にはｎ個のパノラマ画像が存在する。そして、区分点Ｃ１とＣ２に対応するフレームにはそれぞれＣ１、Ｃ２のＩＤが付与され、パノラマ画像群の各パノラマ画像には、順番にＲ１−１〜Ｒ１−ｎが付与されている。
【００３６】
なお、区分点とパノラマ画像との対応付けは、ＧＰＳデータに従って自動的に行われるものとしたが、ユーザが画像データ保存部に保持されたビデオフレームを再生しながら、フレームと対応する地図上の交差点を指定することによって、上述のような対応付けをすることも可能である。この場合、区分点に挟まれたパノラマ画像群の各パノラマ画像の位置を、例えば、当該区分点を結ぶ線分上に等間隔に割り当てる（上記例では、Ｃ１とＣ２を結ぶ線分をｎ＋１等分して、各分割位置に順番にｎ個のパノラマ画像を割り当てる）ようにすれば、ＧＰＳを用いずに上述のような対応付けデータを生成、保持することが可能である。
【００３７】
以上のようにして格納された対応付けデータを用いてウォークスルー再生が行われる。ウォークスルー再生では、操作部４０よりジョイスティック１１０等を用いたウォークスルーのための操作が行われると、画像再生制御部６０がこの操作入力に応じて体験者の地図上の視点位置（地図上の道における位置）と視線方向を生成する。更に画像再生制御部６０は、この生成された視点位置と視線方向、及び表示部７０に表示される画像の画角に基づいて、表示部７０に表示すべき画像を、対応付けデータ２１０に格納されたパノラマ画像に基づいて生成し、表示部７０に表示させる。例えば、視点位置が地図上のａ地点であり、視線方向が進行方向に対して１５度の方向を向いている場合は、ａ地点に対応するパノラマ画像中の１５度の方向に対応する部分画像が抽出されることになる。こうして、体験者の視点位置の地図上における移動と視線方向に対応するように、画像再生制御部６０が表示画像の取得と、表示部７０への表示を行うことにより、ウォークスルー再生が実現されることになる。
【００３８】
さて、上記の構成において、対応付けデータ保存部５０によって保持されたパノラマ画像（本実施形態では３６０度の全周画像とする）をメモリ上に読み出し、表示部７０への表示画角に対応した任意の視線方向の画像を生成し、これにＣＧ画像を重畳して表示することが可能である。このようにすることで、ウォークスルー再生にバリエーションを持たせることができる。しかしながら、表示画角及び視線方向に対応して切り出した画像にＣＧ画像を重畳描画する際に、切り出し画像とＣＧ画像との間で画素単位でのオクルージョン判定を行う必要が生じる。このため、ＣＧ画像の描画処理に時間がかかり、表示タイミングの遅れを招いてしまう。
【００３９】
一方、最初からＣＧが描画されたパノラマ画像を用いようとした場合は、ＣＧ画像の描画処理による表示タイミングの遅れは解決するが、任意のタイミングでＣＧ画像の描画を実行／停止するといったような、パノラマ画像の状態を任意のタイミングで切り替えるという柔軟な表示操作ができなくなってしまう。
【００４０】
本実施形態のウォークスルーシステムでは、同一経路に対応したパノラマ画像系列を、表示したい状態に応じて複数種類用意しておき、これらを必要に応じて切り替えてウォークスルー再生に用いることで、任意のタイミングでのパノラマ画像の状態の切り替えを可能としつつ、リアルタイムな画像表示を確実に行えるようにする。
【００４１】
図１０は第１実施形態によるパノラマ画像の再生処理機能を説明する図である。図１０に示しているのは画像再生制御部６０の機能構成である。画像再生制御部６０は、対応付けデータ保存部５０に保持された、複数の状態に対応した同一経路のパノラマ画像系列から切替指示に応じて所望のパノラマ画像系列を選択して、ウォークスルー再生を行う。
【００４２】
図１０において、対応付けデータ格納部５０にはｓ個のそれぞれ異なる状態のパノラマ画像と地図データが対応付けられた、ｓ個の対応付けデータが格納されている。本例では、状態１〜ｓの対応付けデータ５０１〜５０ｓが格納されている。状態１の対応付けデータ５０１が実写画像から得られたパノラマ画像を含み、他の状態２〜ｓの対応付けデータ５０２〜５０ｓは、状態１のパノラマ画像にそれぞれ異なるＣＧが重畳描画されているものとする。なお、本実施形態では、各状態毎の対応付けデータに含まれるパノラマ画像の集合をパノラマ画像系列と称する。図１０の例の場合、ｓ個のパノラマ画像系列が存在することになる。
【００４３】
画像再生制御部６０において、６０１は状態選択部であり、操作部４０より与えられる操作信号（状態変更指示信号）と、後述の状態間関連付けデータ５１０に従って、対応付けデータ保存部５０に保持されている複数のパノラマ画像系列のうちの一つを画像再生に用いるパノラマ画像系列として選択し、後段へ通知する。
【００４４】
６０２はパノラマ画像復号部であり、状態選択部６０１で選択されたパノラマ画像系列から、現在の視点位置に対応するパノラマ画像を復号する。視点位置生成部６０５は、状態選択部６０１によってパノラマ画像系列の変更があった場合に、それまでのパノラマ画像系列に対する視点位置に基づいて、変更後のパノラマ画像系列に対する適切な視点位置を決定する。６０３は切り出し部であり、パノラマ画像復号部６０２で復号されたパノラマ画像から、視線方向と表示画角に応じた部分画像を切り出す。表示制御部６０４は、切り出し部６０３で切り出された画像を表示部７０に表示させるべく制御する。
【００４５】
なお、対応付けデータ格納部５０は、状態１〜ｓの対応付けデータ５０１〜５０ｓが同一の経路のパノラマ画像で構成されていることを示す状態間関連付けデータ５１０を格納している。本例では、１つの経路にｓ種類の状態のパノラマ画像系列（ｓ個の対応付けデータ）がある場合を説明しているが、複数の経路と、それぞれの経路に複数種類の状態のパノラマ画像が存在するようにすることも可能である。この場合、状態間関連付けデータ５１０は、各経路毎にどのパノラマ画像系列（対応付けデータ）が属しているかを示すことになる。
【００４６】
また、本実施形態の場合、状態間関連付けデータ５１０は、複数の状態のパノラマ画像の切り替え順序を示す情報を有する。この情報を持つことにより、状態選択部６０１に入力される状態変更指示信号は、状態の切り替えを指示するだけで、状態間関連付けデータ５１０に登録された切り替え順序で、パノラマ画像系列が順次選択され、切り替わることになる。もちろん、状態変更指示は、状態３のパノラマ画像に切り替えるといったように、具体的に状態を指定する信号であってもよい。
【００４７】
図１１は第１実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。操作部４０より状態変更指示が入力されると、画像再生制御部６０の状態選択部６０１は状態変更イベントの発生を検出する。状態変更イベントの発生が検出されると、ステップＳ１０２へ進み、切り換え後に表示すべきパノラマ画像の状態を決定する。上述したように、本実施形態では状態間関連付けデータ５１０に状態変更指示による切り替え順序が登録されており、例えば、状態１→状態２…→状態ｓ→状態１→…というよに切り替わるものとする。従って、例えば現在状態２のパノラマ画像系列が選択されているとすると、状態変更イベントにより状態３のパノラマ画像系列を用いることになる。
【００４８】
次にステップＳ１０３において、視点位置生成部６０５は、ステップＳ１０２で決定した新しい状態のパノラマ画像系列における最初の視点位置を決定する。ここでは、変更直前に表示されたパノラマ画像の視点位置に基づいて、新しい状態のパノラマ画像系列に切り替えた後の最初に表示すべき視点位置を決定する。具体的には、変更前のパノラマ画像系列の視点位置に最も近い変更後のパノラマ画像系列の視点位置を求め、これを最初に表示すべき視点位置に決定する。或いは、変更後のパノラマ画像系列において、上記求めた視点位置の次の視点位置を最初に表示すべき視点位置に決定する。
【００４９】
このような処理を行うのは、次の理由による。すなわち、１つのパノラマ画像系列を基に、コンピュータグラフィックス描画を重畳して複数のパノラマ画像系列を生成した場合は、各パノラマ画像の視点位置が完全に一致するので、変更直前のパノラマ画像の視点位置と変更後のパノラマ画像の視点位置を一致させることができる。
【００５０】
しかしながら、同一経路について異なる実写画像データを用いた場合、例えば朝、昼、夜において撮影された実写画像データを基に、それぞれ状態１、状態２、状態３のパノラマ画像系列を作成した場合は、交通事情等により状態１、２、３の対応付けデータは、それぞれ個別にパノラマ画像と視点位置との対応付けがなされたものとなるので、完全には一致しない。従って、それまで表示していたパノラマ画像の視点位置に最も近い視点位置を変更後の対応付けデータから取り出すという処理を行うことで、ウォークスルー再生中の状態変更をより自然に見せるようにする。
【００５１】
ステップＳ１０４では、パノラマ画像復号部６０２において、ステップＳ１０２で選択されたパノラマ画像系列より、ステップＳ１０３で決定された視点位置に対応するパノラマ画像を選択し、これを復号する。そして、ステップＳ１０５において、画像切り出し部６０３は、復号されたパノラマ画像から、視線方向と表示画角に基づいてパノラマ画像から対応する部分を切り出して表示用画像を生成し、表示制御部６０４がこれを表示部７０に表示させる。
【００５２】
なお、ステップＳ１０１で状態変更イベントが発生していな場合は、ステップＳ１１０へ進み、視点位置生成部６０５が現在使用中のパノラマ画像系列における次の視点位置を決定し、ステップＳ１０４へ進む。以上のステップＳ１０１からＳ１０５、Ｓ１１０の処理を、終了操作があるまで繰り返す（ステップＳ１０６）。
【００５３】
以上のように第１実施形態によれば、状態の異なるパノラマ画像系列への切り替えを、ウォークスルー再生を継続させながら、状態変更指示を行うだけで行うことができる。また、ＣＧを重畳描画させた画像再生を行う場合でも、予めＣＧが描画されたパノラマ画像への切り換えを行うだけなので、画像再生のリアルタイム性を損なうことがなく、ＣＧ描画の有無を自在に切り替えることも可能である。
【００５４】
＜第２実施形態＞
第１実施形態では、対応付けデータが、地図上の位置とパノラマ画像系列の各パノラマ画像とが対応付けられたものである場合を説明した。第２実施形態では、図９を用いて説明したような、地図上の区分点と道によって地図上の位置とパノラマ画像とを対応付けた場合に特化させて説明する。
【００５５】
図９で説明したように、図１２は第２実施形態による対応付けデータ保存部５０のデータ構成例を示す図である。状態１〜状態ｓのそれぞれの状態毎に、地図上の道（１〜ｎ）、区分点（１〜ｍ）との対応づけがなされている。状態間関連付けデータ５１０は、状態１〜状態ｓのパノラマ画像系列を関連づけるものであり、本実施形態では、画像系列の切り換え順序をも含む。
【００５６】
図１３は第２実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。操作部４０より状態変更指示が入力されると、画像再生制御部６０の状態選択部６０１は状態変更イベントの発生を検出する（ステップＳ２０１）。状態変更イベントの発生が検出されると、ステップＳ２０１からステップＳ２０２へ進み、切り換え後に表示すべきパノラマ画像系列を決定する。上述したように、第２実施形態では状態間関連付けデータ５１０には、状態変更指示による切り替え順序が登録されており、例えば、状態１→状態２…→状態ｓ→状態１→…というように切り替わるものとする。従って、例えば現在状態２のパノラマ画像が再生されているとすると、状態変更イベントにより状態３のパノラマ画像を用いることになる。
【００５７】
次にステップＳ２０３において、ステップＳ２０２で決定した新しい状態のパノラマ画像系列を用いて表示すべき最初の視点位置を決定する。ここでは、変更直前に表示されたパノラマ画像の視点位置、すなわち、どの「道」の何番目のパノラマ画像であるか（フレーム順位）に基づいて、新しい状態のパノラマ系列に切り替えた後の最初に表示すべきパノラマ画像の視点位置（どの道の何番目のフレーム）を決定する。このようにすることで、各道に含まれる画像数が対応付けデータ毎に異なっていても、より正しく次の視点位置を決定できる。例えば、現在選択されているパノラマ画像系列において、ある道に１０枚のパノラマ画像が存在し、現在の視点位置がその道の６番目のパノラマ画像を示しており、切り替え後のパノラマ画像系列の対応する道には１５枚のパノラマ画像が存在する場合、９番目のパノラマ画像が選択されることになる（１５×６／１０）。
【００５８】
ステップＳ２０４では、ステップＳ２０２で選択されたパノラマ画像系列より、ステップＳ２０３で決定された視点位置（「道」と「フレーム順位」）に対応するパノラマ画像を選択する。そして、ステップＳ２０５において、選択したパノラマ画像が符号化されている場合はこれを復号し、視線方向と表示画角に基づいてパノラマ画像から対応する部分を切出して表示用画像を生成し、これを表示部７０に送って表示させる。
【００５９】
なお、ステップＳ２０１で状態変更イベントが発生していな場合は、ステップＳ２１０へ進み、現在使用中のパノラマ画像系列における次の視点位置（「道」と「フレーム順位」）を決定し、ステップＳ２０４へ進む。以上のステップＳ２０１からＳ２０５、Ｓ２１０の処理を、終了操作があるまで繰り返す（ステップＳ２０６）。
【００６０】
以上のように第２実施形態によれば、第１実施形態と同様の効果を奏する他、区分点と、道によってパノラマ画像と地図データが対応付けられて保存されている場合でも、迅速且つ自然に状態を変更することができる。
【００６１】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するにおいて、状態の異なるパノラマ画像を任意に切替可能になるとともに、その再生のリアルタイム性が向上する。
【図面の簡単な説明】
【図１】本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。
【図２】画像データ保存部１０に保存されるフレームデータを収集するための画像データ収集システム９０の構成例を示す図である。
【図３】撮影部９１の構成を詳細に示すブロック図である。
【図４】記録部９２の構成を詳細に示すブロック図である。
【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック図である。
【図６】画像データ保存部１０におけるビデオデータと位置データ（ＧＰＳ測定結果データ）の格納状態例を示す図である。
【図７】本実施形態による画像再生装置１のハード構成を示すブロック図である。
【図８】本実施形態のウォークスルーシステムにおける、画像再生装置１の処理内容を説明する図である。
【図９】道と区分点を用いたパノラマ画像の地図データへの対応付けを説明する図である。
【図１０】第１実施形態によるパノラマ画像の再生処理機能を説明する図である。
【図１１】第１実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。
【図１２】第２実施形態による対応付けデータ保存部５０のデータ構成例を示す図である。
【図１３】第２実施形態によるパノラマ系列の切り替え処理を説明するフローチャートである。
Claims (7)
- 同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納する格納手段と、
１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へ表示させる抽出手段と、
前記抽出手段によって抽出され表示中の画像系列から他の画像系列への切り替えを指示する指示手段と、
前記指示手段によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択手段と、
前記選択手段で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御手段とを備え、
前記格納手段において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含むことを特徴とする画像処理装置。 - 前記複数の画像系列を関連付ける関連付けデータを有し、
前記選択手段は、前記指示手段による指示により、前記関連付けデータで関連付けされた複数の画像系列の一つを選択することを特徴とする請求項１に記載の画像処理装置。 - 前記関連付けデータは、前記関連付けされた複数の画像系列における選択順序を示す順序情報を含み、
前記選択手段は、前記指示手段による指示により、前記関連付けデータで関連付けされた複数の画像系列の一つを、前記順序情報に従った順序で選択することを特徴とする請求項２に記載の画像処理装置。 - 前記画像系列は複数のパノラマ画像によって構成されていることを特徴とする請求項１乃至３のいずれかに記載の画像再生装置。
- 同一経路について、複数の視点位置に対応する複数の画像からなる複数の画像系列を格納装置に格納する格納工程と、
前記格納装置に格納された１つの画像系列より、視点位置及び視線方向に対応する画像を抽出して表示手段へと表示させる抽出工程と、
前記抽出工程によって抽出されて表示中の画像系列から他の画像系列への切り替えを指示する指示工程と、
前記指示工程によって切り替えが指示された場合、前記表示手段に表示中の画像系列と同一経路の他の画像系列を選択する選択工程と、
前記選択工程で選択された画像系列に含まれる画像を用いて前記表示手段に表示を行わせるべく制御する制御工程とを備え、
前記格納工程において、同一経路について格納される複数の画像系列は、異なるコンピュータグラフィックスが重畳描画されたものを含むことを特徴とする画像処理方法。 - 請求項５に記載の画像処理方法をコンピュータによって実現するための制御プログラム。
- 請求項５に記載の画像再生方法をコンピュータによって実現するための制御プログラムを格納する記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001063923A JP3572025B2 (ja) | 2001-03-07 | 2001-03-07 | 画像再生装置及び画像処理装置とそれらの方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001063923A JP3572025B2 (ja) | 2001-03-07 | 2001-03-07 | 画像再生装置及び画像処理装置とそれらの方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002271814A JP2002271814A (ja) | 2002-09-20 |
| JP3572025B2 true JP3572025B2 (ja) | 2004-09-29 |
Family
ID=18922828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001063923A Expired - Fee Related JP3572025B2 (ja) | 2001-03-07 | 2001-03-07 | 画像再生装置及び画像処理装置とそれらの方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3572025B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228591A (zh) * | 2016-07-12 | 2016-12-14 | 江苏奥格视特信息科技有限公司 | 虚拟现实超高速实时渲染方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003295586B2 (en) * | 2002-11-15 | 2009-05-07 | Warner Bros. Entertainment Inc. | Method for digitally rendering skin or like materials |
| JP5129459B2 (ja) | 2006-04-25 | 2013-01-30 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3500027B2 (ja) * | 1997-01-29 | 2004-02-23 | 日本電信電話株式会社 | 映像統合装置 |
| JPH10222696A (ja) * | 1997-02-05 | 1998-08-21 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法 |
| JP3279960B2 (ja) * | 1997-06-27 | 2002-04-30 | 松下電器産業株式会社 | 経路画像情報記録再生装置及び経路画像情報記録方法 |
| JP3571893B2 (ja) * | 1997-12-03 | 2004-09-29 | キヤノン株式会社 | 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法 |
| JPH11259672A (ja) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | ３次元仮想空間表示装置 |
| JP2000076488A (ja) * | 1998-08-26 | 2000-03-14 | Mitsubishi Electric Corp | ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置 |
| JP3309841B2 (ja) * | 1999-12-10 | 2002-07-29 | 株式会社日立製作所 | 合成動画像生成装置および合成動画像生成方法 |
-
2001
- 2001-03-07 JP JP2001063923A patent/JP3572025B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228591A (zh) * | 2016-07-12 | 2016-12-14 | 江苏奥格视特信息科技有限公司 | 虚拟现实超高速实时渲染方法 |
| CN106228591B (zh) * | 2016-07-12 | 2020-06-26 | 江苏奥格视特信息科技有限公司 | 虚拟现实超高速实时渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002271814A (ja) | 2002-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3472273B2 (ja) | 画像再生装置及び画像処理装置及び方法 | |
| JP3432212B2 (ja) | 画像処理装置及び方法 | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| US9807354B2 (en) | Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program | |
| US7626596B2 (en) | Image reproducing method and apparatus for displaying annotations on a real image in virtual space | |
| JP4965475B2 (ja) | 仮想移動表示装置 | |
| JPH11168754A (ja) | 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 | |
| JP2001008232A (ja) | 全方位映像出力方法と装置 | |
| KR20100043139A (ko) | 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램 | |
| JP3352475B2 (ja) | 画像表示装置 | |
| JPH07288725A (ja) | ビデオ装置 | |
| JP3572025B2 (ja) | 画像再生装置及び画像処理装置とそれらの方法 | |
| JP4078080B2 (ja) | 情報処理装置および方法 | |
| JP4886349B2 (ja) | 模擬視界生成装置 | |
| JP2004062755A (ja) | 画像提示装置および情報処理方法 | |
| JP3432213B2 (ja) | 画像再生装置及び方法 | |
| JP3176037B2 (ja) | ナビゲーション装置および同装置における映像データ表示方法 | |
| JP4371863B2 (ja) | 再生装置及び方法 | |
| JP2005174024A (ja) | 画像生成装置及び方法 | |
| JP3295672B2 (ja) | 動作履歴出力機能を有する情報処理装置 | |
| JPH09186957A (ja) | 画像記録再生装置 | |
| JP2010171838A (ja) | 動画表示装置、プログラムおよび撮像装置 | |
| JP2009212959A (ja) | 映像検索装置 | |
| WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
| JP5298214B2 (ja) | 仮想移動表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040625 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |