JP3472273B2

JP3472273B2 - 画像再生装置及び画像処理装置及び方法

Info

Publication number: JP3472273B2
Application number: JP2001063921A
Authority: JP
Inventors: 大輔小竹; 昭宏片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-07
Filing date: 2001-03-07
Publication date: 2003-12-02
Anticipated expiration: 2021-03-07
Also published as: US20020126914A1; US7103232B2; JP2002269591A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間の撮影によ
って得られた画像データを処理して仮想空間を表現する
画像再生装置及び画像処理装置及び方法に関する。

【０００２】

【従来の技術】移動体に搭載された撮影装置によって現
実空間を撮影し、撮影された実写画像データをもとに、
撮影した現実空間を計算機を用いて仮想空間として表現
する試みが提案されている（例えば遠藤、片山、田村、
廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市
空間の電脳映像化について”（信学ソサイエティ、PA-3
-4、pp.276-277、1997年）、または廣瀬、渡辺、谷川、
遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳
映像都市空間の構築(2)−実写画像を用いた広域仮想空
間の生成−”（日本バーチャルリアリティ学会第2回大
会論文集、pp.67-70、1997年）などを参照）。

【０００３】移動体に搭載された撮影装置によって撮影
された実写画像データをもとに、撮影した現実空間を仮
想空間として表現する手法としては、実写画像データを
もとに現実空間の幾何形状モデルを再現し、従来のＣＧ
技術で表現する手法が挙げられるが、モデルの正確性や
精密度、写実性などの点で限界がある。一方、モデルを
用いた再現を行わずに、実写画像を用いて仮想空間を表
現するImage-Based Rendering（ＩＢＲ）技術が近年注
目を集めている。ＩＢＲ技術は、複数の実写画像をもと
に、任意の視点から見た画像を生成する技術である。Ｉ
ＢＲ技術は実写画像に基づいているために、写実的な仮
想空間の表現が可能である。

【０００４】このようなＩＢＲ技術を用いてウォークス
ルー可能な仮想空間を構築するためには、体験者の仮想
空間内の位置に応じた画像の生成・呈示を行う必要があ
る。そのため、この種のシステムにおいては、実写画像
データの各フレームと仮想空間内の位置とを対応付けて
保存しておき、体験者の仮想空間における位置と視点方
向に基づいて対応するフレームを取得し、これを再生す
る。

【０００５】現実空間内の位置データを得る手法として
は、カー・ナビゲーション・システムなどにも用いられ
ているＧＰＳ（Global Positioning System）に代表さ
れる人工衛星を用いた測位システムを利用するのが一般
的である。ＧＰＳなどから得られる位置データと、実写
画像データを対応付ける手法としては、タイムコードを
用いて対応付ける手法が提案されている（特開平11-168
754）。この手法では、位置データに含まれる時刻デー
タと、実写画像データの各フレームに付加したタイムコ
ードとを対応付けることで、実写画像データの各フレー
ムと位置データとの対応付けを行う。

【０００６】このような仮想空間内のウォークスルーに
おいては、体験者が各視点位置で所望の方向をみること
ができるようにする。このため、各視点位置の画像を、
再生時の画角よりも広い範囲をカバーするパノラマ画像
で保存しておき、体験者の仮想空間における視点位置と
視線方向とに基づいてパノラマ画像から再生すべき部分
画像を切り出し、これを表示することが考えられる。

【０００７】

【発明が解決しようとする課題】しかしながら、ウォー
クスルーにおいて実際に表示する画像はパノラマ画像の
一部であり、他の部分は用いられないにもかかわらず、
データの読み出しや復号処理をパノラマ画像の全体につ
いて行う必要があり、処理の効率が悪い。すなわち、画
像を表示するためには、体験者の位置に応じてパノラマ
画像の全体を読み出し、圧縮されている場合はこのパノ
ラマ画像全体を復号し、得られた画像データから体験者
の視線方向に応じた部分画像を切り出して表示するとい
う処理が必要となる。パノラマ画像全体について読み出
しと復号を行っても実際に表示に用いられるのはその内
の一部であり、他の部分については無駄な処理となって
しまう。

【０００８】特にパノラマ画像として３６０度の全周画
像を用いたり、全天周画像を用いるような場合には、各
視点位置におけるパノラマ画像の読み出し及び復号処理
の大部分が、表示には不要な部分に対する処理となり、
無駄となる。すなわち、コンピュータに余計な負荷をか
けることになり、ウォークスルーにおけるリアルタイム
な再生表示が行えなくなってしまうことも考えられる。

【０００９】本発明は上記の課題に鑑みてなされたもの
であり、ＩＢＲ技術を用いてウォークスルー可能な仮想
空間を構築するにおいて、保持された画像情報を効率的
に再生可能とし、再生のリアルタイム性を向上すること
を目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像再生装置は以下の構成を備える。
すなわち、複数の視点位置に対応する複数のパノラマ画
像のそれぞれについて、パノラマ画像を所定の画角で分
割して得られる部分画像の形態で格納する格納手段と、
ここで、前記パノラマ画像は表示手段による画像の表示
画角よりも広い画角範囲に対応し、視点位置及び視線方
向の情報と、前記表示画角に基づいて、前記格納手段に
格納された部分画像を選択する選択手段と、選択された
部分画像から前記視点位置及び視線方向に対応した画像
を生成し、前記表示手段にこれを提供する生成手段とを
備え、そして、前記格納手段は、隣接する部分画像が互
いに重複する部分を有するようにパノラマ画像を分割し
て得られた部分画像を格納し、前記部分画像の画角は前
記表示画角の２倍であり、両隣の部分画像によって当該
部分画像の全てが重複する。また、上記の目的を達成す
るための本発明の他の構成による画像再生装置は以下の
構成を備える。すなわち、複数の視点位置に対応する複
数のパノラマ画像のそれぞれについて、パノラマ画像を
所定の画角で分割して得られる部分画像の形態で格納す
る格納手段と、ここで、前記パノラマ画像は表示手段に
よる画像の表示画角よりも広い画角範囲に対応し、視点
位置及び視線方向の情報と、前記表示画角に基づいて、
前記格納手段に格納された部分画像を選択する選択手段
と、選択された部分画像から前記視点位置及び視線方向
に対応した画像を生成し、前記表示手段にこれを提供す
る生成手段とを備え、前記格納手段は、前記部分画像の
各々を９０度回転させた画像で格納する。

【００１１】また、上記の目的を達成するための本発明
による画像再生方法は以下の工程を備える。すなわち、
複数の視点位置に対応する複数のパノラマ画像のそれぞ
れについて、パノラマ画像を所定の画角で分割して得ら
れる部分画像の形態で格納手段に格納する格納工程と、
ここで、前記パノラマ画像は表示手段による画像の表示
画角よりも広い画角範囲に対応し、視点位置及び視線方
向の情報と、前記表示画角に基づいて、前記格納手段に
格納された部分画像を選択する選択工程と、選択された
部分画像から前記視点位置及び視線方向に対応した画像
を生成し、前記表示手段にこれを提供する生成工程とを
備え、ここで、前記格納工程は、隣接する部分画像が互
いに重複する部分を有するようにパノラマ画像を分割し
て得られた部分画像を格納し、前記部分画像の画角は前
記表示画角の２倍であり、両隣の部分画像によって当該
部分画像の全てが重複する。また、上記の目的を達成す
るための本発明の他の態様による画像再生方法は以下の
工程を備える。すなわち、複数の視点位置に対応する複
数のパノラマ画像のそれぞれについて、パノラマ画像を
所定の画角で分割して得られる部分画像の形態で格納手
段に格納する格納工程と、ここで、前記パノラマ画像は
表示手段による画像の表示画角よりも広い画角範囲に対
応し、視点位置及び視線方向の情報と、前記表示画角に
基づいて、前記格納手段に格納された部分画像を選択す
る選択工程と、選択された部分画像から前記視点位置及
び視線方向に対応した画像を生成し、前記表示手段にこ
れを提供する生成工程とを備え、前記格納工程は、前記
部分画像の各々を９０度回転させた画像で格納する。

【００１２】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明の好適な実施形態を説明する。

【００１３】＜第１の実施形態＞まず、本実施形態によ
る仮想空間のウォークスルーシステムについて説明す
る。本実施形態では、例えば自動車などの移動体に搭載
された複数の撮影装置によって撮影して得られた実写画
像データからパノラマ画像データを生成し、このパノラ
マ画像データを現実空間の位置としての地図データと対
応付けて保持する。そして、体験者の仮想空間における
視点位置と視線方向に応じて、保持されているパノラマ
画像データから表示画像を生成することにより、仮想空
間内のウォークスルーを実現する。

【００１４】図１は本実施形態によるウォークスルーシ
ステムの機能構成を説明するブロック図である。本ウォ
ークスルーシステムは、画像データ収集システム９０と
画像再生装置１とを含んで構成される。画像再生装置１
は、画像データ保存部１０、地図データ保存部２０、画
像・地図対応付け部３０、操作部４０、対応付けデータ
保存部５０、画像再生制御部６０、表示部７０を有す
る。

【００１５】画像データ保存部１０は、後で詳述する画
像データ収集システム９０によって得られた実写画像デ
ータとしてのフレームデータを格納する。地図データ保
存部２０は、地図のイメージ情報と該地図イメージ上の
各位置を経度と緯度に関連した座標で表すための座標情
報を含む地図データを格納する。地図データ保存部２０
には、少なくとも画像データ収集システム９０によって
撮影され、画像データ保存部１０に保存されたフレーム
データの現実空間位置に対応した範囲の地図データが保
存されている。なお、地図データは、不図示のハードデ
ィスク、ＲＡＭまたは他の外部記憶装置に保存される。

【００１６】画像・地図対応付け部３０は、画像データ
保存部１０に保存されているフレームデータから各視点
位置のパノラマ画像データを生成し、これを地図データ
保存部２０に保存されている地図データと対応付ける。
こうして対応付けされたパノラマ画像データと地図デー
タは、対応付けデータとして対応付けデータ保存部５０
に保存される。なお、画像・地図対応付け部３０では、
同一時刻において複数の撮影装置から得られたフレーム
データからパノラマ画像を生成し、その時刻におけるＧ
ＰＳ情報から対応する地図データ（地図上の位置デー
タ）を特定し、これらを対応付け、対応付けデータ保存
部５０に保存する。後述するように、ＧＰＳ情報と複数
の撮影装置から得られたフレームデータの各々にはタイ
ムコードが付加され、このタイムコードにより同一時刻
のフレーム、ＧＰＳ情報が取得される。

【００１７】操作部４０は、マウス、キーボード、ジョ
イスティック等を備える。なお、上述の画像・地図対応
付け部３０において、操作部４０からの操作入力に従っ
て、画像データ保存部１０に保存されたフレームと地図
データ保存部２０に保存された地図データとの対応付け
を編集可能としてもよい。

【００１８】画像再生制御部６０は、操作部４０からの
操作入力に従って体験者の視点位置（地図上の位置）、
視線方向を決定し、対応付けデータ保存部５０で保存さ
れたデータから必要な画像データを読み出し、表示部７
０で表示を行うための画像データを生成する。

【００１９】図２は、画像データ保存部１０に保存され
るフレームデータを収集するための画像データ収集シス
テム９０の構成例を示す図である。図２に示されるよう
に、この画像データ収集システム９０は、撮影部９１、
記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられ
る。以下、各部について、図３〜図５を参照して詳細に
説明する。

【００２０】図３は、撮影部９１の構成を詳細に示すブ
ロック図である。本実施形態では、撮影部９１は車輌な
どの移動体に搭載して用いられる。撮影部９１は、ｎ台
（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号
発生部９４から成る。ビデオカメラ９１−１〜ｎにはそ
れぞれ同期信号発生部９４からの外部同期信号を入力す
ることが可能であり、本実施形態では、同期信号発生部
９４より出力される外部同期信号を用いてビデオカメラ
９１−１〜ｎのｎ台の撮影タイミングを一致させてい
る。

【００２１】図４は、記録部９２の構成を詳細に示すブ
ロック図である。記録部９２はタイムコード発生部９５
と、ビデオカメラ９１−１〜ｎに対応する録画部（本例
ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを
備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎ
からの画像出力は、それぞれ録画部９２−１〜ｎの入力
となる。また、タイムコード発生部９５は、撮影時刻を
表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。
ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画
像入力とタイムコード発生部９５からのタイムコードを
取り込み、タイムコードつきのビデオデータとして記録
する。

【００２２】以上のようにしてＶＣＲ９２−１〜ｎのそ
れぞれに収集された画像情報は、Ａ／Ｄ変換部９３によ
ってディジタルの画像データに変換され、画像データ保
存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構
成を詳細に示すブロック図である。Ａ／Ｄ変換部９３
は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣ
Ｒ９２−１〜ｎの各々に対応するビデオ・キャプチャ・
ボード（以下、キャプチャ・ボード）９３−１〜ｎを有
する。キャプチャ・ボードは必ずしもビデオカメラの台
数分必要ではなく、ＰＣに搭載できる数のキャプチャ・
ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣ
Ｒから供給されるアナログ画像データをディジタル画像
データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９
６に接続された、ハードディスク等を含んで構成される
画像データ保存部１０またはその他の記憶媒体に保存す
る。

【００２３】更に、本システムにおいては、タイムコー
ド発生部９５からタイムコードが発生するタイミングで
ＧＰＳ９７より位置データを取得し、取得した位置デー
タをその時点のタイムコードと対応付けて保持する。

【００２４】図６は画像データ保存部１０におけるビデ
オデータと位置データ（ＧＰＳ測定結果データ）の格納
状態例を示す図である。図６に示すように、画像データ
保存部１０には、タイムコードが付加されたフレームと
タイムコードが付加された位置データとが格納されるこ
とになる。よって、このタイムコードを介して、フレー
ムと位置データが対応付けられる。なお、図６では１つ
のビデオカメラからのビデオデータしか示していない
が、ビデオデータは上述したようにビデオカメラの台数
分（ｎ台分）が存在する。

【００２５】なお、ＧＰＳにおける３次元位置の算出は
公知であり、ここでは詳細な説明を省略する。以上のよ
うにして、ｎ台のビデオカメラによって画像を撮影しな
がら、ＧＰＳによって逐次得られる緯度、経度データＰ
（θ，φ）をタイムコード発生部７２からのタイムコー
ドに対応付けて格納していく。従って、このタイムコー
ドを介して、ビデオデータの各フレームと、ＧＰＳから
得られた緯度，経度データを対応付けることができる。

【００２６】なお、画像データがキャプチャ・ボード９
３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、
記録されているタイムコードを用いてキャプチャ開始部
分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ
・ボードを介して取得されるディジタル画像データがす
べて同時刻に撮影された、同じ長さのキャプチャデータ
で構成されるようにする。

【００２７】次に、画像再生装置１について説明する。
図７は、本実施形態による画像再生装置１のハード構成
を示すブロック図である。図７に示したハード構成は通
常のパーソナルコンピュータの構成と同等である。図７
において、ディスク１０５は画像データ保存部１０を構
成するものであり、図２〜図６に関連して説明した画像
データ収集システム９０によって得られたフレームデー
タと位置データが記憶されている。なお、ディスク１０
５は上述の画像データ保存部１０のみならず、図１に示
した地図データ保存部２０、対応付けデータ保存部５０
をも構成するものである。

【００２８】ＣＰＵ１０１は、ディスク１０５またはＲ
ＯＭ１０６、または外部記憶装置（不図示）に保存され
ているプログラムを実行することにより、画像データと
地図データとを対応付けて格納する画像・地図対応付け
部３０として、また、対応付けデータ保存部５０に保存
された画像データをもとに画像再生を行う画像再生制御
部６０として機能する。

【００２９】ＣＰＵ１０１が表示コントローラ１０２に
対して各種の表示指示を行うことにより、表示コントロ
ーラ１０２およびフレームバッファ１０３によって表示
器１０４に所望の表示がなされる。なお、図では表示コ
ントローラ１０２としてＣＲＴＣ、表示器１０４として
ＣＲＴを示したが、表示器としては陰極線管に限らず、
液晶表示器等を用いてもよいことはもちろんである。な
お、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲ
Ｔ１０４は、上述の表示部７０を構成する。マウス１０
８、キーボード１０９及びジョイスティック１１０は、
当該画像保持・再生装置１へのユーザの操作入力を行う
ためのものであリ、上述の操作部４０を構成する。

【００３０】次に、以上の構成を備えた本実施形態のウ
ォークスルーシステムにおける、画像再生装置１の動作
の概要について説明する。図８は本実施形態のウォーク
スルーシステムにおける、画像再生装置１の処理内容を
説明する図である。

【００３１】画像データ保存部１０には、上述した画像
データ収集システム９０によって、ｎ台のビデオカメラ
９１−１〜ｎによって得られたビデオデータに基づくタ
イムコード付のフレームデータと、ＧＰＳ９７によって
得られた位置データに基づくタイムコード付の位置デー
タが格納されている。

【００３２】画像・地図対応付け部３０は、同一のタイ
ムコードのフレームデータを接合してパノラマ画像を生
成するとともに、地図データ保存部２０に保持されてい
る地図データを参照して当該タイムコードに対応する位
置データを地図上の位置に変換する。そして、得られた
パノラマ画像と、地図上の位置とを対応付けた対応付け
データ２１０を生成し、対応付けデータ保存部５０に格
納する。

【００３３】なお、対応付けデータ格納部５０におい
て、本実施形態では次のデータ格納形態をとる。すなわ
ち、交差点や曲がり角を区分点とし、区分点と区分点で
挟まれた線分を道として、各区分点、道にＩＤを割り当
て、このＩＤを対応するフレームに付加する。１つの道
に対応するフレーム群には、先頭から順に番号が振られ
る。

【００３４】図９はこの様子を説明する図である。図９
において、例えばＩＤがＣ１である区分点とＣ２である
区分点に挟まれた線分にＲ１というＩＤが付与されてい
る。これらＩＤや地図との対応は、地図データ保存部２
０に保存されている。

【００３５】ＧＰＳデータ等に基づいて区分点Ｃ１とＣ
２に対応するフレームが特定されると、それらフレーム
に挟まれたフレーム群が道Ｒ１に対応することとなる。
図では、このフレーム群にｎ個のフレームが存在する。
そして、区分点Ｃ１とＣ２に対応するフレームにはそれ
ぞれＣ１、Ｃ２のＩＤが付与され、フレーム群の各フレ
ームには、順番にＲ１−１〜Ｒ１−ｎが付与される。

【００３６】なお、区分点とフレームとの対応付けは、
ＧＰＳデータに従って自動的に行われるものとしたが、
ユーザがビデオを再生しながら、フレームと対応する地
図上の交差点を指定することによって対応付けすること
も可能である。この場合、区分点に挟まれたフレーム群
の各フレームの位置は、例えば、当該区分点を結ぶ線分
上に等間隔に割り当てる（上記例では、Ｃ１とＣ２を結
ぶ線分をｎ＋１等分して、各分割位置に順番にｎ個のフ
レームを割り当てる）ようにすれば、ＧＰＳを用いずに
システムを構成することが可能である。

【００３７】以上のようにして格納された対応付けデー
タを用いてウォークスルー再生が行われる。操作部４０
よりジョイスティック１１０等を用いたウォークスルー
操作が行われると、これに従って、体験者の地図上の視
点位置（地図上の道における位置）と視線方向が生成さ
れる。画像再生制御部６０は、この生成された視点位置
と視線方向、及び表示部７０に表示される画角に基づい
て、表示部７０に表示すべき画像を対応付けデータ２１
０から取得し、これを表示部７０に表示させる。例え
ば、地図上のａ地点において１５度の方向を向いている
場合は、ａ地点に対応するパノラマ画像中の１５度の方
向に対応する部分画像が抽出されることになる。そし
て、体験者の位置が地図上を移動するのに従って順次決
定される視点位置及び視線方向について、画像再生制御
部６０が上記のようにして表示画像の取得と、表示部７
０への表示を行うことにより、ウォークスルーが実現さ
れることになる。

【００３８】上記の構成において、対応付けデータ保存
部５０によって保持されたパノラマ画像（本実施形態で
は３６０度の全周画像とする）をメモリ上に読み出し、
所望の画角で任意の方向の画像を生成する場合、必要と
される画像データはパノラマ画像のうちのごく一部であ
る。例えば、３６０度の全周画像を表すパノラマ画像か
ら６０度の画角の画像を切り出す場合、残りの３００度
分の画像に対するデータ（全体の５／６に相当するデー
タ）の読み出しや復号等の処理は無駄な処理となる。従
って、パノラマ画像の全体を読み出すのは、時間、メモ
リ資源の観点から無駄である。特に、パノラマ画像がＪ
ＰＥＧ等で圧縮されている場合は、パノラマ画像全体を
復号しなけれならず、表示タイミングの遅れを招いてし
まう。

【００３９】本実施形態のウォークスルーシステムで
は、このような不具合を解決するべく、パノラマ画像を
分割して得られる部分画像を単位として読み出し可能と
し、無駄なデータの読み出し及び復号処理を減らして、
処理の高速化を図る。

【００４０】図１０は第１の実施形態による対応付けデ
ータの格納手順を説明するフローチャートである。ま
た、図１１は第１の実施形態による対応付けデータの保
存処理を説明する模式図である。

【００４１】まず、ステップＳ１０１において、画像デ
ータ保存部１０に保持されている同一タイムコードのフ
レームデータを収集し、これを合成して全周のパノラマ
画像を生成する。本実施形態では、ｎ台のビデオカメラ
をそれらの光軸がｎ／３６０度の間隔で放射方向に向か
うように配置してあり、ｎ台のビデオカメラから得られ
る、同一タイムコードのｎ個のフレームデータ２０１−
１〜ｎを合成して３６０度の全周パノラマ画像２１１を
生成する。

【００４２】次にステップＳ１０２において、ステップ
Ｓ１０１で得られたパノラマ画像２１１を所定の画角の
部分画像に分割する。本実施形態では、パノラマ画像２
１１を６０度の画角を有する６個の部分画像２２１〜２
２６へ分割する。そして、ステップＳ１０３において部
分画像２２１〜２２６の各々を個別に圧縮し、得られた
圧縮部分画像データのそれぞれを、ステップＳ１０４に
おいてファイルとしてディスク１０５に保存する。結
局、１つのパノラマ画像データ２１１から６つのファイ
ル２３１〜２３６が得られ、対応付けデータ保存部５０
に保存されることになる。

【００４３】そして、ステップＳ１０５において、視線
位置及び視線方向とステップＳ１０４で保存された各フ
ァイルとの対応付けを示すファイル管理テーブルを生成
／更新し、これを対応付けデータ保存部５０に保存す
る。ここで、視点位置は地図上の位置と対応しており、
パノラマ画像の生成に用いたフレームデータに付与され
たのと同じタイムコードを有するＧＰＳデータと、地図
データから求めることができる。もちろん図９を用いて
説明したような、区分点と道とに対応付けて保存するよ
うにしてもかまわない。

【００４４】図１２はファイル管理テーブルのデータ構
成例を説明する図である。例えば、図１１において、パ
ノラマ画像２１１が地図上の位置（ｘ1，ｙ1）の画像で
あり、生成されたファイル２３１〜２３６は夫々６０度
の範囲で切り出された部分画像を表す圧縮画像データで
あり、各ファイルのファイル名がFile1-1〜File1-6であ
る場合を説明する。この場合、地図上の位置（ｘ1、ｙ
1）に対してファイル名File1-1〜File1-6が対応付けら
れるとともに、各ファイルのパノラマ画像中の角度範囲
毎にファイル名が対応付けられる。従って、このような
ファイル管理テーブルを参照することにより、視点位置
と視線方向に従って表示部７０への表示のための画像を
生成するのに必要な部分画像ファイルを容易に読み出す
ことができる。以下、表示部７０への表示用の画像の生
成について説明する。

【００４５】図１３は第１の実施形態による表示画像の
生成・表示手順を説明するフローチャートである。ま
た、図１４は本実施形態による表示画像の生成過程、す
なわち画像再生制御部６０の動作を説明する模式図であ
る。なお、以下の説明では、圧縮部分画像ファイルの画
角と表示画像の画角を６０度として説明するが、これに
限られるものではないことはいうまでもない。

【００４６】まず、ステップＳ１２１において、操作部
４０からの操作入力に応じて表示すべき画像の視点位置
と視線方向を取得する。ステップＳ１２２では、ステッ
プＳ１２１で得られた視点位置と視線方向に従って画像
の再生に必要な部分画像を決定する。例えば、視点位置
が（ｘ1，ｙ1）、視線方向が４５度であった場合、表示
する画角の範囲は、視線方向を中心とした６０度の範囲
とすると、１５度〜７５度となるので、図１２に示した
ファイル管理テーブルからこの画像範囲を含む部分画像
の圧縮ファイル、すなわちFile1-1（３０１）とFile1-2
（３０２）が選択される。

【００４７】次に、ステップＳ１２３において、ステッ
プＳ１２２で選択したファイルを読み出し、ステップＳ
１２４でこれらファイルの圧縮画像データを復号（３１
１、３１２）して部分画像３２１、３２２を得る。そし
て、ステップＳ１２５において、上記の処理で複数の部
分画像が取得されたか否かを判定する。複数の部分画像
を取得していると判定された場合、処理はステップＳ１
２６へ進む。ステップＳ１２６では、復号された画像を
接続する。上記の例では、２つの部分画像を取得してい
るので、ステップＳ１２６へ進み、復号された２つの部
分画像（それぞれ６０度の画角を有する）を接続して、
１２０度の画角の画像３３１を得る。そして、ステップ
Ｓ１２７において、ステップＳ１２６で得られた画像か
ら視線方向を中心とする６０度の範囲の部分画像を切り
出し、ステップＳ１２８でパノラマ画像から画像平面へ
の射影変換を行ない、ステップＳ１２９でこれを表示す
る。例えば、視線方向が４５度の場合、ステップＳ１２
６の処理によって得られた０度〜１２０度の画角の部分
画像３３１のうちの１５度〜７５度の範囲の部分画像３
４１が切り出され、表示されることになる。一方、ステ
ップＳ１２５において一つの部分画像しか取得されてい
ないと判定された場合は、直接ステップＳ１２７へ進
み、この部分画像から表示画像を取得する。例えば、視
線方向が１５０度であった場合、１２０度〜１８０度の
画角を有する一つのFile1-3が選択されれば十分である
ので、一つの部分画像が取得されることになる。本実施
形態の場合は、更に部分画像の画角と表示画角がともに
６０度であるので、この部分画像がそのまま表示用画像
となり、ステップＳ１２７の切り出しも不要となる。

【００４８】以上のように、第１の実施形態によれば、
ウォークスルーにおける画像再生時に、各視点位置に対
応するパノラマ画像の全体ではなく、その一部分の画像
データについて読み出しと復号を行うことになり、余分
なデータの読み出し時間や復号時間が省かれ、画像再生
に要する時間を短縮できる。なお、部分画像を接合する
処理（ステップＳ１２５）が加わることになるが、パノ
ラマ全体について復号を行う為に消費される処理時間に
比べれば僅かなものであり、全体として再生表示のため
の処理時間を短縮できる。

【００４９】＜第２の実施形態＞上記第１の実施形態で
は、パノラマ画像を複数の部分画像に分割して保存する
が、各部分画像が互いに重複する領域を持つようにして
もよい。

【００５０】図１５は第２の実施形態による部分画像の
画角範囲を説明する図である。図１１に示した部分画像
２２１〜２２６は、表示画像の画角と等しい６０度の画
角を有している。これに対し、図１５の（ａ）では、各
部分画像は表示画像の画角である６０度よりも大きい画
角を有し、更に隣接する部分画像同士が重複する部分を
有する。各部分画像においてハッチングを施した部分
が、画角６０度の画像範囲を越える部分であり、隣接す
る部分画像と重複する部分である。

【００５１】このように互いに重複する部分を持たせる
ことで、ステップＳ１２５において、高品位な接合画像
を得ることができる。すなわち、各部分画像は個別に圧
縮されているので、部分画像の接合部において不連続性
が現れる可能性があるが、重複部分において、２つの部
分画像のそれぞれに重み付けを行って合成することによ
り、これを緩和することができる。更に、一つの部分画
像の画角が大きくなるので、一つの部分画像から画像を
抽出できる可能性が増すことになり、再生表示のための
時間短縮が図られる。

【００５２】また、図１５の（ｂ）では、部分画像の画
角を表示画像の画角の２倍（図１５（ｂ）では１２０
度）の画角を有するように部分画像を生成した様子が示
されている。この場合、部分画像中の各部は必ず他の部
分画像とオーバーラップすることになる。また、表示画
像の画角が部分画像の半分（６０度）であるので、必ず
一つの部分画像から表示画像を切り出すことができる。
すなわち、保持する画像データ量は２倍になるが、ステ
ップＳ１２５における画像の張り合わせが不要となり、
再表示のための処理時間を更に短縮できる。

【００５３】＜第３の実施形態＞上記各実施形態では、
一つの部分画像データを一つのファイルとして保存した
ために、各視点位置毎に１つまたは複数のファイルの読
み込みを行う必要がある。ファイルのアクセス（検索）
には時間がかかるため、ファイルの読み出しは少ないほ
うがよい。すなわち、部分画像によって復号等の処理量
を減少するとともに、ファイルの読出回数を低減するこ
とが処理の高速化につながる。そこで、第３の実施形態
では、１つのファイルに複数の部分画像が含まれるよう
にして、パノラマ画像を分割保存することによる処理速
度の向上とともに、ファイルのアクセス回数を減少させ
ることにより更なる処理速度の向上を達成する。

【００５４】以下の説明では、それぞれがｍ個の部分画
像に分割された、ｎ個のパノラマ画像を１つのファイル
にまとめて保存する場合を説明する。従って、一つのフ
ァイルにはｍ×ｎ個のファイルが保持されることにな
る。図１６は第３の実施形態における１ファイル中のデ
ータ格納形式例を示す図である。

【００５５】本実施形態のファイルは、ヘッダ部４０１
とバイナリデータ部４０２を有する。バイナリデータ部
４０２にはｎ個のパノラマ画像データより得られるｎ×
ｍ個の圧縮部分画像データＤxyが格納される。ここで、
Ｄxyは、ｘ番のパノラマ画像データのｙ番目の圧縮部分
画像データであることを示す。第１及び第２の実施形態
のように、６個の部分画像に分割する場合は、ｍ＝６と
なり、例えば３番目の圧縮部分画像データｙとは画角が
１２０度から１８０度の範囲の画像に対応する。

【００５６】ヘッダ部４０１には、バイナリデータ部４
０２の各圧縮部分画像データにアクセスするためのアド
レスが所定バイト長（本例では４バイトとする）で格納
される。ここで、圧縮部分画像データＤxyの先頭のアド
レスをＡxyと表す。本実施形態では、アドレスの与え方
として、バイナリデータ部４０２の先頭アドレスを０
（すなわち、Ａ11＝０）とし、他のパノラマ画像の先頭
の圧縮部分画像データ（Ｄ21、Ｄ31…Ｄn1）のＤ11に対
する相対アドレスをＡ21〜Ａn1としている。また、各パ
ノラマ画像の２番目以降の圧縮部分画像データの開始ア
ドレスは、それぞのパノラマ画像の先頭からの相対アド
レスで示すようにしている。

【００５７】従って、図１６に示す形式のファイルがメ
モリに読み込まれた場合、所望の部分圧縮画像データを
抽出するには次のようにする。いま、Ｄ11の当該メモリ
上における先頭アドレスをＭ11とすると、所望の圧縮部
分画像データＤxy（ｘ番のパノラマ画像のｙ番目のデー
タ）の先頭アドレスＭxyは、Ｍxy＝Ｍ11＋Ａx1＋Ａxy …（１）として表される。よって、このＭxyでもってメモリをア
クセスすれば、Ｄxyの部分圧縮画像データが得られるこ
とになる。

【００５８】図１７は第３の実施形態による表示画像の
生成・表示手順を説明するフローチャートである。

【００５９】ステップＳ２０１において、現在位置及び
視線方向を取得する。ステップＳ２０２では、前回に使
用したファイルに、ステップＳ２０１で得た現在位置の
パノラマ画像が含まれているかどうかを判断する。含ま
れていない場合はステップＳ２０３へ進み、現在位置が
含まれている新たなファイルを読み出し、ステップＳ２
０４へ進む。なお、どのファイルに現在位置のパノラマ
画像が含まれているかを探すために、ファイルに含まれ
る視点位置とファイル名とを対応付けるファイル管理テ
ーブルを生成しておき、これを用いるようにしてもよ
い。一方、ステップＳ２０２において、前回使用された
ファイルに現在位置のパノラマ画像が含まれていると判
定された場合は、ステップＳ２０３をスキップしてステ
ップＳ２０４へ進む。

【００６０】ステップＳ２０４では、現在位置、現在の
視線方向、表示画角から、必要な圧縮部分画像データを
決定する。なお、本実施形態では、この時点で現在位置
に対応するパノラマ画像が決定されているので、ステッ
プＳ２０４の処理は、当該パノラマ画像中の必要な圧縮
部分画像データＤxyを、現在の視線方向、表示画角から
決定することになる。

【００６１】ステップＳ２０５では、ステップＳ２０４
で決定した圧縮部分画像データ（Ｄxy）の先頭アドレス
Ｍxyを、上記式（１）より求める。そして、ステップＳ
２０６において、Ｍxyをアクセスし、メモリ上の画像デ
ータＤxyを復号する。第１の実施形態において説明した
ように、ステップＳ２０４において複数の圧縮部分画像
データが選択された場合は、それらすべての画像につい
て復号を行う（ステップＳ２０７）。こうして必要な部
分画像が得られたならば、ステップＳ２０８へ進み、複
数の部分画像があればこれらを接続して、表示すべき画
像をその中に含む部分画像を生成し、必要部分の切り出
しを行う。そして、ステップＳ２０９でパノラマ画像か
ら画像平面への射影変換を行ない、ステップＳ２１０に
おいて上記ステップＳ２０９で変換された画像を表示す
る。ウォークスルーが継続する間、上記のステップＳ２
０１〜Ｓ２１０の処理が繰り返される（ステップＳ２１
１）。

【００６２】以上のように第３の実施形態によれば、一
つのファイルに複数のパノラマ画像を保持するので、フ
ァイルアクセスの回数を減少させることができ、処理の
高速化が達成される。更に、前回読み込んだファイルが
使用できる場合はそれを用いるようにしたので（ステッ
プＳ２０２）、ファイルアクセスの回数を更に減少させ
ることができ、処理の高速化に寄与する。なお、上記処
理では、前回読み込んだファイルが使えるかどうかを調
べたが、前回だけに限られるものではなく、複数回前の
読み込み済みファイルを利用できるようにしてもよい。
たとえば、前回及び前々回に読み込んだファイルが使え
るようにしてもよい。なお、このように使用済みブロッ
クを保持してけば、ウォークスルーにおいて進行方向が
反転された場合にも有効である。

【００６３】＜第４の実施形態＞第４の実施形態では、
２つの部分画像から表示に必要な部分を切り出す処理の
高速化を説明する。

【００６４】上述したように、第１の実施形態では、ス
テップＳ１２５及びステップＳ１２６において、２つの
部分画像を接合して表示に必要な部分を切り出す。図１
８は、２つの部分画像からの表示部分の切り出しを説明
する図である。図１８（ａ）では、２つの部分画像１７
０１、１７０２をメモリ上に復号し、これらを接合して
画角の広い部分画像１７０３を生成し、そこから再生に
必要な部分を切り出すことが示されている。図１８
（ａ）に示されるように、隣接する２つの圧縮部分画像
データを復号して得られた第１の部分画像１７０１と第
２の部分画像１７０２から所望の表示用画像を得るに
は、画素ｂと画素ｃのアドレスに連続性が無いので、画
像データ１７０１の画素ａからｂを読み出し、次に画像
１７０２の画素ｃからｄを読み出すというようにしてこ
れらが接続された部分画像１７０３を更に別のメモリエ
リアに生成する必要が生じる。

【００６５】そこで、第４の実施形態では、圧縮部分画
像データとして、９０度回転した部分画像を格納する。
この場合、２つの部分画像データ１７１０と１７１１を
連続するメモリ空間に描画すれば、図１８（ｂ）に示さ
れるように、最終的に切り出したい画素ｐと画素ｑのア
ドレスを指定するだけで必要な画像データを得ることが
できる。このため、別のメモリエリアに接合された画像
を展開する必要がなくなり、処理の簡素化、すなわち高
速化が達成される。

【００６６】＜第５の実施形態＞なお、上述したウォー
クスルーシステムにおいて、再生表示処理の更なる高速
化という観点から種々の変形が可能である。

【００６７】例えば、ウォークスルーシステムでは地図
上の道に沿って視点が移動するので、現在の視点位置を
含む道とその進行方向がわかれば次に必要となるファイ
ルを予測することが可能である。従って、再生表示処理
を行っている間に、次に必要となるファイルを先読みす
ることで、処理スピードの向上を図ることができる。た
だし、交差点では視点位置がどちらの方向（道）へ進む
かわからないので、直進、左折、右折といったように複
数のファイルを所定の順番で先読みするようにすること
になる。

【００６８】また、ウォークスルーの移動スピードに応
じて表示しない部分があればこれを先読みしないように
する。

【００６９】また、複数のファイル（圧縮部分画像デー
タ）を読み出す処理は、複数のＣＰＵ及び複数のハード
ディスクを搭載することにより、容易に処理の高速化を
図ることができる。例えば、複数のハードディスクに上
記圧縮画像データのファイルをミラーリングしておき、
複数のファイルを読み出して復号する際には別々のＣＰ
Ｕでファイルの読み出し復号を行うことにより処理の高
速化を図ることができる。この様子を図１９に示す。複
数のハードディスクにデータをミラーリングしておくこ
とは、複数のＣＰＵが搭載されている場合だけでなく、
一つのＣＰＵで複数のプロセス（スレッド）を起動する
場合に処理の高速化を図ることができる。

【００７０】図１９は、＃１ＣＰＵ１８０１と＃２ＣＰ
Ｕ１８０２の２つのプロセッサを有するマルチプロセッ
サシステムであり、それぞれにハードディスク１８０
３、１８０４が接続されている。ハードディスク１８０
３、１８０４には同じ対応付けデータが格納されてい
る。このようなシステムにおいて、＃１ＣＰＵ１８０１
は不図示のメモリに格納された制御プログラムを実行す
ることによって視線方向・位置生成部１８１０、読込部
１８１１、復号部１８１２、画像接続部１８１３、切出
し部１８１４、射影変換部１８１５、表示制御部１８１
６として機能する。また、＃２ＣＰＵ１８０２は、不図
示のメモリに格納された制御プログラムを実行すること
によって、受付部１８２０、読込部１８２１、復号部１
８２２として機能する。

【００７１】図１９に従って動作を説明すると、視線方
向・位置生成部１８１０は、ジョイスティック等の操作
入力に応じて再生表示するべき画像の視点位置と視線方
向の情報を生成し、これを読込部１８１１と、視線方向
・位置情報を受け付ける受付部１８２０に送る。読込部
１８１１は、視線方向・視点位置生成部１８１０から提
供された視線方向と視点位置に基づいて、画像の再生表
示に必要となる２つの部分画像の内の左側の部分画像を
ＨＤＤ１８０３から読み出し、復号部１８１２でこれを
復号する。

【００７２】一方、読込部１８２１は、視線方向・視点
位置情報受付部１８２０から提供された視線方向と視点
位置に基づいて、画像の再生表示に必要となる２つの部
分画像の内の右側の部分画像をＨＤＤ１８０４から読み
出し、復号部１８２２でこれを復号する。

【００７３】接続部１８１３は、復号部１８１２と１８
２２から提供される部分画像を接続し、切出し部１８１
４で再生に必要な部分の切出しを行う。切り出し部１８
１４で切り出された画像に対して射影変換部１８１５で
画像平面への射影変換を行ない、表示制御部１８１６が
表示部７０に表示する。

【００７４】以上のように、複数のプロセスによって複
数の部分画像の処理を手分けして実行することで、処理
の高速化を図ることができる。

【００７５】なお、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００７６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００７７】

【発明の効果】以上説明したように、本発明によれば、
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構
築するにおいて、保持された画像情報を効率的に再生す
ることが可能となり、再生のリアルタイム性が向上す
る。

【図面の簡単な説明】

【図１】本実施形態によるウォークスルーシステムの機
能構成を説明するブロック図である。

【図２】画像データ保存部１０に保存されるフレームデ
ータを収集するための画像データ収集システム９０の構
成例を示す図である。

【図３】撮影部９１の構成を詳細に示すブロック図であ
る。

【図４】記録部９２の構成を詳細に示すブロック図であ
る。

【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック
図である。

【図６】画像データ保存部１０におけるビデオデータと
位置データ（ＧＰＳ測定結果データ）の格納状態例を示
す図である。

【図７】本実施形態による画像再生装置１のハード構成
を示すブロック図である。

【図８】本実施形態のウォークスルーシステムにおけ
る、画像再生装置１の処理内容を説明する図である。

【図９】フレームデータを地図上の区分点と道と対応付
ける様子を説明する図である。

【図１０】第１の実施形態による対応付けデータの格納
手順を説明するフローチャートである。

【図１１】第１の実施形態による対応付けデータの保存
処理を説明する模式図である。

【図１２】ファイル管理テーブルのデータ構成例を説明
する図である。

【図１３】第１の実施形態による表示画像の生成・表示
手順を説明するフローチャートである。

【図１４】本実施形態による表示画像の生成過程、すな
わち画像再生制御部６０の動作を説明する模式図であ
る。

【図１５】第２の実施形態による部分画像の画角範囲を
説明する図である。

【図１６】第３の実施形態における１ファイル中のデー
タ格納形式例を示す図である。

【図１７】第３の実施形態による表示画像の生成・表示
手順を説明するフローチャートである。

【図１８】２つの部分画像からの表示部分の切り出しを
説明する図である。

【図１９】複数プロセスによる画像再生処理を説明する
図である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平９−62861（ＪＰ，Ａ) 特開平６−124328（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 - 17/50 G06T 3/00 H04N 5/76

Claims

(57)【特許請求の範囲】

【請求項１】複数の視点位置に対応する複数のパノラ
マ画像のそれぞれについて、パノラマ画像を所定の画角
で分割して得られる部分画像の形態で格納する格納手段
と、ここで、前記パノラマ画像は表示手段による画像の
表示画角よりも広い画角範囲に対応し、視点位置及び視線方向の情報と、前記表示画角に基づい
て、前記格納手段に格納された部分画像を選択する選択
手段と、選択された部分画像から前記視点位置及び視線方向に対
応した画像を生成し、前記表示手段にこれを提供する生
成手段とを備え、前記格納手段は、隣接する部分画像が互いに重複する部
分を有するようにパノラマ画像を分割して得られた部分
画像を格納し、前記部分画像の画角は前記表示画角の２倍であり、両隣
の部分画像によって当該部分画像の全てが重複すること
を特徴とする画像再生装置。
【請求項２】複数の視点位置に対応する複数のパノラ
マ画像のそれぞれについて、パノラマ画像を所定の画角
で分割して得られる部分画像の形態で格納する格納手段
と、ここで、前記パノラマ画像は表示手段による画像の
表示画角よりも広い画角範囲に対応し、視点位置及び視線方向の情報と、前記表示画角に基づい
て、前記格納手段に格納された部分画像を選択する選択
手段と、選択された部分画像から前記視点位置及び視線方向に対
応した画像を生成し、前記表示手段にこれを提供する生
成手段とを備え、前記格納手段は、前記部分画像の各々を９０度回転させ
た画像で格納することを特徴とする画像再生装置。
【請求項３】複数の視点位置に対応する複数のパノラ
マ画像のそれぞれについて、パノラマ画像を所定の画角
で分割して得られる部分画像の形態で格納手段に格納す
る格納工程と、ここで、前記パノラマ画像は表示手段に
よる画像の表示画角よりも広い画角範囲に対応し、視点位置及び視線方向の情報と、前記表示画角に基づい
て、前記格納手段に格納された部分画像を選択する選択
工程と、選択された部分画像から前記視点位置及び視線方向に対
応した画像を生成し、前記表示手段にこれを提供する生
成工程とを備え、前記格納工程は、隣接する部分画像が互いに重複する部
分を有するようにパノラマ画像を分割して得られた部分
画像を格納し、前記部分画像の画角は前記表示画角の２倍であり、両隣
の部分画像によって当該部分画像の全てが重複すること
を特徴とする画像再生方法。
【請求項４】複数の視点位置に対応する複数のパノラ
マ画像のそれぞれについて、パノラマ画像を所定の画角
で分割して得られる部分画像の形態で格納手段に格納す
る格納工程と、ここで、前記パノラマ画像は表示手段に
よる画像の表示画角よりも広い画角範囲に対応し、視点位置及び視線方向の情報と、前記表示画角に基づい
て、前記格納手段に格納された部分画像を選択する選択
工程と、選択された部分画像から前記視点位置及び視線方向に対
応した画像を生成し、前記表示手段にこれを提供する生
成工程とを備え、前記格納工程は、前記部分画像の各々を９０度回転させ
た画像で格納することを特徴とする画像再生方法。
【請求項５】請求項３又は４に記載の画像再生方法を
コンピュータによって実現するための制御プログラムを
格納することを特徴とする記憶媒体。
【請求項６】請求項３又は４に記載の画像再生方法を
コンピュータによって実現するための制御プログラム。