JP3432213B2 - 画像再生装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間の撮影によ
って得られた画像データをもとに仮想空間を表現する画
像再生装置及び方法に関する。

【０００２】

【従来の技術】移動体に搭載された撮影装置によって現
実空間を撮影し、撮影された実写画像データをもとに、
撮影した現実空間を計算機を用いて仮想空間として表現
する試みが提案されている（例えば遠藤、片山、田村、
廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市
空間の電脳映像化について”（信学ソサイエティ、PA-3
-4、pp.276-277、1997年）、または廣瀬、渡辺、谷川、
遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳
映像都市空間の構築(2)−実写画像を用いた広域仮想空
間の生成−”（日本バーチャルリアリティ学会第2回大
会論文集、pp.67-70、1997年）などを参照）。

【０００３】移動体に搭載された撮影装置によって撮影
された実写画像データをもとに、撮影した現実空間を仮
想空間として表現する手法としては、実写画像データを
もとに現実空間の幾何形状モデルを再現し、従来のＣＧ
技術で表現する手法が挙げられるが、モデルの正確性や
精密度、写実性などの点で限界がある。一方、モデルを
用いた再現を行わずに、実写画像を用いて仮想空間を表
現するImage-Based Rendering（ＩＢＲ）技術が近年注
目を集めている。ＩＢＲ技術は、複数の実写画像をもと
に、任意の視点から見た画像を生成する技術である。Ｉ
ＢＲ技術は実写画像に基づいているために、写実的な仮
想空間の表現が可能である。

【０００４】このようなＩＢＲ技術を用いてウォークス
ルー可能な仮想空間を構築するためには、体験者の仮想
空間内の位置に応じた画像の生成・呈示を行う必要があ
る。そのため、この種のシステムにおいては、実写画像
データの各フレームと仮想空間内の位置とを対応付けて
保存しておき、体験者の仮想空間における位置と視点方
向に基づいて対応するフレームを取得し、これを再生す
る。

【０００５】現実空間内の位置データを得る手法として
は、カー・ナビゲーション・システムなどにも用いられ
ているＧＰＳ（Global Positioning System）に代表さ
れる人工衛星を用いた測位システムを利用するのが一般
的である。ＧＰＳなどから得られる位置データと、実写
画像データを対応付ける手法としては、タイムコードを
用いて対応付ける手法が提案されている（特開平11-168
754）。この手法では、位置データに含まれる時刻デー
タと、実写画像データの各フレームに付加したタイムコ
ードとを対応付けることで、実写画像データの各フレー
ムと位置データとの対応付けを行う。

【０００６】このような仮想空間内のウォークスルーに
おいては、体験者が各視点位置で所望の方向をみること
ができるようにする。このため、各視点位置の画像を、
再生時の画角よりも広い範囲をカバーするパノラマ画像
で保存しておき、体験者の仮想空間における視点位置と
視線方向とに基づいてパノラマ画像を選択すると共に再
生すべき部分画像を切り出してこれを表示することが考
えられる。この場合、実写画像データを再生するので、
撮影装置を搭載した車両が道の上を走るのに沿ってパノ
ラマ画像の再生が行われ、観察者はあたかも自分がその
車両に乗って走っているかのような感覚を味わうことが
できる。

【０００７】

【発明が解決しようとする課題】しかしながら、ウォー
クスルーによる再生画像が交差点に進入し、観察者が実
際の車両の動きとは異なる方向の道を選択すると、一連
のパノラマ画像群とは異なるパノラマ画像群への切り替
えが行われることになる。たとえば、撮影時の車両の動
きが交差点を直進しているのに、観察者が当該交差点で
左折を指示すると、時間的に不連続なパノラマ画像への
切り替えが必要となる。このため、交差点においては、
進行方向の選択によって画像の途切れが生じ、観察者に
不自然な感覚を与えてしまう。

【０００８】また、パノラマ画像に基づく画像の再生に
おいて、１フレームの画像再生に要する時間は固定であ
るので、ユーザによる移動速度変更が実現できず、快適
なウォークスルーが実現できない。

【０００９】本発明は上記の課題に鑑みてなされたもの
であり、その目的は、ウォークスルー再生時に、交差点
において、選択可能なあらゆる方向へ、観察者が不自然
さを味わうことなく進むことを可能とすることにある。
また、本発明の他の目的は、ユーザの指示に応じてウォ
ークスルーにおける移動速度を変更可能とすることにあ
る。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像再生方法は以下の構成を備える。
すなわち、複数の区分点または区分点間を結ぶ経路に対
応付けられた複数の画像からなる画像群から順次に画像
を取り出し、指定された方向に対応する画像を再生する
再生工程と、前記再生工程によって処理される画像が所
定の区分点に到達した場合に、前記指定された方向に最
も近い方向を進行方向に決定する決定工程と、前記決定
工程で決定された進行方向と、前記所定の区分点に到達
した時点で指定されていた方向の情報に基づいて前記再
生工程によって再生される画像を選択する制御工程とを
備える。

【００１１】また、上記の目的を達成するための本発明
の他の態様による画像再生方法は、複数の区分点と区分
点間を結ぶ経路に対応付けられた複数の画像からなる画
像群から順次に画像を取り出し、指定された方向に対応
する画像を再生する再生工程と、前記再生工程によって
処理される画像に対応する位置が所定の区分点に到達し
た場合に、前記指定された方向に最も近い方向を進行方
向に決定する決定工程と、前記所定の区分点への到達時
点で指定されていた方向から前記決定工程で決定された
方向へと方向を徐々に変更しながら、前記所定の区分点
に対応する画像を再生させる第１制御工程と、前記第１
制御工程による再生画像の方向が前記決定工程で決定さ
れた方向に一致したならば、前記決定工程で決定された
方向に対応する画像群を用いて前記再生工程による処理
を実行させる第２制御工程とを備える。

【００１２】また、上記の目的を達成するための本発明
の他の態様による画像再生装置は、以下の構成を備え
る。すなわち、複数の区分点または区分点間を結ぶ経路
に対応付けられた複数の画像からなる画像群から順次に
画像を取り出し、指定された方向に対応する画像を再生
する再生手段と、前記再生手段によって処理される画像
に対応する位置が所定の区分点に到達した場合に、前記
指定された方向に最も近い方向を進行方向に決定する決
定手段と、前記決定手段で決定された進行方向と、前記
所定の区分点に到達した時点で指定されていた方向の情
報に基づいて前記再生手段によって再生される画像を選
択する制御手段とを備える。

【００１３】更に、上記の目的を達成するための、本発
明の他の態様による画像再生装置は、複数の区分点また
は区分点間を結ぶ経路に対応付けられた複数の画像から
なる画像群から順次に画像を取り出し、指定された方向
に対応する画像を再生する再生手段と、前記再生手段に
よって処理される画像に対応する位置が所定の区分点に
到達した場合に、前記指定された方向に最も近い方向を
進行方向に決定する決定手段と、前記所定の区分点に到
達した時点で指定されていた方向から前記決定手段で決
定された方向へと方向を徐々に変更しながら、前記所定
の位置に対応する画像を再生させる第１制御手段と、前
記第１制御手段による再生画像の方向が前記決定手段で
決定された方向に一致したならば、前記決定手段で決定
された方向に対応する画像群を用いて前記再生手段によ
る処理を実行させる第２制御手段とを備える。

【００１４】更に、上記の目的を達成するための本発明
の他の態様による画像再生装置は以下の構成を備える。
すなわち、第１の方向を指示するための第１の方向指示
手段と、第２の方向を指示するための第２の方向指示手
段と、複数の区分点または区分点間を結ぶ経路に対応付
けられた複数の画像からなる画像群から順次に画像を取
り出し、所定の画像を再生する再生手段と、前記再生手
段によって処理される画像に対応する位置が所定の区分
点に到達した場合に、前記第２の方向指示手段により指
示された方向に最も近い方向を進行方向に決定する決定
手段と、前記区分点に到達するまでの進行方向を第１の
進行方向とし、前記決定された進行方向を第２の進行方
向とする場合に、前記第１の進行方向に対する前記第１
の方向指示手段により指示された前記第１の方向の角度
と前記第１の進行方向に対する前記第２の進行方向の角
度とに基づいて定まる前記第２の進行方向に対する方向
に対応する画像を、前記再生手段によって再生される前
記所定の画像として選択する制御手段とを備える。

【００１５】また、本発明によれば、上記の画像再生装
置によって実行される画像再生方法と、該画像再生方法
をコンピュータによって実現するための制御プログラム
および該制御プログラムを格納する記憶媒体が提供され
る。

【００１６】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明の好適な実施形態を説明する。

【００１７】＜第１実施形態＞まず、本実施形態による
仮想空間のウォークスルーシステムについて説明する。
本実施形態では、例えば自動車などの移動体に搭載され
た複数の撮影装置によって撮影して得られた実写画像デ
ータからパノラマ画像データを生成し、このパノラマ画
像データを現実空間の位置としての地図データと対応付
けて保持する。そして、体験者の仮想空間における視点
位置と視線方向に応じて、保持されているパノラマ画像
データから表示画像を生成することにより、仮想空間内
のウォークスルーを実現する。

【００１８】図１は本実施形態によるウォークスルーシ
ステムの機能構成を説明するブロック図である。本ウォ
ークスルーシステムは、画像データ収集システム９０と
画像再生装置１とを含んで構成される。画像再生装置１
は、画像データ保存部１０、地図データ保存部２０、画
像・地図対応付け部３０、操作部４０、対応付けデータ
保存部５０、画像再生制御部６０、表示部７０を有す
る。

【００１９】画像データ保存部１０は、後で詳述する画
像データ収集システム９０によって得られた実写画像デ
ータとしてのフレームデータを格納する。地図データ保
存部２０は、地図のイメージ情報と該地図イメージ上の
各位置を経度と緯度に関連した座標で表すための座標情
報を含む地図データを格納する。地図データ保存部２０
には、少なくとも画像データ収集システム９０によって
撮影され、画像データ保存部１０に保存されたフレーム
データの現実空間位置に対応した範囲の地図データが保
存されている。なお、地図データは、不図示のハードデ
ィスク、ＲＡＭまたは他の外部記憶装置に保存される。

【００２０】画像・地図対応付け部３０は、画像データ
保存部１０に保存されているフレームデータから各視点
位置のパノラマ画像データを生成し、これを地図データ
保存部２０に保存されている地図データと対応付ける。
こうして対応付けされたパノラマ画像データと地図デー
タは、対応付けデータとして対応付けデータ保存部５０
に保存される。なお、画像・地図対応付け部３０では、
同一時刻において複数の撮影装置から得られたフレーム
データからパノラマ画像を生成し、その時刻におけるＧ
ＰＳ情報から対応する地図データ（地図上の位置デー
タ）を特定し、これらを対応付け、対応付けデータ保存
部５０に保存する。後述するように、ＧＰＳ情報と複数
の撮影装置から得られたフレームデータの各々にはタイ
ムコードが付加され、このタイムコードにより同一時刻
のフレーム、ＧＰＳ情報が取得される。

【００２１】操作部４０は、マウス、キーボード、ジョ
イスティック等を備える。なお、上述の画像・地図対応
付け部３０において、操作部４０からの操作入力に従っ
て、画像データ保存部１０に保存されたフレームと地図
データ保存部２０に保存された地図データとの対応付け
を編集可能としてもよい。

【００２２】画像再生制御部６０は、操作部４０からの
操作入力に従って体験者の視点位置（地図上の位置）、
視線方向を決定し、対応付けデータ保存部５０で保存さ
れたデータから必要な画像データを読み出し、表示部７
０で表示を行うための画像データを生成する。

【００２３】図２は、画像データ保存部１０に保存され
るフレームデータを収集するための画像データ収集シス
テム９０の構成例を示す図である。図２に示されるよう
に、この画像データ収集システム９０は、撮影部９１、
記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられ
る。以下、各部について、図３〜図５を参照して詳細に
説明する。

【００２４】図３は、撮影部９１の構成を詳細に示すブ
ロック図である。本実施形態では、撮影部９１は車輌な
どの移動体に搭載して用いられる。撮影部９１は、ｎ台
（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号
発生部９４から成る。ビデオカメラ９１−１〜ｎにはそ
れぞれ同期信号発生部９４からの外部同期信号を入力す
ることが可能であり、本実施形態では、同期信号発生部
９４より出力される外部同期信号を用いてビデオカメラ
９１−１〜ｎのｎ台の撮影タイミングを一致させてい
る。

【００２５】図４は、記録部９２の構成を詳細に示すブ
ロック図である。記録部９２はタイムコード発生部９５
と、ビデオカメラ９１−１〜ｎに対応する録画部（本例
ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを
備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎ
からの画像出力は、それぞれ録画部９２−１〜ｎの入力
となる。また、タイムコード発生部９５は、撮影時刻を
表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。
ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画
像入力とタイムコード発生部９５からのタイムコードを
取り込み、タイムコードつきのビデオデータとして記録
する。

【００２６】以上のようにしてＶＣＲ９２−１〜ｎのそ
れぞれに収集された画像情報は、Ａ／Ｄ変換部９３によ
ってディジタルの画像データに変換され、画像データ保
存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構
成を詳細に示すブロック図である。Ａ／Ｄ変換部９３
は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣ
Ｒ９２−１〜ｎの各々に対応するビデオ・キャプチャ・
ボード（以下、キャプチャ・ボード）９３−１〜ｎを有
する。キャプチャ・ボードは必ずしもビデオカメラの台
数分必要ではなく、ＰＣに搭載できる数のキャプチャ・
ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣ
Ｒから供給されるアナログ画像データをディジタル画像
データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９
６に接続された、ハードディスク等を含んで構成される
画像データ保存部１０またはその他の記憶媒体に保存す
る。

【００２７】更に、本システムにおいては、タイムコー
ド発生部９５からタイムコードが発生するタイミングで
ＧＰＳ９７より位置データを取得し、取得した位置デー
タをその時点のタイムコードと対応付けて保持する。

【００２８】図６は画像データ保存部１０におけるビデ
オデータと位置データ（ＧＰＳ測定結果データ）の格納
状態例を示す図である。図６に示すように、画像データ
保存部１０には、タイムコードが付加されたフレームと
タイムコードが付加された位置データとが格納されるこ
とになる。よって、このタイムコードを介して、フレー
ムと位置データが対応付けられる。なお、図６では１つ
のビデオカメラからのビデオデータしか示していない
が、ビデオデータは上述したようにビデオカメラの台数
分（ｎ台分）が存在する。

【００２９】なお、ＧＰＳにおける３次元位置の算出は
公知であり、ここでは詳細な説明を省略する。以上のよ
うにして、ｎ台のビデオカメラによって画像を撮影しな
がら、ＧＰＳによって逐次得られる緯度、経度データＰ
（θ，φ）をタイムコード発生部７２からのタイムコー
ドに対応付けて格納していく。従って、このタイムコー
ドを介して、ビデオデータの各フレームと、ＧＰＳから
得られた緯度，経度データを対応付けることができる。

【００３０】なお、画像データがキャプチャ・ボード９
３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、
記録されているタイムコードを用いてキャプチャ開始部
分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ
・ボードを介して取得されるディジタル画像データがす
べて同時刻に撮影された、同じ長さのキャプチャデータ
で構成されるようにする。

【００３１】次に、画像再生装置１について説明する。
図７は、本実施形態による画像再生装置１のハード構成
を示すブロック図である。図７に示したハード構成は通
常のパーソナルコンピュータの構成と同等である。図７
において、ディスク１０５は画像データ保存部１０を構
成するものであり、図２〜図６に関連して説明した画像
データ収集システム９０によって得られたフレームデー
タと位置データが記憶されている。なお、ディスク１０
５は上述の画像データ保存部１０のみならず、図１に示
した地図データ保存部２０、対応付けデータ保存部５０
をも構成するものである。

【００３２】ＣＰＵ１０１は、ディスク１０５またはＲ
ＯＭ１０６、または外部記憶装置（不図示）に保存され
ているプログラムを実行することにより、画像データと
地図データとを対応付けて格納する画像・地図対応付け
部３０として、また、対応付けデータ保存部５０に保存
された画像データをもとに画像再生を行う画像再生制御
部６０として機能する。

【００３３】ＣＰＵ１０１が表示コントローラ１０２に
対して各種の表示指示を行うことにより、表示コントロ
ーラ１０２およびフレームバッファ１０３によって表示
器１０４に所望の表示がなされる。なお、図では表示コ
ントローラ１０２としてＣＲＴＣ、表示器１０４として
ＣＲＴを示したが、表示器としては陰極線管に限らず、
液晶表示器等を用いてもよいことはもちろんである。な
お、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲ
Ｔ１０４は、上述の表示部７０を構成する。マウス１０
８、キーボード１０９及びジョイスティック１１０は、
当該画像保持・再生装置１へのユーザの操作入力を行う
ためのものであリ、上述の操作部４０を構成する。

【００３４】次に、以上の構成を備えた本実施形態のウ
ォークスルーシステムにおける、画像再生装置１の動作
の概要について説明する。図８は本実施形態のウォーク
スルーシステムにおける、画像再生装置１の処理内容を
説明する図である。

【００３５】画像データ保存部１０には、上述した画像
データ収集システム９０によって、ｎ台のビデオカメラ
９１−１〜ｎによって得られたビデオデータに基づくタ
イムコード付のフレームデータと、ＧＰＳ９７によって
得られた位置データに基づくタイムコード付の位置デー
タが格納されている。

【００３６】画像・地図対応付け部３０は、同一のタイ
ムコードのフレームデータを接合してパノラマ画像を生
成するとともに、地図データ保存部２０に保持されてい
る地図データを参照して当該タイムコードに対応する位
置データを地図上の位置に変換する。そして、得られた
パノラマ画像と、地図上の位置とを対応付けた対応付け
データ２１０を生成し、対応付けデータ保存部５０に格
納する。

【００３７】なお、対応付けデータ格納部５０におい
て、本実施形態では次のデータ格納形態をとる。すなわ
ち、交差点（分岐点）や曲がり角を区分点とし、区分点
と区分点で挟まれた線分を道として、各区分点、道にＩ
Ｄを割り当て、このＩＤを対応するパノラマ画像に付加
する。１つの道に対応するパノラマ画像群には、先頭か
ら順に番号が振られる。

【００３８】図９はこの様子を説明する図である。図９
において、例えばＩＤがＣ１である区分点とＣ２である
区分点に挟まれた線分（道）にＲ１というＩＤが付与さ
れている。なお、これらＩＤや地図との対応は、地図デ
ータ保存部２０に保存されている。

【００３９】ＧＰＳデータ等に基づいて区分点Ｃ１とＣ
２に対応するフレームが特定されると、それらフレーム
に挟まれたパノラマ画像群が道Ｒ１に対応することとな
る。図では、このパノラマ画像群にはｎ個のパノラマ画
像が存在する。そして、区分点Ｃ１とＣ２に対応するフ
レームにはそれぞれＣ１、Ｃ２のＩＤが付与され、パノ
ラマ画像群の各パノラマ画像には、順番にＲ１−１〜Ｒ
１−ｎが付与されている。

【００４０】なお、区分点とパノラマ画像との対応付け
は、ＧＰＳデータに従って自動的に行われるものとした
が、ユーザが画像データ保存部に保持されたビデオフレ
ームを再生しながら、フレームと対応する地図上の交差
点を指定することによって、上述のような対応付けをす
ることも可能である。この場合、区分点に挟まれたパノ
ラマ画像群の各パノラマ画像の位置を、例えば、当該区
分点を結ぶ線分上に等間隔に割り当てる（上記例では、
Ｃ１とＣ２を結ぶ線分をｎ−１等分して、各分割位置に
順番にｎ個のパノラマ画像を割り当てる）ようにすれ
ば、ＧＰＳを用いずに上述のような対応付けデータを生
成、保持することが可能である。

【００４１】以上のようにして格納された対応付けデー
タを用いてウォークスルー再生が行われる。ウォークス
ルー再生では、操作部４０よりジョイスティック１１０
等を用いたウォークスルーのための操作が行われると、
画像再生制御部６０がこの操作入力に応じて体験者の地
図上の視点位置（地図上の道における位置）と視線方向
を生成する。なお、本実施形態において視線方向はジョ
イスティックのスティック回転角で指示する（図１７
（ａ）参照）ものとするが、方向キー等やジョイスティ
ックの傾斜方向で与える等、種々の変形が可能である。
更に画像再生制御部６０は、この生成された視点位置と
視線方向、及び表示部７０に表示される画像の画角に基
づいて、表示部７０に表示すべき画像を、対応付けデー
タ２１０に格納されたパノラマ画像に基づいて生成し、
表示部７０に表示させる。例えば、視点位置が地図上の
ａ地点であり、視線方向が進行方向に対して１５度の方
向を向いている場合は、ａ地点に対応するパノラマ画像
中の１５度の方向に対応する部分画像が抽出されること
になる。こうして、体験者の視点位置の地図上における
移動と視線方向に対応するように、画像再生制御部６０
が表示画像の取得と、表示部７０への表示を行うことに
より、ウォークスルー再生が実現されることになる。

【００４２】以下、上述したウォークスルー再生におい
て、交差点での進路の選択とそれに応じた画像再生制御
について説明する。なお、以下では、図９を用いて説明
したように、パノラマ画像が区分点と道に対応付けられ
て対応付けデータ保存部５０に格納されているものとす
る。そして、交差点に対応する区分点には、更に、当該
交差点に接続される道（道ＩＤ）とその接続角度が登録
されているものとする。

【００４３】図１０は第１実施形態による、交差点にお
ける再生制御を説明する図である。交差点１０１０に
は、道１００１〜１００４が接続されており、道１００
１と１００２及び、道１００３と１００４はそれぞれ１
８０度で接続され、道１００２と１００３は角度φで接
続されているとする。今、道１００１に対応したパノラ
マ画像が順次用いられて、図１７（ａ）に示すジョイス
ティックの回転角θ１に対応して、視線方向θ１に対応
する画像が再生されているとする。この場合、θ１の方
向を見ながら視点位置を道１００１に沿って移動させた
ウォークスルー画像が観察される（１１０１は視点位置
の移動方向、１１０２は視線方向を示す）。

【００４４】この状態で、図１０の（ｂ）に示すごと
く、再生するパノラマ画像が交差点１０１０に到達する
と、すなわち、視点位置が交差点１０１０に到達する
と、道１００１〜１００４のうちで、最もそのときの視
線方向に近い道が選択される。本例では、道１００３と
視線方向とのなす角度θ２（＝φ−θ１）が最も小さい
とする。この場合、道１００３が次に進む道に選択され
ることになる。

【００４５】従って、道１００３に対応付けられたパノ
ラマ画像群が選択されて、道１００３に沿った画像の再
生を行うことになる。なお、このとき、視線方向はθ２
に設定されて画像の切り出しが行われる。

【００４６】以上の処理について図１１のフローチャー
トを参照して更に詳細に説明する。図１１は第１実施形
態による交差点における道の切り替え制御を説明するフ
ローチャートである。ステップＳ１０１において、視線
方向θold（図１０のθ１）で道Ｒold（図１０の道１０
０１）を進むうちに、交差点Ｃ（図１０の１０１０）に
対応する画像フレームに到達すると、ステップＳ１０２
において、当該交差点Ｃに接続された道のうち視線方向
θoldに最も近い方向の道Ｒnew（図１０の道１００３）
が選択される。次にステップＳ１０３において、道Ｒne
wを進む場合の、視線方向θoldに一致する視線方向θne
wを設定する。図１０で説明したように、ＲoldとＲnew
との角度がφであった場合、θnewの絶対値は｜φ−θo
ld｜となる。

【００４７】ステップＳ１０４では、Ｒnewに対応する
パノラマ画像と視線方向θnewを用いてウォークスルー
再生を行い、視点位置は道Rnewを進むことになる。

【００４８】以上のように、第１実施形態によれば、絶
対的な視線方向を保ったままで新たな道へのウォークス
ルー再生が行われるので、視線方向の連続性が維持さ
れ、より自然な進路の変更が可能となる。

【００４９】＜第２実施形態＞上記第１実施形態では、
交差点に到達した時点における視線方向に基づいて進む
べき道を決定すると共に、その視線方向を維持しながら
決定された道に沿って視点位置が移動するようにウォー
クスルー再生を行った。第２実施形態では、交差点に到
達した時点における視線方向に基づいて進むべき道を決
定すると共に、当該交差点位置で視線方向が決定された
道に対して正面方向となるまで徐々に視線方向を変更し
ながら画像再生を行う。そして、視線方向が決定された
道の正面方向に一致したならば、当該決定された道に沿
ったパノラマ画像の再生、すなわち視点位置の移動を伴
うウォークスルー再生を開始する。なお、視線方向の与
え方は第１の実施形態（図１７（ａ））で説明したよう
に、ジョイスティックの回転角で与えるとする。

【００５０】図１２は第２実施形態による、交差点にお
ける再生制御を説明する図である。図１０の（ａ）で示
したのと同様の状態で交差点１０１０に到達すると、上
述したように、道１００３が選択される。そして、交差
点１０１０への到達時点における視線方向θ１から、交
差点１０１０における道１００３の方向φまでの間で、
視線方向を適当な角度間隔で徐々に回転させて画像再生
を行う。こうして、視線方向が道１００３の進行方向に
一致したならば、道１００３に沿ってウォークスルー再
生を行うべく、道１００３に対応付けられたパノラマ画
像の再生を開始する。

【００５１】図１３は第２実施形態による、交差点にお
ける道の切り替え制御を説明するフローチャートであ
る。ステップＳ２０１において、視線方向θold（図１
２のθ１）で道Ｒold（道１００１）を進むうちに、交
差点Ｃ（１０１０）に対応する画像フレームに到達する
と、ステップＳ２０２において、当該交差点Ｃに接続さ
れた道のうち視線方向θoldに最も近い方向の道Ｒnewが
次に進むべき道として選択される。次にステップＳ２０
３において、道Ｒnewの進行方向に対応する視線方向θn
ewを設定する。ここでθnewは、現在の進行方向に対す
る道Ｒnewの方向（すなわち、φ）となる。

【００５２】次にステップＳ２０４において、交差点Ｃ
に対応するパノラマ画像から、視線方向θoldに対応す
る画像を生成し、表示する。そして、ステップＳ２０５
において、θoldがθnew（φ）に近づくように、定数α
を加算或いは減算する。θoldがθnewに到達するまで、
ステップＳ２０４において、当該パノラマ画像からその
時点のθnewに対応した画像の生成、表示を行う（ステ
ップＳ２０６）。以上のようにして、θoldからθnewに
向かって角度αずつ回転しながら画像の再生、表示が行
われ、θoldとθnewが一致したならば、すなわち新たな
進行方向である道Ｒnewの進行方向に視線方向が一致し
たならば、ステップＳ２０７へ進み、道Ｒnewに対応す
るパノラマ画像によるウォークスルー再生を開始する。
なお、視線方向は、新たに視線方向が指示されるまで
は、道Ｒnewに沿った方向、すなわち０度となる。

【００５３】なお、上記の例では、交差点で停止して視
線方向を回転したが、第１実施形態のように視線方向を
保って道Ｒnewにおける移動を開始し、徐々に視線方向
を道Ｒnew上の移動方向と一致するようにしてもよい。
この場合、ステップＳ１０４において、上記ステップＳ
２０４〜Ｓ２０６と類似の処理を実行し、視線方向θne
wがゼロになるまで視線方向を角度αずつ変更しながら
画像の生成、表示を行うことになる。

【００５４】＜第３実施形態＞第１及び第２実施形態で
は、交差点に到達した時点の視線方向に従って、次に進
むべき道を即座に決定したが、交差点で視点位置の移動
を一時停止させ、交差点上でユーザに進行方向を指示さ
せるようにしてもよい。第３実施形態では、交差点上で
視線方向を指示すると、指示された視線方向に最も近い
方向に延びる道を選択し、選択された道の方向まで視線
方向を変更しながら画像を再生する。そして、選択され
た道の方向に視線方向が向いた後、所定の操作によって
当該選択された道に対応するパノラマ画像の再生を開始
し、視点の移動を再開させる。

【００５５】図１４は第３実施形態による、交差点にお
ける道の切り替え制御を説明するフローチャートであ
る。ステップＳ３０１において、視線方向θoldで道Ｒo
ldを進むうちに、交差点Ｃに対応する画像フレームに到
達すると、ステップＳ３０２において視点位置をロック
し、ウォークスルー再生における視点位置の移動を停止
する。ステップＳ３０３において、入力デバイスによっ
て指示された方向θnewを入力し、ステップＳ３０４に
おいて、θnewに最も近い方向に延びる道Ｒnewを選択す
る。

【００５６】ステップＳ３０５では、交差点到達時の視
線方向θoldからステップＳ３０３で指示されたθnewに
向かって視線方向を徐々に変化させながら画像の生成、
表示を行う。この処理は、第２実施形態のステップＳ２
０４〜Ｓ２０６と同様の処理であり、上記説明からその
処理方法は明らかであるので、説明を省略する。

【００５７】そして、ステップＳ３０６において、入力
デバイスからの進行開始指示（例えば、入力デバイスの
レバーを所定角度以上に倒した状態）が検出されると、
ステップＳ３０７へ進み、道Ｒnewに対応付けられたパ
ノラマ画像を用いて、視点位置の移動を伴うウオークス
ルー再生が再開される。

【００５８】以上のように、第３実施形態によれば、交
差点において一時停止するので、交差点に到達してから
所望の進行方向を選択できるようになり、操作性が向上
する。

【００５９】なお、上記第３実施形態では、交差点Ｃに
対応するパノラマ画像に到達した時点で視点位置の移動
を停止するが、この場合、観察者からすると移動が急停
止したことになる。従って、ステップＳ３０１、Ｓ３０
２において、交差点Ｃから所定の範囲の交差点領域に対
応付けられたパノラマ画像に到達したならば、視点位置
の移動を減速させ、交差点Ｃにおいて移動を停止するよ
うにしてもよい。

【００６０】また、第２実施形態でも述べたように、ス
テップＳ３０７のウォークスルー再生において、θnew
に対応する方向から道Ｒnewの進行方向へと徐々に視線
方向を変化させるようにしてもよい。

【００６１】また、ステップＳ３０７における処理にお
いて、第２実施形態で説明したように、視線方向を道Ｒ
newの方向へ向き直らせてから道Ｒnewのウォークスルー
再生を開始するようにしてもよい。

【００６２】＜第４実施形態＞第３実施形態において、
交差点領域を用いて徐々に視点位置の移動を停止させて
もよい旨説明したが、第４実施形態では、この減速中に
次の進行方向が決定された場合には、交差点に到達して
も停止することなく、指定された道へ進路を変更する。

【００６３】図１５は第４実施形態による、交差点にお
ける道の切り替え制御を説明するフローチャートであ
る。視線方向θoldで道Ｒoldを進むうちに、交差点Ｃの
交差点領域に対応するパノラマ画像に到達すると、ステ
ップＳ４０１からステップＳ４０２へ進み、交差点Ｃに
向かって減速表示を開始する。そして、交差点Ｃの位置
に到達するまでの間、ステップＳ４０３〜Ｓ４０６の処
理が行われ、当該減速処理中に進行すべき道を確定する
ことが可能である。そして、この処理で進行すべき道が
確定した場合は、後述するように、交差点中央部に到達
した時点で直ちに、その道のウォークスルー再生を開始
させる。

【００６４】ステップＳ４０４において、入力デバイス
より指示された方向から角度θを取得する。そして、ス
テップＳ４０５において視線方向を確定する旨の指示
（例えばジョイスティックの操作レバーを所定角度以上
倒し込む）があれば、ステップＳ４０６において進行方
向の指示が角度θに確定された旨のフラグをセットす
る。

【００６５】さて、ウォークスルー再生に用いられたパ
ノラマ画像が交差点の中央部（すなわち交差点Ｃ）に到
達すると、ステップＳ４０３からステップＳ４０７へ処
理が進み、指示方向θが確定しているかどうか、ステッ
プＳ４０６において指示方向が確定された旨のフラグが
セットされているか否かを判断する。確定されておれ
ば、ステップＳ４０９へ進み、このθをθoldとして、
第１或いは第２実施形態で説明した処理を実行し、道Ｒ
newにおけるウォークスルー再生を開始する。

【００６６】一方、ステップＳ４０７で指示方向が確定
していないと判定された場合は、ステップＳ４０８へ進
み、視点位置の移動を停止して交差点Ｃから次へ進む道
を決定する。すなわち、上述したステップＳ３０２〜Ｓ
３０６の処理を実行して、進行方向の確定を行い、ステ
ップＳ４０９で道Ｒnewにおけるウォークスルー再生を
開始する。

【００６７】以上のように第４実施形態によれば、交差
点領域に進入すると視点位置の移動が減速し、交差点Ｃ
に達するまでに進行方向を決定すればスムーズに交差点
を通過出来るようになる。

【００６８】＜第１〜第４実施形態の変形例＞なお、上
記第１乃至第４実施形態では、ジョイスティックの回転
角によって与えられる視線方向に従って交差点での進行
方向を決定していた。しかしながら、進行方向の決定は
これに限られるものではなく、視線方向以外の方向指示
に基づいて行なわれてもよい。

【００６９】図１７（ｂ）、（ｃ）及び図１８を用いて
説明する。図１８（ａ）において、方向１１０１は現在
の経路に沿った進行方向である。方向１１０２は、ジョ
イスティックの回転操作によって指定された、進行方向
に対してθ１の角度を有する視線方向を表す。また、方
向１１０３は、ジョイスティックの傾斜操作によって与
えられた、進行方向に対して角度θ３の指示進行方向を
表す。この指示は、図１７（ｂ）、（ｃ）に示されてい
るように、ジョイスティックの角度θ１の回転操作によ
って視線方向を指示しながら、そのジョイスティックを
角度θ３の方向に傾斜させることによってなされる。な
お、図１７（ｃ）は図１７（ｂ）の操作状態を上から見
た図である。

【００７０】この状態で、図１８（ｂ）に示すように再
生フレームが交差点１０１０に到達すると、指示進行方
向に最も近い道１００４が選択され、図１８（ｃ）に示
すように、進行方向が道１００４に設定される。この
時、第１の実施形態では、視線方向は方向１１０２に保
たれることになる。また、第２の実施形態では、この視
線方向１１０２から経路１００４に沿った進行方向へと
徐々に視線方向を変更していくことになる。

【００７１】また、上記例では、進行方向をジョイステ
ィックの傾斜方向で与えたが、一つのボタンの押下操作
を繰り返すことで、道１００２→道１００３→道１００
４→道１００２という様に順次選択すべき道を切換える
ようにしてもよい。この場合、交差点１０１０に進入し
た時点で最終的に指定されていた道に進行方向が決定さ
れることになる。

【００７２】なお、第１実施形態において、交差点を曲
がった後も視線方向を維持する場合は、交差点を曲がっ
た後の表示される視線方向とジョイスティックによって
指定される視線方向とに食い違いが生じてしまう。例え
ば図１８（ｃ）において、ジョイスティックの回転角度
はθ１のままであるが、表示画像の視線方向は進行方向
１１０４に対してθ４＋θ１となってしまう。このよう
な食い違いを解消するために、所定の操作、たとえばジ
ョイスティックの回転を０度に戻したときに表示画像の
視線方向も０度まで戻し、指定される視線方向と表示画
像の視線方向を一致させて、上記食い違いを解消すれば
よい。

【００７３】＜第５実施形態＞第３、第４実施形態で
は、交差点領域へ進入した際に視点位置の移動速度を減
速するようにしている。第５実施形態では、視点位置の
移動速度の加減速について説明する。

【００７４】視点位置が道に沿って移動するウォークス
ルー再生においては、道に対応づけられたパノラマ画像
群を順次に再生する。視点位置の移動速度の減速時に
は、同一のパノラマ画像から得られる画像を複数フレー
ムにわたって表示することにより、減速感を提供するこ
とができる。

【００７５】一方、加速時は、１フレームの表示時間が
決まっているので、パノラマ画像群を順次再生していた
のでは、パノラマ画像の間隔によってその最大速度が決
定されてしまう。そこで、視点位置の移動速度を更に加
速するために、第５実施形態では、再生するパノラマ画
像を指定された速度に応じて間引いて再生する。

【００７６】図１６は第５実施形態による加速処理を説
明するフローチャートである。ステップＳ５０１におい
て、入力デバイスの操作量を取得する。本実施形態で
は、入力デバイスとしてジョイスティックを用い、操作
量としてジョイスティックの倒し込み角度θを用いる。

【００７７】ステップＳ５０２では、ジョイスティック
の倒し込みの角度から指示スピードＶ（＝ｆ（θ））を
決定し、ステップＳ５０３で決定されたスピードＶに応
じて、ウォークスルー再生において間引くべきパノラマ
画像数Ｘを決定する。ステップＳ５０４では、現在進行
中の道に対応するパノラマ画像群から、ステップＳ５０
３で決定された間引き数（Ｘ）おきにパノラマ画像を取
得する。ステップＳ５０５では、ステップＳ５０４で取
得したパノラマ画像と、入力デバイスから指定された視
線方向に従って、画像を生成、表示する。以上の処理を
ウォークスルー再生の終了操作があるまで繰り返す（ス
テップＳ５０６）。

【００７８】なお、ステップＳ５０２におけるスピード
Ｖの設定方法は、単純に倒し込み角度から決定される速
度（Ｖｊ）を用い、Ｖ←Ｖｊとしたが、これに限らな
い。例えば所定係数を乗じて、Ｖ＝αＶｊとしてもよい
し、常に所定の移動速度以上となるように、Ｖ＝Ｖｊ＋
βとしてもよい。また、これらαやβの値を、ユーザが
所望に設定可能なように構成してもよい。

【００７９】なお、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００８０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
ＩＢＲ技術を用いたウォークスルー再生において、交差
点で選択可能なあらゆる方向へ、観察者が不自然さを味
わうことなく進むことが可能となる。

【図面の簡単な説明】

【図１】本実施形態によるウォークスルーシステムの機
能構成を説明するブロック図である。

【図２】画像データ保存部１０に保存されるフレームデ
ータを収集するための画像データ収集システム９０の構
成例を示す図である。

【図３】撮影部９１の構成を詳細に示すブロック図であ
る。

【図４】記録部９２の構成を詳細に示すブロック図であ
る。

【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック
図である。

【図６】画像データ保存部１０におけるビデオデータと
位置データ（ＧＰＳ測定結果データ）の格納状態例を示
す図である。

【図７】本実施形態による画像再生装置１のハード構成
を示すブロック図である。

【図８】本実施形態のウォークスルーシステムにおけ
る、画像再生装置１の処理内容を説明する図である。

【図９】道と区分点を用いたパノラマ画像の地図データ
への対応付けを説明する図である。

【図１０】第１実施形態による、交差点における再生制
御を説明する図である。

【図１１】第１実施形態による交差点における道の切り
替え制御を説明するフローチャートである。

【図１２】第２実施形態による、交差点における再生制
御を説明する図である。

【図１３】第２実施形態による、交差点における道の切
り替え制御を説明するフローチャートである。

【図１４】第３実施形態による、交差点における道の切
り替え制御を説明するフローチャートである。

【図１５】第４実施形態による、交差点における道の切
り替え制御を説明するフローチャートである。

【図１６】第５実施形態による加速処理を説明するフロ
ーチャートである。

【図１７】第１乃至第４実施形態の変形例によるジョイ
スティックの操作例を示す図である。

【図１８】第１乃至第４実施形態の変形例による交差点
における再生制御を説明する図である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−214069（ＪＰ，Ａ) 特開 平11−32284（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 15/00 - 17/50 G06F 17/30 H04N 5/76

Claims (13)

(57)【特許請求の範囲】
1. 【請求項１】 複数の区分点または区分点間を結ぶ経路
   に対応付けられた複数の画像からなる画像群から順次に
   画像を取り出し、指定された方向に対応する画像を再生
   する再生工程と、 前記再生工程によって処理される画像が所定の区分点に
   到達した場合に、前記指定された方向に最も近い方向を
   進行方向に決定する決定工程と、 前記決定工程で決定された進行方向と、前記所定の区分
   点に到達した時点で指定されていた方向の情報に基づい
   て前記再生工程によって再生される画像を選択する制御
   工程とを備えることを特徴とする画像再生方法。
2. 【請求項２】 複数の区分点と区分点間を結ぶ経路に対
   応付けられた複数の画像からなる画像群から順次に画像
   を取り出し、指定された方向に対応する画像を再生する
   再生工程と、 前記再生工程によって処理される画像に対応する位置が
   所定の区分点に到達した場合に、前記指定された方向に
   最も近い方向を進行方向に決定する決定工程と、 前記所定の区分点への到達時点で指定されていた方向か
   ら前記決定工程で決定された方向へと方向を徐々に変更
   しながら、前記所定の区分点に対応する画像を再生させ
   る第１制御工程と、 前記第１制御工程による再生画像の方向が前記決定工程
   で決定された方向に一致したならば、前記決定工程で決
   定された方向に対応する画像群を用いて前記再生工程に
   よる処理を実行させる第２制御工程とを備えることを特
   徴とする画像再生方法。
3. 【請求項３】 前記区分点は地図上における交差点であ
   り、 前記決定工程は、前記再生工程で処理される画像が交差
   点に到達した時点で指示されていた方向を、進行方向と
   して検出することを特徴とする請求項１又は２に記載の
   画像再生方法。
4. 【請求項４】 前記区分点は地図上における交差点であ
   り、 前記決定工程は、 前記再生工程によって処理される画像が交差点に到達し
   たとき、その到達時点で前記画像群からの画像の再生位
   置の移動を停止する停止工程を備え、 前記交差点に接続する経路のうち、前記停止工程にて停
   止している間に進行方向として指示された方向を検出す
   ることを特徴とする請求項１又は２に記載の画像再生方
   法。
5. 【請求項５】 前記停止工程は、交差点を含む所定領域
   内に進入した場合に、前記再生工程における視点位置の
   移動の減速を開始し、該交差点の中央部で停止させるこ
   とを特徴とする請求項４に記載の画像再生方法。
6. 【請求項６】 前記所定領域内において進行方向の指示
   が検出された場合は、前記交差点の中央部に到達した時
   点で、直ちに前記決定工程を実行させることを特徴とす
   る請求項５に記載の画像再生方法。
7. 【請求項７】 前記画像はパノラマ画像であることを特
   徴とする請求項１乃至６のいずれかに記載の画像再生方
   法。
8. 【請求項８】 請求項１乃至７のいずれかに記載の画像
   再生方法をコンピュータによって実現させるための制御
   プログラムを格納する記憶媒体。
9. 【請求項９】 請求項１乃至７のいずれかに記載の画像
   再生方法をコンピュータによって実現させるための制御
   プログラム。
10. 【請求項１０】 複数の区分点または区分点間を結ぶ経
    路に対応付けられた複数の画像からなる画像群から順次
    に画像を取り出し、指定された方向に対応する画像を再
    生する再生手段と、 前記再生手段によって処理される画像に対応する位置が
    所定の区分点に到達した場合に、前記指定された方向に
    最も近い方向を進行方向に決定する決定手段と、 前記決定手段で決定された進行方向と、前記所定の区分
    点に到達した時点で指定されていた方向の情報に基づい
    て前記再生手段によって再生される画像を選択する制御
    手段とを備えることを特徴とする画像再生装置。
11. 【請求項１１】 複数の区分点または区分点間を結ぶ経
    路に対応付けられた複数の画像からなる画像群から順次
    に画像を取り出し、指定された方向に対応する画像を再
    生する再生手段と、 前記再生手段によって処理される画像に対応する位置が
    所定の区分点に到達した場合に、前記指定された方向に
    最も近い方向を進行方向に決定する決定手段と、 前記所定の区分点に到達した時点で指定されていた方向
    から前記決定手段で決定された方向へと方向を徐々に変
    更しながら、前記所定の位置に対応する画像を再生させ
    る第１制御手段と、 前記第１制御手段による再生画像の方向が前記決定手段
    で決定された方向に一致したならば、前記決定手段で決
    定された方向に対応する画像群を用いて前記再生手段に
    よる処理を実行させる第２制御手段とを備えることを特
    徴とする画像再生装置。
12. 【請求項１２】第１の方向を指示するための第１の方向
    指示手段と、 第２の方向を指示するための第２の方向指示手段と、 複数の区分点または区分点間を結ぶ経路に対応付けられ
    た複数の画像からなる画像群から順次に画像を取り出
    し、所定の画像を再生する再生手段と、 前記再生手段によって処理される画像に対応する位置が
    所定の区分点に到達した場合に、前記第２の方向指示手
    段により指示された方向に最も近い方向を進行方向に決
    定する決定手段と、前記区分点に到達するまでの進行方向を第１の進行方向
    とし、前記決定された進行方向を第２の進行方向とする
    場合に、前記第１の進行方向に対する前記第１の方向指
    示手段により指示された前記第１の方向の角度と前記第
    １の進行方向に対する前記第２の進行方向の角度とに基
    づいて定まる前記第２の進行方向に対する方向に対応す
    る画像を、前記再生手段によって再生される前記所定の
    画像として選択する制御手段とを備えることを特徴とす
    る画像再生装置 。
13. 【請求項１３】 前記制御手段は、前記所定の画像と対
    応づけられる方向を前記定められた第２の進行方向に対
    する方向から前記第２の進行方向へ段階的に変更する変
    更手段を備え、前記段階的に変更された方向に対応する
    前記画像を前記所定の画像として選択することを特徴と
    する請求項１１に記載の画像再生装置。