JPH09245192A - 仮想環境生成実現方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 容易に形状モデルデータと実写画像とを生成
し、融合することができ、かつリアリティの高い画像を
表示できるようにする。 【解決手段】 形状モデルデータｄ１とその表面特性や
模様などを用いて３次元空間を生成し、その３次元空間
から視点位置・向き・画角などで決められるある描画則
によって画像として空間を再現し、また、光線空間デー
タｄ３から上記描画則を用いて画像を生成し、形状モデ
ルデータｄ１及び光線空間データｄ３のそれぞれから生
成された画像を融合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、バーチャルリアリ
ティのための仮想環境を生成し体験実現する方法および
その装置に関するものである。

【０００２】

【従来の技術】３次元物体やシーンを表現し、任意の位
置・向きからの観察画像を提示する手法として、 （１）ポリゴンデータや曲面データなどの形状モデルデ
ータ、その表面特性や模様を表すテクスチャデータ、光
源データなどによって、３次元物体やシーンを表現し、
コンピュータグラフィクスのレンダリング技術により任
意の位置向きでのシーンの見え方を画面に描画すること
によって、３次元シーンや物体を再現する方法があっ
た。

【０００３】（２）３次元物体やシーンを多数の視点か
ら予め撮影しておき、その画像群の中から、観察したい
位置・向きに近い撮影条件で撮影された画像を選択する
ことによって、任意に近い位置向きから観察される３次
元物体を提示する方法があった。

【０００４】（３）３次元物体やシーンの実写の画像群
を基にして光線空間データを生成し、その光線空間デー
タから、任意位置向きから見える画像を生成し、提示す
ることによって３次元物体やシーンを再現する方法があ
った。

【０００５】（４）ある視点から周囲を見回したパノラ
マ画像を入力しておき、そのパノラマ画像から向いてい
る方向に相当する画像を生成する（主に切り出しと歪み
補正処理とからなる）方法により、ある地点からの３次
元シーンを提示する方法があった。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
従来の技術には、以下のような問題点があった。

【０００７】まず、従来の技術（１）の方法には、形状
が複雑な物体に対してその形状データを生成することが
困難であるという問題点があった。さらに、形状が複雑
な物体の形状データを実物体から獲得することも困難で
あるという問題点があった。特に、既にある複雑な形状
や、複雑な表面の模様・反射特性（吸収透過特性）をも
つような実物体を再現することは、より困難である。そ
して一般的に人工物は表現しやすいが、自然物の表現が
難しい。しかしながら、部屋や街並みと言った人工的な
３次元シーンを表現することが、比較的少ないデータ量
にて比較的容易に行えるという長所を持っている。

【０００８】また、従来の技術（２）では上述の問題は
発生しないが、最終的に提示する画像を予め撮影してお
く必要があるため、観察時の視点位置向きを疑似的に任
意であると見なせる程度に画像を準備することが、デー
タ量が膨大になるために事実上困難であるという問題点
があった。同様な理由により、部屋や街並みといった広
い３次元シーンを表現するためにあらゆるデータを保持
しておくことは、不可能に近く、どちらかというと３次
元物体を表現することに向いている手法である。

【０００９】また、従来の技術（３）では、従来の技術
（２）で必要であった提示する画像の全てを予め撮影し
ておくという必要はないが、３次元シーンのあらゆる位
置からの画像を提示するためには、やはり膨大な光線空
間データを生成・保持しておく必要があり、どちらかと
いうと、３次元物体向きの手法であって、部屋や街並み
と言ったような３次元シーンを表現するには向いていな
い手法であった。

【００１０】また、従来の技術（４）は、部屋や街並み
といった３次元シーンを表現するのに向いた方法であ
り、ある地点から任意の方向を向いたときの観察画像を
提示することが可能である。しかし、視点位置の移動を
行いたいときには、多くのパノラマ画像を用意する必要
がある。そのため、任意と見なせる視点位置からの観察
を行うためには、やはりデータ量が膨大となり、事実上
それが困難であるといった問題点があり、そのために、
離散的な視点位置の移動として、この処理を実現するこ
とが多い。

【００１１】本発明は、別々の技術である従来の技術
（１）〜（４）の特性を生かし、これらをうまく組み合
わせてそれぞれの利点のみを有効に利用する方法及びそ
の装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明にかかる仮想空間生成実現方法は、仮想環
境を生成し体験実現する方法であって、形状モデルデー
タを用いて３次元空間を生成し、該３次元空間からある
観察視点での第１の描画則によって画像として空間を再
現するモデル空間再現工程と、実写画像を基にして、撮
影位置に拘束されない自由な視点からの画像を、上記第
１の描画則と同様の観察条件となる第２の描画則によっ
て生成する実写ベース画像生成工程と、前記モデル空間
再現工程において再現された画像と、前記実写ベース画
像生成工程において生成された画像とを融合する画像融
合工程とを設けた。

【００１３】また、上記の目的を達成するために、本発
明にかかる仮想空間生成実現装置は、仮想環境を生成し
体験実現する装置であって、形状モデルデータを用いて
３次元空間を生成し、該３次元空間からある観察視点で
の第１の描画則によって画像として空間を再現するモデ
ル空間再現手段と、実写画像を基にして、撮影位置に拘
束されない自由な視点からの画像を、上記第１の描画則
と同様の観察条件となる第２の描画則によって生成する
実写ベース画像生成手段と、前記モデル空間再現手段に
より再現された画像と、前記実写ベース画像生成手段に
より生成された画像とを融合する画像融合手段とを設け
た。

【００１４】

【発明の実施の形態】

（実施の形態１）図１に実施の形態１の仮想環境生成実
現装置ブロック図を示す。１は、本実施の形態１の処理
手順をあらわすプログラムを実行するＣＰＵである。２
は、処理手順をあらわすプログラム記憶しておく処理手
順記憶装置である。この処理手順記憶装置２に記憶して
あるプログラムは、予め記憶しておくこともできるが、
ＦＤ、ＤＣ−ＲＯＭ、ＲＯＭ、磁気テープ等の記憶媒体
に記憶されたプログラムを下記入出力インターフェース
８を通して供給することも可能である。３は、処理前後
および処理中に生成または入力されるデータを保持して
おくデータ記憶装置である。４は、処理過程、処理結果
を提示するための画像を表示装置に送るために蓄えてお
くフレームバッファである。５は、フレームバッファ４
に蓄えてある画像を表示するための画像表示装置のひと
つのウインドウシステムである。６は、処理過程での指
示を入力するキーボードである。７は、画面上での位置
を指定するためのマウスである。８は、データや処理手
順などを入出力するための外部機器との入出力インター
フェイスである。また、９は各部を接続するバスであ
る。

【００１５】また、データ記憶装置３において、ｄ１
は、形状モデルデータ、ｄ１１は、ポリゴンデータ、ｄ
１２は、表面特性データ、ｄ１３は、自由曲面データ、
ｄ２は、多視点画像データ、ｄ３は、光線空間データ、
ｄ４は、光線空間データ配置データである。

【００１６】また、処理手順記憶装置２において、ｐ１
は、全体処理制御ルーチン、ｐ２は、光線空間生成ルー
チン、ｐ３は、Ｗａｌｋ ｔｈｒｏｕｇｈ 制御ルーチ
ン、ｐ４は、描画画面生成ルーチン、ｐ４１は、形状モ
デル描画ルーチン、ｐ４２は、描画則獲得ルーチン、ｐ
４３は、光線空間からの画像生成ルーチン、ｐ４４は、
融合処理ルーチンである。

【００１７】図２に本実施の形態１の処理の流れを表す
フローチャートを示す。このフローチャートの処理を実
現するためのプログラムは、処理手順記憶装置２に記憶
されている。

【００１８】先ず、ステップＳ２０１にて、予めなんら
かのコンピュータグラフィクスの形状モデルデータｄ１
およびテクスチャデータを作成可能なモデラー装置など
により作成しておいた形状モデルデータｄ１およびその
表面特性データｄ１２を、外部機器から入出力インター
フェース８を通してデータ記憶装置３に入力する。形状
モデルデータｄ１には、三角形パッチなどのポリゴンデ
ータｄ１１や、ＮＵＲＢＳなどの自由曲面データｄ１３
などがある。表面特性データｄ１２とは、その形状の反
射特性や模様などであり、ここでは、模様であるテクス
チャデータを入力する。テクスチャデータとは、ポリゴ
ンデータｄ１１や自由曲面データｄ１３などの表面の模
様を表すデータで、画像データと形状との対応関係を記
述したデータである。次に、ステップＳ２０２にて、多
視点画像データｄ２を外部機器から入出力インターフェ
イス８を通して、データ記憶装置３に入力する。多視点
画像データｄ２とは、複数の位置から撮影した画像群の
ことである。次に、ステップＳ２０３にて、多視点画像
データｄ２を基にして、処理手順記憶装置２に格納され
ている光線空間生成ルーチンｐ２に基づいて、光線空間
データｄ３を生成し、このデータｄ３をデータ記憶装置
３に格納する。ここで、ステップＳ２０２とステップＳ
２０３で入力生成する多視点画像データｄ２および光線
空間データｄ３は、観察したい物体毎に用意するもので
あり、複数あるものである。ここで、ステップＳ２０３
で行う光線空間データｄ３の生成方法を以下に示す。

【００１９】図３（ａ）に示すような座標系にｚ＝０の
平面を仮定し、この平面（これを基準面３１と呼ぶこと
にする）を通過する光線の集合として３次元空間を表現
する手法（光線空間による３次元空間表現）が提案され
ている。図４（ａ）に示すように、この手法では、３次
元空間内のＺ＞０にある視点位置Ｐで観察できる画像
は、この基準面３１を通過する光線の集合からＰを通過
する光線のみをサンプリングして得られる画像と等価に
なる。一般的には、各光線は基準面３１を通過する位置
（ｘ，ｙ）、各光線がｘ軸，ｙ軸のそれぞれとなす角度
を図３（ｂ）のようにφ，ψ、光線が平面を通過した時
間ｔ、光線の色（ｒ，ｇ，ｂ）で表されるが、実際に
は、計算量やデータ量が膨大になるという問題から、対
象は静止物体でｙ軸方向の視差はないと仮定されること
が多い。この仮定のもとでｕ＝ｔａｎφとおいて各光線
をｘ−ｕ空間に射影し、この射影されたｘ−ｕ空間で光
線空間を扱う場合、ある点Ｐを通過する光線は図４
（ｂ）に示すように直線状の軌跡をなす。この軌跡は以
下の式で表される。

【００２０】ｘ＝Ｘ−Ｚ・ｕ （１） ｕ＝ｔａｎφ （２） ここで（Ｘ，Ｚ）は観察視点位置を表し、ｘは光線がｘ
−ｕ空間上のｘ軸と交差する位置を表す。また、φは光
線がｚ軸となす角度を表す。

【００２１】次に、図５（ａ）に示すように多数の視点
位置で得られた画像から直線状の軌跡を求め、この軌跡
群によりｘ−ｕ空間が密に埋められていると仮定する。
この時、図５（ａ）のｚ＞０にある視点位置Ｑの画像
は、図５（ｂ）に示すようにｘ−ｕ空間上でＱを通過す
る光線の軌跡を求め、その軌跡上にすでに記録されてい
る光線の色を逆に求めることにより得ることができる。
ステップＳ２０３で行う光線空間データの生成は、この
処理のうちのｘ−ｕ空間上に多視点画像のデータを写像
することに相当する。

【００２２】次に、ステップＳ２０４にて、各光線空間
データｄ３が、形状モデルデータｄ１に対してどういう
配置となっているかを示す配置データｄ４を外部機器か
ら入出力インターフェース８を通して、データ記憶装置
３に入力する。配置データｄ４とは、光線空間データｄ
３を生成するときに、３次元空間中に光線束の通過する
基準平面を設定するのであるが、その基準平面の位置お
よび向きを規定するものが配置データｄ４である。その
ときの配置の概念図を図６に示す。また、その光線空間
データｄ３から画像を生成できる範囲を規定した観察域
も配置データｄ４に含まれる。その生成範囲に関する概
念図を図７に示す。

【００２３】ステップＳ２０５においては、表示するた
めの画面の大きさ、観察するときの仮想カメラの画角の
初期設定を行う。

【００２４】また、ステップＳ２０６においては、仮想
空間内での、観察者の初期位置・初期向きの指定を行
う。

【００２５】更に、ステップＳ２０７においては、処理
手順記憶装置２の形状モデル描画ルーチンｐ４１によ
り、設定された画面の大きさで観察するときの仮想カメ
ラの画角と、仮想空間での観察者の位置・向きから、形
状モデルデータｄ１の描画則をもとめ、形状モデルデー
タｄ１から観察画像を生成する。それで生成された画像
を、ステップＳ２０８にて、フレームバッファ４に書き
込むことによって画面５に表示する。その表示例を図８
に示す。

【００２６】また更に、ステップＳ２０９においては、
各光線空間データｄ３と観察視点位置との距離を配置デ
ータｄ４により求める。そしてステップＳ２０９５にお
いては、ステップＳ２０９で求まった距離に基づいて、
以下のステップＳ２１０〜Ｓ２１３までの処理の対象と
なる光線空間データｄ３の順番を決定する。例えばここ
では、その距離の遠い光線空間データｄ３から順に処理
をすすめることを決定する。そして、ステップＳ２１０
で、すべての光線空間データｄ３について処理が終わっ
たかどうかを判定し、処理が終わった場合は、ステップ
Ｓ２１４に進み、終わっていない場合は、ステップＳ２
１１に進む。ステップＳ２１１では、配置データｄ４の
うち、その光線空間データｄ３から画像の生成を行うか
否かの判定を行う。これは、例えば図９に示した領域内
に観察視点および向きが入っていると判定された場合に
は画像を生成すると判定しステップＳ２１２に進み、入
っていないと判定された場合には画像を生成しないと判
定し、ステップＳ２１０に戻る。ステップＳ２１２で
は、処理手順記憶装置２に格納されている描画則獲得ル
ーチンｐ４２により、光線空間データｄ３から観察画像
を生成するときに必要な描画則（ステップＳ２０７で行
った形状モデルからの描画と同じように観察される描画
則）を求め、光線空間データｄ３からの画像生成ルーチ
ンｐ４３によって、光線空間データｄ３から画像を生成
する。その画像は、ステップＳ２１３にて、フレームバ
ッファ４に上書きされ、画面５に表示される。

【００２７】すべての光線空間データｄ３に関して、ス
テップＳ２１０〜Ｓ２１３までの処理が終わったなら
ば、ステップＳ２１０から、ステップＳ２１４に進む。

【００２８】ステップＳ２１４では、観察画面の設定変
更を行うかどうかを判定する。変更を行う場合には、ス
テップＳ２１８へ進み、ウインドウの枠をマウスで拡げ
ることによって、変更した画角比とウインドウサイズを
更新する。その後、ステップＳ２０７に戻り、ステップ
Ｓ２０８において、例えば図８に示した表示例は、図１
０に示すように変更される。なお、観察画面の設定変更
を行わない場合にはステップＳ２１５に進む。

【００２９】ステップＳ２１５では、観察視点位置・向
きの変更を行うかどうかを判定する。判定を行う場合に
は、ステップＳ２１９へ進み、ウインドウを操作可能対
象として選択している状態にて矢印キーなどに割り振っ
たスイッチにより、前進、後退、左右旋回、左右横歩
き、左右首振りなどを行い、変更した視点位置と向きを
更新する。その後、ステップＳ２０７に戻り、ステップ
Ｓ２０８において、例えば図１０に示した表示例は、図
１１に示すように変更される。なお、観察視点位置・向
きの変更を行わない場合には、ステップＳ２１６に進
む。

【００３０】ステップＳ２１６では、光線空間データの
配置データの変更を行うかどうかを判定する。変更を行
う場合には、ステップＳ２２０へ進み、ステップＳ２１
９の場合と同様に矢印キーなどに割り振ったスイッチに
より光線空間で表現された物体のみに操作を加えて変更
した配置データを更新する。その後、ステップＳ２０７
に戻り、ステップＳ２０８において、例えば図１１に示
した表示例は、図１２に示すように変更される。なお、
光線空間データの配置データの変更を行わない場合には
ステップＳ２１７に進む。

【００３１】これらのステップＳ２１４、Ｓ２１５、Ｓ
２１６は、処理手順記憶装置２のＷａｌｋ ｔｈｒｏｕ
ｇｈ制御ルーチンｐ３によって行われる。ステップＳ２
１７では、処理を終わってよいかの入力待ちとなり、終
わってよい場合には処理を終了し、そうでない場合には
ステップＳ２１４に戻る。

【００３２】なお、観察者の位置・向きが、各光線空間
データｄ３の配置されている位置向きにより、観察者の
位置・向きから、その光線空間データｄ３で表現されて
いる物体が観察可能であるかどうかの判定を行う。そし
て、観察可能であると判定されたときには、ステップＳ
２０９に進み、そうでなかったならば、ステップＳ２１
１に進む。

【００３３】以上のステップにより、形状モデルデータ
ｄ１を用いて３次元空間を生成し、その３次元空間から
ある観察視点での描画則によって画像として空間を再現
し、光線空間データｄ３から上記描画則と同様な見え方
となる描画則によって画像を生成し、それらの画像を融
合することによって、バーチャルリアリティのための仮
想環境を生成し、それを体験することを実現することが
可能となる。

【００３４】本実施の形態１によって実際に生成した空
間とその観察画像例を図９や図１２に示す。室内の幾何
形状とその表面の模様を形状モデルにより表現し、兎の
縫いぐるみを光線空間により表現し、それらから本手法
によって生成した画像である。

【００３５】また、本実施の形態１において、ステップ
Ｓ２０２で多視点画像を入力し、ステップＳ２０３で光
線空間データを生成するという、２つのステップを、予
め生成しておいた光線空間データを読み込むという１つ
のステップにしてもよい。

【００３６】（実施の形態２）実施の形態１において
は、実写ベース画像生成処理として、ステップＳ２１２
において光線空間データｄ３から表示画像を生成してい
るが、本実施の形態２では、光線空間データｄ３を用い
るかわりに、以下の方法により多視点画像から表示に必
要な画像を生成する。

【００３７】図１３は入力された多視点画像から画像を
再構成する原理を示す図である。この図のように、本実
施の形態２では多視点画像の撮影条件として、撮影方向
に対して垂直な一直線上にカメラを並べて撮影しておく
必要がある。図１３中、１００１は被写体、１００２は
入力画像の撮影位置を結んだ撮影視点並び直線、１００
３は仮想カメラの仮想ＣＣＤ面を表す仮想ＣＣＤ、１０
０４は観察者の位置（ｘ′，ｚ′）に置かれた仮想カメ
ラである。

【００３８】図１４のフローチャートを用いて、多視点
画像から画像を生成する処理を説明するステップＳ１１
０１において注目ラインｊを画像Ｐの先頭ラインにセッ
トし、注目画素をｊライン目の左端の画素にセットす
る。次に、ステップＳ１１０２において、画像Ｐのｊラ
インｉ番目画素に対応した撮影視点並び直線１００２上
の画像Ｑの位置を計算する。これは次のようにすること
で計算できる。物体中の一点Ａが、視点位置Ｐの仮想カ
メラの画素位置Ｐｉに写っているとする。また、位置Ａ
とＰを結ぶ直線が撮影視点並び直線１００２と交差する
位置をＱとする。このとき、図３から、画素位置Ｐｉに
写っているものは、視点位置Ｑで撮影した画像の画素位
置Ｑｉに写っているものと等価であることが分かる。図
３の幾何的な制約条件から、視点位置ＱのＸ座標は以下
の式（３）で表すことができる。但し、スキャンライン
の中央の画素位置を０番目の画素とする。また、仮想カ
メラ１００４の画素ピッチをｄ、焦点距離をｆ、原点か
ら撮影視点並び直線１００２までの距離をｇとする。

【００３９】 ｘ＝ｘ′＋ｉ・ｄ・（ｇ−ｚ′）／ｆ （３）

【００４０】同様に視点位置Ｐの仮想カメラの画素位置
Ｐｊに写っているものは、データ記憶装置３に記憶され
た視点位置Ｒの画像の画素位置Ｒｊに写っているものと
等価である。

【００４１】この方法により、例えば画像Ｑのｊライン
ｉ番目の画素値を画像Ｐのｊラインｉ番目画素にコピー
して画像を再構成した場合、再構成された画像が歪む、
すなわち、画像中の物体が縦に伸びたり、縮んだりする
ことがある。そこで、これを解消するためにステップＳ
４３において画像Ｐのｊライン目に対応する画像Ｑのラ
イン番号を求める。画像Ｑのライン番号の求め方法に関
して、図１５を参照しながら説明する。

【００４２】図１５は上記で再構成された画像の歪みを
補正する原理を示す図である。図１５中、１２０１は被
写体、１２０２は再構成したい視点位置Ｐの画像、１２
０３は撮影視点並び直線３２上の視点位置Ｓの画像であ
る。

【００４３】被写体１２０１中の一点Ｂについて考え
る。点ＢがＹ軸に近いか、再構成したい視点位置Ｐの画
像１２０２、撮影視点並び直線１００２上の視点位置Ｓ
の画像１２０３のｚ座標値が十分に大きい、または、再
構成したい視点位置Ｐの画像１２０２、撮影視点並び直
線１００２上の視点位置Ｓの画像１２０３のｚ座標値が
ほぼ同じ値であると仮定する。このとき、点Ｂから発す
る光線は再構成したい視点位置Ｐの画像１２０２中のｍ
ライン目と撮影視点並び直線１００２上の視点位置Ｓの
画像１２０３中のｎライン目に記録される。そこで、仮
想ＣＣＤ１００３の画素ピッチをｄ、仮想カメラ１００
４の焦点距離ｆ、仮想ＣＣＤ１００３のライン数をＮと
すれば、 Ｐｚ・ｔａｎα＝Ｓｚ・ｔａｎβ （４） ｔａｎα＝ｄ・（Ｎ／２−ｍ）／ｆ （５） ｔａｎβ＝ｄ・（Ｎ／２−ｎ）／ｆ （６） となる。式（４）、式（５）、式（６）より、 ｎ＝Ｎ／２＋（ｍ−Ｎ／２）・Ｓｚ／Ｐｚ （７） が得られる。

【００４４】従って、再構成したい視点位置Ｐの画像１
２０２のｍ番目のスキャンラインの値は、撮影視点並び
直線１００２上の視点位置Ｓの画像１２０３の式（７）
で与えられるｎ番目のスキャンラインの値と等価にな
る。そこで、ステップＳ１１０４において、画像Ｐのｊ
ラインｉ番目画素に、画像Ｑのｎラインｉ番目画素の値
をコピーする。この処理により、Ｓ撮影視点並び直線１
００２上でない視点位置の画像を再構成するときに画像
が歪むという現象をある程度抑えることができる。その
後、ステップＳ１１０５に移り、注目ラインｊ中のすべ
ての画素の処理が終了していればステップＳ１１０７に
移り、そうでなければステップＳ１１０６に移る。ステ
ップＳ１１０６では、注目画素ｉを右隣の画素に移し、
ステップＳ１１０２に戻る。また、ステップＳ１１０７
では、画像Ｐ中のすべてのラインに対して処理が終了し
ているならばこのサブルーチンを終了する。そうでなけ
れば、ステップＳ１１０８において、注目ラインｊを次
のラインに移し、注目画素ｉをラインｊの左端にセット
した後に、ステップＳ１１０２に戻る。

【００４５】このように、撮影視点並び直線１００２上
で微少間隔で撮影された多視点画像群が得られていると
すると、上記の考え方に基づき、すべてのスキャンライ
ンについて同様のことを繰り返せば、撮影視点並び直線
１００２上でない視点位置の画像を再構成することがで
きる。

【００４６】なお、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用してもよい。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係わるプログラムを格納した記憶媒体が、本発明を構成
することになる。そして、該記憶媒体からそのプログラ
ムをシステムあるいは装置に読み出すことによって、そ
のシステムあるいは装置が予め定められた方法で動作す
る。

【００４７】

【発明の効果】以上説明したように本発明によれば、別
々の技術である従来の技術（１）〜（４）の特性を生か
し、うまく組み合わせてそれぞれの利点のみを有効に利
用することができ、容易に形状モデルデータと実写画像
とを生成し、融合することが可能となり、また、リアリ
ティの高い画像を表示することが可能となる。

【図面の簡単な説明】

【図１】実施の形態１の仮想環境生成実現装置のブロッ
ク図である。

【図２】実施の形態１の処理の流れを表すフローチャー
トである。

【図３】光線空間の原理を説明するための３次元空間の
模式図である。

【図４】実空間中及び光線空間中の光線の関係図であ
る。

【図５】実空間と光線空間の相互変換を表す原理図であ
る。

【図６】光線空間データの配置データを示すための座標
系の依存関係の概念図である。

【図７】光線空間データの配置データのひとつである描
画判定を行う領域の概念図である。

【図８】実施の形態１により実際に生成した画面例の図
である。

【図９】実施の形態１により実際に生成した画面例の図
である。

【図１０】実施の形態１により実際に生成した画面例の
図である。

【図１１】実施の形態１により実際に生成した画面例の
図である。

【図１２】実施の形態１により実際に生成した画面例の
図である。

【図１３】実施の形態２で用いる多視点画像からの画像
生成原理図である。

【図１４】実施の形態２で用いる多視点画像からの画像
生成の流れ図である。

【図１５】実施の形態２の画像生成における縦方向の歪
み補正の原理図である。

【符号の説明】

１ ＣＰＵ ２ 処理手順記憶装置 ３ データ記憶装置 ４ フレームバッファ ５ ウインドウシステム（画面） ６ キーボード ７ マウス ８ 外部機器との入出力インターフェース

Claims (16)

【特許請求の範囲】
1. 【請求項１】 仮想環境を生成し体験実現する方法であ
   って、 形状モデルデータを用いて３次元空間を生成し、該３次
   元空間からある観察視点での第１の描画則によって画像
   として空間を再現するモデル空間再現工程と、 実写画像を基にして、撮影位置に拘束されない自由な視
   点からの画像を、上記第１の描画則と同様の観察条件と
   なる第２の描画則によって生成する実写ベース画像生成
   工程と、 前記モデル空間再現工程において再現された画像と、前
   記実写ベース画像生成工程において生成された画像とを
   融合する画像融合工程とを具備したことを特徴とする仮
   想空間生成実現方法。
2. 【請求項２】 前記実写ベース画像生成工程において、
   実写画像として光線空間データを用いることを特徴とす
   る請求項１記載の仮想空間生成実現方法。
3. 【請求項３】 前記モデル空間再現工程において、 観察視点の位置と向きと観察画角とによって導かれる透
   視変換を第１の描画則として画像を再現することを特徴
   とする請求項１記載の仮想空間生成実現方法。
4. 【請求項４】 前記モデル空間再現工程において、 観察視点の位置と向きとによって導かれる正射影変換を
   第１の描画則として画像を再現することを特徴とする請
   求項１記載の仮想空間生成実現方法。
5. 【請求項５】 前記画像融合工程において、 形状モデルデータからの描画画像を先に画面に表示し、
   実写画像からの描画画像をその画面に上書きすることに
   より、該両描画画像を融合することを特徴とする請求項
   １記載の仮想空間生成実現方法。
6. 【請求項６】 前記モデル空間再現工程において、 形状モデルデータは、幾何形状のみを表現するデータで
   なくて、その表面特性や模様を含むデータであることを
   特徴とする請求項１記載の仮想空間生成実現方法。
7. 【請求項７】 前記実写ベース画像生成工程が、複数の
   位置から撮影された複数の画像から１つの画像を再構成
   する画像再構成工程を具備したことを特徴とする請求項
   １記載の仮想空間生成実現方法。
8. 【請求項８】 前記実写ベース画像生成工程が、前記画
   像再構成工程における画像の再構成の際に、画像の歪み
   を補正する歪み補正工程を具備したことを特徴とする請
   求項７記載の仮想空間生成実現方法。
9. 【請求項９】 仮想環境を生成し体験実現する装置であ
   って、 形状モデルデータを用いて３次元空間を生成し、該３次
   元空間からある観察視点での第１の描画則によって画像
   として空間を再現するモデル空間再現手段と、 実写画像を基にして、撮影位置に拘束されない自由な視
   点からの画像を、上記第１の描画則と同様の観察条件と
   なる第２の描画則によって生成する実写ベース画像生成
   手段と、 前記モデル空間再現手段により再現された画像と、前記
   実写ベース画像生成手段により生成された画像とを融合
   する画像融合手段とを具備したことを特徴とする仮想空
   間生成実現装置。
10. 【請求項１０】 前記実写ベース画像生成手段は、実写
    画像として光線空間データを用いることを特徴とする請
    求項９記載の仮想空間生成実現装置。
11. 【請求項１１】 前記モデル空間再現手段は、 観察視点の位置と向きと観察画角とによって導かれる透
    視変換を第１の描画則として画像を再現することを特徴
    とする請求項９記載の仮想空間生成実現装置。
12. 【請求項１２】 前記モデル空間再現手段は、 観察視点の位置と向きとによって導かれる正射影変換を
    第１の描画則として画像を再現することを特徴とする請
    求項９記載の仮想空間生成実現装置。
13. 【請求項１３】 前記画像融合手段は、 形状モデルデータからの描画画像を先に画面に表示し、
    実写画像からの描画画像をその画面に上書きすることに
    より、該両描画画像を融合することを特徴とする請求項
    ９記載の仮想空間生成実現装置。
14. 【請求項１４】 前記モデル空間再現手段は、 形状モデルデータは、幾何形状のみを表現するデータで
    なくて、その表面特性や模様を含むデータであることを
    特徴とする請求項９記載の仮想空間生成実現装置。
15. 【請求項１５】 前記実写ベース画像生成手段が、複数
    の位置から撮影された複数の画像から１つの画像を再構
    成する画像再構成手段を具備したことを特徴とする請求
    項９記載の仮想空間生成実現装置。
16. 【請求項１６】 前記実写ベース画像生成手段が、前記
    画像再構成手段による画像の再構成の際に、画像の歪み
    を補正する歪み補正手段を具備したことを特徴とする請
    求項１５記載の仮想空間生成実現装置。