JPH1027268A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 形状が非常に複雑な物体に対してその形状デ
ータを生成する、あるいは再現することを容易にし、ま
た、形状が複雑な物体の形状データを実物体から３次元
計測装置を用いて獲得することも容易にする。 【解決手段】 3次元物体の形状と３次元空間の形状と
を、３次元的な位置、3次元的な向き、表面色を含む情
報に基づいて記述し、3次元物体の形状と３次元空間の
形状とを、自由な位置から撮影した実写画像に基づいて
記述し、記述された両形状とを混在させて、仮想環境を
生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、バーチャルリアリ
ティのための仮想環境を生成し体験実現するための画像
処理方法及び画像処理装置に関するものである。

【０００２】

【従来の技術】従来、３次元の物体や空間を表現し、任
意の位置・向きからの観察画像を提示する手法として、 (1)ポリゴンデータや曲面データなどの形状モデルデー
タ、その表面属性や模様を表すテクスチャデータ、光源
データなどによって、３次元物体や空間を表現し、コン
ピュータグラフィクスのレンダリング技術により任意の
位置向きでの空間の見え方を画面に描画することによっ
て、３次元の物体や空間を再現する方法があった。

【０００３】(2)３次元の仮想環境を従来技術(1)を用い
て構築する際に、仮想環境を構成する要素（座標変換デ
ータ、形状データ、表面属性データ、照明など）を木構
造により表現する方法があった。これは、３次元空間を
構成する空間、地面、建物、部屋、家具、照明、置物な
どは、それぞれもともと階層的な入れ子関係にあると考
えられるためである。例えば、机の上の置物は、机の配
置とともに動くように、机の配置に依存する関係にあ
り、机の存在する座標系から相対的に配置したほうが都
合がよい場合が多い。そのため、階層的に配置に依存関
係のあるデータ構造をとる。その方法として、仮想環境
をn分木構造によって表現する。

【０００４】たとえば、図４は、ある簡単な仮想環境の
例のイメージ図である。この図の場合、空間中の部屋、
机、ソファに注目すると、世界座標系C0から、座標変換
T2で変換された座標系C2上に部屋が記述され、その部屋
の中の机やソファは、それぞれ座標変換T3、T4によって
座標系C2から変換される座標系C3、C4上で記述されてい
る。そして、机の上の壷は、座標系C3から座標変換T5に
よって変換される座標系C5上で記述されている。さら
に、机の上に、光線空間データを配置している。これ
は、壷と同様に座標系C3から座標変換T6によって変換さ
れる座標系C6上で記述されている。これを、模式的な木
構造で表現すると図５に示す木となる。

【０００５】(3)３次元物体や空間を多数の視点から予
め撮影しておき、その画像群の中から、観察したい位置
・向きに近い撮影条件で撮影された画像を選択すること
によって、観察時の視点位置に近い位置向きから観察さ
れる３次元物体を提示することによって任意位置からの
観察を近似的に実現する方法があった。

【０００６】(4)３次元物体や空間の実写の画像群を基
にして光線空間データを生成し、その光線空間データか
ら、任意位置向きから見える画像を生成し、提示するこ
とによって３次元物体や空間を再現する方法があった。

【０００７】(5)ある視点から周囲を見回したパノラマ
画像を入力しておき、そのパノラマ画像から向いている
方向に相当する画像を生成する（主にパノラマ画像から
の部分画像の切り出しとその画像の歪み補正処理とから
なる）方法により、ある地点からの３次元空間を提示す
る方法があった。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術(1) 〜(5)では、以下のような問題点があっ
た。

【０００９】まず、従来技術(1)の方法は、形状が非常
に複雑な物体に対してその形状データを生成する、ある
いは再現することが困難であるという問題があった。さ
らに、形状が複雑な物体の形状データを実物体から３次
元計測装置を用いて獲得することも困難であるという問
題があった。特に、既にある複雑な形状や、複雑な表面
の模様・反射特性（吸収透過特性）をもつような実物体
を再現することは、より困難である。さらに言えば一般
に人工物は表現しやすいが、自然物の表現が難しい。し
かし、部屋や街並みと言った人工的な単純な主に平面か
ら構成される３次元空間を表現することが、比較的少な
いデータ量にて比較的行いやすいという長所を持ってい
る。

【００１０】また、従来技術(2)はデータの表現方法記
述方法であって、従来技術(1)の問題をそのまま持って
いるという問題がある。ただし、このデータ表現方法は
優れた方法である。

【００１１】また、従来技術(3)では上述の問題は発生
しない。しかし、最終的に提示する画像を予め撮影して
おく必要があるため、観察時の視点位置向きが、疑似的
に任意であると見なせる程度に画像を準備することは、
非常に多くの画像が必要でありデータ量が膨大になるた
め、そのデータ量の観点と膨大な撮影を行わなければな
らないという撮影の困難さの観点から、事実上不可能で
あるという問題点があった。同様な理由により、部屋や
街並みといった広い３次元空間を表現するためにあらゆ
るデータを保持しておくことは、不可能に近く、どちら
かというと３次元物体の周辺からの撮影により、その物
体を表現することに向いている手法である。

【００１２】また、従来技術(4)では、従来技術(3)で必
要であった提示する画像の全てを予め撮影しておくとい
う必要はない。ある量の画像の撮影から光線空間データ
を生成してしまえば、後は任意視点（正確には拘束条件
がある）位置からの観察画像を生成可能である。しか
し、３次元空間のあらゆる位置からの画像を提示するた
めには、やはり膨大な光線空間データを生成・保持して
おく必要があるため、これも従来技術(3)と同様に、ど
ちらかというと、３次元物体向きの手法であって、デー
タ量の観点、撮影の困難さの観点から、部屋や街並みと
言ったような３次元空間を表現するには向いていないと
いう問題があった。

【００１３】また、従来技術(5)は、部屋や街並みとい
った３次元空間を表現するのに向いた方法であり、ある
地点からと限定をつければ任意の方向を向いたときの観
察画像を提示することが可能である。しかし、観察視点
位置の任意移動を行いたいときには、非常に多くの視点
位置からのパノラマ画像を準備して近似的に任意の移動
を実現する必要があるため、非常に多くのパノラマ画像
を用意する必要がある。そのため、任意と見なせる視点
位置からの観察が行うためには、やはりデータ量および
撮影の困難さの問題があり事実上困難であると言う問題
があった。そのため、この方法を用いるには、視点位置
の移動は離散的に行うことで実現することが多い。

【００１４】さらに、従来技術(1)及び(2)と、(3)、
(4)、(5)はそれぞれ根本的に異なる技術であり、それら
の特性を生かし、それぞれの利点のみを有効に利用する
ように組み合わせる方法がなかったという問題点があっ
た。

【００１５】

【課題を解決するための手段】上記問題を解決するため
に、本発明にかかる画像処理方法は、仮想環境を生成す
るための画像処理方法であって、3次元物体の形状と３
次元空間の形状とを、３次元的な位置、3次元的な向
き、表面色を含む情報に基づいて記述する第1の記述工
程と、3次元物体の形状と３次元空間の形状とを、自由
な位置から撮影した実写画像に基づいて記述する第２の
記述工程と、前記第1の記述工程で記述された形状と、
前記第2の記述工程で記述された形状とを混在させて、
仮想環境を生成する生成工程とを設けた。

【００１６】また、本発明にかかる画像処理装置は、仮
想環境を生成するための画像処理装置であって、3次元
物体の形状と３次元空間の形状とを、３次元的な位置、
3次元的な向き、表面色を含む情報に基づいて記述する
第1の記述手段と、3次元物体の形状と３次元空間の形状
とを、自由な位置から撮影した実写画像に基づいて記述
する第２の記述手段と、前記第1の記述手段で記述され
た形状と、前記第2の記述手段で記述された形状とを混
在させて、仮想環境を生成する生成手段とを設けた。

【００１７】

【発明の実施の形態】

（実施形態１）図１に実施形態１における画像処理装置
の各部を接続したブロック図を示す。1は、本実施形態
１の処理手順を実行するCPUである。2は、処理手順を記
憶しておく処理手順記憶装置である。この処理手順記憶
装置２に記憶してある処理手順は、予め記憶しておくこ
とにしてもよいが、FD、CD-ROM、ROM、磁気テープ等の
記憶媒体に記憶された処理手順を、後述する外部機器イ
ンターフェース8を通して供給することも可能である。

【００１８】3は、処理前後および処理中に生成または
入力されるデータを保持しておくデータ記憶装置であ
る。このデータ記憶装置３には、形状データ３ａ、表面
属性データ３ｂ、光線空間データ３ｃ、視点位置・向き
３ｄ、画角・画面サイズ３ｅなどのデータが含まれてい
る。

【００１９】4は、処理過程、処理結果を提示するため
の画像を表示装置５に送るために蓄えておくフレームバ
ッファである。5は、フレームバッファ４にある画像を
表示するための表示装置としてのウインドウシステムで
ある。6は、文字や処理過程での指示を入力するキーボ
ードである。7は、画面上での位置を指定するマウスで
ある。8は、データや処理手順などを入出力するための
外部機器インターフェースである。９は、上述した各部
を接続するためのバスである。

【００２０】次に、図２に本実施形態１の処理の流れを
表すフローチャートを示し、この図を用いて本実施形態
１の詳細について述べる。仮想環境を幾何形状モデルで
生成するためには、なんらかのコンピュータグラフィク
スの幾何形状データおよび表面属性データを作成するこ
とが可能なモデラー装置などを用いて、その仮想環境を
構成する内部の物体や建物・背景などを作成していく必
要がある。

【００２１】この生成処理には既存の技術が使え、ステ
ップS201にて、本処理過程で幾何形状モデル３ａおよび
表面属性データ３ｂを生成するか、別処理にて別途生成
したデータを読み込むか、を選択する。本処理過程にて
幾何形状モデル３ａおよび表面属性データ３ｂを生成す
る場合には、ステップS202にて生成し、そうでない場合
は、ステップS203にて、別の生成装置により生成された
データを読み込む。ここで、形状データには、三角形パ
ッチなどのポリゴンデータや、NURBSなどの自由曲面デ
ータなどがある。表面属性データとは、その形状の材
質、反射特性や模様などであり、模様はテクスチャデー
タとして入力する。テクスチャデータとは、ポリゴンデ
ータや自由曲面データなどの表面の模様を表すデータ
で、模様の画像データとその画像が貼る対象である形状
とどういう位置対応となっているかの対応関係を記述し
たデータである。

【００２２】そして、次に、ステップS204にて、仮想環
境に配置する光線空間データ３ｃを生成するか、予め生
成しておいた光線空間データ３ｃを読み込むか、を選択
する。生成する場合にはステップS205にて生成し、読み
込む場合には、ステップS206にて読み込む。

【００２３】このステップS205で行う光線空間データ３
ｃの生成方法について、以下に示す。

【００２４】図９に示すような座標系にz=0の平面を仮
定し、この平面（これを基準面31と呼ぶことにする）を
通過する光線の集合として３次元空間を表現する手法
（光線空間による３次元空間表現）が提案されている。
この手法では、３次元空間内のz＞0にある視点位置Pで
観察できる画像は、この基準面31を通過する光線の集合
からPを通過する光線のみをサンプリングして得られる
画像と等価になる（図１０参照）。一般的には、各光線
は基準面31を通過する位置(x、y)、各光線がx軸、y軸の
それぞれとなす角度をφ、ψ、光線が平面を通過した時
間t、光線の色(r、g、b)で表されるが、実際には、計算
量やデータ量が膨大になるという問題から、対象は静止
物体でy軸方向の視差はないと仮定されることが多い。
この仮定のもとでu=tanφとおいて各光線をx-u空間に射
影し、この射影されたx-u空間で光線空間を扱う場合、
ある点Pを通過する光線は図１１に示すように直線状の
軌跡をなす。この軌跡は以下の式で表される。

【００２５】x=X-Z・u (1) u=tanφ (2) ここで(X、Z)は観察視点位置を表し、xは光線がx-u空間
上のx軸と交差する位置を表す。また、φは光線がz軸と
なす角度を表す。

【００２６】まず、図１２に示すように多数の視点位置
で得られた画像から直線状の軌跡を求め、この軌跡群に
よりx-u空間が密に埋められていると仮定する。この
時、z＞0にある視点位置Qの画像は、図１２に示すよう
にx-u空間上でQを通過するの軌跡を求め、その軌跡上に
すでに記録されている光線の色を逆に求めることにより
得ることができる。ステップS203で行う光線空間データ
の生成は、この処理のうちのx-u空間上に多視点画像の
データを写像することに相当する。

【００２７】さて、次に、ステップS205またはS206の処
理を終えた後の動作について説明する。

【００２８】ステップS207にて、それらを互いに配置し
て３次元世界を構築する。そのとき、仮想環境を表現す
る際に、従来技術(2)と同様に仮想環境を構成する要素
（座標変換データ、形状データ、表面属性データ、照明
など）を木構造により表現する。これは、３次元空間を
構成する空間、地面、建物、部屋、家具、照明、置物な
どは、それぞれもともと階層的な入れ子関係にあると考
えられるためである。例えば、机の上の置物は、机の配
置とともに動くように、机の配置に依存する関係にあ
り、机の存在する座標系から相対的に配置したほうが都
合がよい場合が多い。そのため、階層的に配置に依存関
係のあるデータ構造をとる。その方法として、仮想環境
をn分木構造によって表現する。

【００２９】図６は、ある簡単な仮想環境の例のイメー
ジ図である。この図の場合、空間中の部屋、机、ソファ
に注目すると、世界座標系C0から、座標変換T2で変換さ
れた座標系C2上に部屋が記述され、その部屋の中の机や
ソファは、それぞれ座標変換T3、T4によって座標系C2か
ら変換される座標系C3、C4上で記述されている。そし
て、机の上の壷は、座標系C3から座標変換T5によって変
換される座標系C5上で記述されている。ここで、従来技
術(2)にない本手法の新しい点は、ステップS203で生成
またはステップS204で読み込んだ光線空間データも同様
にこの木構造の一要素としてデータを表現する点にあ
る。図６の場合、机の上に、光線空間データを配置して
いる。このデータは、座標系C3から座標変換T6によって
変換される座標系C6上で記述されている。既存技術で
は、光線空間データといった形状データとは異質なデー
タを混在して記述することはできなかったが、本手法で
は、光線空間データも形状データと同様に同じ木構造の
一要素として記述する。これにより、複雑な形状を持つ
ような物体は、光線空間データを用いて記述し、部屋や
街並みと言ったデータは形状モデルを用いて記述するこ
とによって、それぞれの長所を活かした３次元空間の記
述が可能となる。

【００３０】この図６の仮想環境を、模式的な木構造で
表現すると図７に示す木となる。また、この木構造デー
タを記録するために、テキストデータにより表現する
と、図８に示すようなデータ形式となる。この図におい
て、「Separator」や「Transform」などのキーワード
は、区別さえできれば他のものを用いてもよい。また、
「{」、「}」による区切りも他の記号や文字列で置き換
えても構わない。このように、光線空間データを木構造
を構成する一要素として記述する。

【００３１】次に、ステップS207の処理を終えた後の動
作について説明する。

【００３２】仮想環境を構築するのに必要となるデータ
がある場合には、ステップS208において、再び前処理に
戻ると判断され、ステップS201に戻る。ない場合は、ス
テップS209に進み、今作成した仮想環境データを保存す
るかどうかを選択する。保存する場合には、ステップS2
10にて保存し、しない場合には、Aに進む。Aからは、以
降に述べる処理へと続く。また、ステップS210にて保存
した場合には、処理を終了するかどうかS211にて選択
し、終了する場合は終了、終了しない場合は、やはりA
に進む。

【００３３】次に、以上述べた方法により木構造で表現
された仮想環境を操作者に提示する方法について図３を
用いて詳しく述べる。これは、図２のAから引き続き処
理を行う。また、このAから来るかわりに、図２のステ
ップS210で保存された仮想環境データを読み込んでもよ
い。

【００３４】観察者が仮想環境を観察するためには、表
示画面にその視点から仮想環境を見たときの見え方を描
画する必要がある。図７に示すようなn分木のデータの
木を、左ノードを優先して深さ優先探索にて全ノード辿
ってくことにより、この木を構成するすべてのノードの
データにアクセスする。このとき、ノード内に書かれて
いる情報をもとに、ノードにアクセスした時点で順次表
示画面に描画していくことが基本的な方法である。

【００３５】まず、ステップS301にて、観察する画面の
初期設定を行う。次にステップS302にて観察視点の位置
・向き３ｄの初期設定を行う。それに引き続いて、ステ
ップS303に進み、木構造の探索を開始する。これは、上
述のように左優先で深さ優先探索の方法をとる（ステッ
プS304）。この探索が終了するまでノードの探索を続け
る（ステップS305）。

【００３６】そして、探索しているノードの内容が座標
変換であった場合（ステップS306）には、ステップS307
のカレント座標変換の処理に進む。これは、もし、今ま
でに座標変換であるノードがなかった場合には、それを
木のそのノードの深さよりも深い部分木の基本の座標変
換としてカレント座標変換としておき、そうでなけれ
ば、既存のカレント座標変換にその新しく現れたその座
標変換をかけることによってカレント座標変換を更新
し、木のその深さより深い部分木でのカレント座標変換
とする。木は深い方向への探索時には、現状のカレント
座標変換を渡すことにより、次の深さへカレント座標変
換を与える。深さ方向への枝が無くなり一段浅くなる時
には、木の深いときに更新されたであろうカレント座標
変換は浅い方向へは渡さない。以前にその深さの木を探
索しているときにあったはずであるカレント座標変換を
用いる。

【００３７】ステップS306が偽の場合ステップS308に進
む。このステップにて、ノードの内容が表面属性を表す
場合には、ステップS309のカレント表面属性の処理に進
む。これは、このノード現れた時点で木のそのノードの
深さよりも深い部分木の基本の表面属性としてカレント
表面属性とする。木の深い方向への探索時には、現状の
カレント表面属性を渡すことにより、次の深さへカレン
ト表面属性を与える。深さ方向への枝が無くなり一段浅
くなる時には、木の深いときに更新されたであろうカレ
ント表面属性は浅い方向へは渡さない。以前にその深さ
の木を探索しているときにあったはずであるカレント表
面属性を用いる。

【００３８】ステップS308が偽の場合ステップS310に進
む。このステップにて、ノードの内容が幾何形状モデル
を表す場合には、ステップS311の幾何形状モデル描画処
理に進む。これは、カレント座標変換を用いてその形状
モデルの位置・向き・スケーリングなどの座標変換を
し、カレント表面属性を用いて従来技術(1)に示した方
法により表示画像に２次元の画像として観察者に提示す
る画面に描画を行う。このとき、提示画面の各画素に対
応した奥行き値保存マップを用意しておく。そして、描
画処理の時に、形状モデルを描画するとき、視点位置か
ら見た画面の各画素に相当する位置の形状モデルの表面
の３次元位置の奥行き値を、奥行き値保存マップの同じ
画素に書き込む。このとき、もしも、すでに奥行き値保
存マップがすでにこの処理によって書き込まれていたな
らば、新たに描画するために得られた奥行き値がすでに
保存されている奥行き値よりも大きいときには、提示描
画へのこの画素の書き込み、および、奥行き値保存マッ
プの書き換えは行わない。

【００３９】ステップS310が偽の場合ステップS312に進
む。このステップにて、ノードの内容が光線空間データ
を表す場合には、ステップS313の光線空間データからの
描画処理に進む。これは、まず、カレント座標変換を用
いて光線空間データの位置・向き・スケーリングなどの
座標変換をする。そして、観察視点位置が、光線空間デ
ータの基準面からみて、どの位置・向きにあるかを計算
する。この計算結果などから、光線空間データからその
観察条件で生成すべき画像を生成する描画則を決定し、
提示画面に表示する画像を生成する。このとき、幾何形
状モデルからの描画の時と同様に、表示画面で画素単位
での奥行き判定を行う。視点位置と光線空間データの基
準面位置のおかれている位置との距離を光線空間データ
の奥行き値であるとし、この値と奥行き値保存マップに
格納されている奥行き値との比較を行う。奥行き値保存
マップの値よりも小さい画素には、光線空間データから
生成された画像を上書きし奥行き値保存マップを更新す
る。そうでない場合は、そのまま何もしない。

【００４０】ステップS307、S309、S311、S313が終わる
と、再び木の探索処理の先頭であるステップS304に戻
る。

【００４１】ステップS305にて、木の探索が終わったと
判定されたならば、以上の処理により初期状態での観察
が完了となる。その後、ステップS314にて観察視点位置
・向き３ｄの設定変更処理に進む。もしも、仮想環境内
を動き回りたい場合には、ここにて視点位置・向き３ｄ
を変更することになる。次に、ステップS315にて、仮想
環境への操作処理に進む。これは、仮想環境内の物体を
動かすなどの操作に相当する。この処理は、特になくて
も構わない。次に、画角・画面サイズ３ｅ等の観察画面
の設定変更処理に進む（ステップS316）。これも、ステ
ップS315と同様になくてもよい。それらの処理の後に、
本全処理を終了するかどうかを問うステップS317に進
む。もしも、終了しない場合は、また、ステップS314へ
と戻る。そして、ステップS314、S315、S316にて変更が
あった場合には、描画処理をもう一度行うこととなり、
ステップS303へと戻る。

【００４２】ここで、この時点での、ある仮想環境の描
画画面の表示例を図１６に示す。この図で、兎の縫いぐ
るみは光線空間データによって記述されており、部屋は
形状モデルにより記述されている。

【００４３】（実施形態２）実施形態１においては、光
線空間データから表示画像を生成していたが、本実施形
態２では、光線空間データを用いるかわりに、以下の方
法により、多視点画像から表示に必要な画像を生成す
る。

【００４４】まず、図１３は入力された多視点画像から
画像を再構成する原理を示す図である。この図のよう
に、本実施形態２では多視点画像の撮影条件として、撮
影方向に対して垂直な一直線上にカメラを並べて撮影し
ておく必要がある。図中、1301は被写体、1302は入力画
像の撮影位置を結んだ撮影視点並び直線、1303は仮想カ
メラの仮想CCD面を表す仮想CCD、1304は観察者の位置
(x'、z')に置かれた仮想カメラである。

【００４５】図１４のフローチャートを用いて、多視点
画像から画像を生成する処理を説明する。ステップS140
1において注目ラインjを画像Pの先頭ラインにセット
し、注目画素をjライン目の左端の画素にセットする。

【００４６】次に、ステップS1402において、画像Pのj
ラインi番目画素に対応した撮影視点並び直線1302上の
画像Qの位置を計算する。

【００４７】これは次にようにすることで計算できる。

【００４８】物体中の一点Aが、視点位置Pの仮想カメラ
の画素位置Piに写っているとする。また、位置AとPを結
ぶ直線が撮影視点並び直線1302と交差する位置をQとす
る。このとき、図１５から、画素位置Piに写っているも
のは、視点位置Qで撮影した画像の画素位置Qiに写って
いるものと等価であることが分かる。図１３の幾何的な
制約条件から、視点位置QのX座標は(1)式で表すことが
できる。但し、スキャンラインの中央の画素位置を0番
目の画素とする。また、仮想カメラ1304の画素ピッチを
d、焦点距離をf、原点から撮影視点並び直線1302までの
距離をgとする。

【００４９】x = x'+ I・d・(g-z')/f (3) 同様に視点位置Pの仮想カメラの画素位置Pjに写ってい
るものは、記憶装置13に記憶された視点位置Rの画像の
画素位置Rjに写っているものと等価である。

【００５０】この方法により、例えば画像Qのjラインi
番目の画素値を画像Pのjラインi番目画素にコピーして
画像を再構成した場合、再構成された画像が歪む、すな
わち、画像中の物体が縦に伸びたり、縮んだりすること
がある。

【００５１】そこで、これを解消するために、ステップ
S1402での処理の後に、ステップS1403において、画像P
のjライン目に対応する画像Qのライン番号を求める。

【００５２】この画像Qのライン番号の求め方に関し
て、図１５を参照しながら説明する。

【００５３】図１５は上記で再構成された画像の歪みを
補正する原理を示す図である。図中、1501は被写体、15
02は再構成したい視点位置Pの画像、1503は撮影視点並
び直線32上の視点位置Sの画像である。

【００５４】被写体1501中の一点Bについて考える。点B
がY軸に近いか、再構成したい視点位置Pの画像1502のｚ
座標値Ｐｚ、撮影視点並び直線1302上の視点位置Sの画
像1503のz座標値Ｓｚが十分に大きい、または、再構成
したい視点位置Pの画像1502のｚ座標値Ｐｚ、撮影視点
並び直線1302上の視点位置Sの画像1503のz座標値Ｓｚが
ほぼ同じ値であると仮定する。このとき、点Bから発す
る光線は再構成したい視点位置Pの画像1502中のmライン
目と撮影視点並び直線1302上の視点位置Sの画像1503中
のnライン目に記録される。そこで、仮想CCD1303の画素
ピッチをd、仮想カメラ1304の焦点距離をf、仮想CCD130
3のライン数をNとすれば、 Pz・tanα= Sz・tanβ (4) tanα= d・(N/2-m)/f (5) tanβ= d・(N/2-n)/f (6) となる。(4)式、(5)式、(6)式より、 n = N/2 + (m - N/2)・Sz/Pz (7) が得られる。

【００５５】従って、再構成したい視点位置Pの画像150
2のm番目のスキャンラインの値は、撮影視点並び直線13
02上の視点位置Sの画像1503の(7)式で与えられるn番目
のスキャンラインの値と等価になる。

【００５６】そこで、ステップS1403での処理の後に、
ステップS1404に進み、画像Pのjラインi番目画素に、画
像Qのnラインi番目画素の値をコピーする。この処理に
より、撮影視点並び直線1302上でない視点位置の画像を
再構成するときに画像が歪むという現象をある程度抑え
ることができる。

【００５７】その後、ステップS1405に移り、注目ライ
ンj中のすべての画素の処理が終了しているかどうかを
判断し、終了していればステップS1407に移り、そうで
なければステップS1406に移る。ステップS1406では、注
目画素iを右隣の画素に移し、ステップS1402に戻る。

【００５８】また、ステップS1407では、画像P中のすべ
てのラインに対して処理が終了しているかどうかを判断
し、終了している場合は、このサブルーチン自体を終了
する。そして、そうでない場合には、ステップS1408に
おいて、注目ラインjを次のラインに移し、注目画素iを
ラインjの左端にセットした後に、ステップS1402に戻
る。

【００５９】このように、撮影視点並び直線1302上で微
小間隔で撮影された多視点画像群が得られているとする
と、上記の考え方に基づき、すべてのスキャンラインに
ついて同様のことを繰り返せば、撮影視点並び直線1302
上でない視点位置の画像を再構成することができる。

【００６０】（その他の実施形態）なお、本発明は、複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。また、本発明はシ
ステムあるいは装置にプログラムを供給することによっ
て実施される場合にも適用されることは言うまでもな
い。この場合、本発明に係わるプログラムを格納した記
憶媒体が、本発明を構成することになる。そして、該記
憶媒体からそのプログラムをシステムあるいは装置に読
み出すことによって、そのシステムあるいは装置が予め
定められた方法で動作する。

【００６１】

【発明の効果】以上詳述したように、本発明によれば、
以下のような効果がある。

【００６２】まず、形状が非常に複雑な物体に対してそ
の形状データを生成する、あるいは再現することを容易
にし、また、形状が複雑な物体の形状データを実物体か
ら３次元計測装置を用いて獲得することも容易にすると
いった効果がある。

【００６３】また、最終的に提示する画像を予め撮影し
ておく必要がある場合でも、観察時の視点位置向きが、
疑似的に任意であると見なせる程度にするために準備す
る画像のデータ量が、格段に少なくなるといった効果が
ある。

【００６４】また、３次元空間のあらゆる位置からの画
像を提示する場合でも、必要な光線空間データのデータ
量が少なくなるといった効果がある。

【００６５】また、観察視点位置の任意移動を行いたい
ときでも、パノラマ画像の撮影を容易にすることがで
き、また、準備するパノラマ画像のデータ量が、格段に
少なくなるといった効果がある。

【００６６】さらに、従来技術(1)〜(5)のそれぞれの特
性を生かして、それぞれの利点のみを有効に利用するよ
うに組み合わせる方ことが可能になるといった効果があ
る。

【図面の簡単な説明】

【図１】実施形態１のブロック図である。

【図２】実施形態１の前半部分のフローチャートであ
る。

【図３】実施形態１の後半部分のフローチャートであ
る。

【図４】従来技術(2)の仮想環境の例のイメージ図であ
る。

【図５】図４の仮想環境を木構造で表現した図である。

【図６】実施形態１で生成する仮想環境の例のイメージ
図である。

【図７】図６の仮想環境を木構造で表現した図である。

【図８】図７の木構造をテキストデータで表現したデー
タを示す図である。

【図９】光線空間の原理を説明するための３次元空間の
模式図である。

【図１０】実空間中のある点とその点を通る光線の関係
図である

【図１１】実空間中のある１点を通る光線が、光線空間
であるx-u空間へ写像されたときの写像図である。

【図１２】実空間と光線空間の相互変換を表す原理図で
ある。

【図１３】実施形態２で用いる多視点画像からの画像生
成原理図である。

【図１４】実施形態２で用いる多視点画像からの画像生
成のフローチャートである。

【図１５】実施形態２の画像生成における縦方向の歪み
補正の原理図である。

【図１６】実施形態１にて観察中の仮想環境を示す図で
ある。

【符号の説明】

１ 中央処理装置（ＣＰＵ） ２ 処理手順記憶装置 ３ データ記憶装置 ４ フレームバッファ ５ ウインドウシステム ６ キーボード ７ マウス ８ 外部機器との入出力インターフェース ９ バス

Claims (14)

【特許請求の範囲】
1. 【請求項１】 仮想環境を生成するための画像処理方法
   であって、 3次元物体の形状と３次元空間の形状とを、３次元的な
   位置、3次元的な向き、表面色を含む情報に基づいて記
   述する第1の記述工程と、 3次元物体の形状と３次元空間の形状とを、自由な位置
   から撮影した実写画像に基づいて記述する第２の記述工
   程と、 前記第1の記述工程で記述された形状と、前記第2の記述
   工程で記述された形状とを混在させて、仮想環境を生成
   する生成工程とを具備することを特徴とする画像処理方
   法。
2. 【請求項２】 前記生成工程において、前記第1の記述
   工程で記述された形状と、前記第２の記述工程で記述さ
   れた形状の、おのおのを構成要素とする木構造によっ
   て、前記両形状を混在させて、前記仮想環境を生成する
   ことを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 木の探索手法により、木構造の各構成要
   素の全てを探索しながらアクセスしていくアクセス工程
   と、 前記アクセス工程中に随時アクセスする各構成要素に応
   じて、その要素に適する描画を行う描画工程と、 前記生成工程で生成された仮想環境の観察条件の変更を
   行う変更工程とを更に具備することを特徴とする請求項
   2記載の画像処理方法。
4. 【請求項４】 前記第1及び第2の記述工程において、記
   述対象として光線空間データを用いることを特徴とする
   請求項１乃至３記載の画像処理方法。
5. 【請求項５】 前記描画工程において、 アクセスする構成要素が形状モデルの場合には、 観察視点位置・向きと該形状モデルとの位置関係を求め
   る工程と、 その関係から透視変換または正射影変換を用いて提示す
   る提示画面に表示する工程とを有し、 アクセスする構成要素が光線空間データの場合には、 観察視点位置・向きと該光線空間データとの位置関係を
   求める工程と、 その関係を基に提示する画像を光線空間データから生成
   する工程とを有することを特徴とする請求項３記載の画
   像処理方法。
6. 【請求項６】 アクセスする構成要素が光線空間データ
   であった場合に、 光線空間データの配置されている位置を基に、視点位置
   との距離を計算する工程と、 その計算結果を近似的な該光線空間データの奥行き値と
   し、それを基に、構成要素間の前後の判定を行う工程と
   を有することを特徴とする請求項５記載の画像処理方
   法。
7. 【請求項７】 １画面分の大きさをもつ奥行き値保存マ
   ップを用意する工程と、 アクセスする構成要素が形状モデルであった場合に、 提示画面に描画する描画画像を生成すると同時に、提示
   画面の各画素位置にあたる形状モデルの視点からの距離
   を計算する工程と、 奥行き値保存マップに何も保存されていない場合には、
   該距離を各画素ごとに奥行き値保存マップに格納し提示
   画面に描画画像を提示し、奥行き値保存マップに奥行き
   値が保存されている場合には、該距離を奥行き値保存マ
   ップの各画素と比較して奥行き値が小さい場合に、画素
   単位で奥行き値保存マップに該距離を格納し、提示画面
   に描画画像のその画素を提示する工程とを有し、 アクセスする構成要素が光線空間データであった場合
   に、 光線空間データから提示する画像を生成する工程と、 光線空間データの配置されている位置を基に、視点位置
   との距離を計算し、その計算結果を近似的な該光線空間
   データの奥行き値にする奥行き値近似工程と、 奥行き値保存マップに奥行き値が保存されていない場合
   には、該近似奥行き値を各画素ごとに奥行き値保存マッ
   プに格納し、生成画像を提示画面に提示し、奥行き値保
   存マップに奥行き値が保存されている場合には、該近似
   奥行き値と奥行き値保存マップの各画素とを比較して該
   近似奥行き値の方が小さい場合に、画素単位で奥行き値
   保存マップに該近似奥行き値を格納し、提示画面に生成
   画像のその画素を提示する工程とを有することを特徴と
   する請求項５記載の画像処理方法。
8. 【請求項８】 仮想環境を生成するための画像処理装置
   であって、 3次元物体の形状と３次元空間の形状とを、３次元的な
   位置、3次元的な向き、表面色を含む情報に基づいて記
   述する第1の記述手段と、 3次元物体の形状と３次元空間の形状とを、自由な位置
   から撮影した実写画像に基づいて記述する第２の記述手
   段と、 前記第1の記述手段で記述された形状と、前記第2の記述
   手段で記述された形状とを混在させて、仮想環境を生成
   する生成手段とを具備することを特徴とする画像処理装
   置。
9. 【請求項９】 前記生成手段は、前記第1の記述手段で
   記述された形状と、前記第２の記述手段で記述された形
   状の、おのおのを構成要素とする木構造によって、前記
   両形状を混在させて、前記仮想環境を生成することを特
   徴とする請求項８記載の画像処理装置。
10. 【請求項１０】 木の探索手法により、木構造の各構成
    要素の全てを探索しながらアクセスしていくアクセス手
    段と、 前記アクセス手段によるアクセス中に随時アクセスする
    各構成要素に応じて、その要素に適する描画を行う描画
    手段と、 前記生成手段により生成された仮想環境の観察条件の変
    更を行う変更手段とを更に具備することを特徴とする請
    求項９記載の画像処理装置。
11. 【請求項１１】 前記第1及び第2の記述手段は、記述対
    象として光線空間データを用いることを特徴とする請求
    項８乃至１０記載の画像処理装置。
12. 【請求項１２】 前記描画手段は、 アクセスする構成要素が形状モデルの場合には、 観察視点位置・向きと該形状モデルとの位置関係を求め
    る手段と、 その関係から透視変換または正射影変換を用いて提示す
    る提示画面に表示する手段とを有し、 アクセスする構成要素が光線空間データの場合には、 観察視点位置・向きと該光線空間データとの位置関係を
    求める手段と、 その関係を基に提示する画像を光線空間データから生成
    する手段とを有することを特徴とする請求項１０記載の
    画像処理装置。
13. 【請求項１３】 アクセスする構成要素が光線空間デー
    タであった場合に、 光線空間データの配置されている位置を基に、視点位置
    との距離を計算する手段と、 その計算結果を近似的な該光線空間データの奥行き値と
    し、それを基に、構成要素間の前後の判定を行う手段と
    を有することを特徴とする請求項１２記載の画像処理装
    置。
14. 【請求項１４】 １画面分の大きさをもつ奥行き値保存
    マップを用意する手段と、 アクセスする構成要素が形状モデルであった場合に、 提示画面に描画する描画画像を生成すると同時に、提示
    画面の各画素位置にあたる形状モデルの視点からの距離
    を計算する手段と、 奥行き値保存マップに何も保存されていない場合には、
    該距離を各画素ごとに奥行き値保存マップに格納し提示
    画面に描画画像を提示し、奥行き値保存マップに奥行き
    値が保存されている場合には、該距離を奥行き値保存マ
    ップの各画素と比較して奥行き値が小さい場合に、画素
    単位で行き値保存マップに該距離を格納し、提示画面に
    描画画像のその画素を提示する手段と、 アクセスする構成要素が光線空間データであった場合
    に、 光線空間データから提示する画像を生成する手段と、 光線空間データの配置されている位置を基に、視点位置
    との距離を計算し、その計算結果を近似的な該光線空間
    データの奥行き値にする奥行き値近似手段と、 奥行き値保存マップに奥行き値が保存されていない場合
    には、該近似奥行き値を各画素ごとに奥行き値保存マッ
    プに格納し、生成画像を提示画面に提示し、奥行き値保
    存マップに奥行き値が保存されている場合には、該近似
    奥行き値と奥行き値保存マップの各画素とを比較して該
    近似奥行き値の方が小さい場合に、画素単位で奥行き値
    保存マップに該近似奥行き値を格納し、提示画面に生成
    画像のその画素を提示する手段とを有することを特徴と
    する請求項１２記載の画像処理装置。