JP4138885B2 - 自由に選択可能な視点からの光景の出力画像を表示する方法 - Google Patents

Description

技術分野
本発明は、自由に選択可能な視点からの光景の出力画像を表示する方法であって、
− 当該光景の各入力視点からの入力画像を得、
− 上記入力画像内の入力情報の元となる上記光景の空間内に位置する点を表すモデル情報を計算し、
− 前記選択可能な視点を選択し、
− 前記出力画像内における出力ピクセルに関して、上記モデル情報内で表される何れの出力点が当該出力画像における該出力ピクセルにおいて見えるかを決定し、
− 上記出力ピクセルのピクセル値を、上記出力点が元となる入力画像又は複数の入力画像における画像情報から決定し、
− 当該出力画像内の出力ピクセルを上記ピクセル値に基づいて表示する、
ような各過程を有する方法に関する。
上記の場合、“モデル”なる文言は、当該光景の画像内で見ることができる空間内の点の三次元位置に関する情報一般的に指し、背景面をも含むことができるものである。
背景技術
上記のような方法は、SIGGRAPH 1996会議議事録でP.E. Debevec、C.J.Taylor及びJ.Malikにより公開された“写真からの建築物のモデル化及び再現（rendering）：ハイブリッド幾何学及び画像に基づく方法”なる記事から既知である。
上記公開は建築上の光景を見ることを目指したものである。この既知の方法によれば、光景のモデルが一部距離測定から、また一部手動モデル入力から計算される。このモデルの計算は、平坦な表面、直角な角或いは繰り返し形状等の使用のような建築的光景にとり典型的な制限を課すことにより、容易化されている。このモデルは、入力画像で見える領域用の光の源である多数の表面を規定している。
出力画像を構築する上記処理は、隠喩的に、モデル上に入力画像を各視点から投射し、該モデルを選択された視点から再現することに相当する。
上記既知の方法は、見ることができるようになる前に、完全なモデルが必要であるという欠点を有している。モデルの構築は多額な費用が掛かり時間が掛かると共に、通常人間の操作者による介入を必要とする。更に、入力画像の投影は、これまで使用されている暗喩における所謂“陰”と呼ばれるものの時間の掛かる除去（即ち、入力画像が当該モデルにおける、入力画像の入力視点に当該モデルの他の部分と交差する視線により接続される部分に投影されることの防止）を必要とする。
発明の開示
本発明の目的は、なかでも、自由に選択可能な視点からの出力画像を表示する一層速い方法を提供することにある。
本発明による方法は、当該方法が請求項１の特徴部による各過程を有していることを特徴としている。
画像及び距離情報中の雑音により、通常各モデルは一貫していないが、このことは表示用の出力点の選択の間に解決され、共通のモデルは必要ではない。必要とされるモデル情報の量は、出力画像を表示するために使用される入力画像の数によってのみ決定される。新たな眺めに関しては、追加の画像及びモデルを、用意されたモデルを変更することなく追加することができる。“陰”の問題は、各点が、各入力画像に関して別個のモデルを、実質的に入力画像内に当該入力画像の視点からの領域として見える光景内の部分に関係する表面パッチ（surface patches）のみで使用することにより決定される場合は、避けることができる。上記表面パッチは、好ましくは、入力画像内で境界を共有するように見えるが該境界には対応する表面パッチの深さの跳びが存在するような可視領域用の表面パッチを接続する表面パッチも含むようにする。これにより、対応する表面パッチに関する隣接情報から入力画像における領域の隣接度を追跡することが可能となる。
更に、視点からのラインが典型的には単一の表面としか交差しないように個々のモデル内の表面パッチの数が限られているので、何れの点が見えるかの決定は即座になされる。
本発明による方法の一実施例は、前記各点から前記出力点を選択するために、前記各点が属する表面パッチの法線と、前記選択された視点及び前記各点に対応する前記入力画像の各視点から前記各点への視線との各々の間の第１の角度と第２の角度との間の差が小さい方の各点に優先度が付与されることを特徴としている。
また、本発明による方法の一実施例は前記出力点を選択するために、前記出力ピクセル及び前記入力ピクセルが前記表面パッチに投影された場合に、前記出力ピクセルと入力ピクセルの投影の第１のサイズと第２のサイズとの間の差が小さい方の各点に優先度が付与されることを特徴としている。
本発明による方法は請求項５に記載したような他の実施例を有している。この実施例においては、各モデルが単一の入力画像に対応しているという事実が利用されて、出力画像の計算が高速化されている。
また、本発明は請求項６に記載したような他の実施例を有している。このようにして、異なる入力画像に限定された異なるモデルが照明の変化のシミュレーションを実施するために使用されると共に照明の変化を計算するためにも使用される。原理的に、出力画像内に見える出力点を計算するために使用される如何なる技術も、光源から光を受ける照明点を決定するために使用することができる。このような方法により、一様な点光源及びスポットライト（例えば３０度なる限られた幅のコーン内で光を放射する光源）又は無限距離における光源のような方向依存性の光源も容易にモデル化することができる。
また、本発明による方法は請求項７に記載されたような他の実施例を有している。この実施例においては、一群の他の入力画像からの画像情報を入力画像に挿入することが可能である。補助画像の計算は、好ましくは、前記出力画像の計算に関して説明した方法と同様の方法で実行される。補助画像内のピクセル群に対応する他の表面パッチの記述は、好ましくは、上記他の入力画像用の表面パッチの記述を変換することにより得られる。
また、本発明は本方法の種々の特徴を実行する装置にも関するものである。
【図面の簡単な説明】
本発明の上記及び他の有利な特徴は以下の図面を参照して説明されるであろう。
第１図は、多数の視点を伴う光景の幾何学構造を示す。
第２図は、上記光景の入力画像を示す。
第３ａ図及び第３ｂ図は、上記光景の２つのモデルの上面を示す。
第４図は、上記光景の画像を表示する装置を示す。
発明を実施するための最良の形態
第１図は、物体１０を含む光景の幾何構造を示している。本発明による方法及び装置の目的は、このような光景の出力画像を、自由に選択可能な視点１２から見えるままに表示することである。
上記出力画像を構築するために、当該光景の数個の入力画像が、例えばカメラ（図示略）を用いて多数の入力視点１４a,b（第１図の例では２つの入力視点１４a,bを示す）から得られる。カメラを用いて入力画像を得るということは、物体１０を画像面１６a,b上に、該対象物１０から入力視点１４a,bを介して画像面１６a,bに向かって走る視線１８a,bを介して投影することに対応する。
第２図は、物体１０を伴う上記光景の結果として得られた画像２０の一例を示している。
上記入力画像と組み合わせて、当該画像が得られる入力視点１４a,bから、該入力画像内で見える当該光景内の点１９a,bまでの距離に関して距離情報ｄa，ｄbが得られる。これは、例えばカメラが移動される間に上記入力画像内の点を表す位置の移動の量を測定することによりなすことができるが、入力視点１４a,bから当該光景の点１９a,bを照明すると共に入力視点１４a,bから該光景の点１９a,bまで及び入力視点１４a,bに戻るまでの当該照明の飛行時間を測定するような、多くの代替え測定技術が存在する。各入力画像に関しては、当該光景のモデルが上記距離情報から計算される。
第３a,b図は、本発明の一実施例における上記光景の２つのモデルの例を表している。該モデルは例えば、境界縁を共有するか又は前記カメラからの視線と平行に走る表面パッチ（surface patches）により接続することができる境界縁を少なくとも有する、多数の平坦な三角形表面パッチ１０a,b、１１a,bのパラメータを含んでいる（これら表面パッチは横方向から見て、線分１０a,b、１１a,bとして示されている）。第３a,b図は、出力画像が構築される選択された出力視点３６の位置も示している。
上記表面パッチのパラメータは、例えば、三角形表面パッチ１０a,b、１１a,bの角点の座標である。当該モデルにおける表面パッチ１０a,b、１１a,b及び点３８a,bは、入力画像の領域及び位置に対応している。この対応性は、例えば上記表面パッチの角点と入力画像における位置との間の関係を特定することにより明示的に特定することもできるが、上記表面パッチのパラメータ、入力視点３４a,b及び当該画像を得るために使用されるカメラのモデルの撮像幾何学的配置（imaging geometry）からの帰結でもある。例えば、撮像幾何学的配置は、光学（投影）軸がｉ番目の入力画像を得るために使用されたｚ軸を規定し、ｘ及びｙ軸が該ｉ番目の入力画像の水平及び垂直を各々規定するような座標系を用いてモデル化することもでき、この場合、該撮像幾何学的配置は、上記表面パッチ上の点に対応するベクトル“ｒ”と当該カメラに関する上記座標系内のベクトル“ｓ”との間の関係ｓ＝Ｑｉ＋ｐｉを特定する（Ｑｉはｉ番目の画像の回転マトリクスであり、ｐｉはｉ番目の画像の並進ベクトルである）。
上記表面パッチの形状及びこれらパッチの表面パラメータは、入力画像に関して得られる距離情報の近似を得るべく、計算される。表面パッチの境界は、例えば、入力画像中の対応する領域の境界が、当該入力画像内での距離情報が急激な変化を呈する場所に位置し、且つ好ましくは当該入力画像の内容が縁を表すような位置に合うように、配置される。境界は、距離の非線形な変化によるエラーを最小化するために、急激な変化又は縁を伴わない領域の内部にも配置することができる。当該モデルは好ましくは入力画像内で見ることができる領域に関する表面パッチのみを含み、好ましくは入力画像内の何れの位置も表面パッチに属するものとする。
或る実施例においては、モデルの表面パッチは、入力画像を一群の多角形（好ましくは三角形）に副分割することによって構成される。各多角形に関して、線形距離プロファイルにより距離情報が近似され、該情報は少なくとも敷居値以内で測定距離に等しいものとする。これらの多角形及び距離プロファイルは、前記入力視点の位置及びカメラの撮像幾何学的配置と一緒に、入力画像のモデルを形成する表面パッチを規定するために使用することができる。好ましくは、非常に小さな多角形（例えば１０ピクセル等の所定のピクセル数より小さい）及び入力視点からの視線と（殆ど）平行に走る（即ち、視線と表面パッチの法線との間の角度が、９０度から例えば８度のような所定角度以内しか相違しない場合）表面パッチに対応する多角形は、上記のようなモデルから除外されるか又は当該入力画像内のピクセル位置で見ることができないものと見なされるようにし、これにより斯かる表面パッチが出力ピクセル源として使用されるのを防止するようにする。
当該入力画像内の可視部分に関する表面パッチに加えて、視点からの視線に平行に走る補助表面パッチを、境界の異なる側における部分が互いに空間的に分離されている異なる物体に属する場合のように、これら境界が距離的な跳びに相当する場合は、部分間の境界用として当該モデルに含めることができる。
第４図は光景の画像を表示する装置を示している。この特定の装置は本発明の基本的な機能を示すためにのみ図示されている。即ち、実際には、第４図の種々の要素は異なる態様で分散させることができ、又は上記各機能はコンピュータプロセッサにより実行されるプログラムにより実施することもできる。該装置は出力視点（及び好ましくはカメラ姿勢も、これら姿勢及び視点は入力画像に関して規定したのと同様に、例えば、回転マトリクスＱ及び並進ベクトルｐに関して選択される）を選択するための要素４０を含んでいる。出力視点を選択する該要素４０は、各々が各入力画像及び対応するモデルに対するものであるような多数の再現ユニット（rendering units）４２a-cに結合されている。これら再現ユニット４２a-cは、比較ユニット４４及びマルチプレクサ４６に結合された出力端を有している。マルチプレクサ４６の出力端は表示ユニット４８に結合されている。
動作時には、異なる入力画像及び対応するモデルが各再現ユニット４２a-cにロードされる。出力視点を選択する前記要素４０は出力視点１２を選択し、該出力視点１２を各再現ユニット４２a-cに通知する。各再現ユニット４２a-cは、該ユニットにロードされた入力画像及びモデルに基づいて出力視点からの（及び好ましくはカメラ姿勢に基づく）出力画像を、例えば一度に出力画像内の１出力ピクセルのピクセル値に関し、計算し始める。再現ユニット４２a-cは、上記モデルが当該出力ピクセルのピクセル値を規定するならば、マルチプレクサ４６に対して当該同一の出力ピクセルに関する各ピクセル値を供給する。
上記目的のため、再現ユニット４２a-cは、何れの表面パッチが当該出力ピクセルにおいて見える出力点を含むかを先ず決定し、次いで、入力画像における何れのピクセル（又は複数のピクセル）が該出力点に対応するかを決定する。そして、該ピクセル値（又は複数のピクセル値）から出力ピクセル値が計算される。
上記出力点の決定は、何れの表面パッチが当該出力ピクセルにおいて見えるかの決定を要する。非常に速い実施例では、再現ユニット４２a-cは該表面パッチを計算するのに走査ラインアルゴリズムを使用する。走査ラインアルゴリズムにおいては、再現ユニット４２a-cは“走査ライン”（好ましくは、該走査ラインは表示ユニット４８が出力画像を走査するラインとする）と呼ばれる出力画像内のラインに沿う位置の進行の間に出力ピクセルを順次計算する。
上記走査ライン及び視点は、一緒になって、これら走査ライン及び視点を通過する面を規定する。各再現ユニット４２a-cは、該面と当該再現ユニットにロードされたモデルの表面パッチとの交差を計算する。これらの交差は、各々が出力画像内の当該走査ラインの区間上に投射する線分である。これら線分の集合は、入力画像を介しての断片的な線形な連続経路にも対応し、線形な区画は表面パッチに対応する画像領域と交差し又は表面パッチ間の境界に沿って走る。
再現ユニット４２a-cは、上記区間を走査ラインに沿い増加する位置で並び替えると共に、再現ユニット４２a-cに記憶されたモデルからの他の区画により閉ざされた区画（又はそれらの部分）は削除する。第１出力ピクセルを出力する場合、再現ユニット４２a-cは上記区画のうちの何れに実際の出力ピクセルが存在するかを決定し、これにより出力ピクセルにおいて見える出力点が該区画に対応する表面パッチ上にあることが分かる。後続の出力ピクセルは、走査ラインに沿う出力ピクセルの進行が２つの区画の間の境界と交差することが分かるまで、同一の表面パッチに属する出力点を“見る”ようにし、交差した場合は該境界の反対側に位置する新たな区画が表面パッチを決定するために使用される。
当業者は上記のような走査ラインアルゴリズム自体は現状技術から知るであろう。しかしながら、既知のアルゴリズムは、本発明により使用されるモデルの特別の特性を利用することにより改善することができる。特に、上記区画の記憶及び閉ざされた区画（又はそれらの部分）の削除に要する時間は、上記線分が入力画像内の断片的な線形な連続経路に対応するという事実を利用することにより減少させることができる。
これを利用するため、線分は該経路に現れる順序で処理され、下記について情報が維持される：
− 各区画により及ばれた上記走査ライン上の連続した範囲Ｒは、処理された線分に対応する（範囲Ｒは、例えば、最小及び最大位置により規定される）、
− モデル内の各点を接続する補助線分Ａは、上記連続した範囲の端点に対応する、
− 区画の順序リストＬは、走査ライン上に現れる順で処理された可視線分に対応する。
上記区画の発見を例示する疑似プログラムは：

言い換えると、経路上の次の線分が処理される場合、（該経路に沿う先の線分に接続されている）当該線分の始点が補助線分よりも視点に近いか又は視点から遠いかが（即ち、該補助線分が上記始点と視点との間にあるか否かが）決定される。次の線分が一層近く、その区画が範囲外である場合は、該線分が見える（視点に向けて）限りにおいて、その区画は順序リストに適当であるとして先付け又は後付される。上記次の線分が一層近く、その区画が少なくとも一部範囲内である場合は、その区画は可視である場合上記リスト内に配置され、該区画が重なる如何なる区画も重なる範囲において順序リストから削除される。上記次の線分が一層遠い場合は、該次の線分が範囲外まで延びているか否かが決定される。もしそうなら、該区画の上記範囲外に延びる部分は、もし見えるなら、順序リストに加えられる。何れの場合においても、上記範囲は必要なら線分に対応する区画を含むように延長される。この処理は、全ての線分が処理されるまで、次の線分に関して繰り返される。このようにして、Ｎ個の表面パッチがある場合は、出力画像はＮ回のうちに計算され、これは任意のモデルの場合よりも速い。
マルチプレクサ４６は上記ピクセル値のうちの１つを表示ユニット４８へ通過させる。各再現ユニット４２a-cは、出力ピクセルで見える表面パッチのパラメータも比較ユニット４４に通知する。比較ユニット４４はこれらパラメータを比較し、該比較に基づいて再現ユニット４２a-cのうちの１つを選択すると共にマルチプレクサ４６に該再現ユニット４２a-cからのピクセル値を表示ユニット４８に通過させるよう指令する。
比較ユニット４４は、何れの入力画像及び対応するモデルが出力画像内の出力ピクセルのピクセル値を決定するであろうかを選択する。この選択は多数の考慮に基づくものである。
選択された出力視点と、出力ピクセル上に写像（map）する特定のモデル内の表面パッチ上における点との間の距離に考慮が払われる。通常は、最も近い点を規定するモデルが好ましい。
ピクセルサイズにも考慮を払うことができる。即ち、入力画像内の入力ピクセルは、該入力画像の入力視点を介して表面パッチ上に逆投影された場合、或る入力サイズを有するであろうし、選択された出力視点を介して逆投影される出力ピクセルは出力サイズを有するであろう。通常は、上記入力サイズと出力サイズとが最も密に調和するようなモデルが好ましい。
表面パッチの法線と視線との間の角度にも考慮が払われる。即ち、入力視点から表面パッチへの視線は法線と入力角をなし、出力視点から表面パッチへの視線は法線と出力角をなす。通常、上記入力角と出力角とが最も緊密に調和するモデルが好ましい。
好ましくは、上記考慮の組み合わせが使用される。特に、上記考慮のうちの何れかが入力画像及び対応するモデルに関する距離、ピクセルサイズ又は角度が臨界的な範囲内にあることを示している場合は、もし可能なら、該入力画像及び対応するモデルの選択は避けるべきである。臨界的な範囲は、例えば、当該モデルから当該表面パッチまでの距離が或る敷居値以上他のモデルの表面パッチまでの距離を越える場合、当該入力角と当該出力角とが他の敷居値以上相違する場合、当該出力角が９０度から更に他の敷居値未満しか相違しない場合、又は当該入力サイズが当該出力サイズを最小係数以上越える場合に、生じると言われている。上記臨界的範囲外では、前記考慮の何れか１つ又は重み付けされた組み合わせが、好ましい入力画像及びモデルを選択するために使用される。
好ましくは、再現ユニット４２a-cは、ピクセル値が決定される場合、多数の表面パッチを当該モデルから無視する。例えば、表面パッチが眺め方向と平行に走っている（即ち、その法線と画像の入力視点からの視線との間の角度が９０度から例えば８度なる敷居値未満しか相違しない）と判断された場合は、再現ユニット４２a-cは当該パッチを無視すると決定することができる。同様に、再現ユニットは、入力画像からの所定数の入力ピクセル未満しか写像しないパッチ、又はもし当該パッチがアーチファクトである場合は、例えば入力画像の副分割における包括範囲を完全にするために要するものは、無視することができる。
前記比較ユニット４４は、各出力ピクセルに関して判断をする必要はない。再現ユニット４２a-cは、出力ピクセルがライン、“走査ライン”（好ましくは、表示ユニット４８が出力画像を走査するようなライン）、に沿って扱われる走査ラインアルゴリズムを使用することができる。ピクセル値は走査ラインに沿う出力ピクセルの進行の間に計算される。この場合、各再現ユニット４２a-cは当該ラインを区画に分割し、各区画は再現ユニット４２a-cにロードされたモデル内の同一の各表面パッチからの点を表示する走査ライン上の一群の連続した出力ピクセルに対応する。或る区分内の進行する出力ピクセルの部分に対しては、再現ユニットは出力ピクセルから見える表面パッチを再判断する必要はない。各再現ユニット４２a-cは比較ユニット４４に対し、或る区分から他の区分への遷移を新たな区分に対応する表面パッチのパラメータと共に通知する。この場合、比較ユニット４４は新たな区分が通知される毎に再現ユニットを選択し、この選択は少なくとも次の区分が通知されるまで持続する。このように、選択のために要する計算の量は、各ピクセル個々に対しての表面パッチの選択に比較して減少することができる。マルチプレクサ４６の出力に対してフィルタ動作を実行して、異なる再現ユニット４２a-cの選択の間の移行を滑らかにすることもできる。
再現に先立ち、入力画像は追加の光源を疑似するために変化させることができる。この目的のため、１以上の光源が定義される。各光源に関し、光源が位置する空間内の光源点が選択される。光源が位置する該点から入力画像内の何れのピクセルが見えるかが判断され、ピクセルが見えるなら、そのピクセル値が上記光源の効果を疑似すべく変化される。次いで。これら変化された画像が出力画像を構築するために使用される。
入力画像の各ピクセルに関しての当該ピクセルが光源の光源点から見えるか否かの判定は、好ましくは、出力画像を形成する場合について上述したのと同様の方法を用いて実施される。即ち、上記光源に関して各々が特定の方向に放射される光ビームに対応するような多数の“出力ピクセル”が規定される。各モデルに関して、もしあるなら、表面パッチからの何れの出力点が各画像において見えるかが判断され、２以上の入力画像において上記のような出力点が存在したら、これら画像のうちの１つが上述したように例えば最も近い点を選択することにより選択される。他の例として、点間の距離が当該モデルのエラー限界を反映している敷居値より小さい場合は、これら点は幾つかの入力画像用として一度に選択されてもよい。
このように、陰の効果は出力画像を構築するために用いられたのと同様の技術を用いて疑似される。出力点に対応する選択された画像中のピクセル“ｉ”のピクセル値Ｃｉは、例えば次式により変えることができる：
Ｃｉ’＝Ｃｉ（１＋fa Ｉ）＋fb Ｉ CL
上記において、Ｃｉ’は変化されたピクセル値（好ましくは、Ｃｉ、Ｃｉ’及びCLは色ベクトルとする）、Ｉは光源の輝度係数、CLは光源の（好ましくは正規化された）色ベクトル、fa及びfbは所望の照明効果を生成するために選択された補正係数である。faがfbより十分大きい場合は（faは例えば０．１から１０．０の範囲内である）、当該表面パッチの色は元の画像における色と略同じであり、輝度は主に光源により決まる。表面パッチの色を変えて光源の色の効果を疑似するために、faに対して係数fbを増加させることも可能である。
一群の入力画像中に物体を挿入するか又は削除することが可能である。削除は、少なくとも１つの画像に関連する表面パッチの集合を指定することにより実行される。これらの指定された表面パッチに関連する入力画像内の入力ピクセルは“無効”と印され、これら指定された表面パッチが当該モデルから削除されるか、又はこれらパッチの深さが当該パッチが出力画像に影響しないように変更される。入力画像から指定された表面パッチが削除される場合に入力画像間の一貫性を保証するために、入力画像の各々は、これら入力画像に関連する何れの他の表面パッチが何れかの指定された表面パッチ上にある光景空間内の点を含むか、又はエラー限界内にあるような表面パッチまでの距離を有するかを判断するために解析される。このような表面パッチも指定されたものと見なされて、削除される。入力画像及び深さ情報を得るために使用されるカメラ位置が与えられた場合、上記のような表面パッチは容易に見つけられる。他の例として、指定される表面パッチは人間の編集者によってのみ選択されるようにしてもよい。
指定された表面パッチに対応する入力画像内のピクセルは無効と印される。出力画像が計算される場合に、入力画像内の“無効”と印されたピクセルは無視される。
挿入は２つの群の入力画像と対応するモデルとに関わり、第１の群は元の光景を描写し、第２の群は、なかでも、挿入された物体を描写する。物体を挿入するために、第２の群の画像の部分に対応する当該物体の表面パッチが指定される。これら指定は、その場合に削除されるであろうだったこれら表面パッチが今度は収集され、第１の群の入力画像に挿入されるべき物体を表すと言われる点を除き、削除されるべき表面パッチの指定と同様の態様で処理することができる。
当該物体に関しては第１の群の入力画像により描写される光景に対して位置及び姿勢が選択される。これらから、当該物体に対する補助視点及び眺め姿勢（光学軸の回転及び傾き）が計算され、この場合、各視点及び姿勢は第１群の入力画像を得るために使用された視点及び眺め姿勢に各々対応する。補助入力画像が、上記補助視点から且つ上記補助眺め姿勢に基づいて眺められた入力画像の第２の群からの指定された表面パッチにつき、計算される。例えば、当該物体の選択された位置及び姿勢は、当該光景の空間内の点を表すベクトルｒ1を当該物体を含む空間内の点を表すベクトルｒ2に関連付ける変換、例えばｒ1＝Ｑ ins ｒ2＋ｐ ins（Ｑ insは回転マトリクスであり、ｐ insは並進ベクトルである）、により規定することができる。第１の群からの入力画像“ｉ”のモデルは、当該表面パッチ上の点に対応するベクトル“ｒ”と、当該カメラに関する座標系内のベクトル“ｓ”との関係ｓ＝Ｑｉｒ＋ｐｉを規定する。この場合、上記補助視点及び姿勢は、関係ｓ＝ＱｉＱ ins ｒ＋Ｑｉｐ ins＋ｐｉにより、即ち回転マトリクスＱｉＱ insと並進ベクトルＱｉｐ ins＋ｐｉとにより、規定される。
上記補助入力画像の該計算は好ましくは、各補助視点及び該視点から見える各表面パッチに関しては当該光景の空間内の上記表面パッチの位置を表す情報が計算される点を除いては、基本的に前述した出力画像の計算と同様の態様で（第４図の再現ユニット４２a-c、マルチプレクサ４６及び比較ユニット４４を用いて）実施されるようにする。好ましくは、当該補助画像に関する表面パッチについての上記情報は、第２の群の入力画像内の表面パッチに関して既に用意されている情報を変換することにより計算されるようにし、後者の表面パッチの部分は、これらが当該補助画像内で見えない場合は削除される。このように、個々のピクセルに関して距離を計算する必要はない。
次いで、各補助入力画像が第１の群の入力画像内に対応する視点及び姿勢で挿入される。補助画像が情報を提供するピクセルのピクセル値は、当該補助画像が最も近い点を提供する限り（又は出力画像内のピクセル値を決定するための２つの入力画像間の選択に関して先に述べた何れかの他の条件を満たす限り）、上記補助画像からの対応するピクセルのピクセル値により置換される。当該補助入力画像に対応する表面パッチの記述が、上記の置換されたピクセルに加えられる。次いで、これら修正された入力画像が、前述した態様により出力画像を得るために使用される。

Claims (11)

1. 自由に選択可能な視点からの光景の出力画像を表示する方法であって、該方法が、
   複数の入力視点からの前記光景の各入力画像を得、
   前記入力画像内の入力情報の元となる前記光景の空間内に位置する点を表すモデル情報を計算し、
   前記選択可能な視点を選択し、
   前記出力画像内における出力ピクセルに関し、前記モデル情報内で表される何れの出力点が前記出力画像内で当該出力ピクセルにおいて見えるかを判定し、
   前記出力点から生じる前記入力画像又は複数の入力画像内の前記画像情報から上記出力ピクセルのピクセル値を決定し、
   前記出力画像内に前記出力ピクセルを前記ピクセル値に基づいて表示する、ような各ステップを有する方法において、当該方法が、
   前記各入力画像に対して対応するモデルを各々計算し、各モデルは前記光景の空間内に位置する表面パッチに関する情報を有し、各表面パッチは各入力画像内のピクセル群に実質的に対応し、
   各モデルに対して、もしあるなら、当該モデルの前記表面パッチからの何れの点が当該モデルによれば前記出力画像内の前記出力ピクセルにおいて見えるかを判定し、
   前記点が発見された異なるモデルにおけるこれら各点を含む表面パッチのパラメータの比較に基づいて、前記各点から出力点を選択し、
   前記出力点が選択された各モデルに対応する入力画像内の前記画像情報から前記ピクセル値を決定する、
   ような各ステップを有することを特徴とする方法。
2. 請求項１に記載の方法において、前記各点から前記出力点を選択するために、前記選択された視点までの距離が短い方の各点に優先度が付与されることを特徴とする方法。
3. 請求項１に記載の方法において、前記各点から前記出力点を選択するために、前記各点が属する表面パッチの法線と、前記選択された視点及び前記各点に対応する前記入力画像の各視点から前記各点への視線との各々の間の第１の角度と第２の角度との間の差が小さい方の各点に優先度が付与されることを特徴とする方法。
4. 請求項１に記載の方法において、前記出力点を選択するために、前記出力ピクセル及び前記入力ピクセルが前記表面パッチに逆投影された場合に、前記出力画像における前記出力ピクセルと前記各点に各々対応する前記入力画像内の入力ピクセルの投影の第１のサイズと第２のサイズとの間の差が小さい方の各点に優先度が付与されることを特徴とする方法。
5. 請求項１に記載の方法において、各特定の入力画像に関して前記出力画像内の区画の順序リストが計算され、前記区画は前記出力画像における走査ラインに沿って順次見える各表面パッチの線分に対応し、前記走査ラインは前記出力ピクセルを含み、前記出力点は前記出力ピクセルが存在する区画を決定することにより決定され、前記順序リストは前記特定の入力画像における経路に沿って見える順序で前記線分を順次処理することにより計算され、処理された線分の区画により及ばれた前記走査ラインに沿う連続範囲の表示を維持し、線分の前景／背景位置が当該線分を前記連続範囲の端点に対応する前記モデル内の点間に延びる補助線分と比較することにより決定されることを特徴とする方法。
6. 請求項１に記載の方法であって、前記入力画像のピクセルに関して照明の変化の効果を表すために変化されたピクセル値が計算されるような方法において、当該方法が、
   前記光景内の光源点と該光源点に対して配置された照明分布画像とを選択し、各照明ピクセル値は前記照明分布画像内の各光ピクセルに関連付けられ、
   各モデルに対して、もしあるなら、当該モデルの表面パッチからの何れの各照明点が前記照明分布画像内で前記各モデルによれば光ピクセルにおいて見えるかを判定し、
   変化可能な点を、前記各照明点から、前記各照明点が発見された異なるモデルにおけるこれら各照明点を含む表面パッチのパラメータの比較に基づいて選択し、
   前記変化可能な点が当該変化可能な点に対応する変化可能なピクセルにおいて選択された各モデルに対応する入力画像内の前記画像情報を変化させる、
   ような各ステップを有していることを特徴とする方法。
7. 請求項１に記載の方法において、
   他の光景からの他の入力画像を、前記他の光景の空間内に位置する表面パッチに関する情報を有する各他のモデルと組み合わせて他の各視点から各々得、各表面パッチは実質的に前記他の入力画像における各一群のピクセルに対応し、
   他の表面パッチの集合を前記他のモデルから指定し、
   前記他の表面パッチの集合に関して前記光景に対する位置及び姿勢を選択し、
   前記他の光景に対する各補助視点を、前記他の表面パッチが前記選択された位置及び姿勢に従って位置される場合に各補助視点が前記他の表面パッチに対して前記視点の各々と同様の空間関係を有するように決定し、
   前記集合の他の表面パッチの一群の補助画像を前記補助視点から計算すると共に、前記集合の他の表面パッチを記述する補助モデルを、これらモデルが前記補助画像内のピクセル群に対応する限りにおいて計算し、
   前記入力画像の各視点からピクセル値により表される前記光景内の点までの深さが、対応する補助視点から前記集合からの他の表面パッチ上の可視点までの深さより大きい場合に、前記出力画像を計算する前に、前記入力画像におけるピクセル値及びモデル情報を前記補助画像からのピクセル値及び補助モデル情報により置換する、
   ような各ステップを有していることを特徴とする方法。
8. 自由に選択可能な視点からの光景の出力画像を表示する装置であって、該装置が、
   複数の入力視点からの前記光景の各入力画像を記憶するメモリと、
   前記入力画像内の入力情報が生じる前記光景内の点を表すモデル情報を記憶するメモリと、
   前記選択可能な視点を選択する手段と、
   前記出力画像内における出力ピクセルに関し、前記モデル情報内で表される何れの出力点が前記出力画像内で当該出力ピクセルにおいて見えるかを判定する手段と、
   前記出力点から生じる前記入力画像又は複数の入力画像内の前記画像情報から上記出力ピクセルのピクセル値を決定する手段と、
   前記ピクセル値を入力して、前記出力画像内に前記ピクセル値に基づいて前記出力ピクセルを表示する表示ユニットと、
   を有するような装置において、
   前記モデル情報を記憶するメモリが前記各入力画像に対して対応するモデルを各々記憶するように構成され、各モデルは前記光景の空間内に位置する表面パッチに関する情報を有し、各表面パッチは各入力画像内のピクセル群に実質的に対応し、
   前記装置が、
   各モデルに対して、もしあるなら、当該モデルの前記表面パッチからの何れの点が当該モデルによれば前記出力画像内で前記出力ピクセルにおいて見えるかを判定する手段と、
   前記点が発見された異なるモデルにおける各点を含む表面パッチのパラメータの比較に基づいて、前記各点から前記出力点を選択する手段と、
   前記出力点が選択された各モデルに対応する入力画像内の前記画像情報から前記ピクセル値を決定する手段と、
   を有することを特徴とする装置。
9. 請求項８に記載の装置であって、前記入力画像のピクセルに関して照明の変化の効果を表すために変化されたピクセル値が計算されるような装置において、当該装置が、
   前記光景内の光源点と該光源点に対して配置された照明分布画像とを選択する手段であって、各照明ピクセル値が前記照明分布画像内の各光ピクセルに関連付けられているような手段と、
   各モデルに対して、もしあるなら、当該モデルの表面パッチからの何れの各照明点が前記照明分布画像内で前記各モデルによれば光ピクセルにおいて見るかを判定する手段と、
   変化可能な点を、前記各照明点から、前記各照明点が発見された異なるモデルにおける各照明点を含む表面パッチのパラメータの比較に基づいて選択する手段と、
   前記変化可能な点が選択された各モデルに対応する入力画像内の照明モデルに従って前記画像情報を変化させる手段と、
   を有していることを特徴とする装置。
10. 請求項８に記載の装置において、各モデルに関して何れの出力点が見えるかを判定する前記手段が、各特定の入力画像に関して前記出力画像内の区画の順序リストを決定し、前記区画は前記出力画像における走査ラインに沿って順次見える各表面パッチの線分に対応し、前記走査ラインは前記出力ピクセルを含み、前記出力点は前記出力ピクセルが存在する区画を決定することにより決定され、前記順序リストは前記特定の入力画像における経路に沿って見える順序で前記線分を順次処理することにより計算され、処理された線分の区画により及ばれた前記走査ラインに沿う連続範囲の表示を維持し、線分の前景／背景位置が当該線分を前記連続範囲の端点に対応する前記モデル内の点間に延びる補助線分と比較することにより決定されることを特徴とする装置。
11. 請求項８に記載の装置において、
    他の光景からの他の入力画像を、他の各視点から各々得、
    他の表面パッチの集合を前記他のモデルから指定し、
    前記他の表面パッチの集合に関して前記光景に対する位置及び姿勢を選択し、
    前記他の光景に対する各補助視点を、前記他の表面パッチが前記選択された位置及び姿勢に従って位置される場合に各補助視点が前記他の表面パッチに対して前記視点の各々と同様の空間関係を有するように決定し、
    前記集合の他の表面パッチの一群の補助画像を前記補助視点から計算すると共に、前記集合の前記他の表面パッチの深さを表す補助モデル情報を、前記補助視点から計算し、
    前記入力画像の各視点からピクセル値により表される前記光景内の点までの深さが、対応する補助視点から前記集合からの他の表面パッチ上の可視点までの深さより大きい場合に、前記出力画像を計算する前に、前記入力画像におけるピクセル値及びモデル情報を前記補助画像からのピクセル値及び補助モデル情報により置換する、
    ような各手段を有していることを特徴とする装置。

Images