JP5165819B2 - 画像処理方法および画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、現実的な３次元仮想現実（バーチャル・リアリティ）体験を提供するための、３次元コンピュータグラフィクスと２次元画像の統合に関する。
【０００２】
【従来の技術】
３次元仮想現実世界をユーザに提示するには、かなりの計算パワーを必要とし、それを行うために必要な、高度に詳細なモデルを開発するには一般に高いコストがかかる。問題を簡単にするため、３次元世界の一部を表現し、あるいはシミュレートするために、ビデオや写真のような２次元画像が用いられることもある。このような方式により、計算のパワーおよびコストの大幅な削減が達成される。
【０００３】
【発明が解決しようとする課題】
しかし、ユーザがこのような世界の中で移動し、その世界に「ぴったりはまる」ように注意深く構成された２次元画像のもとのコンテクストとは異なる位置からその世界を見るときに、このような世界の限界が生じる。画像の理想視点（「投影中心」ともいう）とは異なる位置からというように視点を変更すると、画像が、３次元世界の周囲の対象とうまく合わなくなる。しかし、このような視点変更を処理する表示技術は、米国特許出願第０９／１９０，７４３号（出願日：１９９８年１１月１２日）に記載されている。この米国特許出願には、いわゆる「ピラミッドパネル構造」(pyramidic panel structure)を用いて２次元画像を操作することが記載されている。具体的には、２次元画像は、ユーザの移動に従って画像の消点(vanishing point)を調整するように操作される。これにより、ユーザが理想視点から離れるにつれて、２次元画像と世界の周囲との間の不連続性を制限するようにゆがみ(warping)が作用する。しかし、この新しい表示技術は、主として、道路のようないわゆる「通廊状の」(corridor-like)２次元画像（このような画像では、平行な特徴がいわゆる「消点」に収束するように見える）でしか動作しないという欠点がある。
【０００４】
【課題を解決するための手段】
前掲の米国特許出願では、ユーザの移動に従って画像の消点を調整するためにいわゆる「ピラミッドパネル構造」が使用されているが、この構造は、主として「通廊上の」２次元画像でしか動作しないという欠点を有する。本発明の原理によれば、視点変更は、２次元画像のポリゴン分割によっても処理することができる。各ポリゴン分割は、画像中に描画されている面に対応し、歪みを制限するようにポリゴン分割の頂点をユーザの移動と結合する。具体的には、ユーザの視野平面(view plane)から遠い画像点は、近い画像点よりも、ユーザの現在の視点の移動と密接に連係して移動する。こうして、視者が画像の理想視点（ＩＶＰ：ideal viewing point）から離れるように移動すると、それにより生じる画像のゆがみは、歪みに対抗し制限するように作用する。重要な点であるが、このアプローチでは、２次元画像はいわゆる「通廊上の」画像として扱われるのではないため、本発明ではより広範囲の２次元画像が使用可能となる。
【０００５】
【発明の実施の形態】
本発明をよりよく理解するために、図１および図２に、ユーザが３次元仮想現実世界（ｘ，ｙ，ｚ）内を移動し、２次元画像（ｘ，ｙ）の理想視点（ＩＶＰ）の位置から画像を見た後、異なる位置（すなわち、画像のもとのコンテクストとは異なる位置）から画像を見るときに、ユーザに見えるものの一例を示す。用語を簡明にするため、ビデオクリップあるいは写真のいずれを指すのにも２次元画像という用語を用いることにする。
【０００６】
図１に、例示的な３次元仮想現実世界１０５を示す。これは２つの部分に分かれる。一方は、写真、絵画あるいはビデオクリップの現フレームのような２次元画像１１５が表示される視野平面（ビュープレーン）１１０である。他方は、世界の残りの部分（周辺世界）１２０である。この場合、２次元画像１１５は、ニューヨーク市の８６番街とブロードウェイの交差点にあるブレトンホール(Bretton Hall)の画像であり、直交座標（ｘ，ｙ，ｚ）で定義される仮想現実世界１０５内の建物１２５をシミュレートするために用いられている。周辺世界１２０は、コンピュータグラフィクス技術を用いて表現されるため、以下、コンピュータグラフィクス（ＣＧ）部分１２０と呼ぶ。図示していないが、ＣＧ部分１２０内には、例えば、ＶＲＭＬ(Virtual Reality Modeling Language)でモデリングされたさまざまな合成３次元オブジェクトが存在することが可能である。
【０００７】
注意すべき点であるが、３次元世界１０５は、実際には２次元平面（ｘ，ｙ）にレンダリングすることはできないが、３次元（ｘ，ｙ，ｚ）を有するごとく見えるように視野平面上に投影し表示することができる。このため、本発明の技術は、好ましくは、２次元平面上の画像を３次元を有するごとく表示するのに十分に高度なコンピュータおよびソフトウェアとともに使用される。なお、世界を現実的に見せるため、コンピュータグラフィクス表示技術は、オブジェクトのｚ成分を、ユーザの視点までの距離（ｚ軸）の関数としてｘおよびｙ成分がスケールするように使用する。
【０００８】
２次元画像１１５は、世界の中の周囲の寸法の関数として、ＣＧ部分１２０の周囲環境内に注意深く配置され、端を切り落とされ、サイズ調整される。しかし、２次元画像１１５を見るとき、画像の内容を正しく見ることができる視点は１つしかない。この唯一の位置を、画像の理想視点（ＩＶＰ）、あるいは「投影中心」(center of projection)という。図１において、２次元画像１１５は、その理想視点から見られている。しかし、ユーザは、その理想視点からだけ画像１１５を見るということはめったにない。ユーザが、建物１２５の左または右へというように、世界１０５の中を移動し、あるいは、画像に近づきまたは画像から離れるように移動すると、理想視点以外の位置から画像１１５を見ることになる。本発明を利用しない場合、このような視点変更により、画像１１５内の特徴が、図２に示すように歪むことになる。
【０００９】
前掲の米国特許出願とは異なり、２次元画像は、いわゆる「通廊上の」画像として扱われるのではないため、本発明ではより広範囲の２次元画像が使用可能となる。しかし、同様に、ユーザが理想視点から離れると、２次元画像１１５は、以下で説明するように、ユーザの移動を考慮に入れるように操作される。本発明の原理によれば、２次元画像１１５は、複数のポリゴン分割に分割され、各ポリゴン分割は、画像中に描画されているオブジェクトの１つの面に対応する。ポリゴン分割の各頂点は、画像の理想視点に対するユーザの移動と結合される。その結合強度は、視野平面１１０からのその頂点の距離に依存する（詳細は後述）。この結合の結果、２次元画像１１５内のオブジェクトは、テクスチャマッピングされたソリッドモデルとして振る舞うように見える。
【００１０】
図３に、視者の位置に従って２次元画像１１５を操作するための、本発明の原理による例示的なプロセスを示す。このプロセスは、ステップ１３０から開始する。ステップ１３０で、視者の位置が変わったかどうかを判定する。
【００１１】
ステップ１３５で、画像の理想視点ＩＶＰから、画像１１５を含む視野平面１１０に垂直に下ろしたベクトルＣを求める。次に、ステップ１４０で、２次元画像１１５内の注目するオブジェクトをいくつかのポリゴン分割に分割する。各ポリゴン分割は、図４に示すように、オブジェクトの１つの面に対応する。ここでは、説明のため、建物１２５は、建物の左側および右側にそれぞれ対応する２個だけのポリゴン分割１４５および１５０に分かれている。注意すべき点であるが、ポリゴン分割の頂点はＱ₁〜Ｑ₆とラベルされ、２つのポリゴン分割の交線は線分Ｑ₃Ｑ₄上にある。
【００１２】
その後、ステップ１５５で、ユーザの現在の視点Ｖと、理想視点ＩＶＰから視者の現在位置ＶへのベクトルＴとを求める。次に、ステップ１６０で、次式に従って、各頂点Ｑ_iに対する結合比α_iを計算する。
【数５】

ただし、Ｄ_iは、画像の理想視点（ＩＶＰ）から、頂点Ｑ _i ′を含む仮想世界の３次元空間（ｘ，ｙ，ｚ）内の画像面までの直交距離である。ステップ１６５で、視者が移動すると、各頂点Ｑ_iは、次式に従って新たな頂点Ｑ₁′にマッピングされる。
【数６】

これにより、世界座標（ｘ，ｙ，ｚ）内に新たなポリゴン分割１４５′および１５０′が形成される。これを図５に示す。また、説明のため、図６に、頂点Ｑ₃に対する直交距離Ｄ₃を示す。注意すべき点であるが、α_iは、頂点が無限遠にある場合（Ｄ＝∞）の１から、頂点が視野画像平面にある場合（Ｄ＝｜ベクトルＣ｜）の０までの範囲の値をとることにより、遠くのオブジェクトほど結合が強くなる。次に、ステップ１６５で、もとのポリゴン分割１４５および１５０内の対応する画像を、それぞれ新たなポリゴン分割１４５′および１５０′上にテクスチャマッピングする。各ポリゴン分割について、同様に、上記の手続を繰り返す（ステップ１７０）。
【００１３】
理解されるべき点であるが、ステップ１６５で、上記のポリゴン分割は、視野平面１１０から離れて位置する画像点のほうが、視野平面の近くに位置する画像点よりも、ユーザの現在の視点の移動と密接に関連して移動するように、仮想世界の３次元空間（ｘ，ｙ，ｚ）内で操作されている。このようにして、視者が画像の理想視点ＩＶＰから離れるにつれて、それにより生じる画像中のゆがみは、ひずみを制限するように作用する。
【００１４】
図７および図８は、本発明を利用しない場合と利用した場合に、同じ画像の表示に対する２次元画像１１５の表示を比較した図である。具体的には、図７は、本発明を利用しない場合に、画像の理想視点ＩＶＰの左側から２次元画像１１５を見た場合の図である。この図において、画像の歪みに注意すべきである。図８は、本発明の原理により操作された同じ２次元画像である。この図では、歪みはほぼ除去されていることに注意すべきである。
【００１５】
明確に理解されるべき点であるが、２次元画像内のオブジェクトは、２個より多くのポリゴン分割に分割することも可能である。たとえば、建物の側面を２つの面として扱う代わりに、より多くの部分からなるポリゴン分割を使用し、各ポリゴン分割が、ドア、壁、窓のような、世界１０５の３次元空間内の建物の異なる部分を表すことも可能である。このような場合、各ポリゴン分割は、上記と同様に操作される。２次元画像内のオブジェクトを多数の小さいポリゴン分割に分割すると、歪みがさらに少なくなる。各オブジェクトが分割されるポリゴン分割の数は、画像内容と、仮想世界内でのユーザの移動範囲と、使用されるコンピュータの処理能力とに基づいて経験的に選択することができる。
【００１６】
【発明の効果】
以上述べたごとく、本発明によれば、３次元仮想現実（バーチャル・リアリティ）体験を提供するための、３次元コンピュータグラフィクスと２次元画像の統合において、道路のようないわゆる「通廊状の」(corridor-like)２次元画像以外でも有効な表示技術が実現される。
【図面の簡単な説明】
【図１】世界の一部を表す２次元画像の理想視点からユーザが世界を見るときに、ユーザに見えるものの一例を示す図である。
【図２】本発明を利用しない場合に、図１の世界の中でユーザが移動し、画像の理想視点とは異なる位置からこの２次元画像を見るときに、ユーザに見えるものの一例を示す図である。
【図３】本発明の原理に従って、ユーザの移動に従って２次元画像を操作するプロセスの例を示す図である。
【図４】２次元画像をポリゴン分割し、ユーザの移動に従ってその頂点をマッピングすることを示す図である。
【図５】２次元画像をポリゴン分割し、ユーザの移動に従ってその頂点をマッピングすることを示す図である。
【図６】２次元画像をポリゴン分割し、ユーザの移動に従ってその頂点をマッピングすることを示す図である。
【図７】本発明を利用しない場合に、ユーザが画像の理想視点の左の位置から世界を見るときに、ユーザに見えるものの一例を示す図である。
【図８】本発明を利用した場合に、ユーザが画像の理想視点の左の位置から世界を見るときに、ユーザに見えるものの一例を示す図である。
【符号の説明】
１０５ ３次元仮想現実世界
１１０ 視野平面
１１５ ２次元画像
１２０ 周辺世界（ＣＧ部分）
１２５ 建物
１４５ ポリゴン分割
１５０ ポリゴン分割

Claims (24)

1. ３次元世界の第１部分がコンピュータグラフィクスとしてモデリングされ、該世界の第２部分が２次元画像により表現された、３次元世界の見えを処理する際に使用される画像処理方法をコンピュータに実行させるプログラムを格納するコンピュータ読み取り可能な記録媒体において、
   前記２次元画像のユーザの現在の視点を決定するステップと、
   前記２次元画像をポリゴン分割に分割するステップであって、各ポリゴン分割が前記２次元画像に描画されたオブジェクトの所望の面と対応するポリゴン分割であるステップと、
   前記２次元画像の理想視点からのユーザの現在の視点の移動に従って、ユーザの視野平面から遠くに位置する画像点のほうが該視野平面の近くに位置する画像点よりも前記ユーザの現在の視点の移動と密接に結合して移動するように、前記ポリゴン分割をゆがませるステップと、
   前記ユーザが前記３次元世界内を移動する通りに、前記２次元画像と前記コンピュータグラフィクスとの間の不連続性を制限するように前記ゆがませるステップを繰り返すステップとを有することを特徴とするコンピュータ読み取り可能な記録媒体。
2. 前記世界内の周辺部の寸法の関数として前記２次元画像を校正するステップをさらに有することを特徴とする請求項１記載のコンピュータ読み取り可能な記録媒体。
3. 前記２次元画像は、「通廊状の」画像ではないことを特徴とする請求項１記載のコンピュータ読み取り可能な記録媒体。
4. コンピュータグラフィクスとしてモデリングされた前記世界の第１部分と組み合わせて前記２次元画像を表示するステップをさらに有することを特徴とする請求項１記載のコンピュータ読み取り可能な記録媒体。
5. 前記２次元画像は、ビデオのフレームであることを特徴とする請求項１記載のコンピュータ読み取り可能な記録媒体。
6. 前記２次元画像は、静止画であることを特徴とする請求項１記載のコンピュータ読み取り可能な記録媒体。
7. ３次元世界の第１部分が、コンピュータグラフィクスとしてモデリングされ、該世界の第２部分が、理想視点ＩＶＰを有する視野平面上に投影された２次元画像により表現された、３次元世界の見えを処理する際に使用される画像処理方法をコンピュータに実行させるプログラムを格納するコンピュータ読み取り可能な記録媒体において、
   前記理想視点ＩＶＰから、前記２次元画像の視野平面に垂直に下ろしたベクトルＣを求めるステップと、
   ｎをある整数として、前記２次元画像に描画された面に各ポリゴンが対応し、Ｑ₁〜Ｑ_nとラベルされた頂点を有するポリゴンからなる第１ポリゴン集合へと前記２次元画像を分割するステップと、
   前記画像の理想視点ＩＶＰから現在の視点ＶへのベクトルＴを求めるステップと、
   画像の理想視点ＩＶＰから、前記世界の３次元空間（ｘ，ｙ，ｚ）内の頂点Ｑ_iを含む画像平面への直交距離をＤ_iとして、各頂点ごとに、式
   

   

   で与えられる結合比α_iを求めるステップと、
   関係式
   

   

   に従って前記世界の３次元空間（ｘ，ｙ，ｚ）内で頂点Ｑ₁〜Ｑ_nをＱ_１′〜Ｑ_n′にそれぞれマッピングすることにより、第２のポリゴン集合を定義するステップと、
   前記第１ポリゴン集合内の対応する画像を前記第２ポリゴン集合内にマッピングするステップとを有することを特徴とするコンピュータ読み取り可能な記録媒体。
8. 前記世界内の周辺部の寸法の関数として前記２次元画像を校正するステップをさらに有することを特徴とする請求項７記載のコンピュータ読み取り可能な記録媒体。
9. 前記２次元画像は、「通廊状の」画像ではないことを特徴とする請求項７記載のコンピュータ読み取り可能な記録媒体。
10. コンピュータグラフィクスとしてモデリングされた前記世界の第１部分と組み合わせて前記２次元画像を表示するステップをさらに有することを特徴とする請求項７記載のコンピュータ読み取り可能な記録媒体。
11. 前記２次元画像は、ビデオのフレームであることを特徴とする請求項７記載のコンピュータ読み取り可能な記録媒体。
12. 前記２次元画像は、静止画であることを特徴とする請求項７記載のコンピュータ読み取り可能な記録媒体。
13. ３次元世界の第１部分がコンピュータグラフィクスとしてモデリングされ、該世界の第２部分が２次元画像により表現された、３次元世界の見えを処理する際に使用される画像処理装置において、
    前記２次元画像のユーザの現在の視点を決定する手段と、
    前記２次元画像に描画された面にそれぞれが対応するポリゴンへと前記２次元画像を分割する手段と、
    前記２次元画像の理想視点からのユーザの移動に従って、ユーザの視野平面から遠くに位置する画像点のほうが該視野平面の近くに位置する画像点よりもユーザの現在の視点の移動と密接に関連して移動するように、前記ポリゴンをゆがませる手段とを有することを特徴とする画像処理装置。
14. 前記世界内の周辺部の寸法の関数として前記２次元画像を校正する手段をさらに有することを特徴とする請求項１３記載の装置。
15. 前記２次元画像は、「通廊状の」画像ではないことを特徴とする請求項１３記載の装置。
16. コンピュータグラフィクスとしてモデリングされた前記世界の第１部分と組み合わせて前記２次元画像を表示する手段をさらに有することを特徴とする請求項１３記載の装置。
17. 前記２次元画像は、ビデオのフレームであることを特徴とする請求項１３記載の装置。
18. 前記２次元画像は、静止画であることを特徴とする請求項１３記載の装置。
19. ３次元世界の第１部分が、コンピュータグラフィクスとしてモデリングされ、該世界の第２部分が、理想視点ＩＶＰを有する視野平面上に投影された２次元画像により表現された、３次元世界の見えを処理する際に使用される画像処理装置において、
    前記理想視点ＩＶＰから、前記２次元画像の視野平面に垂直に下ろしたベクトルＣを求める手段と、
    ｎをある整数として、前記２次元画像に描画された面に各ポリゴンが対応し、Ｑ₁〜Ｑ_nとラベルされた頂点を有するポリゴンからなる第１ポリゴン集合へと前記２次元画像を分割する手段と、
    前記画像の理想視点ＩＶＰから現在の視点ＶへのベクトルＴを求める手段と、
    画像の理想視点ＩＶＰから、前記世界の３次元空間（ｘ，ｙ，ｚ）内の頂点Ｑ_iを含む画像平面への直交距離をＤ_iとして、各頂点ごとに、式
    

    

    で与えられる結合比α_iを求める手段と、
    関係式
    

    

    に従って前記世界の３次元空間（ｘ，ｙ，ｚ）内で頂点Ｑ₁〜Ｑ_nをＱ_１′〜Ｑ_n′にそれぞれマッピングすることにより、第２のポリゴン集合を定義する手段と、
    前記第１ポリゴン集合内の対応する画像を前記第２ポリゴン集合内にマッピングする手段とを有することを特徴とする画像処理装置。
20. 前記世界内の周辺部の寸法の関数として前記２次元画像を校正する手段をさらに有することを特徴とする請求項１９記載の装置。
21. 前記２次元画像は、「通廊状の」画像ではないことを特徴とする請求項１９記載の装置。
22. コンピュータグラフィクスとしてモデリングされた前記世界の第１部分と組み合わせて前記２次元画像を表示する手段をさらに有することを特徴とする請求項１９記載の装置。
23. 前記２次元画像は、ビデオのフレームであることを特徴とする請求項１９記載の装置。
24. 前記２次元画像は、静止画であることを特徴とする請求項１９記載の装置。

Images