JP6651679B2 - 光強度画像を生成するための装置及び方法 - Google Patents

Description

本発明は光強度画像を生成するための装置及び方法に関し、より詳細には、加速ハードウェア処理に適した、複数の異なる視点からのメッシュ及びテクスチャマップに基づいて新たな視点についての光強度画像を生成することに関する。

３次元シーンに基づくグラフィックアプリケーションは、特にコンピュータグラフィックアプリケーションなどの多くの用途で普及している。高速３次元グラフィックス処理をサポートするために、多くの標準及び仕様が開発されている。これは、視点移動などの多くの標準的な演算に対して標準化された関数及びルーチンを提供するので、より高速な設計及び実装を提供するだけでなく、これらのルーチンのために専用のハードウェアグラフィックエンジンを開発し、最適化することも可能にする。実際に、多くのコンピュータにとって、グラフィック処理装置（ＧＰＵ）は今日では少なくとも中央処理装置（ＣＰＵ）と同程度にパワフルかつ重要であることが多い。

高速グラフィックス処理をサポートするための標準の一例は、グラフィックス処理をサポートする多数の関数を有するアプリカントプロセスインターフェース（ＡＰＩ）を提供するＯｐｅｎＧＬ仕様である。この仕様は典型的には、ＧＰＵの形態の専用の加速ハードウェアによって特定のルーチンが実施されるハードウェア加速グラフィックス処理を提供するために使用される。

そのようなグラフィック仕様のほとんどにおいて、シーンの表現は、テクスチャマップ及び３次元メッシュの組み合わせによって行われる。実際に、多くのシナリオでの非常に有効な手法は、画像オブジェクト、又は実際にはシーン全体をポリゴンメッシュで表すものであり、ポリゴンメッシュは、ポリゴンのセットが共通の辺又は角（頂点）で接続されたものであり、これらは３次元位置によって与えられる。したがって、結合された３次元ポリゴンメッシュは、場合により画像全体の３次元記述を含む、３次元オブジェクトの有効なモデルを提供する。ポリゴンメッシュは、３Ｄ空間で与えられる共通の角を有する三角形によって形成される三角形メッシュであることが多い。

一例として、ステレオカメラは所与の視点からのシーンの画像を記録する。各ピクセルについて、視差推定が実行されて、そのピクセルによって表されるオブジェクトまでの距離が推定される。これは各ピクセルに対して実行され、それによって各ピクセルの３次元位置ｘ、ｙ、ｚが提供される。次いで、これらの位置は三角形メッシュの頂点として使用され、２×２ピクセルのグループごとに２つの三角形が形成される。これは多数の三角形を生じさせるので、この処理はいくつかの初期の三角形をより大きい三角形に（又はいくつかのシナリオではより一般的に、より大きいポリゴンに）結合することを含む。これにより三角形の数は減少するが、メッシュの空間解像度も低下する。したがって、これは典型的には深度の変動に依存し、主に平坦な領域で行われる。

各頂点はさらにテクスチャマップの光強度値と関連付けられる。テクスチャマップは、原則的には、頂点のピクセル位置におけるオブジェクトのシーン内の光／色強度を与える。典型的には、光強度画像／テクスチャマップはメッシュと共に提供され、メッシュの各頂点は、その頂点のｘ、ｙ、ｚ位置を表すデータと、テクスチャマップ内のリンク位置を特定するｕ、ｖデータとを含み、すなわち、それはテクスチャマップにキャプチャされたｘ、ｙ、ｚ位置における光強度を指す。

そのような表現では、ポリゴンメッシュはオブジェクトの３次元幾何学形状の情報を提供するために使用されるのに対し、テクスチャは典型的には別個のデータ構造として提供される。具体的には、テクスチャは、処理アルゴリズムによって３次元幾何学形状上に重ね合わせることができる別個の２次元マップとして提供されることが多い。

三角形メッシュの使用は、コンピュータグラフィックスアルゴリズムによる処理及び操作に特に適しており、多くの効率的なソフトウェア及びハードウェアソリューションが開発されており、市販されている。多くのシステムでは、アルゴリズムが各ポリゴンを別々に処理するのではなく、複数のポリゴンに対して共通して個々の頂点を処理することによって、相当な計算効率が達成される。たとえば、一般的な三角形メッシュの場合、個々の頂点はいくつか（多くの場合３〜８個）の三角形に共通であることが多い。したがって、単一の頂点の処理が比較的多数の三角形に適用可能であり、それによって、処理中の画像又は他のオブジェクト内の点数が大幅に減少する。

具体例として、現在の多くのシステムオンチップ（ＳｏＣ）は、３Ｄグラフィックスの処理用に高度に最適化されたＧＰＵを含む。たとえば、３Ｄオブジェクト幾何学形状及び３Ｄオブジェクトテクスチャの処理は、いわゆるＯｐｅｎＧＬレンダリングパイプライン（又はＤｉｒｅｃｔＸなどの他の多くのＡＰＩ）において、２つの大きく分けられたパスを使用して行われる。ＳｏＣ上のＧＰＵのハードウェアは、３Ｄソースが頂点（典型的には三角形）及びテクスチャの形でＧＰＵに与えられる限り、３Ｄグラフィックスを効率的に扱うことができる。そして、ＯｐｅｎＧＬアプリケーションインターフェースは、３Ｄオブジェクトが２Ｄスクリーン上に投影されたときの見え方を決定する仮想視点カメラの設定及び制御を可能にする。ＯｐｅｎＧＬは３Ｄオブジェクトを入力として使用するが、出力は典型的には通常の２Ｄディスプレイに適した２Ｄ画像である。

しかしながら、そのような手法では、ポリゴンメッシュ及び関連付けられたテクスチャの情報によって３次元情報が提供される必要がある。これは、たとえば完全にコンピュータ生成された仮想シーン及び環境に基づくゲームなどのいくつかのアプリケーションでは、提供することは比較的容易であるが、他の実施形態ではそれほど容易ではない。具体的には、現実のシーンのキャプチャに基づくアプリケーションでは、これらはテクスチャ及びメッシュの表現に変換される必要がある。これは、前述のように、ステレオ画像、又はシーンの画像及び深度の表現に基づくものである。しかしながら、そのような変換を実行するためのいくつかの手法が知られているが、これは些細なことではなく、多数の複雑な問題及び課題を提起する。

グラフィックス処理によくある演算は、入力テクスチャマップ及びメッシュの視点とは異なる視点についての画像が生成される視点変更である。グラフィックＡＰＩは典型的には、そのような視点変換を非常に効率的に実行するための関数を有する。しかしながら、入力メッシュは典型的には完全ではないので、そのような視点変換は、移動が大きすぎると品質劣化をもたらす場合がある。さらに、ある視点からのシーンの表現は、典型的にはいくつかの遮蔽された要素を含み、前景オブジェクトが背後の要素を遮蔽する。これらの要素は新たな方向からは見え、すなわち、視点変更によって遮蔽が解除される。しかしながら、入力テクスチャマップ及びメッシュは、そのような場合、これらの遮蔽解除された部分に関するいかなる情報も含まない。したがって、必要な情報が利用できないので、それらを最適に表現することができない。

これらの理由で、視点変換は異なるビュー方向に対応する複数のメッシュ及びテクスチャマップに基づくことが多い。実際に、新たな（不可視の）視点を合成するために、典型的には、複数のキャプチャされたメッシュを、異なる視点からの関連するカメラ画像（テクスチャ）と組み合わせることが好ましく、又は必要でさえある。異なる視点からのデータを組み合わせる主な理由は、あるビューでは隠れている（遮蔽されている）が他のビューでは見えるオブジェクトを復元することである。この問題は視点補間と呼ばれることが多い。

しかしながら、このための従来の手法はまだ最適とは言えない傾向がある。

たとえば、新たな視点を生成するための１つの手法は、異なる視点から生じたメッシュを単一のワールド座標系に変換し、次いで新たなカメラ平面上への透視投影を実行するものである。これらのステップは、標準的なグラフィックスハードウェアで実行することができる。しかしながら、これは典型的には隠面を正しく表示しない。具体的には、グラフィックスハードウェアは、複数の点が単一のピクセルにおいて組み合わせられる場合に、深度テストを使用して最前面の点を選択する。この手法は自己遮蔽に対処するために使用され、自己遮蔽とは、視点移動により画像オブジェクトが互いに相対的に移動して新たな遮蔽が発生し、すなわち、新たな視点において、元の視点では遮蔽されていなかった２つの点に対して遮蔽が存在することである。しかしながら、これは異なる画像に適用されると、エラー又は劣化をもたらす場合がある。実際に、深度は典型的には、前景オブジェクトを超えて広がるように（ハロー効果のように）線形補間され、最前面の点は、前景オブジェクトの隣にあるために遮蔽される領域に対応することが多い。

深度画像に基づくビュー補間のための技術の一例は、Ｃ．Ｌ．Ｚｉｔｎｉｃｋら、「Ｈｉｇｈ−ｑｕａｌｉｔｙ ｖｉｄｅｏ ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ａ ｌａｙｅｒｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」、ＳＩＧＧＲＡＰＨ ’０４ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００４，６００−６０８頁に与えられている。高品質を実現するために、この技術は、主層及び境界層（深度遷移周辺）からなる２層表現を使用する。これらはアルファマッティング（透明度を考慮）を使用して構築され、両方ともレンダリング処理中にワープされる（そして他のビューと混合される）。この手法の欠点は、２層表現を生成するためにメッシュを切断する必要があることである。この処理では、深度マップに対する閾値を選択し、深度の不連続点における対応するメッシュの三角形を消去する必要がある。閾値を使用するとレンダリング時の時間的な安定性が低下する可能性があるので、これは望ましくない。

したがって、異なる視点についての画像を生成するための改良された手法は有利であり、より詳細には、柔軟性の向上、精度の向上、複雑性の低減、計算効率の向上、既存のグラフィック処理手法との互換性の向上、画質の向上、遮蔽解除性能の改善、及び／又は性能の向上を可能にする手法は有利である。

したがって、本発明は上述の欠点のうちの１つ又は複数を単独又は任意の組み合わせで、好ましくは軽減、緩和又は排除することを目的とする。

本発明の一態様によれば、光強度画像を生成する方法であって、この方法は、第１の視点からのシーンを表す第１のメッシュ及び第１のテクスチャマップを受け取ることと、第２の視点からのシーンを表す第２のメッシュ及び第２のテクスチャマップを受け取ることと、第１のテクスチャマップ、第１のメッシュ、第２のテクスチャマップ及び第２のメッシュに応じて、第３の視点からのシーンを表す光強度画像を決定することとを有し、光強度画像を決定することは、光強度画像内の第１の位置について、第１のテクスチャマップ及び第１のメッシュに基づいて視点変換によって第１の位置についての第１の光強度値を決定するステップと、第２のテクスチャマップ及び第２のメッシュに基づいて視点変換によって第１の位置についての第２の光強度値を決定するステップと、第１の光強度値及び第２の光強度値の加重結合によって、第１の位置における光強度画像の光強度値を決定するステップであって、加重結合による第２の光強度値に対する相対的な第１の光強度値の重み付けが、第１の位置に対応する第２のメッシュ位置における第２のメッシュ内の第２の深度勾配に対する相対的な、第１の位置に対応する第１のメッシュ位置における第１のメッシュ内の第１の深度勾配に依存する、決定するステップとを実行することを含む、方法が提供される。

本発明は、多くの実施形態において、他の視点からのメッシュ及びテクスチャマップに基づく所与の視点についての光強度画像の生成を改善する。多くのシナリオにおいて、一方の入力視点に関しては遮蔽解除されるが他方に関しては遮蔽解除されない領域の表現が改善される。この手法は、具体的には多くの実施形態において、前景オブジェクトのエッジ周辺の品質を向上させる。

この手法は、他の手法で知られているメッシュホールの生成を回避し、深度の一貫性を向上させる。

この手法の特定の利点は、多くの実施形態において標準的なグラフィックルーチンによって密接にサポートされることである。たとえば、視点変換は、多くの実施形態において、標準化された専用の最適化されたグラフィック処理ハードウェアによって実行される。たとえば、この手法は標準化されたグラフィック処理と互換性があり、これらを効率的に利用する。実際に、この手法は、非標準的な手法をユーザ適応が可能なレンダリング／処理パイプラインの一部に制限することによって、そのような標準化された手法、たとえばＯｐｅｎＧＬ仕様などと互換性がある。たとえば、結合は、ＯｐｅｎＧＬレンダリングパイプラインのフラグメントシェーダステージの一部として実行される。

処理のリソース集約的な要素に対して標準化されたハードウェア加速処理を使用する可能性は、システムの速度又は容量などを大幅に増加させる。これは、多くの実施形態において複雑性及び／又はリソース要件を軽減する。

この手法によって、所与の領域についてより高いピクセル密度を有するテクスチャマップを、より低いピクセル密度を有するテクスチャマップよりも大きく自動的に重み付けするように、結合を適応させることが可能になる。

いくつかの実施形態では、第１の光強度値についての視点変換は、第１の視点から第３の視点へのメッシュ視点変換を第１のメッシュに適用して、変換されたメッシュを生成することと、第３の視点についての透視マッピングに応じて第１の位置に対応する変換されたメッシュ内の位置を決定することと、変換されたメッシュ内の位置を含む変換されたメッシュのポリゴンを決定することと、第１の光強度値を、ポリゴンの頂点にリンクされた第１のテクスチャマップ内の光強度値の補間として決定することとを含む。

他の実施形態では、視点変換のための他の手法が使用されることは理解されよう。

第１及び／又は第２の深度勾配は、適切なメッシュ内の対応する位置における深度勾配を示す任意の値又はパラメータによって表される。

いくつかの実施形態では、結合は、他の視点についてのメッシュ及びテクスチャマップから導出される追加の光強度値を含む。

メッシュは、各頂点が３次元位置に関連付けられる（を有する）３次元メッシュである。各頂点は、具体的には、少なくとも１つの３次元空間位置ｘ、ｙ、ｚによって表される。メッシュの各頂点はさらに、対応するテクスチャマップ内の位置とリンクされる。たとえば、各頂点について、空間位置ｘ、ｙ、ｚに対応するテクスチャマップ内の位置ｕ、ｖが記憶される。

メッシュは提示されるオブジェクトの深度に関する情報を含むが、これに限定されない（たとえば前述のように、頂点は、単に深度座標によってではなく、３次元座標によって表される）。

第１の位置に対応する入力視点についての入力メッシュ内のメッシュ位置は、視点変換によって第１の位置に変換される入力メッシュ内の位置である。同等に、第１の位置に対応する入力視点についての入力メッシュ内のメッシュ位置は、視点変換によって第１の位置に変換される、テクスチャマップ内の位置にリンクされた入力メッシュ内の位置である。

具体的には、第１のメッシュ位置は、視点変換によって第１の位置に変換／マッピングされる第１のメッシュ内の位置である（又は同様に、第１のメッシュ位置は、視点変換によって第１の位置に変換／マッピングされる、第１のテクスチャマップ内の位置にリンクされた第１のメッシュ内の位置である）。同様に、第２のメッシュ位置は、視点変換によって第１の位置に変換／マッピングされる第２のメッシュ内の位置である（又は同様に、第２のメッシュ位置は、視点変換によって第１の位置に変換／マッピングされる、第２のテクスチャマップ内の位置にリンクされた第２のメッシュ内の位置である）。

加重結合は、第２の光強度値の重みに対して相対的に、第２の深度勾配に対する相対的な第１の深度勾配に依存する重みを第１の光強度値に適用する。

深度は、たとえば視差によって表され、たとえば、深度マップは視差マップを示すものである。

本発明の任意選択の特徴によれば、第２の光強度値に対する相対的な第１の光強度値の重み付けは、第１の深度勾配の絶対値の単調減少関数である。

これにより性能が向上し、具体的には多くのシナリオにおいて、入力テクスチャマップにおいて遮蔽された値ではなく遮蔽されていない値を表す光強度値の方へ結合がバイアスされる。

いくつかの実施形態では、第２の光強度値の重み付けは同時に、第２の深度勾配の絶対値の単調減少関数である。

本発明の任意選択の特徴によれば、第２の光強度値に対する相対的な第１の光強度値の重み付けは、第２の深度勾配の絶対値の単調増加関数である。

これにより性能が向上し、具体的には多くのシナリオにおいて、入力テクスチャマップにおいて遮蔽された値ではなく遮蔽されていない値を表す光強度値の方へ結合がバイアスされる。

いくつかの実施形態では、第２の光強度値の重み付けは同時に、第１の深度勾配の絶対値の単調増加関数である。

本発明の任意選択の特徴によれば、この方法は、第１のメッシュの少なくともいくつかの頂点についての深度勾配を決定することと、少なくともいくつかの頂点についての深度勾配に応じて第１の深度勾配を決定することとをさらに有する。

これにより、多くの実施形態において、高性能かつ非常に効率的な実装が提供される。

「絶対値」という語句は「大きさ」とも称される。

本発明の任意選択の特徴によれば、深度勾配を決定することは、第１のメッシュの少なくともいくつかの頂点のうちの１つの頂点について、その頂点の深度と、第１のメッシュの少なくとも１つの他の頂点の深度と、その頂点及び少なくとも１つの他の頂点の間の距離とに応じて深度勾配を決定することを含む。

これにより、多くの実施形態において、高性能かつ非常に効率的な実装が提供される。

本発明の任意選択の特徴によれば、深度勾配を決定することは、第１のメッシュの少なくともいくつかの頂点のうちの１つの頂点について、その頂点から複数の近傍の頂点への深度勾配に応じて深度勾配を決定することを含む。

これにより、多くの実施形態において、高性能かつ非常に効率的な実装が提供される。具体的には、所与の頂点から任意の方向への深度遷移の検出の改善が可能になる。深度勾配は、たとえば、第１の頂点から複数の近傍の頂点への深度勾配の平均化又は最大値として決定される。

本発明の任意選択の特徴によれば、第１のテクスチャマップについての深度マップにおける深度変動に応じて第１の深度勾配を決定することをさらに有する。

これにより、多くの実施形態において、高性能かつ非常に効率的な実装が提供される。具体的には、適切な深度勾配のより複雑性の低い決定が可能になる。深度マップは、たとえば、メッシュを生成するために使用される深度マップ（詳細には視差マップを含む）である。深度マップは、たとえば、カメラがシーンをキャプチャし、テクスチャマップとして使用可能な画像に関連して深度マップを生成することにより提供される、元の深度マップである。

本発明の任意選択の特徴によれば、この方法は、第１のテクスチャマップについての深度勾配マップを決定するステップと、視点変換を深度勾配に適用して、視点変換された深度勾配マップを生成するステップと、第１の位置に対応する視点変換された深度勾配マップ内の位置における深度勾配に応じて第１の深度勾配を決定するステップとをさらに有する。

これにより、非常に効率的な演算が提供され、リソース要件が減少し、及び／又は処理速度が大幅に増加する。具体的には、多くの実施形態において、標準化されたハードウェア加速を、処理の中のリソースが重要な要素に使用することが可能になる。

本発明の任意選択の特徴によれば、この方法は、深度勾配に応じて加重結合の重みを含む重みマップを決定するステップと、視点変換を重みマップに適用して、視点変換された重みマップを生成するステップと、視点変換された深度勾配マップ内の第１の位置における重みに応じて加重結合の重みを決定するステップとをさらに有する。

これにより、多くの実施形態において、高性能かつ非常に効率的な実装が提供される。これにより、非常に効率的な演算が提供され、リソース要件が減少し、及び／又は処理速度が大幅に増加する。具体的には、多くの実施形態において、標準化されたハードウェア加速を、処理の中のリソースが重要な要素に使用することが可能になる。

本発明の任意選択の特徴によれば、第１のテクスチャマップ、第２のテクスチャマップ、並びに深度勾配マップ及び重みマップのうちの少なくとも１つに対する視点変換は、同一の視点変換である。

この手法は、同一の最適化された機能性（たとえばＧＰＵなど）を、処理の中のリソースが重要な要素に再利用することができる、極めて効率的かつ複雑性の低い演算を可能にする。

本発明の任意選択の特徴によれば、第１のテクスチャマップ及び第１のメッシュは、現実のシーンのキャプチャから生成される。

この手法は、現実のシーンのキャプチャに対する新たな視点の画像の高性能かつ効率的な決定を可能にし、たとえば、仮想現実グラフィックエンジンによって提供される画像に限定されない。

本発明の任意選択の特徴によれば、重み付けはさらに、第１の視点と第３の視点との差に依存する。

これにより、多くの実施形態において性能が向上する。

本発明の任意選択の特徴によれば、第２の光強度値に対する相対的な第１の光強度値の重み付けは、第１の深度マップ内の第１のメッシュ位置における深度を決定するために使用される深度推定の信頼性を示す信頼性指標にさらに依存し、第２の光強度値に対する相対的な第１の光強度値の重み付けが信頼性指標に関して増加することは、深度推定の信頼性が増加することを示す。

これにより、多くの実施形態において性能が向上する。

本発明の一態様によれば、光強度画像を生成するための装置であって、この装置は、第１の視点からのシーンを表す第１のメッシュ及び第１のテクスチャマップを受け取るための受信器と、第２の視点からのシーンを表す第２のメッシュ及び第２のテクスチャマップを受け取るための受信器と、第１のテクスチャマップ、第１のメッシュ、第２のテクスチャマップ及び第２のメッシュに応じて、第３の視点からのシーンを表す光強度画像を生成するための画像生成器とを備え、画像生成器は、第１のテクスチャマップ及び第１のメッシュに基づいて視点変換によって光強度画像内の第１の位置についての第１の光強度値を決定するための第１の視点変換器と、第２のテクスチャマップ及び第２のメッシュに基づいて視点変換によって第１の位置についての第２の光強度値を決定するための第２の視点変換器と、第１の光強度値及び第２の光強度値の加重結合によって、第１の位置における光強度画像の光強度値を決定するための結合器であって、加重結合の重み付けは、第１の位置に対応する第２のメッシュ位置における第２のメッシュ内の第２の深度勾配に対する相対的な、第１の位置に対応する第１のメッシュ位置における第１のメッシュ内の第１の深度勾配に依存する、結合器とを備える、装置が提供される。

本発明のこれら及び他の態様、特徴及び利点は、以下に記載した実施形態から明らかになり、これらを参照して説明する。

本発明の実施形態は、図面を参照して、ほんの一例として説明する。

１つの背景オブジェクト及び前景オブジェクトを有するシーンに対する視点変換の一例を示す図である。 本発明のいくつかの実施形態による、画像を生成するための装置の要素の一例を示す図である。 本発明のいくつかの実施形態による、画像を生成するための方法の要素の一例を示す図である。 本発明のいくつかの実施形態による、画像を生成するための方法の要素の一例を示す図である。 １つの背景オブジェクト及び前景オブジェクトを有するシーンに対する視点変換の一例を示す図である。 異なる視点についての深度勾配の一例を示す図である。 メッシュに対する視点変換の一例を示す図である。

以下の説明は、異なる視点（すなわち、異なるカメラビュー）から現実の３次元シーンをキャプチャすることで生成されるメッシュ及びテクスチャマップに基づく２次元画像のレンダリングに適用可能な本発明の実施形態に焦点を合わせている。しかしながら、本発明はこの用途に限定されず、たとえば、仮想現実シーンについてコンピュータ生成された深度マップ及びメッシュに基づく画像の生成に適用されることは理解されよう。

多くの３Ｄ画像（ビデオを含む）処理アルゴリズム及び処理は三角形メッシュの使用に基づいており、その理由は、これにより多くの実施形態において高い計算効率が提供されるためである。関連付けられたテクスチャマップと共に３次元情報を提供する深度メッシュは、特にコンピュータグラフィックスなどの多くのグラフィック処理システムで広く使用されている。メッシュは、深度情報を含む幾何学的構造の情報を提供する（ただし、当然ながら深度情報を提供することだけに限定されず、たとえば、典型的には各頂点の３次元座標を提供する）。簡潔にするために、メッシュと、それに関連付けられたテクスチャマップとを組み合わせたものを、以下ではメッシュ画像とも呼ぶ。

この手法は、シーンをレンダリングする場合にビュー方向を柔軟に変更するのに非常に適しており、視点が厳密な水平ライン内の移動に限定されず、視点の自由な移動が望まれるシナリオに特に適している。新たな視点を生成するための効率的な方式は、異なる視点から生じたメッシュを単一のワールド座標系に変換し、次いで新たなカメラ平面上への透視投影を実行するものである。これらのステップは、ＯｐｅｎＧＬ標準に基づくハードウェアなどの標準的な最適化されたグラフィックスハードウェアを使用して非常に効率的に実行することができる。しかしながら、品質を最適化し、視点変換によって遮蔽解除される領域に関する追加情報を提供するために、新たな視点からのレンダリング画像の生成は、複数の異なる視点について提供されるメッシュ及びテクスチャマップに基づくことが好ましい。

本発明者は、これがしばしばアーティファクトを伴う最適とは言えない結果をもたらし、具体的には、深度の歪み及び遮蔽解除された領域の誤った充填をもたらすことを認識した。

これは図１によって示しており、図１は１つの背景オブジェクトの前に１つの前景オブジェクトを有する一例を示す。この例では、各点／ドットは、頂点によって表されるシーン位置に対応すると考えることができ、ドットは典型的にはピクセルを表し、実際にはメッシュの頂点を表す。図１に、メッシュ画像が第１の視点１及び第２の視点２について提供される一例を示す。これらのメッシュ画像に基づいて、第１の視点１及び第２の視点２の間の第３の視点３について２次元画像が生成される。したがって、この例では、第１及び第２の視点１、２は、シーンをキャプチャしたときのカメラ視点に対応し、視点３はシーンに対する所望の視点に対応する。この画像は、レンダリングのために生成される光強度画像である。これは、ディスプレイによってレンダリング／表示される画像の個々のピクセルの光強度値を直接反映したものである。

光強度値は光強度を示す任意の値であり、具体的には、たとえば１つのカラーチャネルについての光強度であることは理解されよう。たとえば、光強度値は、ＲＧＢ表現のＲ値、Ｇ値又はＢ値であり、若しくはＹｕｖ表現のＹ値などであり、若しくは実際にはそのようなＹｕｖ表現のｕ値又はｖ値である。ｕ値及びｖ値はクロマ値であり、これらはレンダリング時に個々のカラーチャネルの光強度に関する情報も与えることに留意されたい。したがって、光強度値は、輝度、色差、又は実際には、ある色表現のクロマ値である。

図１において、１つ目の図は、視点１から見える位置を黒い（ベタ塗りの）ドットで示し、前景オブジェクトによって遮蔽された背景オブジェクト上の位置を白い（ベタ塗りでない）ドットで示す。２つ目の図は、視点２からの対応する状況を示す。したがって、最初の２つの分図は、２つの異なるカメラ視点１及び視点２についてのシーンの点の可視性を示す。

３つ目の分図は、視点１及び視点２からのメッシュ及びテクスチャを組み合わせ、これらを視点３にワープさせた（視点変換した）結果を示す。視点２から生じたメッシュは局所的に引き伸ばされ、隙間が形成される（背景オブジェクトの一部の遮蔽解除に対応する）。隙間の深度は、仮想視点３への投影後に異なる深度を有する点の間で線形補間される。グレーの円は、視点２から生じた点であって、シーンを視点３のカメラ座標に投影する場合にメッシュ内の既知の３Ｄ点間で線形補間される点を表す。したがって、グレーのドット／点は、視点２から視点３への視点変換によって生じる遮蔽解除後に、視点３からの画像内の位置に対応するように生成される深度位置を示す。これらの点は、視点１から見える背景オブジェクト上の点を表すそれらの背後の黒い点よりも視点３の近くにある。

しかしながら、視点２の画像を生成する場合、典型的な手法は最前面の位置を選択するものである。したがって、システムは、視点１から生じた、視点１から見える黒い点を理想的に選択するのではなく、視点２から生じたグレーの点を選択することになる。それに応じて、光強度画像値はこれらの点において、視点１のテクスチャマップに基づいてではなく、視点２のテクスチャマップに基づいて生成されることになる。このため、遮蔽解除された領域の画像は、対応するオブジェクトが遮蔽されていなかったテクスチャマップからではなく、そのオブジェクトが遮蔽されていたテクスチャマップから決定されることになる。結果として、生成された画像の品質が低下し、実際には適切な情報が処理に利用可能であるにもかかわらず、典型的には、遮蔽解除された領域の要素が正確に提示されない。

標準化されたハードウェアで使用される深度テストロジックを修正することは可能であるが、これは所与のレンダリングコールに対してしか行うことができないことに留意されたい。したがって、閾値の使用についての前述の欠点を有する部分において、メッシュをさらに分割する必要がある。標準的な深度テストは自己遮蔽に対処するための処理の一部であり、別の視点からのメッシュがそれ自体の上に折り重なり（自己遮蔽）、結果として生じる曖昧さを解決するために深度テストが使用される。

以下では、異なる視点についての複数のメッシュ及び関連するテクスチャマップから光強度画像を生成するための装置及び方法について、図２及び図３を参照して説明し、図２はそのような装置のいくつかの例示的な要素を示し、図３はそのような方法のいくつかの例示的な要素を示す。

図２及び図３の装置及び方法の手法は、記載した欠点のいくつかを軽減すること目的とする。具体的には、最前面の点を選択するのではなく、システムは両方のテクスチャマップの値の加重結合に基づいて出力画像の光強度値を生成するように構成され、重み付けは２つのメッシュ内の対応する深度勾配に依存する。

この装置は、第１のメッシュ画像が受信される、すなわち、第１のメッシュ及び第１のテクスチャマップが受信されるステップ３０１を実行する第１の受信器２０１を備える。第１のメッシュ画像は所与の視点からのシーンを表す。

メッシュ画像は、任意の内部又は外部ソースから受信される。たとえば、いくつかの実施形態では、メッシュ画像は、たとえば通信システムを介して、又は具体的にはインターネットなどのネットワークを介して外部ソースから受信される。いくつかの実施形態では、メッシュ画像は、適切な配布媒体を読み取るように動作可能な内部ソースから受信され、たとえば、メッシュ画像はＤＶＤから抽出される。いくつかの実施形態では、メッシュ画像はハードディスク又はローカルメモリなどから抽出され、又は実際には、いくつかの実施形態では、メッシュ画像はローカルの仮想現実アプリケーションなどによってローカルに生成される。

多くの実施形態では、第１のテクスチャマップ及び第１のメッシュは、現実のシーンのキャプチャから生成される。キャプチャは適切なカメラのセットによるものである。たとえば、単一のステレオカメラ又はレンジカメラが現実のシーンをキャプチャし、画像及び深度（／視差）マップを生成する。他の実施形態では、異なる位置にある複数のカメラが２次元画像をキャプチャし、キャプチャされた画像から視差推定などによって深度マップが生成される。画像のうちの１つがテクスチャマップとして使用され、メッシュが対応する深度マップから生成される。したがって、メッシュ画像は、所与の視点のカメラによってキャプチャされた光強度値を表すテクスチャマップと、メッシュによって表されるキャプチャされた深度情報とを有する現実のシーンのキャプチャを提供する画像である。したがって、メッシュ画像は、所与の視点から決定可能な情報しか表さないので、シーンに関する限られた情報しか提供しない（ローカルの仮想現実エンジンなどの場合のように詳細な幾何学モデルなどが利用可能であるのとは対照的である）。

この装置は、第２のメッシュ画像を受信する、すなわち、第２のテクスチャマップ及び第２のメッシュを受信するステップ３０３を実行する第２の受信器２０３をさらに備える。第２のメッシュ画像は、同一のシーンの表現であるが、異なる視点からの表現を提供する。第１のメッシュ画像に関して述べたコメントは、第２のメッシュ画像にも同様に当てはまることは理解されよう。

第１の受信器２０１及び第２の受信器２０３は画像生成器２０５に結合され、画像生成器２０５は、第１のテクスチャマップ、第１のメッシュ、第２のテクスチャマップ、及び第２のメッシュに応じて、第３の視点からのシーンを表す光強度画像が生成されるステップ３０５を実行する。したがって、第１及び第２の視点それぞれに対する第１及び第２のメッシュ画像に基づいて、第３の視点についての画像が生成される。第１及び第２の視点は典型的にはシーンに対するカメラ視点であり、第３の視点は所望の視点を表す。この画像は光強度画像であり、具体的には第３の視点からのシーンのビューを提供するためにディスプレイ上に直接提示することができる画像に対応する。具体的には、光強度画像は光強度値のセットを含み、各光強度値は画像のある位置における光強度を示す。典型的には、この画像はピクセルのセットを含み、各ピクセルは１つ又は複数の光強度値を有する。したがって、各光強度値はピクセル値に対応する。

いくつかの実施形態では、各位置（ピクセル）は単一の光強度値と関連付けられ、又はそれによって記述若しくは定義されることは理解されよう。これはたとえば白黒画像の場合に当てはまる。他の実施形態では、各位置（ピクセル）は、たとえばカラー表現の各チャネルに対して１つの光強度値など、複数の光強度値に関連付けられ、又はそれらによって記述若しくは定義される。したがって、光強度値は色強度値と見なされ、光強度画像は色強度画像である。複数のピクセルがそれぞれ、異なるカラーチャネルなどに対応する複数の光強度値によって表される場合、記載した手法は、たとえば、各カラーチャネルの光強度値に個別に適用される。

したがって、画像生成器２０５は、異なる視点についての画像を生成するように構成される。たとえば、いくつかの実施形態では、画像生成器２０５は、ユーザ入力などに応答して生成される所望の視点を定義する入力が提供される。次いで、画像生成部２０５は、受け取ったメッシュ画像に基づいて、その視点に対応する出力表示画像を生成する。次いでこの画像は、たとえば適切なディスプレイによってレンダリングすることができる。

画像生成器２０５の動作を図２及び図４を参照してより詳細に説明し、図４は画像生成器２０５の手法の一例を示す。

画像生成器２０５は、視点変換が第１のメッシュ画像に適用されるステップ４０１であって、視点変換は第１の視点から第３の視点への視点変換を提供する、ステップ４０１を実行する第１の視点変換器２０７を備える。具体的には、光強度画像内の第１の位置（典型的にはピクセル位置）に関して、第１の視点変換器２０７は第１の視点から第３の視点への視点変換に基づいて光強度値を決定し、視点変換は第１のテクスチャマップ及び第１のメッシュに基づくものである。

同様に、画像生成器２０５は、視点変換が第２のメッシュ画像に適用されるステップ４０３であって、視点変換は第２の視点から第３の視点への視点変換を提供する、ステップ４０３を実行する第２の視点変換器２０９を備える。具体的には、光強度画像内の第１の位置（典型的にはピクセル位置）に関して、第２の視点変換器２０９は第２の視点から第３の視点への視点変換に基づいて第２の光強度値を決定し、視点変換は第２のテクスチャマップ及び第２のメッシュに基づくものである。

メッシュ及びテクスチャマップに基づく視点変換のための多くの異なる手法が知られており、本発明から逸脱することなく任意の適切な手法が使用されることは理解されよう。

多くの実施形態では、視点変換は、最初に入力視点から出力視点へのメッシュ視点変換をメッシュに適用することを含むと有利である。当業者であればそのようにするための様々な手法に気づくと思われ、したがってこれらはより詳細には説明しない。

第３の視点についての出力画像内の所与の位置についての光強度値を決定する場合、画像生成器２０５は次いで、所与の位置に対応する変換されたメッシュ内の位置を決定する。これは、当業者に知られるように、第３の視点からの透視投影に応じて行われる。

次いで、画像生成器２０５は、メッシュ位置が含まれるポリゴンの頂点のテクスチャマップ値を補間することによって光強度値を決定する。補間はメッシュ位置から個々の頂点までの距離に依存する。

たとえば、変換前の元のメッシュにおいて、各頂点は現在の視点に基づく座標系において関連付けられた位置を有する（たとえば、ｘ、ｙ、ｚ座標が頂点ごとに定義される）。加えて、各頂点は対応するテクスチャマップにおいて特定の光強度値／ピクセル値を指し示し、すなわち、一組の２次元テクスチャマップ座標（ｕ、ｖ）も頂点ごとに記憶される。

メッシュの視点変換によって、ｘ、ｙ、ｚ値が第３の視点の座標系における適切な座標に変換されるように頂点位置が修正される。光強度画像内の第１の位置に対応するメッシュ上の点が決定され、これが含まれるポリゴンの頂点が識別される。その点から各頂点までの距離が決定され、各頂点について、その頂点のｕ、ｖ位置におけるテクスチャマップの光強度画像が決定される。次いで、第１の位置についての光強度値は、これらのテクスチャマップ値と、個々の頂点までの距離に依存する重みとの加重補間によって決定される。

他の例として、視点変換は以下のように実行される。

１．透視投影を使用して３Ｄ三角形メッシュを出力画像の視点（すなわち、第３の視点）に投影する。

２．出力画像内の各２Ｄピクセル位置に対して、
ａ．どのメッシュポリゴンにそれが含まれるかを決定する。
ｂ．３Ｄ三角形頂点座標及び線形補間を使用して、メッシュの元の座標系におけるその３Ｄ位置を決定する。
ｃ．三角形の頂点の（ｕ、ｖ）テクスチャ座標及び線形補間を使用して、入力テクスチャマップにおける（ｕ、ｖ）テクスチャ座標を決定する。
ｄ．出力画像のピクセル値を、テクスチャマップの位置（ｕ、ｖ）におけるテクスチャ値に設定する。

他の実施形態では他の視点変換が使用されることは理解されよう。

視点変換に基づいて、第１の視点変換器２０７及び第２の視点変換器２０９は、それに応じて第３の視点に対応する出力画像を生成する。しかしながら、視点変換のために、画像のいくつかの領域は遮蔽解除された領域を有する場合がある。ただし、これらは画像によって異なることが多い。

第１の視点変換器２０７及び第２の視点変換器２０９は結合器２１１に結合され、結合器２１１は、２つの視点変換器２０７、２０９からの画像を結合することによって光強度画像の出力光強度値が生成されるステップ４０７を実行する。具体的には、出力画像内の所与の（ピクセル）位置について、結合器２１１は、第１の視点変換器２０７によって生成された画像内のその位置における第１の光強度値と、第２の視点変換器２０９によって生成された画像内のその位置における第２の光強度値との加重結合を適用する。

加重結合の重み付けは、メッシュ内の対応する位置についての相対的な深度勾配に依存する。具体的には、重み付けは、第１の位置に対応するメッシュ位置における第２のメッシュ内の深度勾配示度に対する相対的な、第１の位置に対応するメッシュ位置における第１のメッシュ内の深度勾配示度に依存する。したがって、重み付けはその位置における相対的な深度勾配に依存する。深度勾配は実施形態によって異なる方式で決定され、深度勾配の値又は大きさの任意の表示はその深度勾配の表現と見なされることは理解されよう。たとえば、いくつかの実施形態では、深度勾配は、深度勾配が閾値より上か下かを単に示す２値によって表される。

結合器２１１は、具体的には、勾配が大きくなると重みを減少させる。たとえば、多くの実施形態では、第１の視点変換器２０７からの第１の光強度値の重み付けは、第１のメッシュにおける勾配の大きさの単調減少関数である。同様に、第１の視点変換器２０７からの第１の光強度値の重み付けは、第２のメッシュにおける勾配の大きさの単調増加関数である。同じことが、第２の視点変換器２０９からの第２の光強度値の重み付けにも対称的に適用可能である。各テクスチャの重みは、具体的には、深度／視差マップ又は各テクスチャに関連付けられたメッシュにおける局所勾配の大きさに反比例する。

したがって、出力光値は単に最前面の点として選択されるのではなく、深度勾配（画像内の深度変化率）に基づく段階的な結合が実行される。したがって、この手法は、平坦な領域の光強度値の方へバイアスしつつ、具体的には深度の遷移などの深度変化が大きい領域からは離れるようバイアスする。

本発明者は、そのような深度勾配に基づく適応的な加重結合によって、多くのシナリオにおいて画像が改善され、典型的には性能及び画質が大幅に改善されることを認識した。

この効果を、図１の例に対応する図５の例に関して説明する。

この例では、深度勾配の非常に単純な表示が使用され、深度勾配の大きさが閾値を超える位置に１の値が割り当てられ、それ以外の場合は０の値が割り当てられる。図５ａ及び図５ｂは、視点１及び視点２について、それぞれ０（一定領域内）又は１（深度ジャンプ付近）のいずれかである勾配の大きさの値を示す。図５ｃは、第３の視点へのワープ／視点変換後の結果を示す。ここでもやはり、グレーの点は補間によって導出される値を示す。

出力光強度画像内の所与の位置に関して、すなわち、視点３からの所与の透視線に関して、出力光強度値は、ここでは、２つの生成された画像内の対応する光強度値の加重結合として決定される。より小さい深度勾配の大きさを有する画像はより大きく重み付けされ、したがってこの例では、前方のグレーのドットの後方にある平坦な黒いドットはより大きく重み付けされ、典型的には非常に大きく重み付けされる。したがって、出力値は、補間された遮蔽解除された値ではなく、背景オブジェクトの実際の情報を含む画像の値によって主に与えられる。この手法は、非常に大幅な改善をもたらすこと、より詳細には、遮蔽解除された領域において大幅に改善された品質を提供することがわかっている。

実施形態によって異なる加重結合が使用されることは理解されよう。具体例として、加重線形結合が使用される。たとえば、第３の視点についての出力画像内の各ピクセルについて、以下の結合が実行される。

波形符号

は、対応する変数が視点変換によって第３の視点の出力座標系／グリッドに変換されたことを表す。変数を波形符号なしで表す場合、それらはまだ暗黙的に元の座標で表されている。前述の結合の代替として、重み付けは次のように実行される。

ここでＦは固定小数であり、

は両方の重みがとり得る最大値である。小数Ｆは典型的には０．１から０．３までの範囲内にあり、好ましくは０．３よりも０．１に近い。

この場合、重み付けは、第１の視点が低い信頼度を有する空間位置に対してのみ実行される。この利点は、ワープされた第１及び第２の視点のテクスチャの位置合わせが不完全なせいで、第１の視点が高精度な（重み値

が大きい）領域において画質が劣化しないことである。

前述の式の重みは、元のメッシュ画像における局所勾配の大きさに依存する。
ｗ_１＝ｆ（ｇ_１），ｗ_２＝ｆ（ｇ_２）

関数ｆは典型的には勾配の大きさの単調減少関数であり、すなわち、勾配の大きさが大きいと、ブレンド演算における対応するテクスチャの重みが小さくなる。

図５のデータの一例として、ｆは次式で与えられる。
ｆ＝ｅ^−１０ｇ

勾配の大きさｇ＝０の場合、重みは１になる。勾配の大きさｇ＝１の場合、重みは４．５４・１０^−５になる。

一例として、図５を視点３について考察すると（図５ｃ）、視点２から生じた左から右への最初の３つのサンプルは、勾配の大きさがゼロであるので、比較的大きい重み１を受け取ることがわかる。しかしながら、視点２における左から右へのソースサンプル４及び５は、勾配の大きさ１（閾値を超える勾配）を有する。出力視点３における補間された（グレーの）サンプル４、５、６は、これら２つの値の間で補間されるので、全て、補間された勾配の大きさの値１を、関連付けられた非常に小さい重み４．５４・１０^−５と共に受け取る。視点１から生じる重みがこれらのサンプルに対して大きくなり（１）、これは、出力ビュー３におけるグレーのサンプル４、５、６について、視点１からの隠面が完全に見えることを意味する。出力視点３のサンプル７は、視点１から生じた小さい重み４．５４・１０^−５を視点２から生じた小さい重み４．５４・１０^−５と結合する。その結果、その位置のテクスチャは等しい重みでブレンドされる。

上記の例では、所与のメッシュ画像に対する重みは、そのメッシュ画像についての（ワープ後の）深度勾配にのみ依存していた。しかしながら、他の実施形態では、１つの光強度値に対する重みは、第１及び第２のメッシュ画像における両方の局所勾配に依存する。

たとえば、第１の重みは次のように与えられる。
ｗ_１＝ｆ（ｇ_１，ｇ_２）
ここで、ｇ_１は第１のメッシュにおける局所勾配の大きさであり、ｇ_２は第２のメッシュにおける局所勾配の大きさであり、ｆはｇ_１の単調減少関数であって、ｇ_２の単調増加関数である。

いくつかの実施形態において、ｗ_２はｗ_１から直接与えられる。たとえば、ｆは０から１までの範囲に制限され、第２の重みは単純に次のように与えられる。
ｗ_２＝１−ｗ_１

提案した重み付け手法は、元の視点ごとのメッシュが、閾値処理を使用して深度の不連続点で「カット」されることを必要としないという利点を有する。異なる視点からの情報がソフトにマージされ（一緒にブレンドされ）、一般に、閾値処理を使用するよりも良い結果を与える演算である。

この手法の他の利点は、傾斜面において、最大のサンプル密度を提供するカメラが自動的に結合／ブレンド演算において最大の重みを受け取ることである。この仕組みを図６に示す。

上記の勾配に基づく重み付けは局所的であり、すなわち、変数は暗黙的に空間的な位置に依存する。表記を簡単にするために、この位置依存性は上記の式から削除されている。これらを明確にするために、以下の代入を行うことができる。
ｇ≡ｇ_ｋ
ｆ≡ｆ_ｋ
ｗ≡ｗ_ｋ
ｃ≡ｃ_ｋ
ここでｋは、所与の視点についてのメッシュ頂点のインデックス又は２Ｄ画像座標（ｘ_ｋ，ｙ_ｋ）のインデックスのいずれかである。

図５は１次元表現に関する効果を示している。図７に、メッシュの２次元表現に関する対応するシナリオを示す。この例では、１つ目の図は第１の視点のメッシュを示し、２つ目の図は第３の視点にワープされた後の対応するメッシュを示す。１つ目の図の例では、太いエッジで縁取られたポリゴンは前景（ｆ）において一定の深度にあり、細いエッジのみで縁取られたポリゴンは背景（ｂ）において一定の深度にある。太いエッジ及び細いエッジの両方で縁取られたポリゴンは深度が変化し、したがって、勾配が大きい。視点変換が適用された場合、前景オブジェクトが移動し、結果として、２つ目の図に示すようにメッシュが局所的に引き伸ばされる。この引き伸ばされた領域は、記載の手法によって潜在的な背景テクスチャが出現する場所である。

この手法の他の非常に重要な利点は、第１の視点変換器２０７及び第２の視点変換器２０９によって実行される演算が、多くの実施形態において、標準的なハードウェア最適化されたグラフィックス処理によって実行されることである。たとえば、２つの視点変換器２０５、２０７の記載した処理は、ＯｐｅｎＧＬ標準などをサポートするＧＰＵによって実行される。これによりコストが削減され、設計及び実装が容易になり、典型的には処理速度が非常に高い、より効率的な実装が提供される。さらに、結合器２１１の演算は、ユーザ定義可能な処理としてサポートされる演算である。実際に、これはＯｐｅｎＧＬ標準などに従うグラフィックス処理パイプラインに適合し、すなわち、これはユーザ適応及びプログラミングが可能なパイプラインのステージにおいて実行可能な演算である。具体的には、これはＯｐｅｎＧＬレンダリングパイプラインのフラグメントシェーダステージにおいて実行することができる。

勾配の大きさを決定するための異なる手法が異なる実施形態において使用される。多くの実施形態では、勾配の大きさはこの装置によって局所的に決定される。図２の例では、画像生成器２０５は、局所勾配の大きさを決定するように構成される深度勾配処理器２１３をさらに備える。

いくつかの実施形態では、深度勾配処理器２１３は、元のメッシュの頂点についての深度勾配を生成するように構成される。たとえば、第１のメッシュ内の各頂点について、深度勾配が決定され、その頂点に関連付けられる。次いで、出力光強度画像内の所与の位置についての勾配が、これらの頂点の深度勾配に基づいて決定される。たとえば、視点変換器２０７、２０９によって光強度値を生成するための前述の手法に対応する手法が使用され、すなわち、光強度画像内のその位置に対応するメッシュ内のポリゴンが決定され、ポリゴンの頂点についての深度勾配の補間を使用して、その位置における深度勾配を決定する。次いで、これを重み付けに使用することができる。

いくつかの実施形態では、深度勾配を使用して、深度勾配マップを決定する。具体的には、テクスチャマップ内の位置ごとに深度勾配（より詳細には深度勾配の大きさ）を有する深度勾配マップが決定される。したがって、深度勾配はテクスチャマップと同一の解像度を有する（ただし、これは全ての実施形態において必要ではない）。所与のピクセル位置についての深度勾配値は、たとえば、そのピクセル位置が含まれるポリゴンの頂点の深度勾配から補間によって決定される。

結果として得られる深度勾配マップは、次いで、第３の視点に視点変換される。この視点変換は、たとえば、テクスチャマップに使用されたのと全く同一の視点変換処理を使用する。したがって、深度勾配処理器２１３は、第１のテクスチャマップのピクセルごとの深度勾配を含む深度勾配マップを生成する。この決定は、第１のメッシュの頂点ごとの深度勾配の決定に基づく。次いで、深度勾配マップは、第１のメッシュと共に第１の視点変換器２０７に供給され、第１の変換された画像／テクスチャマップを生成したときに第１のテクスチャマップに適用されたのと全く同一の処理が適用される。結果として、ワープされた画像と正確に位置合わせされたワープされた深度勾配マップが提供される。したがって、ワープされた画像を結合する場合、所与のピクセルに対する重みは、２つのワープ／変換された深度勾配マップ内の同一のピクセル位置における深度勾配から直接決定することができる。

この手法は、多くの実施形態において、全く同一の処理が使用可能になるので、極めて効率的である。実際に、深度勾配マップは、テクスチャマップと区別がつかず（これらは両方とも単に値のマップである）、したがって、これはテクスチャマップであるかのように正確に処理することができる。これにより、加速グラフィックスハードウェアをこの処理に使用することが可能になり、それによって高速かつ効率的な処理が提供される。これは変換された深度勾配マップから対応する値を取り出すだけであるので、さらに結合も容易になる。

頂点についての深度勾配を決定するための手法は、実施形態によって異なる。多くの実施形態では、所与の頂点についての深度勾配は、その頂点の深度と、メッシュ内の少なくとも１つの他の頂点、典型的には近傍の頂点の深度とに基づいて決定される。具体的には、深度勾配は、２つの頂点についての深度の差に応じて決定される。さらに、メッシュ内の頂点間の距離は典型的には変化するので、深度の差はそれらの間の距離に関して補償される。多くの実施形態では、深度勾配は、２つの頂点間の深度差をそれらの間の距離で割ったものとして決定される。

３Ｄメッシュが高密度の深度又は視差マップから導出される場合、所与の頂点における勾配は、視差マップから導出される勾配マップにおけるその位置から取得される。このように、メッシュが深度マップから生成された場合に、深度勾配情報が生成される。

いくつかの実施形態では、他の１つの頂点、たとえば最も近い頂点のみが考慮されるが、ほとんどの実施形態では、所与の頂点についての深度勾配は、その頂点から複数の近傍の頂点への深度勾配の平均化に基づいて決定される。これにより、具体的には、複数の方向における深度の変動を考慮することが可能になる。典型的には、全ての深度変動が考慮されるようにするために、全ての近傍の頂点が考慮される（たとえば、オブジェクトのエッジでは、深度遷移により勾配が一方向に非常に大きくなるが、反対方向などでは非常に小さくなる）。

この手法により、ポリゴンのサイズが大幅に変化するメッシュについても、効率的な勾配決定が可能になる。たとえば、カメラキャプチャから生成されたメッシュの形式の典型的な３Ｄデータを考える場合、勾配の計算時に注意が必要である。この場合、圧縮効率の理由で、深度が空間座標に応じて急激に変化しない、いわゆる平坦な領域に対して、メッシュはより大きい三角形によって表されることが多い。逆に、深度の不連続点では、メッシュ内の三角形は深度ステップを表現するために小さい。しかしながら、これは、グラフ内の全ての近傍の頂点にわたる平均絶対深度変化を決定し、各近傍の寄与を２Ｄエッジの長さによって正規化する記載した手法では補償される。

たとえば、以下の式が使用される。

ここで、Ｎは頂点ｋの近傍の頂点ｍの数であり、（ｕ，ｖ）はテクスチャマップ内の位置を指し、Ｄは深度を指す。

いくつかの実施形態では、深度勾配処理器２１３は、第１のテクスチャマップについての深度マップ内の深度変動に応じて深度勾配を決定するように構成される。したがって、深度勾配処理器２１３が頂点深度に応じて深度勾配を決定するのではなく（又は場合によりこれに加えて）、深度マップを処理して勾配を決定する。たとえば、多くの実施形態では、カメラは画像及び関連する深度マップを直接提供する。これはメッシュ及びテクスチャマップに変換される（典型的にはテクスチャマップはキャプチャされた画像そのままである）。この場合、深度勾配処理器２１３は、元の深度マップを直接処理して深度勾配マップを生成する。たとえば、所与のピクセルについて、たとえば４つ又は８つの異なる方向の深度変動が決定され、勾配はこれらの平均又は最大勾配として設定される。

これにより、多くの実施形態において、高精度な深度勾配マップの複雑性の低い決定が提供される。次いで、深度勾配マップは、頂点に基づいて決定される深度勾配マップについて前述したように、第３の視点にワープされる。

前述の例では、深度勾配マップが生成され、次いで第３の視点にワープされ、その後重みが結合前に決定されていた。しかしながら、他の実施形態では、重みの決定はワープ前に実行される。

たとえば、ピクセルごとに深度勾配に関数を適用することによって、第１のメッシュ画像に対して第１の重みマップが生成される。たとえば、関数
ｗ_１＝ｆ（ｇ_１）
が使用される。

同じことが第２のメッシュ画像に対して行われ、それによって、第１及び第２のメッシュ画像それぞれに対する２つの重みマップが得られる。次いで、これらの重みマップは第３の視点にワープされ、変換された重みマップの重みが結合時に直接使用される。

いくつかの実施形態では、所与のピクセル位置に対する重みの決定は、第１及び第２のメッシュ画像についての両方の深度勾配に依存し、たとえば、
ｗ_１＝ｆ（ｇ_１，ｇ_２）
である。

いくつかの実施形態では、単一の重みマップのみが決定される。たとえば、いくつかの実施形態では、結合時に適用される重みは常に足して１、すなわち、ｗ_１＋ｗ_２＝１になるように構成される。この場合、ｗ_１の重みマップのみが決定され、第３の視点にワープされる。

深度勾配又は重みマップを使用する手法の特定の利点は、多くの実施形態において非常に効率的な処理を提供することである。具体的には、テクスチャマップに適用されたのと同一の視点変換を深度勾配／重みマップに適用することが可能になり、より詳細には、同一のメッシュに基づく同一の視点変換が使用される。これにより、具体的には、多くの実施形態において、効率的な加速ハードウェアグラフィックス処理を使用することが可能になる。

多くの実施形態では、結合の重みはさらに他のパラメータに応じたものである。多くの実施形態では、重みはさらに第１の視点と第３の視点との差に依存する。具体的には、差が大きいほど、重みは小さくなる。差は、たとえば、視点間のｘ、ｙ、ｚ座標間の幾何学的な差として決定され、又はたとえば画像生成器２０５に提供される視点変更パラメータから直接決定される。この手法は、視点の変化が小さいほど品質が高いという事実を反映して、小さい視点変換を大きい変換よりも大きく重み付ける。

したがって、いくつかの実施形態では、重みは、出力視点（第３の視点）が入力視点と（たとえば角度差に関して）どれだけ異なるかを測定する大域的パラメータにも依存する。この角度差が大きい場合、近くのカメラがブレンド演算においてより大きい寄与を有するように、重みはより小さくなるよう選択することができる。

いくつかの実施形態では、重み付けは、第１の勾配についての信頼性指標に依存し、信頼性指標とは、第１のメッシュ位置における深度を決定するために使用される深度推定の信頼性を示すものである。

多くの深度カメラ又は深度推定技術は、生成された深度推定値がどれほど信頼できると考えられるかを示す信頼性指標を提供する。たとえば、深度センサは、それがステレオペアであろうと構造化光センサであろうと、典型的には関連する不確定性を有する。この不確定性は、視差推定処理又は深度センサの赤外線測定処理から生じ得る。信頼性情報は、たとえば、ピクセル信頼度マップとして提供される。そのような場合、より高い不確定性を有するピクセルは、より低い不確定性を有するピクセルよりも、結合時により小さく重み付けされる。不確定性は、たとえば、視点変換の前に重みマップを決定するときに考慮され、又は、たとえば信頼度マップは第３の視点にワープされ、第３の視点ドメイン内で重みを決定するときに考慮される。

いくつかの実施形態では、深度勾配又は重みは、内部又は外部ソースから提供され、たとえば、ビデオファイルから読み取られ、又はビデオファイルから読み取られた視差／深度マップから計算される。第１の選択肢は、他の信頼度が勾配に基づく信頼度と組み合わせられて単一の信頼度マップになるという利点を有する。この信頼度の一部は深度センサ又は視差推定ステップから出力され、これはビデオストリーム内に符号化される。

重み付けを減らすためにより大きい値（より大きい勾配を示す）が使用されるという意味で、深度勾配値は信頼度値に似ていると考えられることに留意されたい。したがって、多くのシナリオでは、深度推定信頼度値及び深度勾配値を直接組み合わせて、ピクセルについての組み合わせられた全体信頼度値を提供する。深度推定信頼度値が高く、深度勾配が小さいほど、対応する光強度値が出力値を生成するのに適しているという信頼度が高くなり、したがって重みが大きくなる。

深度勾配は、異なる実施形態では、異なる時間に異なる機能エンティティによって決定されることに留意されたい。たとえば、いくつかの実施形態では、２つ（又はそれ以上）のビデオストリームが提供され、それぞれが画像及び関連する深度マップのシーケンスを含む。次いで、レンダリング装置は対応するメッシュを生成することに進み、そして、たとえば深度マップに基づいて深度勾配マップを生成する。次いで、決定されたメッシュに基づいて、深度勾配マップ及びテクスチャマップを新たな視点にワープさせることに進む。実際に、いくつかの実施形態では、所与の視点についての各ビデオストリームは深度マップさえ含まず、代わりに、たとえばステレオ画像の形態である。この場合、レンダリング装置は、視差推定を実行して、メッシュ及び深度勾配マップを生成可能な明示的な深度情報を生成するようにさらに構成される。

しかしながら、他の実施形態では、これらの機能のうちのいくつかはコンテンツプロバイダ側で実行される。たとえば、異なる位置にある複数のステレオカメラを使用してシーンをキャプチャする場合、コンテンツプロバイダエンティティは、これらのそれぞれに対して視差推定を実行することに進み、深度マップを生成する。次いで、深度マップについての深度勾配マップ（又は実際には重みマップ）並びにメッシュを決定することに進む。この場合、各カメラ視点についてのテクスチャマップ、メッシュ、及び深度勾配マップのセットを含むビデオシーケンスを、各カメラ視点について含むビデオ信号が生成される。多くの実施形態では、視差推定の信頼性を示すための深度推定信頼度マップがさらに提供される。この情報は別個の信頼度マップとして提供され、又は前述のように深度勾配マップと組み合わせられる。

次いで、このビデオ信号は、潜在的には多数のエンドユーザに配信される。この場合、レンダリングユニットは単に、カメラ視点ごとに、メッシュに基づいてテクスチャマップ及び勾配マップ（並びに場合により信頼度マップ）を所望の視点にワープさせることによって、新たな視点についての画像を生成することに進む。出力画像内の各ピクセルについて、その位置におけるワープされたテクスチャ値は、その位置におけるワープされた勾配値（及び場合により信頼度）に基づいて結合される。これにより非常に効率的な処理が提供され、その理由は、必要とされる機能は、専用のハードウェアによって効率的に実行可能な低リソースの加重結合及び標準化された視点変換（ワープ）のみであるためである。

この手法は、低リソース要件を維持しながら非常に効率的な演算を提供する。実際に、この機能性は、そのようなビデオ信号が単に直接提供されるが、これに基づいて高品質の動的な仮想現実体験を提供することができる３Ｄメガネなどに組み込まれると予想される。

上記の説明では、明確にするために、異なる機能回路、ユニット及びプロセッサを参照して本発明の実施形態を説明していることは理解されよう。しかしながら、本発明から逸脱することなく、異なる機能回路、ユニット又はプロセッサの間の機能性の任意の適切な分配が使用されることは明らかであろう。たとえば、別個のプロセッサ又はコントローラによって実行されるように示した機能性は、同一のプロセッサ又はコントローラによって実行される。したがって、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的構造又は編成を示すものではなく、説明した機能性を提供するための適切な手段への言及としてのみ見なされるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む任意の適切な形態で実装することができる。本発明は、任意選択で、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装される。本発明の一実施形態の要素及び構成要素は、任意の適切な方式で物理的に、機能的に、論理的に実装される。実際に、この機能性は単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実装される。したがって、本発明は単一のユニットで実装され、又は異なるユニット、回路及びプロセッサの間で物理的及び機能的に分散される。

本発明はいくつかの実施形態に関連して説明しているが、本明細書に記載の特定の形態に限定されることを意図していない。むしろ、本発明の範囲は添付の特許請求の範囲によってのみ限定される。加えて、ある特徴は特定の実施形態に関連して説明しているように見える場合があるが、当業者であれば、説明した実施形態の様々な特徴が本発明に従って組み合わせられることを認識するであろう。特許請求の範囲において、「含む」という用語は、他の要素又はステップの存在を排除するものではない。

さらに、複数の手段、要素、回路又は方法のステップは個別に列挙されているが、たとえば、単一の回路、ユニット又はプロセッサによって実装される。加えて、個々の特徴が異なる請求項に含まれる場合があるが、これらは有利に組み合わせられる場合があり、異なる請求項に含まれることは、特徴の組み合わせが実行可能及び／又は有利ではないことを意味するものではない。また、ある特徴が１つの請求項のカテゴリに含まれることは、このカテゴリへの限定を意味するものではなく、むしろその特徴が必要に応じて他の請求項のカテゴリにも等しく適用可能であることを示している。さらに、特許請求の範囲における特徴の順序は、それらの特徴を機能させなければならないいかなる特定の順序をも意味するものではなく、より詳細には、方法の請求項における個々のステップの順序は、これらのステップがこの順序で実行されなければならないことを意味するものではない。むしろ、これらのステップは任意の適切な順序で実行される。加えて、単数形の言及は複数形を排除するものではない。したがって、「ａ」、「ａｎ」、「第１」、「第２」などへの言及は、複数を除外するものではない。特許請求の範囲における参照符号は、単にわかりやすい例として提供されており、決して特許請求の範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. 光強度画像を生成する方法であって、前記方法は、
   第１の視点からのシーンを表す第１のメッシュ及び第１のテクスチャマップを受け取ることと、
   第２の視点からのシーンを表す第２のメッシュ及び第２のテクスチャマップを受け取ることと、
   前記第１のテクスチャマップ、前記第１のメッシュ、前記第２のテクスチャマップ及び前記第２のメッシュに応じて、第３の視点からのシーンを表す光強度画像を決定することとを有し、
   前記光強度画像を決定することは、前記光強度画像内の第１の位置について、
   前記第１のテクスチャマップ及び前記第１のメッシュに基づいて視点変換によって前記第１の位置についての第１の光強度値を決定するステップと、
   前記第２のテクスチャマップ及び前記第２のメッシュに基づいて視点変換によって前記第１の位置についての第２の光強度値を決定するステップと、
   前記第１の光強度値及び前記第２の光強度値の加重結合によって、前記第１の位置における前記光強度画像の光強度値を決定するステップであって、前記加重結合による前記第２の光強度値に対する相対的な前記第１の光強度値の重み付けが、前記第１の位置に対応する第２のメッシュ位置における前記第２のメッシュ内の第２の深度勾配に対する相対的な、前記第１の位置に対応する前記第１のメッシュ位置における前記第１のメッシュ内の第１の深度勾配に依存する、決定するステップとを
   実行することを含む、
   方法。
2. 前記重み付けは、前記第２の光強度値に対する相対的な前記第１の光強度値の重み付けを含み、前記第１の光強度値の重み付けは、前記第１の深度勾配の絶対値の単調減少関数である、請求項１に記載の方法。
3. 前記重み付けは、前記第２の光強度値に対する相対的な前記第１の光強度値の重み付けを含み、前記第１の光強度値の重み付けは、前記第２の深度勾配の絶対値の単調増加関数である、請求項１に記載の方法。
4. 前記第１のメッシュの少なくともいくつかの頂点についての深度勾配を決定することと、前記少なくともいくつかの頂点についての前記深度勾配に応じて前記第１の深度勾配を決定することとをさらに有する、請求項１に記載の方法。
5. 前記深度勾配を決定することは、前記第１のメッシュの前記少なくともいくつかの頂点のうちの１つの頂点について、前記頂点の深度と、前記第１のメッシュの少なくとも１つの他の頂点の深度と、前記頂点及び前記少なくとも１つの他の頂点の間の距離とに応じて深度勾配を決定することを含む、請求項４に記載の方法。
6. 前記深度勾配を決定することは、前記第１のメッシュの前記少なくともいくつかの頂点のうちの１つの頂点について、前記頂点から複数の近傍の頂点への深度勾配に応じて深度勾配を決定することを含む、請求項４に記載の方法。
7. 前記第１のテクスチャマップについての深度マップにおける深度変動に応じて前記第１の深度勾配を決定することをさらに有する、請求項１乃至６のいずれか一項に記載の方法。
8. 前記第１のテクスチャマップについての深度勾配マップを決定するステップと、
   視点変換を前記深度勾配マップに適用して、視点変換された深度勾配マップを生成するステップと、
   前記第１の位置に対応する前記視点変換された深度勾配マップ内の位置における深度勾配に応じて前記第１の深度勾配を決定するステップとをさらに有する、
   請求項１乃至７のいずれか一項に記載の方法。
9. 前記深度勾配に応じて前記加重結合の重みを含む重みマップを決定するステップと、
   視点変換を前記重みマップに適用して、視点変換された重みマップを生成するステップと、
   前記視点変換された深度勾配マップ内の前記第１の位置における重みに応じて前記加重結合の重みを決定するステップとをさらに有する、
   請求項１乃至８のいずれか一項に記載の方法。
10. 前記第１のテクスチャマップ、前記第２のテクスチャマップ、並びに前記深度勾配マップ及び前記重みマップのうちの少なくとも１つに対する前記視点変換は、同一の視点変換である、請求項８又は９に記載の方法。
11. 前記第１のテクスチャマップ及び前記第１のメッシュは、現実のシーンのキャプチャから生成される、請求項１乃至１０のいずれか一項に記載の方法。
12. 前記重み付けはさらに、前記第１の視点と前記第３の視点との差に依存する、請求項１乃至１１のいずれか一項に記載の方法。
13. 前記第２の光強度値に対する相対的な前記第１の光強度値の前記重み付けは、第１の深度マップ内の前記第１のメッシュ位置における深度を決定するために使用される深度推定の信頼性を示す信頼性指標にさらに依存し、前記第２の光強度値に対する相対的な前記第１の光強度値の前記重み付けが前記信頼性指標に関して増加することは、前記深度推定の信頼性が増加することを示す、請求項１乃至１２のいずれか一項に記載の方法。
14. 光強度画像を生成するための装置であって、前記装置は、
    第１の視点からのシーンを表す第１のメッシュ及び第１のテクスチャマップを受け取るための受信器と、
    第２の視点からのシーンを表す第２のメッシュ及び第２のテクスチャマップを受け取るための受信器と、
    前記第１のテクスチャマップ、前記第１のメッシュ、前記第２のテクスチャマップ及び前記第２のメッシュに応じて、第３の視点からのシーンを表す光強度画像を決定するための画像生成器とを備え、
    前記画像生成器は、
    前記第１のテクスチャマップ及び前記第１のメッシュに基づいて視点変換によって前記光強度画像内の第１の位置についての第１の光強度値を決定するための第１の視点変換器と、
    前記第２のテクスチャマップ及び前記第２のメッシュに基づいて視点変換によって前記第１の位置についての第２の光強度値を決定するための第２の視点変換器と、
    前記第１の光強度値及び前記第２の光強度値の加重結合によって、前記第１の位置における光強度画像の光強度値を決定するための結合器であって、前記加重結合による前記第２の光強度値に対する相対的な前記第１の光強度値の重み付けが、前記第１の位置に対応する第２のメッシュ位置における前記第２のメッシュ内の第２の深度勾配に対する相対的な、前記第１の位置に対応する前記第１のメッシュ位置における前記第１のメッシュ内の第１の深度勾配に依存する、結合器とを備える、
    装置。
15. 請求項１乃至１３のいずれか一項に記載の方法を実行する、コンピュータプログラム。
    

Images