JP7181233B2 - テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理 - Google Patents

Description

本発明は、テクスチャマップ及びメッシュを用いる３次元画像データ／情報の表現に関し、さらに詳しくは、ただし、これら以外が排除されることはないが、それぞれがテクスチャマップ及びメッシュによって表現されるある数の３次元画像を含む画像信号の生成、符号化、及び処理に関する。

伝統的に、画像の技術的処理及び使用は、２次元画像化に基づいてきたが、画像処理において３次元が明白に考慮されることが、増えてきている。

例えば、見られつつあるシーンの異なる複数のビューを、ビューワの２つの目に提供することによって、見るという経験に第３の次元を追加する３次元（３Ｄ）ディスプレイが、開発されている。これは、表示される２つのビューを分離する眼鏡をユーザに装着させることによって、達成が可能になる。しかし、これではユーザにとって不便だと考えられる場合があり得るため、裸眼立体ディスプレイの使用が多くの場合に好まれるのであるが、この裸眼立体ディスプレイでは、ビューを分離し、ユーザの目に別々に到達し得るように、ビューを異なる方向に送る手段（レンティキュラレンズや、バリアなど）を、ディスプレイで用いるのである。立体ディスプレイでは、２つのビューが要求されるのに対して、裸眼立体ディスプレイでは、より多くのビュー（例えば、９つのビューなど）が要求されるのが典型的である。

いくつかの状況及びシステムにおいて、３Ｄモデルが、３Ｄシーンを表すために用いられるが、そのようなモデルは、適切なビュー画像を生成するために、評価される。シーンの深度表現を有するマルチビューが、伝統的な３Ｄモデルへの代替物として、又は、３Ｄモデルへの追加として、用いられることがある。このフォーマットは、複数個の立体カメラを用いてシーンを捕捉することの結果として生じるのが典型的である。異なる位置で取得された関連する深度マップを用いて複数のカメラ画像が与えられると、新たな仮想的なビュー画像が、深度画像に基づくレンダリングを用いて、合成され得る。これによって、捕捉された画像又はビデオの仮想現実的な再生が可能になり、その場合、観察者は、ある程度まで、彼／彼女の視点を変更できる。

３次元シーンに基づくグラフィックアプリケーションが、特にコンピュータグラフィクスへの応用など、多くの応用分野において、普及している。高速での３次元グラフィクス処理をサポートするために、いくつもの標準及び仕様が開発されている。これは、視点移動など多くの標準的な演算のために標準化された関数及びルーチンを提供するために、より高速な設計及び実装を提供するのであるが、それだけでなく、これらのルーチンのために、専用のハードウェアグラフィックエンジンが開発され最適化されることも、可能にする。実際に、多くのコンピュータにとって、今日では、グラフィクス処理装置（ＧＰＵ）が、少なくとも中央処理装置（ＣＰＵ）と同程度に高性能で重要であることが多い。

高速グラフィクス処理をサポートするための標準の一例として、グラフィクス処理をサポートするいくつかの機能をアプリケーションプログラミングインターフェース（ＡＰＩ）に提供する、ＯｐｅｎＧＬ仕様がある。この仕様は、典型的には、ハードウェア加速グラフィクス処理に、ＧＰＵという形式の専用の加速されたハードウェアによって実施される特定のルーチンを提供するために、用いられる。

ほとんどのそのようなグラフィクス仕様で、シーンの表現は、テクスチャマップと３次元メッシュとの組合せによる。実際、多くのシナリオで特に有効なのは、画像オブジェクト、又は、実際にはシーンの全体を、ポリゴンの集合がそれらで共通の辺又は角（頂点）によって接続されているポリゴンメッシュによって表す、というアプローチであり、ここで、ポリゴンの辺や頂点は、３次元的な位置によって与えられる。結合された３次元ポリゴンメッシュは、このようにして、場合によっては画像全体の３次元的な記述を含む、３次元オブジェクトの有効なモデルを提供する。ポリゴンメッシュは、多くの場合、３Ｄ空間で与えられている共通の角を有する三角形によって形成された三角形メッシュである。

実際には、深度マップは、多くの場合、そのようにして３Ｄメッシュに変換される。３Ｄメッシュは、ほとんどのハードウェアドライバ（例えば、ＯｐｅｎＧＬに基づく）によってサポートされている広く知られたグラフィクスのフォーマットである。

一例として、ステレオカメラは、与えられた視点から、シーンの画像を記録し得る。各ピクセルに対し、そのピクセルによって表されるオブジェクトまでの距離を推定するために、視差推定が実行され得る。これが、各ピクセルに対して実行されることにより、各ピクセルの３次元位置ｘ、ｙ、ｚが提供される。次に、これらの位置が、三角形メッシュの頂点として用いられ得るのであり、２ｘ２個のピクセルの各グループごとに、２つの三角形が形成される。これは、結果的に、多数の三角形を生じさせる場合があり得るので、この処理は、いくつかの初期の三角形を結合して、より大きな三角形にする（又は、いくつかのシナリオでは、より一般的に、より大きなポリゴンにする）ことを含み得る。これにより三角形の個数が減少するが、メッシュの空間解像度も低下する。したがって、メッシュの粒度は、深度の変動に左右されるのが典型的であり、より大きなポリゴンは、より平坦な領域で、主に生じる。

各頂点は、さらに、テクスチャマップの光強度値と関連付けられる。テクスチャマップは、原則的に、頂点のピクセル位置でのオブジェクトに対するシーンにおける光／色強度を提供する。典型的には、光強度画像／テクスチャマップは、メッシュと共に提供されるのであるが、各頂点は、その頂点のｘ、ｙ、ｚ位置を表すデータと、テクスチャマップにおけるリンクされた位置を特定するｕ、ｖデータとを含んでおり、すなわち、それはテクスチャマップにキャプチャされたｘ、ｙ、ｚ位置における光強度を指す。

そのような表現では、ポリゴンメッシュは、オブジェクトの３次元的な幾何学的形状に関する情報を提供するために使用され、それに対し、テクスチャは、典型的には、別個のデータ構造として提供される。具体的には、テクスチャは、多くの場合、別個の２次元マップとして提供され、この２次元マップは、処理アルゴリズムによって、３次元的な幾何学的形状の上に、オーバーレイすることが可能である。

三角形メッシュの使用は、特に、コンピュータグラフィクスアルゴリズムによる処理及び操作に適しており、多くの効率的なソフトウェア及びハードウェアソリューションが開発され、市販されている。多くのシステムにおいて、アルゴリズムが、各ポリゴンを個別に処理するよりも、むしろ複数のポリゴンに対して共通するように個々の頂点を処理することで、実質的な計算効率が達成される。例えば、典型的な三角形メッシュでは、個々の頂点は、多くの場合、いくつか（多くの場合３～８個）の三角形に共通であることが多い。したがって、ただ１つの頂点の処理が、比較的多数の三角形に適用され得るのであって、それにより、処理されつつある画像又はそれ以外のオブジェクトにおける点の個数を実質的に減らすことになる。

具体例として、多くの現行のシステムオンチップ（ＳｏＣ）は、３Ｄグラフィクスの処理のために高度に最適化されたＧＰＵを含む。例えば、３Ｄオブジェクトの幾何学的形状と３Ｄオブジェクトのテクスチャとの処理は、いわゆるＯｐｅｎＧＬレンダリングパイプライン（又は、ＤｉｒｅｃｔＸなど、他の多くのＡＰＩ）において、２つの大きく分離した経路を用いて、行われる。ＳｏＣ上のＧＰＵのハードウェアは、３Ｄソースが（典型的には三角形の）頂点及びテクスチャという形式でＧＰＵに与えられる限り、３Ｄグラフィクスを効率的に扱うことができる。そして、ＯｐｅｎＧＬアプリケーションインターフェースにより、２Ｄスクリーン上に投影されると３Ｄオブジェクトがどのように見えるのかを判断する仮想透視投影カメラの設定及び制御が可能になる。ＯｐｅｎＧＬは３Ｄオブジェクトを入力として用いるが、出力は、典型的には、通常の２Ｄディスプレイに適した２Ｄ画像である。

しかし、そのようなアプローチでは、３次元情報が、ポリゴンメッシュ及び関連テクスチャ情報によって提供されることが必要となる。これは、例えば完全にコンピュータによって生成される仮想的なシーンと環境とに基づくゲームなど、いくつかのアプリケーションでは、提供が比較的容易であり得るが、他の実施形態では、それほど容易ではないことがあり得る。特に、現実のシーンをキャプチャすることに基づくアプリケーションでは、これらがテクスチャ及びメッシュの表現に変換されることが要求される。これは、上述されたように、ステレオ画像に、又は、シーンの画像及び深度の表現に、基づき得る。

グラフィクス処理において一般的な演算は、入力テクスチャマップ及びメッシュの視点とは異なる視点のための画像が生成される、視点の変更である。グラフィクスのＡＰＩは、典型的に、そのような視点変換を効率的に実行するための関数を有する。しかし、入力メッシュは完全ではないのが典型的であるため、そのような視点変換は、移動が大きすぎる場合には、結果的に画質の劣化を生じさせる場合があり得る。さらに、ある視点からのシーンの表現は、前景のオブジェクトがその背後にある要素を遮ることにより、遮られた要素をいくつか含むことになるのが典型的である。これらの要素は新たな方向からであれば可視的であり得るのであって、すなわち、視点の変更があれば、その結果として、遮られている状態が解除され得る。しかし、入力テクスチャマップ及びメッシュは、そのような場合に、これらの遮られた状態が解除された部分に関する情報を、まったく含まない。したがって、必要な情報が利用不可能であるため、それらの部分が最適に表現されることは、不可能である。ビュー統合の誤りと不正確さとは、新たな移動の距離が増大するにつれて、増加する傾向がある。

多くの応用例において、あるシーンに関する３Ｄ情報が、例えばサーバからクライアントデバイスのように、ソースから目的地へ、通信される。そのような状況の一例として、あるシーン又は環境の３Ｄモデル又は表現がサーバに記憶される、仮想現実アプリケーションがある。この仮想現実サーバは、１つ又は複数のクライアント仮想現実デバイスをサポートするのであるが、クライアント仮想現実デバイスは、仮想現実サーバから３Ｄ情報を受け取り、この情報に基づいて、特定の視点に対応するローカルなビュー画像を生成する。仮想現実サーバからの３Ｄ情報は、特定の視点に対応する複数の３Ｄ画像又は表現を含むデータ信号又はストリームという形式で提供されるのであって、各３Ｄ画像は、整合しているテクスチャマップ及びメッシュによって表現され得る。これらの３Ｄ画像は、アンカ画像又はビュー（又は、単に、アンカ）と称されることがある。

しかし、視点変換の質はビュー変換の距離の増大と共に低下する傾向があるので、アンカビューの高い空間密度が望まれるし、実際にも、十分に正確なビュー統合を達成するためには、現実的に必要となるのが典型的である。結論としては、例えば仮想現実サーバからクライアントＶＲデバイスにストリーミングされることが必要なデータ量は、大きくなる傾向がある。一般的に、アンカ画像を含む受け取られたデータストリームに基づくビュー変換から結果的に得られる画像について、高い精度及び画質を達成するためには、高データレートのデータストリームが要求される。しかし、これは、データストリームの配信、記憶、符号化／復号化、及び処理を複雑にする。

よって、改善されたアプローチが効果的であり得るのであって、特に、テクスチャマップ及びメッシュに基づいて目的地におけるエンドビューの生成及び移動をサポートするような、３次元画像データを通信するための改善されたアプローチが、望まれるであろう。具体的には、柔軟性の増大、精度の向上、複雑性の低下、計算効率の向上、既存のグラフィック処理アプローチとの互換性の改善、画質の向上、データレートの低下、及び／又は
性能の向上を可能にするようなアプローチが有益である。

したがって、本発明は、上述された短所の１つ又は複数を、単独で又は任意の組合せで、好ましくは、軽減、緩和、又は除去することを目的とする。

本発明の一態様によると、画像を生成するための装置が提供され、この装置は、異なる視点からのシーンを表すある数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含むある数の３次元画像を含む画像信号を受け取るための受信機であって、画像信号は、さらに、ある数の３次元画像の異なる視点と異なる第１の視点のための複数の残留データテクスチャマップを含み、複数の残留データテクスチャマップのうちの第１の残留データテクスチャマップは、ある数の３次元画像のうちの第１の３次元画像のテクスチャマップである第１の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供し、複数の残留データテクスチャマップのうちの第２の残留データテクスチャマップは、ある数の３次元画像のうちの第２の３次元画像のテクスチャマップである第２の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供する、受信機と、第１の視点のための第１のメッシュを生成し、ある数の３次元画像のうちの第２の３次元画像のメッシュである追加的な基準メッシュから、第１の視点のための第２のメッシュを生成するためのメッシュプロセッサと、第１の３次元画像の視点から第１の視点への第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、第２の３次元画像の視点から第１の視点への第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するための第１のテクスチャプロセッサと、第１の中間テクスチャマップと前記第１の残留データテクスチャマップとの組合せに応答して、第１のテクスチャマップを生成し、第２の中間テクスチャマップと第２の追加的な残留データテクスチャマップとの組合せに応答して、第２のテクスチャマップを生成するための第２のテクスチャプロセッサと、第１のテクスチャマップと第１のメッシュと第２のテクスチャマップと第２のメッシュとから、第２の視点のための画像を生成するための画像生成器とを備えている。

本発明は、多くのシナリオにおいて、３次元画像情報の改善された配信を提供し得る。多くの実施形態で、改善されたエンコーディングが達成され得るのであって、特に、データレートとの対比で、改善された画質が、達成可能である。このアプローチは、多くの実施形態において、受信された３Ｄ情報から、改善された画像が受け取られることが可能にし得る。さらに、これが、典型的には、比較的低い複雑性と高度な計算効率とを維持しながら、達成され得る。特に、このアプローチは、典型的には、例えば、専用の、標準化された、そして最適化されたハードウェアの効率的な使用をサポートし得る。例えば、コンピュータグラフィクス処理のために開発された多くのプラットフォームが、処理のステップをサポートするのに用いられ得る。

このアプローチの特別な利点として、多くの実施形態において、このアプローチが、標準的なグラフィクスルーチンによって、綿密にサポートされ得る点がある。例えば、視点変換が、多くの実施形態において、標準化され、専用の、そして最適化されたグラフィクス処理ハードウェアによって実行され得る。例えば、このアプローチは、標準的なグラフィクス処理と互換的であり、それらを効率的に用いることができる。実際に、このアプローチは、ユーザの適応を許容するレンダリング／処理パイプラインの一部への非標準的なアプローチを制限することにより、例えばＯｐｅｎＧＬ仕様などの標準的なアプローチと互換性を有し得る。例えば、組合せが、ＯｐｅｎＧＬレンダリングパイプラインのフラグメントシェーダ段の一部として、実行され得る。

処理のリソース集約的な要素のために標準化されたハードウェア加速処理を用いる可能性が、例えば、システムの速度又は性能を実質的に向上させ得る。それが、多くの実施形態において、複雑性及び／又はリソース要件を低下させ得る。

メッシュは、それぞれの頂点が３次元的な位置と関連付けられている（有している）３次元的なメッシュであり得る。それぞれの頂点は、少なくとも、３次元的な空間位置ｘ，ｙ，ｚによって具体的に表され得る。メッシュのそれぞれの頂点は、さらに、対応するテクスチャマップにおける位置とリンクされ得る。例えば、それぞれの頂点に対して、空間位置ｘ，ｙ，ｚと対応するテクスチャマップにおける位置ｕ，ｖが、記憶され得る。

メッシュは、表されているオブジェクトの深度に関する情報を含み得るが、それに限定されない（例えば、説明されているように、頂点は、単に深度座標によってではなく、３次元座標によって表され得る）。

メッシュは、３Ｄメッシュ又は深度メッシュとも称され得る。

第１のメッシュは、いくつかの実施形態において、直接的に、画像信号から抽出された第１の視点のためのメッシュであり得る。いくつかの実施形態で、第１のメッシュは、例えば、第１の３次元画像のためのメッシュである基準メッシュであり得る。よって、いくつかの実施形態で、基準視点のための受け取られた基準メッシュは、第１の視点のためのメッシュの適切な近似又は推定と考えられ得る。

多くの実施形態において、メッシュプロセッサは、第１の３次元画像のメッシュである基準メッシュから第１のメッシュを生成するように、構成され得る。特に、多くの実施形態で、メッシュプロセッサは、第１の３次元画像のメッシュである基準メッシュの視点変換に応答して第１のメッシュを生成するように、構成され得る。

残留データとは、第１の視点のためのテクスチャマップと基準テクスチャマップの視点移動の結果として生じるテクスチャマップとの間の差を示す任意のデータであり得る。第１の残留データのテクスチャマップは、第１の３次元画像の視点から第１の視点への第１の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供し得る。同様に、第２の残留データのテクスチャマップは、第２の３次元画像の視点から第１の視点への第２の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供し得る。

多くの実施形態において、画像生成器は、第１の視点から第２の視点への視点変換に応答し、第１のテクスチャマップと第１のメッシュと第２のテクスチャマップと第２のメッシュとに基づいて画像を生成するように、構成される。

画像信号に含まれる３次元画像の数は、１つの場合もあり得るが、多くの実施形態では、２、３又は５個の程度の画像など、複数の３次元画像である。

本発明の任意選択の特徴によると、画像信号は、さらに、第１の３次元画像のメッシュである基準メッシュに関して、第１の視点のためのメッシュに対するメッシュ残留データを含み、メッシュプロセッサは、メッシュ残留データと基準メッシュとに応答して、第１のメッシュを生成するように構成される。

これは、低い複雑性と効率的な処理と画像信号配信とを依然として可能にしながら、生成された画像の改善された画質を提供する傾向を有し得る。

多くの実施形態において、第１の視点のためのメッシュへのメッシュ残留データは、基準メッシュから導かれたメッシュに対して相対的である。

いくつかの実施形態において、メッシュ残留データは、基準メッシュの視点変換の結果として生じる中間メッシュに対して相対的な、第１の視点のためのメッシュに対する残留データを含む。

これは、低い複雑性と効率的な処理と画像信号配信とを依然として可能にしながら、生成された画像の改善された画質を提供する傾向を有し得る。

本発明の任意選択の特徴によると、メッシュ残留データは、第１の視点のためのメッシュの頂点の部分集合のみのための残留データを含む。

これは、多くの実施形態で、十分に高い画質を依然として維持しながら、画像信号のレータレートの低下を可能にし得る。

本発明の任意選択の特徴によると、画像信号は、第１の視点のためのメッシュデータを含まない。

これは、多くの実施形態で、十分に高い画質を依然として維持しながら、画像信号のレータレートの低下を可能にし得る。特に、残留データテクスチャマップだけによって表される相対的にエンコードされた画像と組み合わせたテクスチャ情報とメッシュ情報との両方によって表される完全にエンコードされた基準３Ｄ画像に基づいて、ビュー統合／変換の非常に効率的な組合せを可能にし得る。このアプローチは、３Ｄ画像の異なる要素の相対的なエンコーディング要件、心理視覚的なインパクト及び処理効率への見識を、利用し得る。

本発明の任意選択の特徴によると、画像信号は、メッシュ生成制御データを含み、メッシュプロセッサは、メッシュ生成制御データに応答して、第１のメッシュを生成するように構成される。

これは、典型的には、生成された画像の改善された画質を結果的に生じさせる、改善され適応されたメッシュ生成／変換を可能にし得る。

本発明の任意選択の特徴によると、画像信号は、複数の残留データテクスチャマップと、それらの残留データテクスチャマップにリンクされた３次元画像を示すメタデータとを含む。

これは、効率的な演算を可能にし得る。複数の残留データテクスチャマップのうちのそれぞれの残留データテクスチャマップは、ある数の３次元画像の異なる視点と異なる与えられた視点に対するものであって、与えられた視点に対するこの残留データテクスチャマップは、ある数の３次元画像のうちの第１の３次元画像のテクスチャマップである与えられた基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、その与えられた視点のためのテクスチャマップに残留データを提供する。

本発明の任意選択の特徴によると、画像生成器は、第１のテクスチャマップと第１のメッシュとに応答して、第２の視点のための第１の中間画像を生成し、追加的な視点のための追加的なテクスチャマップと追加的なメッシュとに応答して、第２の視点のための第２の中間画像を生成し、第１の中間画像と第２の中間画像とを組み合わせることによって、画像を生成するように、構成される。

これは、多くの実施形態で、特に効率的で柔軟なアプローチを提供し得るのであって、結果的に、改善された画像生成を生じさせ得る。

多くの実施形態において、追加的なテクスチャマップと追加的なメッシュとは、ある数の３次元画像のうちの１つの３次元画像のテクスチャマップとメッシュとである。

多くの実施形態において、第１のテクスチャプロセッサは、追加的な基準テクスチャマップの視点から追加的な視点への追加的な基準テクスチャマップの視点変換に応答して、追加的な中間テクスチャマップを生成するように構成され、追加的な基準テクスチャマップは、ある数の３次元画像のうちの第２の３次元画像のテクスチャマップであり、第２のテクスチャプロセッサは、追加的な中間テクスチャマップと追加的な視点のための追加的な残留データテクスチャマップとの組合せに応答して、追加的なテクスチャマップを生成するように構成されており、追加的な残留データテクスチャマップは、第２の３次元画像のためのものである。

多くの実施形態で、メッシュプロセッサは、追加的な基準テクスチャマップの視点から追加的視点への第２の３次元画像のメッシュの視点変換に応答して、追加的メッシュを生成するように構成される。

本発明の任意選択の特徴によると、画像生成器は、第１の視点から第２の視点への視点変換に応答して、第１のテクスチャマップと第１のメッシュとに基づき、第２の視点のための第１の中間画像を生成し、第１の視点から第２の視点への視点変換に応答して、第２のテクスチャマップと第２のメッシュとに基づき、第２の視点のための第２の中間画像を生成し、第１の中間画像と第２の中間画像とを組み合わせることによって、画像を生成するように、構成される。

これは、特に効率的で柔軟なアプローチを提供し得るのであって、多くの実施形態において、改善された画像生成を結果として生じ得る。

本発明の任意選択の特徴によると、画像生成器は、第１の３次元画像と第２の３次元画像との少なくとも一方の視点と関連付けられた遮蔽データに応答して、第１の中間画像と第２の中間画像とを組み合わせるように構成される。

これは、特に効率的で柔軟なアプローチを提供し得るのであって、多くの実施形態において、改善された画像生成を結果として生じ得る。

多くの実施形態で、画像生成器は、第１の視点から第２の視点への視点移動の方向に対して相対的な、第１の３次元画像と第２の３次元画像とのそれぞれの視点から第１の視点への視点移動の方向に応答して、第１の中間画像と第２の中間画像とを組み合わせるように構成される。

本発明の任意選択の特徴によると、画像生成器は、第１のテクスチャマップと第２のテクスチャマップとを第１の視点のための第３のテクスチャマップに組み合わせ、第１のメッシュと第２のメッシュとを第１の視点のための第３のメッシュに組み合わせ、第３のテクスチャマップと第３のメッシュとに基づき、第１の視点から第２の視点への視点変換に応答して画像を生成するように構成される。

これは、特に効率的で柔軟なアプローチを提供し得るのであって、多くの実施形態において、改善された画像生成を結果として生じ得る。

いくつかの実施形態では、メッシュプロセッサは、第１のメッシュをフィルタリングするように構成され得る。

これは、特に効率的で柔軟なアプローチを提供し得るのであって、多くの実施形態において、改善された画像生成を結果として生じ得る。

本発明の一態様によると、画像信号を生成するための装置が提供され、この装置は、異なる視点からのシーンを表すある数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含むある数の３次元画像を受け取り、３次元画像の異なる視点と異なる第１の視点のための第１のテクスチャマップを受け取るための受信機と、ある数の３次元画像のうちの第１の３次元画像から第１の視点への第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、ある数の３次元画像のうちの第２の３次元画像から第１の視点への第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するためのビュー移動プロセッサと、第１の中間テクスチャマップと第１のテクスチャマップとの比較に応答して、第１の残留データテクスチャマップを生成し、第２の中間テクスチャマップと第１のテクスチャマップとの比較に応答して、第２の残留データテクスチャマップを生成するように構成された残留プロセッサであって、第１の残留データテクスチャマップは、第１の中間テクスチャマップと第１のテクスチャマップとの差を示し、第２の残留データテクスチャマップは、第２の中間テクスチャマップと第１のテクスチャマップとの差を示す、残留プロセッサと、ある数の３次元画像と第１の残留データテクスチャマップと第２の残留データテクスチャマップとを含むが第１のテクスチャマップは含まない画像信号を生成するための信号生成器と、を備える。

本発明の一態様によると、画像を生成する方法が提供され、この方法は、異なる視点からのシーンを表しそれぞれがメッシュとテクスチャマップとを含むある数の３次元画像を含む画像信号を受け取るステップであって、画像信号は、さらに、ある数の３次元画像の異なる視点と異なる第１の視点のための複数の残留データテクスチャマップを含み、複数の残留データテクスチャマップのうちの第１の残留データテクスチャマップは、ある数の３次元画像のうちの第１の３次元画像のテクスチャマップである第１の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供し、複数の残留テクスチャマップのうちの第２の残留データテクスチャマップは、ある数の３次元画像のうちの第２の３次元画像のテクスチャマップである第２の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供する、受け取るステップと、第１の視点のための第１のメッシュを生成し、ある数の３次元画像のうちの第２の３次元画像のメッシュである追加的な基準メッシュから、第１の視点のための第２のメッシュを生成するステップと、第１の３次元画像の視点から第１の視点への前記第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、第２の３次元画像の視点から第１の視点への第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するステップと、第１の中間テクスチャマップと第１の残留データテクスチャマップとの組合せに応答して、第１のテクスチャマップを生成し、第２の中間テクスチャマップと第２の追加的な残留データテクスチャマップとの組合せに応答して、第２のテクスチャマップを生成するステップと、第１のテクスチャマップと第１のメッシュと第２のテクスチャマップと第２のメッシュとから、第２の視点のための画像を生成するステップと、を有する。

本発明の一態様によると、画像信号を生成する方法が提供され、この方法は、異なる視点からのシーンを表すある数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含むある数の３次元画像を受け取り、ある数の３次元画像の異なる視点と異なる第１の視点のための第１のテクスチャマップを受け取るステップと、ある数の３次元画像のうちの第１の３次元画像から第１の視点への第１の基準テクスチャマップの視点変換に応答して第１の中間テクスチャマップを生成し、ある数の３次元画像のうちの第２の３次元画像から第１の視点への第２の基準テクスチャマップの視点変換に応答して第２の中間テクスチャマップを生成するステップと、第１の中間テクスチャマップと第１のテクスチャマップとの比較に応答して第１の残留データテクスチャマップを生成し、第２の中間テクスチャマップと第１のテクスチャマップとの比較に応答して第２の残留データテクスチャマップを生成するステップであって、第１の残留データテクスチャマップは、第１の中間テクスチャマップと第１のテクスチャマップとの差を示し、第２の残留データテクスチャマップは、第２の中間テクスチャマップと第１のテクスチャマップとの差を示す、ステップと、ある数の３次元画像と第１の残留データテクスチャマップと第２の残留データテクスチャマップとを含むが第１のテクスチャマップは含まない画像信号を生成するステップと、を有する。

本発明の一態様によると、異なる視点からのシーンを表すある数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含むある数の３次元画像を含む画像信号が提供され、この画像信号は、さらに、ある数の３次元画像の異なる視点と異なる第１の視点のための第１の残留データテクスチャマップと第２の残留データテクスチャマップとを含んでおり、第１の残留データテクスチャマップは、ある数の３次元画像のうちの第１の３次元画像のテクスチャマップである第１の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供し、第２の残留データテクスチャマップは、ある数の３次元画像のうちの第２の３次元画像のテクスチャマップである第２の基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供する。

本発明のこれらの及びそれ以外の態様、特徴及び効果は、以下に説明される実施形態から明確になり、以下に説明される実施形態を用いて解明される。

本発明の実施形態は、単なる例として、以下の図面を参照して、説明される。

本発明のいくつかの実施形態による画像信号を生成するための装置の要素の一例の図解である。 本発明のいくつかの実施形態による画像を生成するための装置の要素の一例の図解である。 画像信号のための視点の一例の図解である。 画像信号のための視点の一例の図解である。 メッシュ及びテクスチャマップデータに基づく画像の生成の一例の図解である。 メッシュの生成の一例の図解である。 メッシュ及びテクスチャマップデータに基づく画像の生成の一例の図解である。 メッシュ及びテクスチャマップデータに基づく画像の生成の一例の図解である。 メッシュ及びテクスチャマップデータに基づく画像の生成の一例の図解である。

図１は、３Ｄ画像信号を生成するための装置の一例を、図解している。この装置は、そして、実際に生成される画像信号は、テクスチャマップと関連付けられた深度マップとによって３Ｄ情報を表すことを基礎とする。この装置は、具体的には、あるシーンのための３Ｄ情報を画像信号に提供できる仮想現実サーバの一部であり得る。（典型的にはリモートにある）仮想現実クライアントが、仮想現実サーバにアクセスし、それに応答して、画像信号を提供されると、仮想現実クライアントは、提供された画像信号から、仮想現実体験を提供するために適切なシーンの画像を、ローカルに生成できる。具体的には、仮想現実クライアントデバイスを、典型的には、与えられた所望の視点のための画像を、仮想現実サーバから受け取られた情報に基づいて生成するように、構成できる。こうして、図１の装置は、これ以後、エンコーダ、特に仮想現実サーバのエンコーダと称されるが、そのように称したとしても、この装置に関する説明の一般性又は解釈又は理解に対して限定を課すことは意図していない、ということが理解されるであろう。

このエンコーダは、複数の異なる視点からのシーンを表し、典型的には複数である、ある数の３次元画像を受け取るように構成されたエンコーダ受信機１０１を含む。３Ｄ画像は、それぞれが、メッシュと、少なくとも第１のテクスチャマップとを含んでおり、すなわち、３次元情報が、リンクされたメッシュとテクスチャマップとの広く知られたアプローチを用いて、各画像に提供される。

いくつかの実施形態では、ただ１つの３Ｄ画像が提供される場合もあるが、典型的には、複数の異なる３Ｄ画像が提供され、これらの画像は、それぞれが、シーンのための異なる視点を表す。例えば、一連の視点に対応する３個から１０個の３Ｄ画像が受け取られることがあり得る。

エンコーダ受信機１０１が、いずれかの内部又は外部ソースから、これらの３Ｄ画像を受け取るということが、理解されるであろう。例えば、いくつかの実施形態では、仮想現実サーバは、シーンの３Ｄモデルを含み得るが、さらに、所望の視点のためのモデルを評価することによってメッシュとテクスチャマップという形式で３Ｄ画像を生成するように構成されたモデル評価器を含み得る。他の実施形態では、３Ｄ画像は、例えば、複数の異なる位置に配置されたカメラからのキャプチャされたステレオ画像など、キャプチャされた画像から、生成されることがあり得る。例えば、キャプチャされたステレオ画像から、稠密な深度マップが（例えば視差評価に基づいて）評価され、ステレオ画像のうちの１つと深度マップとから、メッシュとテクスチャマップとが計算される場合がある。別の例として、画像と関連付けられた深度マップとを直接に提供し得る（例えば、ビルトインされたレンジング機能を用いて）深度カメラの使用がある。そのような場合は、メッシュは、深度カメラによって直接に提供されつつある深度マップから、生成され得る。

多くの３Ｄ画像（ビデオを含む）処理アルゴリズム及びプロセスは、３角形メッシュの使用に基づいているが、その理由は、３角形メッシュを用いることで、多くの実施形態において、高い計算効率が提供されるからである。関連付けられたテクスチャマップと共に３次元情報を提供するメッシュは、特にコンピュータグラフィクスなど、多くのグラフィック処理システムで広範囲に用いられる。メッシュは、深度情報を含め、幾何学的構造に関する情報を提供する（ただし、当然であるが、深度情報を提供するだけでなく、例えば、典型的には、各頂点の３次元座標も提供し得る）。簡潔にするため、メッシュとそれに関連付けられたテクスチャマップとの組合せを、以下、３Ｄ画像とも称する。

このアプローチは、シーンをレンダリングするときにビュー方向を柔軟に修正するのに非常に適しており、特に、視点が厳密な水平線方向の移動に限定されず、視点の自由な移動が望まれるシナリオに適している。新たな視点を生成するための知られた効率的な方式として、異なる視点から生じたメッシュを単一の世界座標系に変換した後に、新たなカメラ平面への透視投影を実行するものがある。これらのステップは、ＯｐｅｎＧＬ標準に基づくハードウェアなど、標準的で最適化されたグラフィクスハードウェアを用いると、非常に効率的に実行することが可能である。しかし、画質を最適化し、視点変換によって遮蔽解除されつつある領域に関するものなど、追加的な情報を提供するには、新たな視点からのレンダリング画像の生成が、複数の異なる視点について提供されるテクスチャマップとメッシュとに基づくことが好ましい。

ある範囲の視野のために高画質の画像を生成するのに十分な情報をクライアントに提供するためには、生成される画像信号に多数の３Ｄ画像を含めることが望ましい。しかし、これには、非常に大きな帯域幅が必要となり、配信、通信、処理、及びシステムにおける記憶を、複雑化させる。したがって、対立する画質に対する要求と効率に対する要求との間には、困難なトレードオフが存在する。

例えばビュー変換を実行するためにクライアント側によって用いられることが可能な３Ｄ画像の集合は、簡潔にするために、アンカ画像、又は、時には単にアンカと称される。よって、エンコーダによって生成された画像信号が、画質を最大化するためには、可能な限り多数のアンカ画像をその画像信号に含めることが望ましいが、同時に、例えば画像信号のデータレートを最小化するためには、可能な限り少数のアンカ画像を含めることが望ましい。図１のエンコーダは、そのような対立する要求の間でのトレードオフを改善するように、構成され得る。

エンコーダは、画像信号を生成するように構成された信号生成器１０３を含む。信号生成器１０３は、エンコーダ受信機１０１に結合されており、エンコーダ受信機１０１から、３Ｄ画像すなわちテクスチャマップと対応するメッシュとを受け取る。信号生成器１０３は、これらの３Ｄ画像を含む、特に画像のためのメッシュとテクスチャマップとの両方を含む、画像信号を生成するように構成されている。信号生成器１０３は、したがって、エンコーダ受信機１０１によって提供された３Ｄ画像という形式でアンカ画像を含む、画像信号を生成する。これらの完全に符号化されたアンカ画像は、基準画像とも称される。

さらに、エンコーダは、追加的なアンカ画像を含む画像信号を生成するように構成されている。しかし、これらの画像は、完全なテクスチャマップと完全なメッシュとによって表されているのではなく、むしろ、残留データテクスチャマップによって表されているのであって、ここで、残留データテクスチャマップは、画像信号に含まれる３Ｄ画像のうちの１つのテクスチャマップと関連して、すなわち基準画像のうちの１つと関連して、追加的な視点のためのテクスチャマップを記述するデータを提供する。よって、追加的な位置におけるテクスチャマップは、相対的なテクスチャマップとして提供されるのであり、したがって、別のテクスチャマップに依存する。

具体的には、エンコーダ受信機１０１は、画像信号に直接的に含まれている基準３Ｄ画像に加えて、基準テクスチャマップとの相対的関係で符号化されている１つ又は複数のテクスチャマップを受け取る。これらのテクスチャマップは、個別的なテクスチャマップとして受け取られる場合があり得るが、典型的には、３Ｄ画像のテクスチャマップとして、すなわち、対応するメッシュと共に、受け取られる。画像信号に直接的に含まれている３Ｄ画像の集合は、基準３Ｄ画像と称され、同様に、対応する視点、テクスチャマップ、アンカ、及びメッシュは、基準視点、テクスチャマップ、アンカ、及びメッシュと称される。テクスチャマップの相対的な符号化が適用される３Ｄ画像、テクスチャマップ、メッシュ、アンカ、及び視点は、相対的な又は予測される３Ｄ画像、テクスチャマップ、メッシュ、アンカ、及び視点と称される。

多くの実施形態において、エンコーダ受信機１０１は、テクスチャマップと、関連付けられたメッシュとによって表された３Ｄ画像の集合を受け取り、これらは、基準３Ｄ画像視点（完全に内部的にコード化されるもの）を含む３Ｄ画像の基準集合と、相対３Ｄ画像／視点（他のテクスチャマップとの相対的関係でコード化されるもの）を含む３Ｄ画像の相対的な集合とに分割される、ということが理解されるであろう。いくつかの実施形態では、この分割は２つよりも多くのカテゴリへの分割である場合もあり、例えば、この分割の結果として、単純に破棄される画像の集合など、他の集合が生じる場合もあり得る。

エンコーダは、相対的視点のための残留データテクスチャマップを生成するように構成されたビューシフトプロセッサ１０５と残留プロセッサ１０７とを含む。

具体的には、テクスチャマップは、相対的視点として設計されている視点のために、受け取られ得る。このテクスチャマップは、第１の相対的テクスチャマップと称される。

ビューシフトプロセッサ１０５には、基準３Ｄ画像が、すなわち、基準テクスチャマップと基準メッシュとが、与えられる。さらに、それには、対応する基準視点と、第１の相対的視点と称される第１の相対的テクスチャマップの視点とを定義する情報も、与えられる。ビューシフトプロセッサ１０５は、次に、第１の基準テクスチャマップから第１の相対的視点への視点変換を実行することにより、中間テクスチャマップを生成する。この視点変換は、基準メッシュ及びテクスチャマップに基づく。

テクスチャマップの視点変換又は移動のためには任意の適切なアプローチが用いられ得る、ということが理解されるであろう。アプローチの例としては、テクスチャをワープさせるために、３角形メッシュが用いられ得る。この標準的なテクスチャマッピングのアプローチでは、三角形は、移動されて変形され、テクスチャは、新たなテクスチャを形成するために、線形（アファイン）に変形される。ビューの移動は、例えば、メッシュを、オフスクリーンのＯｐｅｎＧＬバッファの中にレンダリングすることによって、実行され得る。

中間テクスチャマップは、第１の相対テクスチャマップも受け取る残留プロセッサ１０７に与えられる。残留プロセッサ１０７は、中間テクスチャマップと第１の相対テクスチャマップとの比較に基づいて、残留データテクスチャマップを生成するように進む。このようにして、残留データテクスチャマップは、中間テクスチャマップと第１の相対テクスチャマップとの差を示すように生成される。

多くの実施形態において、残留データテクスチャマップは、単純に、中間テクスチャマップと第１の相対テクスチャマップとのピクセル差によって、ピクセルとして決定され得る。いくつかの実施形態では、残留分は、コントラスト感度や空間周波数のマスキングなどの知覚的な指標を用いて、損失圧縮される可能性がある。

移動プロセッサ１０５と残留プロセッサ１０７とは、さらに、異なる基準視点に対応する追加的な／第２の基準画像のために、このプロセスを反復するように構成され得る。こうして、図１の装置は、異なる基準画像／視点に基づき、第１の相対視点のために、（少なくとも）２つの残留データテクスチャマップを生成するように構成される。よって、この装置は、第１の基準画像／基準テクスチャマップに基づいて第１の相対視点のための第１の残留データテクスチャマップと、第２の基準画像／基準テクスチャマップに基づいて第１の相対視点のための第２の残留データテクスチャマップとを生成し得る。これは、空間的な表現のために、シーンの改善された表現を提供し得るのであって、例えば、シーンのために利用可能なデータを制限する潜在的な遮蔽の問題に対処する。

残留プロセッサ１０７は、残留データテクスチャマップが与えられる信号プロセッサ１０３に結合されている。それは、次に、画像信号における第１の相対視点のための残留データテクスチャマップを含むように進む。よって、画像信号は、基準視点の集合のための完全に（イントラ）コード化された基準３Ｄ画像の集合に加えて、少なくとも１つの追加的な（相対）視点のための１つ又は複数の残留データテクスチャマップを含むように、生成される。少なくとも１つの相対視点のために、同じテクスチャマップのためであるが異なる基準画像から残留データを提供する少なくとも２つの残留データテクスチャマップが提供される。これらの残留データテクスチャマップは、典型的には、対応するテクスチャマップよりもはるかに小さな値を有するのが典型的であり、したがって、はるかに高い効率でエンコードが可能である。よって、このアプローチでは、受け取られたアンカ画像の与えられている集合が、完全にエンコードされている基準アンカ画像を含む第１の集合と、基準アンカ画像に対して相対的にコード化されている相対基準アンカ画像を含む第２の集合との２つの集合に分割され得る。第２の集合のために要求されるデータレートは、第１の集合のための場合よりも実質的に低いが、対応するアンカ画像をデコーダが再現することを可能にする。

したがって、より多数の正確に表現されたアンカ画像が、与えられたデータレートのために通信されることが可能である（又は、与えられた個数の通信されるべきアンカ画像のために、より低いデータレートが達成されることが可能である）。さらに、ある３次元のシーンを特徴付ける／表すために特に適している改善された情報が、同じ相対視点のために複数の残留データテクスチャマップを含むことによって、達成が可能になる。

受け取られたどのアンカ画像を完全にエンコードするのか、そして、相対的又は予測的エンコードをどれに適用するのかに関する厳密な判断は、異なる実施形態及びシナリオにおいて異なり得る。例えば、いくつかの実施形態では、一連の視点に対応する３Ｄ画像は、２つの集合の間で交代し得る。他の実施形態では、この判断は、例えば、複数の視点の間の距離に基づき得る。例えば、与えられた視点から最も近い完全にエンコードされた基準視点までの距離がある与えられた値を超える場合には、その視点は、基準視点と指定され、そうでない場合には、相対視点と指定される。

多くの実施形態において、残留データテクスチャマップのための、すなわち相対アンカのためのメッシュもまた、信号生成器１０３に与えられ、画像信号に含まれ得る。実際には、多くの実施形態で、第１の相対メッシュと称されるこのメッシュは、完全にエンコードされ、画像信号に含まれ得る。メッシュを表すのに要求されるデータは、多くの場合に、テクスチャマップを表すのに要求されるデータ量よりも１桁又はその程度だけ少ないため、結果的に、要求されるデータ量の実質的な低下が依然として生じ得る。相対テクスチャマップのためのアプローチと同様に、信号生成器は、また、第２の残留データテクスチャマップと関連付けられた第２のメッシュも含み得る。

いくつかの実施形態では、第１の相対視点／３Ｄ画像のためのメッシュデータが、画像信号に含まれないことがあり得る。そのような場合、第１の相対視点のためのメッシュデータは、例えば、受け取られた基準メッシュに基づいて、デコーダによって生成され得る。

いくつかの実施形態では、相対メッシュデータ（だけ）が、第１の相対視点に提供される。これは、多くのシナリオにおいて、データレートと画質／精度との間において改善されたトレードオフを提供し得る。

よって、多くの実施形態では、このエンコーダは、それぞれの３次元画像がメッシュとテクスチャマップとを含んでおり異なる視点からのシーンを表すある数の３次元画像を含む画像信号を生成するのであり、この画像信号は、さらに、ある数の３次元画像の異なる視点と異なる第１の視点のための残留データテクスチャマップを含み、残留データテクスチャマップは、ある数の３次元画像の第１、第２、それぞれの３次元画像のテクスチャマップである基準テクスチャマップの視点移動の結果として生じるテクスチャマップに、相対的な第１の視点のためのテクスチャマップのための残留データを提供する。

図２は、そのような画像信号から画像を生成するための装置の一例を図解している。この装置は、具体的には、受け取られた信号によって表されていない、すなわち、（基準視点であるか相対視点であるかとは関係なく）画像信号のアンカ視点／画像のうちの１つではない視点に対応するように、画像を生成することができる。この装置は、つまり、シーンにおいて動いているキャラクタの視点に対応する画像を連続的に生成するように構成された仮想現実クライアントデバイスの一部であり得る。この装置は、簡潔にするため、この用語の使用によって意図されている一般性をまったく失うことなく、デコーダと称することにする。

このデコーダは、デコーダ／仮想現実サーバからの画像信号を受け取る受信機２０１を含む。処理について、与えられている第１の（相対）視点に、ただ１つの残留データテクスチャマップが提供されるシナリオについて、最初に説明する。

このデコーダは、受け取られたアンカ画像に基づいて所望の視点のための画像を生成するように、構成され得る。いくつかの状況では、特にいくつかの視点に関し、画像の生成は、相対視点に対して、その相対視点のための残留データテクスチャマップに基づき、少なくとも１つの基準３Ｄ画像において、中間３Ｄ画像が最初に生成されるという２段階アプローチに基づき得る。その後で、所望の視点のための画像が、この中間３Ｄ画像から、次に生成される。このアプローチについては、以下でより詳細に説明されるが、その詳細な説明では、相対アンカ画像に対応する相対視点が、第１の視点と称される。

このデコーダは、第１の視点のために第１のメッシュを生成するように構成されたメッシュプロセッサ２０３を含む。いくつかの実施形態で、受け取られた画像信号は、第１の視点のためのメッシュを含み得るのであって、これが、直接に用いられ得る。

多くの実施形態において、メッシュプロセッサ２０３は、適切な３Ｄ画像のメッシュである基準メッシュから第１の視点のための第１のメッシュを生成するように構成されている。いくつかの実施形態では、基準メッシュが直接に第１のメッシュとして用いられることもあるが、ほとんどの典型的な実施形態では、第１のメッシュは、基準視点からの基準メッシュを第１の視点にワープする又は視点移動／変換することにより、生成され得る。

基準メッシュを第１のメッシュにワープする／変換するためには、すなわち、基準視点のメッシュから第１の視点のためのメッシュを生成するためには、いずれかの適切なアプローチが用いられ得る、ということが理解されるであろう。例えば、率直なアプローチは、３Ｄ座標を用いることであるが、その理由は、３Ｄ座標が、テクスチャをワープするのに用いられた後での頂点プロセッサの出力であるからである。例えば、メッシュのそれぞれの２Ｄ頂点は、その視差値と共に、３Ｄ空間の中に射影することが可能である。そして、この３Ｄ点は、仮想視点の画像平面の上に、再度射影することが可能である。この演算をすべての頂点に適用することによって、メッシュが変換される。（この（再）射影演算は、非常に効率的な小さな行列演算に凝縮可能である。そのような演算はグラフィクス処理に伴い多く生じるので、ＧＰＵは、特にそれらの演算を効率的に実行するように、設計されている。）

デコーダは、さらに、基準視点から第１の視点への基準テクスチャマップの視点変換に応答して中間テクスチャマップを生成するための第１のテクスチャプロセッサ２０５を含む。基準視点から第１の視点に基準テクスチャマップをワープする／変換するためには、いずれかの適切なアプローチが、用いられ得る。例えば、与えられたメッシュを用いるテクスチャマッピングが、実行され得る。ビュー移動は、例えば、メッシュをオフスクリーンＯｐｅｎＧＬバッファにレンダリングすることによって、実行され得る。

このように、中間テクスチャマップは、基準アンカ画像に基づき第１の視点において予測された又は推定されたテクスチャマップに対応し得る。中間テクスチャマップは、特に、エンコーダのビュー移動プロセッサ１０５によって用いられるのと同じアルゴリズムを用いて、生成することができる。よって、中間テクスチャマップは、エンコーダのビュー移動プロセッサ１０５によって生成された中間テクスチャマップに、直接的に対応し得る。したがって、エンコーダによって生成されデコーダによって受け取られる残留データテクスチャマップは、第１のテクスチャプロセッサ２０５によって生成された中間テクスチャマップとエンコーダで受け取られた元のテクスチャマップとの差を、正確に、示すことができる。

デコーダは、さらに、中間テクスチャマップを与えられて中間テクスチャマップと残留データテクスチャマップとを組み合わせることにより第１のテクスチャマップを生成するように構成された第２のテクスチャプロセッサ２０７を含む。具体的には、多くの実施形態において、第１のテクスチャマップは、中間テクスチャマップと受け取られた残留データテクスチャマップとを加算することによって生成され得る。

第２のテクスチャプロセッサ２０７は、したがって、第１の視点のためにエンコーダに提供された相対テクスチャマップと非常に密接に対応する（そして、多くの場合、実質的に同一である）第１のテクスチャマップを生成し得る。こうして、正確なアンカテクスチャマップが、第１の位置のために、生成される。同様に、メッシュプロセッサ２０３は、第１の視点のために、正確なメッシュを生成する（又は、これを、受け取られた画像信号から、まったく直接的にリトリーブする）ことができる。

デコーダは、さらに、第１のテクスチャマップと第１のメッシュとを与えられる、すなわち第１の視点のための生成された３Ｄ画像を与えられる、画像生成器２０９を含む。この３Ｄ画像は、残留データテクスチャマップに基づいているために、第１の視点のためにエンコーダが受け取った元の３Ｄ画像の非常に正確な反映を提供し、したがって、この第１の３Ｄ画像は、第１の視点のために提供されるアンカ画像として用いられ得る。

画像生成器２０９は、したがって、第１の３Ｄ画像から、すなわち、第１のテクスチャマップと第１のメッシュとから、所望の視点である第２の視点のための出力画像を生成するように構成されている。具体的には、画像生成器２０９は、第２の視点に対応する出力画像を生成するために、ビュー変換／移動プロセスを第１の３Ｄ画像に適用するように構成され得るのであって、つまり、第１の画像から第２の画像への視点移動が生成される。

このアプローチは、第２の視点が第１の視点に近接しているが基準視点までの距離がそれよりも大きいようなシナリオの場合に、ビューに関する実質的に改善された画質を可能にし得る。しかし、これは、基準画像の完全な集合を提供することによって、要求されるデータレート、複雑性などの観点から見て対応する不利益を被ることなく、達成される。よって、データレートと画質とに関して、大幅に改善されたトレードオフを達成することが可能になる。

第１の相対視点に２つの残留データテクスチャマップが提供されるようなシナリオについては、システムは、第１の残留データテクスチャマップ（と第１の基準画像）に基づいて第１のメッシュと第１の中間テクスチャマップとを生成するために、説明された演算を、最初に実行する。システムは、次に、第２の残留データテクスチャマップ（と第２の基準画像）に基づいて第２の中間メッシュと第２の中間テクスチャマップとを生成するために、同じ演算を実行するように進む。このように、２つの中間テクスチャマップと典型的には２つのメッシュとが、同じ相対アンカ視点すなわち第１の視点のために生成される（いくつかのシナリオ及び実施形態では、第１の視点のための２つのメッシュは同じであり得る、すなわち、第１のテクスチャマップと第２のテクスチャマップとが、両方とも、同じメッシュと関係し得る）。

画像生成器２０９は、両方の中間テクスチャマップに基づいて、そしてまた、典型的には両方の中間メッシュとにも基づいて、出力画像を生成するように進み得る。後でさらに詳細に説明されるように、中間テクスチャマップとメッシュとは、例えば、単一の組み合わせられた中間テクスチャマップと単一のメッシュとを生成するように組み合わされることがあり、画像生成器は、これに基づいて、第２の視点のための画像をレンダリングし得る。他の実施形態では、第２の視点のための第１の画像が、第１の中間テクスチャマップとメッシュとから生成され、第２の視点のための第２の画像が、第２の中間テクスチャマップとメッシュとから生成され得る。これらの２つの画像は、次に、組み合わされ／マージされ得る（例えば、中間テクスチャマップのための相対遮蔽を反映する重み付けを用いて）。

特に有利なアプローチは、第１の視点のためのメッシュが、そして多くの場合にすべての相対視点のためのメッシュが、画像信号として完全には表されていない場合、すなわち、画像信号が、第１のメッシュのために部分的なデータだけを含み得る又はデータをまったく含まない実施形態である。

そのようなアプローチでは、エンコーダは、アンカ画像の集合を、基準アンカ画像と相対アンカ画像とに分けることができる。すると、相対アンカ画像は、基準アンカ画像とそれらの関連付けられたメッシュとから予測が可能であり、元のアンカ画像と予測されたアンカ画像との差は、差分的にコード化が可能である。

しかし、異なる視点のための新たな画像を生成するのに相対アンカ画像が用いられるが、相対視点のために利用可能なメッシュがないので、そのようなアプローチは、新たな問題を生じる。多くの実施形態では、これは、相対アンカからのビュー統合に適するようにそのようなメッシュを幾何学的に修正することで基準アンカからメッシュを再利用／リサイクルすることによって、対処可能である。

以下では、より詳細な例を考察することによって、このアプローチが、例証される。

図３は、メッシュに基づくレンダリング（適切な画像の生成）のためのアプローチの一例を図解している。この例では、黒丸は、それぞれが、空間的なアンカ視点／位置を表す。白丸は、統合すべきビューの位置を、すなわち、第２の視点（例えば、ビューワにとっての左目位置又は右目位置のいずれかに対応する）を表す。それぞれのアンカｋは、テクスチャＴ_ｋと深度／３ＤメッシュＭ_ｋとで構成される。すべてのｋ個のアンカを記憶し、配信し、及び／又は処理するのは、帯域幅や計算複雑性などの点で、非常に高価である。与えられた所望の視点のために画像が生成されるビュー統合は、典型的には、関連付けられたメッシュ（Ｍ_２）を用いて所望の視点にワープされる空間的に最も近いアンカ（Ｔ_２）からのテクスチャに基づくことが望ましい。

図４は、アンカのうちのいくつかのためのデータが現時点で近傍のアンカから予測されるという、説明されているアプローチの特定の使用を反映する一例を、図解している。これらの予測された／相対アンカ画像のためのテクスチャマップは、差分画像だけを（例えば、ＪＰＧファイルとして）記憶することによって、差分的にエンコードされる。相対アンカのためのメッシュは、直接的に提供され得るが、多くの実施形態では、完全にイントラコード化された基準画像からも、生成され得る。

図４の例では、アンカ１とアンカ５とだけが、イントラコード化されており、すなわち、基準アンカである。アンカ２は、アンカ１及び／又はアンカ５（両方）から予測された例に含まれる。アンカ２のためのテクスチャ及びメッシュ変数の上に付されたチルダ

は、それらが再現されたことを示す。テクスチャＴ_２は、差分コーディングを用いて、すなわち残留データテクスチャマップに基づいて、再現される。メッシュＭ_２は、例えば、基準メッシュ（複数の場合もあり）から生成される。例えば、最も近いアンカ（Ｍ_１）からのメッシュは、幾何学的変換の後で、リサイクル／再利用される。

いったん相対アンカが生成されると、所望の視点のための画像Ｉは、テクスチャＴ_２とメッシュＭ_２とに基づき、視点移動アルゴリズムを用いて、計算可能である。

多くの実施形態で、最も近いアンカは、第１のメッシュと第１のテクスチャマップとを生成するのに用いられ得る。図４では、予測された／相対アンカ２に最も近くにある基準アンカは、アンカ１である。アンカ１のメッシュは、したがって、二度用いられるのであって、すなわち、一度目として、相対アンカ２のためにテクスチャマップを統合するのに用いられ、「リサイクル」された後で、すなわち幾何学的に修正された後で、今度は、最終画像Ｉを統合するのに用いられる。テクスチャマップＴ_１からのテクスチャマップＰ_２の予測は、（圧縮するために差分画像を抽出するための）エンコーダと、アンカテクスチャＴ_２を再現するためのデコーダとの両方において、実行される。

この演算は、メッシュ座標が、最初に回転されそしてカメラの座標系に変換され、次に透視射影を用いて射影されることにより、実行され得る。この標準的な演算は、典型的には、モデルビュー射影行列と呼ばれる４×４行列である

を用いて、斉次座標（ｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅｓ）で表現される。なお、（ｕ’，ｖ’）は、点（ｘ，ｙ，ｚ）の射影のために結果的に生じる画像の座標であり、Ｖ_２は、アンカ２のためのカメラビュー行列である。方程式（１）では、Ｍは、入力された座標を一般的な世界座標に変換する変換を表し（ローカルからグローバルなオブジェクト座標に変換するためのモデル行列を示す）、Ｖ_２は、世界座標を、アンカ２の視点のためのカメラ座標に変換し、Ｐは、射影変換を実行する。

方程式（１）における演算は、典型的には、ＧＰＵの上で動作するいわゆる頂点シェーダプログラムにおいて実行される。

方程式（１）への入力は、メッシュの頂点の３Ｄ点の集合を含むメッシュと、対応するテクスチャ座標（ｕ，ｖ）と、点がどのように三角形を形成するかを記述する指標のベクトルとである。方程式（１）で与えられているように頂点シェーダが実行する幾何学的演算は、メッシュＭ_１を用いてテクスチャＴ_１をアンカ２にワープするときにグラフィクスハードウェアが実行する多くの演算のうちの１つに過ぎない。簡潔にするために、この標準的なテクスチャマッピング／視点移動／変換演算を、
Ｐ_２＝ｔｅｘｔｕｒｅｍａｐ［Ｔ_１，Ｍ_１］ （２）
と書くことにする。

テクスチャマッピングは、グラフィクス機能を有するほとんどのデバイスで利用可能な標準的な演算である。ＯｐｅｎＧＬ、Ｖｕｌｋａｎ及びＤｉｒｅｃｔＸなどのＡＰＩが、それをサポートしている。

テクスチャマッピング演算の後では、残留データテクスチャマップＥ_２を用いて、生成された中間テクスチャマップＰ_２から、

によって、元のテクスチャＴ_２を再現可能である。

方程式（３）における演算は、いわゆるフラグメントシェーダプログラムを用いると、ＧＰＵ上で、有利に実行され得る。これには、結果として得られるテクスチャである

がＧＰＵメモリに保持され、そのＧＰＵメモリでは、最終的な目画像Ｉを作成するために第２の（最終的な）レンダリングステップを実行するときに、この結果として得られるテクスチャが必要とされるという利点がある。

異なる視点（第２の視点）のための画像を生成するために、出力画像Ｉを生成するように、追加的なビュー統合パスが実行される。このステップのため、第１の統合ステップで用いられたメッシュがリサイクルされる。

この第２のビュー統合ステップのためには、

のように、３Ｄメッシュ座標に対して、以下の幾何学的変換を実行する頂点シェーダプログラムが実行される。

同じ点の座標である（ｘ，ｙ，ｚ）が、テクスチャマップＰ_２の予測のためのものであった方程式（１）におけるように、頂点シェーダに入力されることに注意すべきである。同じ座標に対する先行のビュー統合ステップに起因して、メッシュ点がＧＰＵメモリに既に存在しており、したがって、方程式（４）の演算実行のオーバーヘッドは、限定されている。アンカ２のためのカメラビュー行列Ｖ_２は、この時点までに、出力画像のカメラビューに対応する、すなわち第２の視点に対応するビュー行列Ｖ_{ｆｉｎａｌ}によって、置き換えられている。テクスチャ

と関係するテクスチャ座標（ｕ’，ｖ’）が、この時点で、テクスチャマップ演算において必要とされる。

第２のテクスチャマッピング演算は、最終的な出力画像である

を生じる。

このプロセスは、図５によって、さらに例示されている。この例では、テクスチャＴ_１が、テクスチャＴ_２を予測するために、メッシュＭ_１を用いて、ワープされる。同時に、Ｍ_１自身は、

を生じるように、変形される。残留画像Ｅ_２は、再構成されるテクスチャ

を計算するために、用いられる。出力画像は、再構成された

をワープすることによって統合されるが、ここで、ワープする際にリサイクル（変形）されたメッシュ

が用いられる。

述べられたように、相対アンカのためのメッシュ情報を通信するためには、異なる複数のアプローチが用いられ得る。いくつかの実施形態では、相対アンカのための専用のメッシュデータは画像信号に含まれておらず、よって、画像信号は、相対アンカに特に関する（そして、相対アンカだけに関する）メッシュ情報を含まない。しかし、相対アンカのためのメッシュとして、３Ｄ画像が、所望の視点のために画像統合を実行するのに用いられるから、メッシュは、受け取られた画像信号データから生成されなければならない。

そのような場合には、メッシュプロセッサ２０３は、基準アンカからのメッシュデータから、相対アンカのためのメッシュを生成するように構成される。よって、上述された具体的な例では、メッシュプロセッサ２０３は、基準メッシュから第１の相対メッシュを生成するように構成され得るのであって、すなわち、第１の（相対）視点のためのメッシュは、基準視点のメッシュから生成される。

いくつかの実施形態では、メッシュプロセッサ２０３は、単に基準メッシュをコピーすることによって、第１の相対メッシュを生成するように構成され得る。これにより、特に相対視点と基準視点とが相互に非常に近接している多くのシナリオにおいて、十分に正確な深度情報が可能になり得る。

しかし、他の実施形態では、メッシュプロセッサ２０３は、基準視点位置から相対視点位置にこれをワープするために基準メッシュに視点変換又はワープを適用することによって、第１の相対メッシュを生成するように構成され得る。

そのようなワープのための様々な技術が当業者には知られており、いずれかの適切なアプローチが用いられ得るということが理解されるであろう。

多くの実施形態で、画像信号は、相対アンカ画像のための専用のメッシュデータを含み得る。よって、画像信号は、特に第１の視点のためのメッシュデータを含み得る。実際に、いくつかの実施形態では、画像信号は、第１の視点における相対メッシュの完全なエンコーディングを有し得るのであって、メッシュプロセッサ２０３は、受け取られデコードされた相対メッシュとして、第１の相対メッシュを、単純に生成し得る。典型的には、メッシュはテクスチャマップよりもはるかに少ないデータを必要とするので、このアプローチは、依然として、実質的なデータレートの低下を提供することになる。

多くの実施形態において、画像信号は、第１の視点のためのメッシュに対するメッシュ残留データを、すなわち、第１の視点のための残留メッシュデータを、含み得る。この残留データは、第１の視点のための残留データテクスチャマップと同じ基準視点のためのメッシュに対して相対的なものであり得る。

いくつかの実施形態において、残留メッシュデータは、画像信号の中で受け取られるときに、基準メッシュに対して相対的に、提供され得る。しかし、多くの実施形態で、残留メッシュデータは、基準位置から相対視点への視点変換／ワープの結果として生じるメッシュに対し相対的である。

よって、そのような実施形態では、メッシュプロセッサ２０３は、受け取られた基準メッシュに視点変換を適用することにより中間メッシュを生成するように、構成され得る。こうして、中間メッシュは、基準視点から第１の視点への基準メッシュのワープから、生成される。視点変換は、残留メッシュデータがそれから生成される中間メッシュを生成するのにエンコーダによって用いられるものに対応し得る。残留メッシュデータは、したがって、第１の相対メッシュを生成するように中間メッシュを修正するのに用いられ得る。

いくつかの実施形態では、残留メッシュデータは、例えば、典型的にはメッシュにおける頂点の部分集合の修正又は変更を示す情報であり得る。例えば、オフセット又は移動ベクトルは、エンコーダによって重要だと検出されている頂点に、及び／又は、生成された中間メッシュにおける位置とアンカ（相対）メッシュとの差が大きすぎる頂点に、提供され得る。受け取られた移動ベクトルは、したがって、これらを正しい位置に移動させるために、メッシュに適用され得る。

よって、多くの実施形態では、残留メッシュデータは、単に、メッシュの頂点の部分集合のための残留データを含み得る（ワープは、典型的には、基準メッシュの頂点を保存するので、画像信号は、頂点ベクトルをいずれかのメッシュの頂点に、例えばオフセットするなど、リンクさせることがあり得る）。頂点は、具体的には、中間メッシュと相対メッシュとの比較に基づいて、エンコーダにおいて選択され得る。そのようなアプローチは、典型的には、結果として生じる画質に対してマイナスの効果を有しながら、データレートをさらに低下させる。

このようなアプローチの一例が、図６に図解されている。この例では、少量のデータが、近傍の基準アンカからワープされるメッシュから元のメッシュ（送信されない）が再構成可能であるように、予測される／相対アンカのそれぞれのメッシュのために、通信される。典型的には、これらの訂正ベクトルは、遮蔽／遮蔽解除領域においてのみ必要とされるのであって、したがって、訂正ベクトルの個数は少なくなる傾向がある。

メッシュ残留データは、メッシュ自体の座標（ｘ，ｙ，ｚ）における座標の参照として、又は、テクスチャマップにおける対応の座標（ｕ，ｖ）に関して、提供され得るのであって、すなわち、メッシュデータは、両方の組の座標を含むと考えられる（実際に、頂点は、対応するｘ，ｙ，ｚ座標とｕ，ｖ座標との両方を含むデータベクトルによって表される）ということが理解されるであろう。

先の説明は、第２の視点（所望の視点）のための画像が相対アンカから生成され、この相対アンカはある基準アンカに基づいて生成される（そして、残留データはこの基準アンカに対して相対的である）シナリオに焦点を当てたものであった。しかし、いくつかの実施形態では、出力画像は、複数の基準アンカ画像に基づいて、このプロセスの一部として用いられる１つ又は複数の相対アンカ画像を経由して、生成され得る。

所望の視点が基準アンカに最も近いときなどの特別な場合には、図１の装置は、どの相対アンカにも依存せずに画像を生成し得るのであって、例えば、最も近い基準アンカだけを、用い得る。

いくつかの実施形態では、説明されているアプローチが、第２の視点のための複数の画像を生成するのに用いられ、出力画像が、これらの画像から生成され得る。例えば、出力画像は、生成された画像の重み付けされた組合せによって、例えば、個々の画像のための遮蔽情報に応じた重みを用いて、生成され得る。

いくつかの実施形態では、画像生成器２０９は、したがって、第１のテクスチャマップと第１のメッシュに応答して、すなわち、第１の相対アンカ／３Ｄ画像に応答して、第２の視点のための第１の中間画像を生成するように構成され得る。それは、さらに、追加的な視点のための追加的なテクスチャマップと追加的なメッシュとに応答して、第２の視点のための第２の中間画像を生成し得るのであって、すなわち、第２の中間画像は、異なるアンカ画像に基づいて生成される。第２の中間画像を生成するためのこのアプローチは、第１の中間画像を生成する場合と同じであり得るが、異なるアンカ画像に基づく。

この異なるアンカ画像は、例えば、基準アンカ画像であり得る。よって、いくつかの実施形態では、追加的なテクスチャマップと追加的なメッシュとは、基準３Ｄ画像のテクスチャマップとメッシュとであり得る。

他の実施形態又はシナリオでは、異なるアンカ画像は、相対アンカ画像であり得る。よって、いくつかの実施形態では、追加的な中間画像は、第１の中間画像の場合とまったく同じアプローチを用い、しかし、異なる残留データテクスチャマップと多くの場合に異なる基準画像とを用いて生成される異なる相対アンカを用いて、生成され得る。

よって、いくつかの実施形態では、第１のテクスチャプロセッサ２０５は、追加的な基準テクスチャマップの視点から追加的な基準テクスチャマップが第２の基準３Ｄ画像のテクスチャマップである追加的な視点への追加的な基準テクスチャマップの視点変換に応答して、追加的な中間テクスチャマップを生成するように、構成される。第２のテクスチャプロセッサ２０７は、そのような実施形態において、追加的な中間テクスチャマップと追加的な視点のための追加的な残留データテクスチャマップとの組合せに応答して、追加的なテクスチャマップを生成するように構成され得る。

同様に、メッシュプロセッサ２０３は、追加的な基準テクスチャマップの視点から追加的視点への第２の基準３Ｄ画像のメッシュの視点変換に応答して、追加的なメッシュを生成するように、構成され得る。

画像生成器２０９は、次に、結果として生じる追加的テクスチャマップと追加的メッシュとから、第２の中間画像を生成し得る。

図１及び図２のアプローチでは、複数の基準画像が、第１の相対視点のためにアンカ画像情報を生成するのに用いられる。

このアプローチでは、画像信号は、第１の視点のための複数の残留データテクスチャマップを含む。残留データテクスチャマップは、それぞれが、異なる基準視点に関して、すなわち、異なる基準テクスチャマップに関して、第１の視点のテクスチャマップに、残留データを提供する。このアプローチでは、複数の代替的な相対テクスチャマップとメッシュとが、異なる基準画像と残留データテクスチャマップとを用いて、第１の視点のために生成され得る。

そのような実施形態では、メッシュプロセッサ２０３は、第１の相対視点のために複数のメッシュを生成するように構成され得る。例えば、上述されたような第１の基準視点からのメッシュの生成に加え、メッシュプロセッサ２０３は、追加的な基準視点から、第１の視点のために追加的な／第２のメッシュが生成し得る。例えば、図３では、メッシュがＭ_１から生成され、追加的なメッシュがＭ_５から生成される。

具体的には、メッシュプロセッサ２０３は、出力画像を生成する際に用いられるそれぞれの基準視点のために、相対メッシュを生成し得る。これらの相対メッシュは、それぞれが、上述されたように決定され得るのであって、すなわち、典型的には、ワープとそれに続くオプションでありメッシュ残留データに基づく訂正とが、考察されているそれぞれの基準視点のために、実行され得る。

同様に、第１のテクスチャプロセッサ２０５と第２のテクスチャプロセッサ２０７とは、第１の相対視点のために、複数のテクスチャマップを生成するように構成され得る。例えば、上述されたように、第１の基準視点からの第１のテクスチャマップの生成に加えて、第１の視点のための追加的／第２のテクスチャマップを、追加的な基準視点から生成することもあり得る。例えば、図３では、テクスチャマップは、Ｔ_１から生成され、追加的なテクスチャマップは、Ｔ_５から生成される。これらのテクスチャマップは、それぞれが、ビュー移動によって生成され、妥当する基準視点からの適切な残留データテクスチャマップとの組合せが、それに続く。

具体的には、第１のテクスチャプロセッサ２０５と第２のテクスチャプロセッサ２０７とは、出力画像の生成に用いられるそれぞれの基準視点のための相対テクスチャマップを生成し得る。

これらの相対テクスチャマップは、それぞれが、上述されたように、決定され得るのであって、すなわち、典型的には、ワープとそれに続く残留データテクスチャマップに基づく訂正とが、考察されているそれぞれの基準視点のために、実行され得る。よって、具体的には、第１のテクスチャプロセッサ２０５は、個々の基準視点の位置から第１の視点位置までの個々の基準視点のテクスチャマップの視点変換を実行することによって、それぞれの考察している基準視点のために中間テクスチャマップを生成し得る。次に、第２のテクスチャプロセッサ２０７は、中間テクスチャマップと適切な残留データテクスチャマップとを組み合わせることによって、生成された中間テクスチャマップのそれぞれに対して、第１の視点のためのテクスチャマップを生成し得る。

画像生成器２０９は、次に、第１の視点のための複数の相対３Ｄ画像に応答して、すなわち、異なる基準アンカから生成された第１の視点のためのテクスチャマップ及びメッシュに応答して、出力画像を生成するように構成され得る。

これは、異なる実施形態では、異なる態様で、なされ得る。いくつかの実施形態では、異なる相対３Ｄ画像の統合又は組合せは、第２の視点への視点変換よりも前に、すなわち、出力画像のための画像統合よりも前に、第１の視点のために、すなわち、相対３Ｄ画像に対して、実行され得る。他の実施形態では、視点変換は、第１の視点のための複数の相対３Ｄ画像に個別的に適用され、第２の視点のための結果として生じる画像が、次に、統合される（例えば、平均化される）。異なる基準アンカが異なるダイナミックレンジを有する画像に対応する場合には、特定のダイナミックレンジの高い処理ステップが、統合プロセスの間に用いられ得ることに、注意してほしい。

具体的には、いくつかの実施形態では、画像生成器２０９は、第１の視点から第２の視点への第１のテクスチャマップと第１の基準３Ｄ画像から第１の視点のために生成された第１のメッシュとに基づく視点変換に応答して、第２の視点のための第１の中間画像を生成するように構成され得る。同様に、画像生成器２０９は、第１の視点から第２の視点への第２のテクスチャマップと第２の基準３Ｄ画像から第１の視点のために生成された第２のメッシュとに基づく視点変換に応答して、第２の視点のための第２の中間画像を生成するように構成され得る。こうして、この場合には、代替的な中間出力画像が生成される。これらの出力画像は、次に、第２の視点のための最終的な出力画像を生成するように、画像生成器２０９によって組み合わされ／統合される。

このアプローチは、したがって、複数の異なるアンカが、第２の視点のために中間画像を生成するのに用いられるが、これらのアンカ３Ｄ画像のうちのいくつかが同じ視点のためのものであるという特定の要件を伴うアプローチに対応し得る。

代替的な中間出力画像の組合せには異なるアプローチが適応され得るということが、理解されるであろう。多くの実施形態で、この組合せは、基準視点のための遮蔽情報を表す遮蔽データに応答するものである。例えば、ビュー変換の一部として、遮蔽開放された領域が識別されることがあり得る。これらの領域は、典型的には、異なる視点に対して、異なる領域である。したがって、画像生成器２０９は、対応するピクセルが遮蔽解除されたピクセルであるのか又はそのようなピクセルではないのかを反映するように重みが設定されている重み付きの組合せを実行することによって、中間画像を組み合わせるときには、そうするのである。このようにして、遮蔽解除処理の結果として生じたのではないピクセルに対する重みは、遮蔽解除処理の結果として生じたピクセルよりも重く、重み付けられることになる。単純な例として、遮蔽解除されたピクセルのための重みは、別の中間画像における対応するピクセルが遮蔽解除されたピクセルではない場合には、ゼロに設定され得る。

いくつかの実施形態では、画像生成器２０９は、第１の視点から第２の視点への視点移動の方向に対して相対的な、対応する基準視点から第１の視点への視点移動の方向に応じて、中間画像を組み合わせるように構成され得る。具体的には、同じ方向である２つの視点移動の結果として生じる中間画像のピクセルのための重みは、異なる又は反対でさえある方向の２つの視点移動の結果として生じる中間画像のピクセルよりも重く、重み付けされ得る。

これは、改善された結果を提供する傾向を有し、特に、これは、遮蔽エラーを結果的に生じる可能性が低く、すなわち、同じ方向の移動は、反対方向の移動よりも、遮蔽解除された領域を全体として結果的により少なく、生じる傾向にある。

第２の視点の段階で組み合わせるというアプローチの特別の利点として、第１の視点のための新たに組み合わされたメッシュのいかなる決定も回避し得るということがある。むしろ、基準メッシュからの受け取られた又は容易に導かれたメッシュは、視点変換において直接的に用いられ得る。複数の視点変換が必要とされる場合があり得るが、これらは、多くの場合に、標準化され高度に（ハードウェア）最適化されたプロセスであるから、異なるメッシュを統合する／組み合わせるという演算よりも、計算論的な問題を生じにくい傾向がある。

いくつかの実施形態では、デコーダが、既に述べられたように、第２の視点へのどのようなビュー変換も実行される前に、第１の視点のための複数の相対３Ｄ画像を組み合わせるように構成され得る。例えば、画像生成器２０９は、第１の基準アンカから導かれた第１のテクスチャマップと第２の基準アンカから導かれた第２のテクスチャマップとを、第１の視点のための第３のテクスチャマップに組み合わせることができる。この組合せは、例えば、個々のピクセルが遮蔽解除処理の結果として生じたものであるかどうかに応じて設定される重みを用いて、重み付けされ得る。

さらに、画像生成器２０９は、第１の基準アンカから導かれた第１のメッシュと第２の基準アンカから導かれた第２のメッシュとを、第１の視点のための第３のメッシュに組み合わせることができる。

メッシュを組み合わせるためには、異なる複数のアプローチが用いられ得るが、そのような演算は、テクスチャマップを組み合わせるよりも、より複雑になる傾向がある。１つのオプションとして、どの３角形が、第１のメッシュから第２のメッシュの遮蔽解除領域にマッピングされるかを、そしてその逆を、検出することがある。これらの３角形は、次に、遮蔽解除領域の３角形を、置き換えることになる。よって、メッシュのうちの一方が、他方のメッシュからの対応する領域によって置き換えられる遮蔽解除の結果として生じる領域と共に、基準として用いられ得る。

いくつかの実施形態では、残留メッシュデータは、いかにしてメッシュが統合される／組み合わされるのかに関する情報を含み得る。例えば、点が、移動され、統合され、消去され、新たな３角形が、形成され得るなどである。

このように、画像生成器２０９は、したがって、第２の視点への視点変換のために次に用いられ得る相対アンカ３Ｄ画像を生成し得る。よって、画像生成器２０９は、第３のテクスチャマップと第３のメッシュとに基づく第１の視点から第２の視点への視点変換に応答して、出力画像を生成するように構成され得る。

以下では、複数の基準アンカが用いられ、第２の視点データを用いて統合が実行される例に関し、より詳細な説明が提供される。このアプローチでは、最終的なレンダリングへの、すなわち、第２の視点の段階へのテクスチャの混合を延期することによって、メッシュの混合が、回避される。すなわち、
１．テクスチャＴ_ｉとメッシュＭ_ｉとを有する複数の基準アンカが、第１の視点に対応する予測されるアンカｊに個別的にワープされ、その結果として、テクスチャＰ_ｉ，ｊとＭ_ｉ，ｊとが生じる。
２．いずれかの残留データテクスチャマップＥ_ｉ，ｊが、テクスチャを改良して、結果的に、Ｔ_ｉ，ｊ＝Ｐ_ｉ，ｊ＋Ｅ_ｉ，ｊを生じる。
３．最終的なワープが、第２の視点のための中間出力画像を生じさせるが、これは、具体的には、左目画像Ｔ_{ｉ，ｊ，Ｌ}又は右目画像Ｔ_{ｉ，ｊ，Ｒ}であり得る。さらに、それは、ストレッチその他の量を数量化する信頼度、視差（ｄｉｓｐａｒｉｔｙ）、深度又はマップなどの補助的情報を生じ得る。
４．次に、中間画像は統合され、最終的な出力画像に到達し、これは、再び、左目画像Ｔ_Ｌ又は右目画像Ｔ_Ｒであり得る。

いくつかの実施形態では、出力画像は、複数の基準アンカに基づき得るが、これら複数の基準アンカは、すべて、同じ相対視点を用いる。よって、この例では、それぞれの予測されるアンカは、テクスチャとメッシュとの集合が予測されるアンカと関連付けられるように、複数の基準アンカに基づいている。予測されるアンカと基準アンカとの関係は、ある規則的なパターンによって決定され得る、及び／又は、ある基準アンカが基準アンカの識別子をエンコードする。この例は、図７に図解されている。

他の実施形態では、出力画像は、複数の基準アンカに基づき得るが、ただし、異なる相対アンカを経由して、である。そのような実施形態では、複数の予測された／相対アンカｊは、複数の基準アンカに基づいて、生成され得る。そのような実施形態の多くでは、それぞれの相対アンカは、ただ１つの基準アンカから生成されるのであるが、その理由は、これが結果的に複雑性を低下させ得るからである。そのような例が、図８に図解されている。

もちろん、より一般的には、それぞれの相対アンカを生成するための１つ又は複数の基準アンカの使用と出力画像を生成するための１つ又は複数の相対アンカ（さらにオプションで基準アンカも）の使用とのいずれかの組合せが、用いられ得る。そのような例が、図８に図解されている。

メッシュを組み合わせる／交差させることの利点は、それにより、より粗いメッシュが用いられることが可能になり、よって、それらを通信するのに必要とされるデータレートを低下させることである。実際、メッシュが合理的に粗い限り、典型的な実施においては、フラグメントシェーダではなく、頂点シェーダが、全体的な複雑性を決定する。このような考察に基づくと、いくつかのシナリオにおいては、メッシュを交差させて、コーディング及び処理が最小である又はまったく不要なより大きなメッシュを形成するということが魅力的であり得る。

例えば、以下のアプローチにより、デコーダによって、相対アンカが生成され得る。
１．複数の基準アンカ（Ｔ_ｉ，Ｍ_ｉ）が、予測されるアンカｊにワープされ、（Ｔ_ｉ，ｊ，Ｍ_ｉ，ｊ）を得る。
２．複数のテクスチャが統合され、テクスチャ予測Ｐ_ｊが形成される。
３．残留が追加されて、テクスチャＴ_ｊ＝Ｐ_ｊ＋Ｅ_ｊが形成される。
４．いくつかのシナリオでは、入力メッシュの信頼性ベースの混合に基づき、オプションであるが残留Ｆ_ｊを用いて訂正された稠密深度マップＤ_ｊが存在し得る。
５．これらのメッシュは、１つのメッシュＭ_ｊ＝ｉｎｔｅｒｓｅｃｔ_ｉ（Ｍ_ｉ，ｊ）を形成するように、交差される。メッシュだけに基づく交差方法を有することは有益ではあるが、一般的には、テクスチャにも依存し得るのであって、その場合には、メッシュは、フラグメントシェーディングの後でのみ利用可能である。

メッシュ交差は、下記のアルゴリズムによって、実現され得る。
１．すべてのメッシュが、１つの素なグラフである状態から開始する。
２．オプションであるが、全体のビューポート（Ｔ）がカバーされることを確認するために、通常のメッシュを追加する。いくつかの場合には、このメッシュの深度値が、他のメッシュから決定されなければならず、その場合には、他のメッシュを最初に交差させ、次に、その結果を通常のメッシュと交差させることが意味を有する場合がある。
３．２次元的な意味で交差しているエッジｅ_１２とエッジｅ_３４とのそれぞれの対に対して、
ａ．交点に、頂点ｖ_５を追加する。深度（又は視差）成分を決定する方法は、次のように、複数ある。
ｉ．最短なエッジ（を形成する頂点）から内挿する。
ｉｉ．好適であるのは、最も信頼性の高いエッジからの内挿であるが、この場合には、ワープされたエッジが元のエッジよりも長く伸張されているときには、この場合の信頼性は、より低くなり得る。
ｉｉｉ．両方のエッジの平均を取る。
ｉｖ．稠密な深度マップＤ_ｊから値をフェッチする。
ｂ．エッジｅ_１２及びｅ_３４を除去する。
ｃ．１～４のｉに対して、エッジｅ_ｉ５を追加する。
４．メッシュ交差アルゴリズムは決定論的であるから、残留を上述されたように追加することが可能である。例えば、頂点の指数及び値の表を用いて、いくつかの深度値を訂正することが可能である。

いくつかの実施形態では、メッシュプロセッサ２０３は、第１の視点のために生成されたメッシュすなわち相対メッシュをフィルタリングするように、構成され得る。

実際に、深度ジャンプのときには、メッシュはテクスチャ情報と完全に整合し、統合視点をレンダリングするときには、可視的なストレッチが生じる可能性がある。これは、メッシュが前景オブジェクトの周囲にもっと緩く適合させることによって、回避することが可能である。稠密な深度マップを用いて作業するときには、この演算は、モーフォロジカルな演算によって、実行される。メッシュのためには、これは、深度フィールドの勾配方向に（仮想的なカメラ位置からの距離が増大する方向に向かって）頂点を移動させることにより、実行されることが可能である。

過剰なフィルタリングが適用されると、背景が前景と混同される傾向があり、結果として、これが、特に背景移動と共にハロー現象として潜在的に可視化するため、フィルタリングの量は、重要である。

いくつかの実施形態では、画像信号は、適用されるべきフィルタリングを示すメタデータを含むように構成される場合がある。例えば、画像信号が、どのくらいのフィルタリングが適用されるべきか（ファイル、ストリーム、メッシュ、及び／又は頂点ごとに）特定することがある。この値は、（例えば、ピクセルなどの）空間単位を有し得るが、その場合には深度勾配の方向だけが考慮され、又は、深度勾配の大きさも考慮される深度又は視差単位の場合もある。

このフィルタリングは、好ましくは、残留がワープとフィルタリングとの両方に対する訂正として機能するように、どのメッシュ残留が追加される前に（すなわち、相対メッシュと対応するメッシュ残留データとが組み合わされる前に）適用される。

画像信号は、典型的には、画像信号の処理を容易にし得るメタデータ（すなわち、画像信号の他のデータに関するデータ）を含む。具体的には、画像信号は、上述されたように、基準視点と残留視点との異なる対形成のための複数の残留データテクスチャマップを含み得る。画像信号は、さらに、画像信号のうちのどの３Ｄ画像が画像信号のどの残留データテクスチャマップとリンクされているかを示すメタデータを含み得る。デコーダが、このメタデータを抽出し、与えられた相対アンカのためのテクスチャマップを生成するときに適切な残留データテクスチャマップと基準画像とを選択するように進む。

多くの実施形態において、画像信号は、追加的に又は代替的に、メッシュ生成制御データを含み、メッシュプロセッサ２０３は、メッシュ生成制御データに応答して相対メッシュ（複数の場合もある）を生成するように構成され得る。

例えば、上述されたように、メッシュ生成制御データは、生成された中間メッシュに適用されるべきフィルタリングを特定するデータを含み得る。これにより、これが実際の画像特性に基づいて適応されることが可能なように、エンコーダがフィルタリングを制御することが可能になり、実際に、この考察は、例えば、与えられた相対視点のために受信され得たであろう元のメッシュとの比較に基づき得る。

このアプローチは、メッシュ生成制御データが、異なる相対視点及び／又は異なる基準視点に異なる制御データを提供することを可能にし得る。こうして、相違するアンカが異なるように扱われることが可能になる。例えば、以下を含むメッシュ生成制御データが提供され得る。
・例えば、いくつかの利用可能な下記の選択肢から選択して、それぞれの予測されるアンカに対し、メッシュがいかに形成されるべきかを示すフィールド。
・通常のメッシュ
・最も近いアンカからのメッシュ
・アンカｉからのメッシュ
・メッシュの交差
・その他
・予測されたアンカごとに、いくつのそしてどのアンカが用いられるべきかを示すフィールド。

図２の装置は、したがって、異なる視点からのシーンを表すある数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含むある数の３次元画像を含む画像信号を受け取るための受信機（２０１）であって、画像信号は、さらに、ある数の３次元画像の異なる視点と異なる第１の視点のための残留データテクスチャマップを含み、残留データテクスチャマップは、ある数の３次元画像のうちの第１の３次元画像のテクスチャマップである基準テクスチャマップの視点移動の結果として生じるテクスチャマップに対して相対的に、第１の視点のためのテクスチャマップに残留データを提供する、受信機（２０１）と、第１の視点のための第１のメッシュを生成するためのメッシュプロセッサ（２０３）と、第１の３次元画像の視点から第１の視点への基準テクスチャマップの視点変換に応答して、中間テクスチャマップを生成するための第１のテクスチャプロセッサ（２０５）と、中間テクスチャマップと残留データテクスチャマップとの組合せに応答して、第１のテクスチャマップを生成するための第２のテクスチャプロセッサ（２０７）と、第１のテクスチャマップと第１のメッシュとから第２の視点のための画像を生成するための画像生成器（２０９）とを備える。

さらに、画像信号は、第１の視点のための複数の残留データテクスチャマップを特に含み、複数の残留データテクスチャマップは、第１の視点のための残留データテクスチャマップを含み、メッシュプロセッサ（２０３）は、複数の３次元画像の第２の３次元画像のメッシュである追加的な基準メッシュから、第１の視点のための第２のメッシュをさらに生成するように構成され、第１のテクスチャプロセッサ（２０５）は、第２の３次元画像の視点から第１の視点への追加的な基準テクスチャマップの視点変換に応答して、追加的な中間テクスチャマップを生成するように構成され、追加的な基準テクスチャマップは、第２の３次元画像のテクスチャマップであり、第２のテクスチャプロセッサ（２０７）は、追加的な中間テクスチャマップと第１の視点のための追加的な残留データテクスチャマップとの組合せに応答して、第２のテクスチャマップを生成するように構成され、追加的な残留データテクスチャマップは、第２の３次元画像のためのものであり、画像生成器（２０９）は、第２のテクスチャマップと第２のメッシュとから第２の視点のための画像をさらに生成するように構成され得る。

特定のアプローチがそのために用いられ得る視点は、個々の実施形態の要件と選好とに依存する。多くの実施形態において、このアプローチは、例えばユーザ入力又は移動（例えば、仮想現実体験を提供するための）に基づいてローカルに決定されるシーンにおける仮想的な視点のための画像を生成するのに用いられる。

しかし、このアプローチはそのような実施形態に限定されることはなく、例えば、シーンデータと同じ信号に含まれている視点情報に基づく実際的な実施が用いられることが可能である、ということを謹んで申し上げておきたい。例えば、信号は、説明されたシーンデータに加えて、好ましく、必須の、又は示唆された視点の指示を含み得るし、装置は、これらの視点のための画像を生成するために定義されたアプローチを用い得る。

実際に、一例として、このアプローチが、別の基準視点と相対視点とに基づいてある基準視点のための画像をローカルに生成するために用いられることが可能である、ということが想像可能でもある。そのような画像は、例えば、第１の基準視点のメッシュとテクスチャマップとから直接に生成された対応する画像と比較されることがあり得る。差が与えられた量未満である場合には、システムは、第１の基準視点のためのメッシュとテクスチャマップが破棄されることが可能であり、新たな信号がこの情報なしで生成されることが可能であると決定し得る。こうして、この装置は、トランスコーディング／データレートの低下を実行するように定義されたアプローチを用いることが可能になる。

典型的に、第２の視点からは、第１の視点の方が、元の基準視点までよりも、より近いので、これは、まったく必要でない。例えば、元の基準視点は、大きな背景部分を遮蔽する前景オブジェクトのすぐ右に存在することがあり得る。所望の視点（第２の視点）がこの前景オブジェクトのすぐ左に存在する場合があり得るから、そのために、基準視点のためのメッシュとテクスチャマップとが、遮蔽されている背景部分のための情報を十分に（又は、まったく）提供しないことがあり得る。しかし、残留データテクスチャマップは、前景オブジェクトの実質的に左にある第１の／相対視点に提供される場合があり、第２（所望）の視点から、基準視点よりも、実質的にさらに離れていることがあり得る。しかし、この第１の／相対視点のためのテクスチャマップとメッシュとを生成することの結果として、第２の視点のための画像を生成するのに用いることが可能な、はるかによい情報が生じ得る（それは、基準視点から遮蔽されている大きな背景部分に関する情報を有することになる）。残留テクスチャマップは前景オブジェクトによって基準視点から遮蔽されている背景部分のための情報を含むから、第１の／相対視点データが基準視点に基づいている場合であっても、これが妥当するということを、注意しておきたい。

多くの異なる例が想定され得るということ、並びに、好適なアプローチ及び実施は個々の実施形態（例えば、シーンの詳細、データレートなどを含めて）の個別的な要件及び選好に依存するということが、理解されるであろう。

上記の説明では、明瞭にするために、異なる機能回路、ユニット及びプロセッサを参照して、本発明の実施形態を説明されたことが理解できるだろう。しかし、本発明から逸脱せずに、異なる機能回路、ユニット又はプロセッサの間で、任意の適切な機能分配が用いられ得ることは、明らかであろう。例えば、別々のプロセッサ又はコントローラによって実行されると例証された機能が、同一のプロセッサ又はコントローラによって、実行されることもあり得る。したがって、特定の機能ユニット又は回路に言及する場合には、厳密な論理的又は物理的な構造又は編成を示すというよりも、説明された機能を提供するための適切な手段に言及しているに過ぎない、と見なされるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の適切な形態での実施が可能である。本発明は、オプションであるが、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして、少なくとも部分的に実施され得る。本発明の実施形態の要素及びコンポーネントは、任意の適切な態様で、物理的に、機能的に、論理的に、実施され得る。実際、機能は、単一のユニットとして、複数のユニットとして、又は他の機能ユニットの一部として、実施され得る。このように、本発明は、単一のユニットとして実施され得るし、又は、異なる複数のユニット、回路及びプロセッサの間で、物理的若しくは機能的に分散されることもあり得る。

ここまで、本発明が、いくつかの実施形態との関係で説明されてきたが、本明細書に記載されている特定の形態に限定されることは、意図していない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、ある特徴が特定の実施形態との関係で説明されているように見える場合があり得るが、当業者であれば、説明した実施形態の様々な特徴が、本発明に従って組み合わせられ得る、ということを認識するであろう。特許請求の範囲における「有する、備える、含む」という用語は、他の要素又はステップの存在を排除するものではない。

さらに、個別的にリスト化されているが、複数の手段、要素、回路又は方法のステップが、例えば、単一の回路、ユニット又はプロセッサによって、実施されることもあり得る。さらに、個別的な特徴が、異なる複数の請求項に含まれている場合でも、これらを効果的に組み合わせることができることもあり、異なる複数の請求項に含まれているとしても、これらの特徴の組合せが実行不可能及び／又は効果的でないことを意味しない。また、ある特徴が、ある１つのカテゴリの請求項に含まれているとしても、そのカテゴリに制限されることは意味しておらず、むしろ、その特徴は必要に応じて他のカテゴリの請求項にも等しく適用可能である、ということを示す。さらに、請求項における特徴の順序は、それらの特徴が機能しなければならないどのような特定の順序も意味しておらず、より詳細には、ある１つの方法の請求項における個々のステップの順序は、それらのステップが記載された順序で実行されなければならないことを意味しない。むしろ、これらのステップは、任意の適切な順序で実行され得る。さらには、単数形に言及したからといって、複数形は排除されない。つまり、「１つの」、「第１の」、「第２の」などに言及しても、複数を除外していない。特許請求の範囲における参照符号は、単に明瞭にするための例として提供されているのであり、決して、特許請求の範囲を限定するものとして解釈されるべきではない。

Claims (13)

1. 画像を生成するための装置であって、前記装置は、
   異なる視点からのシーンを表す複数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含む複数の３次元画像を含む画像信号を受け取るための受信機であって、前記画像信号は、さらに、前記複数の３次元画像の前記異なる視点と異なる第１の視点のための複数の残留データテクスチャマップを含み、前記複数の残留データテクスチャマップのうちの第１の残留データテクスチャマップは、前記複数の３次元画像のうちの第１の３次元画像のテクスチャマップである第１の基準テクスチャマップの前記第１の視点への視点移動の結果として生じるテクスチャマップに対して相対的に、前記第１の視点のためのテクスチャマップに残留データを提供し、前記複数の残留データテクスチャマップのうちの第２の残留データテクスチャマップは、前記複数の３次元画像のうちの第２の３次元画像のテクスチャマップである第２の基準テクスチャマップの前記第１の視点への視点移動の結果として生じるテクスチャマップに対して相対的に、前記第１の視点のためのテクスチャマップに残留データを提供し、前記画像信号は、前記第１の視点のための完全なテクスチャマップを含まない、受信機と、
   前記複数の３次元画像のうちの第１の３次元画像のメッシュである第１の基準メッシュから、前記第１の視点のための第１のメッシュを生成し、前記複数の３次元画像のうちの第２の３次元画像のメッシュである第２の基準メッシュから、前記第１の視点のための第２のメッシュを生成するためのメッシュプロセッサと、
   前記第１の３次元画像の視点から前記第１の視点への前記第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、前記第２の３次元画像の視点から前記第１の視点への前記第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するための第１のテクスチャプロセッサと、
   前記第１の中間テクスチャマップと前記第１の残留データテクスチャマップとの組合せに応答して、前記第１の視点のための第１のテクスチャマップを生成し、前記第２の中間テクスチャマップと前記第２の残留データテクスチャマップとの組合せに応答して、前記第１の視点のための第２のテクスチャマップを生成するための第２のテクスチャプロセッサと、
   前記第１のテクスチャマップと前記第１のメッシュと前記第２のテクスチャマップと前記第２のメッシュとから、前記第１の視点と異なり、且つ、前記複数の３次元画像の前記異なる視点と異なる第２の視点のための２次元画像を生成するための画像生成器と、
   を備える、装置。
2. 前記画像信号は、さらに、前記第１の基準メッシュに関して、前記第１の視点のためのメッシュに対するメッシュ残留データを含み、前記メッシュプロセッサは、前記メッシュ残留データと前記第１の基準メッシュとに応答して、前記第１のメッシュを生成する、請求項１に記載の装置。
3. 前記メッシュ残留データは、前記第１の視点のための前記メッシュの頂点の部分集合のみのための残留データを含む、請求項２に記載の装置。
4. 前記画像信号は、前記第１の視点のためのメッシュデータを含まない、請求項１に記載の装置。
5. 前記画像信号は、メッシュ生成制御データを含み、前記メッシュプロセッサは、前記メッシュ生成制御データに応答して、第１のメッシュを生成する、請求項１から４のいずれか一項に記載の装置。
6. 前記画像信号は、前記複数の残留データテクスチャマップにリンクされた３次元画像を示すメタデータを含む、請求項１から５のいずれか一項に記載の装置。
7. 前記画像生成器は、前記第１のテクスチャマップと前記第１のメッシュとに応答して、前記第２の視点のための第１の中間画像を生成し、追加的な視点のための追加的なテクスチャマップと追加的なメッシュとに応答して、前記第２の視点のための第２の中間画像を生成し、前記第１の中間画像と前記第２の中間画像とを組み合わせることによって、前記画像を生成する、請求項１から６に記載のいずれか一項に記載の装置。
8. 前記画像生成器は、前記第１の視点から前記第２の視点への視点変換に応答して、前記第１のテクスチャマップと前記第１のメッシュとに基づき、第２の視点のための第１の中間画像を生成し、前記第１の視点から前記第２の視点への視点変換に応答して、前記第２のテクスチャマップと前記第２のメッシュとに基づき、第２の視点のための第２の中間画像を生成し、前記第１の中間画像と前記第２の中間画像とを組み合わせることによって、前記画像を生成する、請求項１に記載の装置。
9. 前記画像生成器は、前記第１の３次元画像と前記第２の３次元画像とのうちの少なくとも一方の視点と関連付けられた遮蔽データに応答して、前記第１の中間画像と前記第２の中間画像とを組み合わせる、請求項８に記載の装置。
10. 前記画像生成器は、前記第１のテクスチャマップと前記第２のテクスチャマップとを前記第１の視点のための第３のテクスチャマップに組み合わせ、前記第１のメッシュと前記第２のメッシュとを前記第１の視点のための第３のメッシュに組み合わせ、前記第３のテクスチャマップと前記第３のメッシュとに基づき、前記第１の視点から前記第２の視点への視点変換に応答して前記画像を生成する、請求項１に記載の装置。
11. 画像信号を生成するための装置であって、前記装置は、
    異なる視点からのシーンを表す複数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含む複数の３次元画像を受け取り、前記複数の３次元画像の前記異なる視点と異なる第１の視点のための第１のテクスチャマップを受け取るための受信機と、
    前記複数の３次元画像のうちの第１の３次元画像から前記第１の視点への第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、前記複数の３次元画像のうちの第２の３次元画像から前記第１の視点への第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するためのビュー移動プロセッサと、
    前記第１の中間テクスチャマップと前記第１のテクスチャマップとの比較に応答して、第１の残留データテクスチャマップを生成し、前記第２の中間テクスチャマップと前記第１のテクスチャマップとの比較に応答して、第２の残留データテクスチャマップを生成する残留プロセッサであって、前記第１の残留データテクスチャマップは、前記第１の中間テクスチャマップと前記第１のテクスチャマップとの差を示し、前記第２の残留データテクスチャマップは、前記第２の中間テクスチャマップと前記第１のテクスチャマップとの差を示す、残留プロセッサと、
    前記複数の３次元画像と前記第１の残留データテクスチャマップと前記第２の残留データテクスチャマップとを含むが前記第１のテクスチャマップは含まない画像信号を生成するための信号生成器と、
    を備える、装置。
12. 画像を生成する方法であって、前記方法は、
    異なる視点からのシーンを表しそれぞれがメッシュとテクスチャマップとを含む複数の３次元画像を含む画像信号を受け取るステップであって、前記画像信号は、さらに、前記複数の３次元画像の前記異なる視点と異なる第１の視点のための複数の残留データテクスチャマップを含み、前記複数の残留データテクスチャマップのうちの第１の残留データテクスチャマップは、前記複数の３次元画像のうちの第１の３次元画像のテクスチャマップである第１の基準テクスチャマップの前記第１の視点への視点移動の結果として生じるテクスチャマップに対して相対的に、前記第１の視点のためのテクスチャマップに残留データを提供し、前記複数の残留データテクスチャマップのうちの第２の残留データテクスチャマップは、前記複数の３次元画像のうちの第２の３次元画像のテクスチャマップである第２の基準テクスチャマップの前記第１の視点への視点移動の結果として生じるテクスチャマップに対して相対的に、前記第１の視点のためのテクスチャマップに残留データを提供し、前記画像信号は、前記第１の視点のための完全なテクスチャマップを含まない、受け取るステップと、
    前記複数の３次元画像のうちの第１の３次元画像のメッシュである第１の基準メッシュから、前記第１の視点のための第１のメッシュを生成し、前記複数の３次元画像のうちの第２の３次元画像のメッシュである第２の基準メッシュから、前記第１の視点のための第２のメッシュを生成するステップと、
    前記第１の３次元画像の視点から前記第１の視点への前記第１の基準テクスチャマップの視点変換に応答して、第１の中間テクスチャマップを生成し、前記第２の３次元画像の視点から前記第１の視点への前記第２の基準テクスチャマップの視点変換に応答して、第２の中間テクスチャマップを生成するステップと、
    前記第１の中間テクスチャマップと前記第１の残留データテクスチャマップとの組合せに応答して、前記第１の視点のための第１のテクスチャマップを生成し、前記第２の中間テクスチャマップと前記第２の残留データテクスチャマップとの組合せに応答して、前記第１の視点のための第２のテクスチャマップを生成するステップと、
    前記第１のテクスチャマップと前記第１のメッシュと前記第２のテクスチャマップと前記第２のメッシュとから、前記第１の視点と異なり、且つ、前記複数の３次元画像の前記異なる視点と異なる第２の視点のための２次元画像を生成するステップと、
    を有する、方法。
13. 画像信号を生成する方法であって、前記方法は、
    異なる視点からのシーンを表す複数の３次元画像であって、それぞれがメッシュとテクスチャマップとを含む複数の３次元画像を受け取り、前記複数の３次元画像の前記異なる視点と異なる第１の視点のための第１のテクスチャマップを受け取るステップと、
    前記複数の３次元画像のうちの第１の３次元画像から前記第１の視点への第１の基準テクスチャマップの視点変換に応答して第１の中間テクスチャマップを生成し、前記複数の３次元画像のうちの第２の３次元画像から前記第１の視点への第２の基準テクスチャマップの視点変換に応答して第２の中間テクスチャマップを生成するステップと、
    前記第１の中間テクスチャマップと前記第１のテクスチャマップとの比較に応答して第１の残留データテクスチャマップを生成し、前記第２の中間テクスチャマップと前記第１のテクスチャマップとの比較に応答して第２の残留データテクスチャマップを生成するステップであって、前記第１の残留データテクスチャマップは、前記第１の中間テクスチャマップと前記第１のテクスチャマップとの差を示し、前記第２の残留データテクスチャマップは、前記第２の中間テクスチャマップと前記第１のテクスチャマップとの差を示す、ステップと、
    前記複数の３次元画像と前記第１の残留データテクスチャマップと前記第２の残留データテクスチャマップとを含むが前記第１のテクスチャマップは含まない画像信号を生成するステップと、
    を有する、方法。

Images