JP7460641B2 - 光強度画像を生成するための装置及び方法 - Google Patents

光強度画像を生成するための装置及び方法 Download PDF

Info

Publication number
JP7460641B2
JP7460641B2 JP2021541447A JP2021541447A JP7460641B2 JP 7460641 B2 JP7460641 B2 JP 7460641B2 JP 2021541447 A JP2021541447 A JP 2021541447A JP 2021541447 A JP2021541447 A JP 2021541447A JP 7460641 B2 JP7460641 B2 JP 7460641B2
Authority
JP
Japan
Prior art keywords
light intensity
image
value
depth
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541447A
Other languages
English (en)
Other versions
JP2022520525A (ja
JPWO2020165076A5 (ja
Inventor
クリスティアーン ファレカムプ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022520525A publication Critical patent/JP2022520525A/ja
Publication of JPWO2020165076A5 publication Critical patent/JPWO2020165076A5/ja
Application granted granted Critical
Publication of JP7460641B2 publication Critical patent/JP7460641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Description

本発明は光強度画像を生成するための装置および方法に関し、特に、高速ハードウェア処理に適した複数の異なる視点からのテクスチャマップおよびメッシュに基づいて、新しい視点のための光強度画像を生成することに関する。
三次元シーンに基づくグラフィックアプリケーションは、特にコンピュータグラフィックアプリケーションのような多くのアプリケーションにおいて普及している。高速三次元グラフィックス処理をサポートするために、多数の規格および仕様が開発されている。これは、視点シフトのような多くの標準動作のための標準化された関数およびルーチンを提供することができるので、より高速な設計および実装を提供するだけでなく、専用ハードウェアグラフィックエンジンがこれらのルーチンのために開発され、最適化されることを可能にする。実際、多くのコンピュータにとって、GPU(グラフィック処理ユニット)は、現在では、CPU(中央処理ユニット)と同等以上に強力かつ重要であることがよくある。
高速グラフィック処理をサポートするための規格の例として、グラフィック処理をサポートする多数の関数を備えたAPI(Application Programming Interface)を提供するOpenGL規格がある。この規格は、典型的には、ハードウェア加速グラフィックス処理を提供するために使用され、特定のルーチンは、GPUの形の専用の高速ハードウェアによって実装される。
ほとんどのこのようなグラフィック規格では、シーンの表現は、関連する三次元メッシュと複数のテクスチャマップの組み合わせによるものである。実際、多くのシナリオにおける特に効果的なアプローチは、画像オブジェクト、または実際にはシーン全体を、ポリゴンの集合が三次元位置によって与えられるそれらの共通のエッジまたはコーナー（頂点）によって接続されるポリゴンメッシュによって表すことである。それに応じて、結合された三次元ポリゴンメッシュは、画像全体の三次元記述を含む、三次元オブジェクトの有効なモデルを提供する。ポリゴンメッシュは、多くの場合、3D空間で与えられる共通のコーナーを持つ三角形によって形成される三角形メッシュである。
一例として、ステレオカメラは、所与の視点からシーンの画像を記録することができる。各画素に対して、画素によって表されるオブジェクトまでの距離を推定するために視差推定が実行されることができる。これは各画素に対して実行され、それにより、各画素に対してx, y, zの三次元位置を提供することができる。そして、これらの位置は、三角形（または他のプリミティブ）メッシュの頂点として使用されることができ、2つの三角形が2×2画素の各グループに対して形成される。この結果、多数の三角形が生じる可能性があるので、プロセスは、いくつかの初期の三角形をより大きな三角形に（またはいくつかのシナリオでは、より一般的にはより大きな多角形に）組み合わせることを含むことができる。これにより、三角形の数は減少するが、メッシュの空間分解能も低下する。したがって、それは、典型的には奥行き変化に依存し、主に平坦な領域で行われる。
各頂点は、テクスチャマップの光強度値にさらに関連付けられる。テクスチャマップは、本質的に、頂点の画素位置におけるオブジェクトのシーンにおける光/色強度を提供する。典型的には、光強度画像/テクスチャマップは、メッシュと共に提供され、各頂点は、頂点のx、y、z位置を表すデータと、テクスチャマップ内のリンクされた位置を識別するu、vデータとを含み、すなわち、テクスチャマップにおいてキャプチャされたx、y、z位置における光強度を指す。
そのような表現では、多角形メッシュがオブジェクトの三次元幾何学的形状の情報を提供するために使用され、一方、テクスチャは典型的には別個のデータ構造として提供される。具体的には、テクスチャは、処理アルゴリズムによって三次元ジオメトリ上にオーバーレイされることができる別個の二次元マップとして提供されることが多い。
三角形メッシュの使用は、コンピュータグラフィックスアルゴリズムによる処理および操作に特に適しており、多くの効率的なソフトウェアおよびハードウェアソリューションが開発されており、市場で入手可能である。各多角形を別々に処理するのではなく、複数の多角形に対して共通に個々の頂点を処理するアルゴリズムによって、多くのシステムにおいて、実質的な計算効率が達成される。例えば、典型的な三角形メッシュの場合、個々の頂点は、多くの場合、いくつかの（しばしば3-8個の）三角形に共通である。したがって、単一の頂点の処理は、比較的多数の三角形に適用可能であり、それによって、処理されている画像または他のオブジェクト内の点の数を大幅に低減することができる。
特定の例として、多くの現在のシステムオンチップ（SoC）は、3Dグラフィックスの処理のために高度に最適化されたGPUを含む。たとえば、3Dオブジェクトジオメトリと3Dオブジェクトテクスチャの処理は、いわゆるOpenGLレンダリングパイプラインにおいて（またはDirectXなどの他の多くのAPIにおいて） 、大きく異なる2つのパスを使用して行われる。SoC上のGPUのハードウェアは、3Dソースが頂点（典型的には三角形）とテクスチャの形でGPUに提示される限り、3Dグラフィックスを効率的に扱うことができる。次いで、OpenGLアプリケーションインターフェースは、3Dオブジェクトが2Dスクリーン上に投影されたときにどのように見えるかを決定する仮想透視カメラの設定および制御を可能にする。OpenGLは入力として3Dオブジェクトを使用するが、出力は、典型的には、通常の2Dディスプレイに適した2D画像である。
しかしながら、そのようなアプローチは、三次元情報が多角形メッシュ及び関連するテクスチャ情報によって提供されることを必要とする。これは例えば、完全にコンピュータにより生成された仮想シーン及び環境に基づくゲームのようないくつかのアプリケーションにおいて提供するのが比較的容易であるが、他の実施形態においてはそれほど容易ではない。特に、現実のシーンをキャプチャすることに基づくアプリケーションでは、これらがテクスチャおよびメッシュ表現に変換されることが必要である。これは、前述したように、ステレオ画像に基づいてもよいし、シーンの画像及び奥行き表現に基づいてもよい。しかしながら、そのような変換を実行するための多くのアプローチが知られているが、それは自明ではなく、多くの複雑な問題および課題を提起する。
グラフィックス処理における一般的な演算は、入力テクスチャマップ及びメッシュの視点とは異なる視点に対して画像が生成される視点変更である。グラフィックAPIは、典型的には、そのような視点変換を非常に効率的に実行するための関数を有する。しかしながら、入力メッシュは典型的には完全ではないので、そのような視点変換は、シフトが大きすぎる場合、品質劣化をもたらす。さらに、視点からのシーンの表現は、典型的には、前景オブジェクトがその背後の要素を遮蔽する多数の遮蔽要素を含む。これらの要素は新しい方向からは見える場合があり、すなわち、視点の変化は、遮蔽解除をもたらす可能性がある。しかしながら、推定された奥行きについて、入力テクスチャマップおよびメッシュは、そのような場合、これらの遮蔽解除された部分についてのいかなる情報も含まない。したがって、必要な情報が得られないので、それらを最適に表現することはできない。
これらの理由から、視点変換は、異なる視線方向に対応する複数のテクスチャマップ及びメッシュに基づくことが多い。実際、新しい（見えていない）視点を合成するために、典型的には、複数のキャプチャされたメッシュを異なる視点からの関連するカメラ画像（テクスチャ）と組み合わせることが好ましいか、または必要でさえある。異なる視点からのデータを組み合わせる主な理由は、1つのビューでは隠されている（遮蔽されている）が別のビューでは見えるオブジェクトを回復することである。この問題は、視点補間と呼ばれることが多い。
しかしながら、これに対する従来のアプローチは、依然として最適ではない傾向がある。
例えば、新しい視点を生成するための1つのアプローチは、異なる視点から生じるメッシュを単一の世界座標系に変換し、次いで、新しいカメラ平面上への透視投影を実行することである。これらの手順は、標準的なグラフィックスハードウェアで実行できる。しかしながら、これは、典型的には隠れた面を正しく示さない。具体的には、グラフィックスハードウェアは、奥行きテストを使用して、点が単一のピクセルに結合されるときに最も前方の点を選択する。このアプローチは、視点シフトにより画像オブジェクトが互いに対して動くために新しい遮蔽が生じる自己遮蔽（すなわち、新しい視点において、元の視点からは遮蔽されない2つの点に対する遮蔽が存在し得る）に対処するために使用される。しかしながら、異なる画像に適用される場合、これは、誤差または劣化をもたらす可能性がある。実際、奥行きは、典型的には、（ハロー効果のように）前景オブジェクトを越えて延在するように線形に補間され、最前点はしばしば、前景オブジェクトの隣にあるために遮蔽され得る領域に対応する。
奥行き画像に基づくビュー補間のための技術の一例は、C.LZitnick et.al., "High-quality video view interpolation using a layered representation," SIGGRAPH '04 ACM SIGGRAPH 2004, pp.600-608において提供される。高品質を達成するために、この技術は、メインレイヤと（奥行き遷移の周りの）境界レイヤから成る2レイヤ表現を使用する。これらは、（透明度を説明する）アルファマッティングを使用して構築され、レンダリング処理中に両方がワープされる（および他のビューと混合される）。このアプローチの欠点は、2レイヤ表現を生成するためにメッシュを切断する必要があることである。このプロセスは奥行きマップのための閾値を選択し、深さ不連続における対応するメッシュの三角形を消去する必要がある。閾値を使用するとレンダリングにおける時間的安定性が潜在的に低下する可能性があるので、これは望ましくない。
メッシュおよびテクスチャマップ表現に基づくビュー補間のための特定のアプローチの例は、WO2018104102A1に提供されている。このアプローチは、対応するメッシュにおける勾配に基づいて、異なる視点からの光強度情報を組み合わせることに基づく。しかしながら、このアプローチは多くの実施形態において有利な性能を提供することができるが、すべてのシナリオにおいて最適ではない傾向があり、さらに、比較的複雑な演算を必要とする傾向があり、比較的高い計算リソースを要する。
従って、異なる視点に対して画像を生成するための改善されたアプローチは有利であり、特に、柔軟性の増大、精度の向上、複雑性の低減、計算効率の向上、既存のグラフィック処理アプローチとの互換性の向上、画質の向上、遮蔽解除性能の向上、及び/又は性能の向上を可能にするアプローチが有利であろう。
したがって、本発明は、好ましくは上記の欠点の1つ以上を単独でまたは任意の組み合わせで軽減、低減または排除しようとするものである。
本発明の一態様によれば、光強度画像を生成する方法が提供され、当該方法は、第1視点からのシーンを表す第1テクスチャマップおよび第1メッシュを受信するステップと、第2視点からのシーンを表す第2テクスチャマップおよび第2メッシュを受信するステップと、前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、第3視点からのシーンを表す光強度画像を決定するステップと、を有し、前記光強度画像を決定するステップは、前記光強度画像内の対応する第1画像位置と、前記第1メッシュの頂点に対する第1画像位置奥行き値を決定するステップと、前記光強度画像内の対応する第2画像位置と、前記第2メッシュの頂点に対する第2画像位置奥行き値を決定するステップと、前記光強度画像内の複数の位置のうちの第1位置の各々に対して、前記第1テクスチャマップと前記第1画像位置に基づいて第1光強度値を決定し、前記第1画像位置と前記第1画像位置奥行き値に基づいて第1奥行き値を決定するステップと、前記第2テクスチャマップと前記第の画像位置に基づいて第2光強度値を決定し、前記第2画像位置と前記第2画像位置奥行き値に基づいて第2奥行き値を決定するステップと、少なくとも前記第1光強度値と前記第2光強度値の重み付けされた組み合わせとして、前記第1位置における光強度画像の光強度値を決定するステップとを有し、前記第2光強度値に対する前記第1光強度値の重み付けは、前記第1奥行き値が増加するほど増加する。
本発明は、多くの実施形態において、他の視点からのテクスチャマップ及びメッシュに基づいて、所与の視点に対する光強度画像の改善された生成を提供することができる。多くのシナリオでは、入力視点のうちの一方に関して遮蔽解除されるが、他方に関して遮蔽解除されない領域の改善された表現が達成される。このアプローチは、特に、多くの実施形態において、前景オブジェクトのエッジの周りにおける改善された品質を提供することができる。
このアプローチは、他のアプローチでは既知のメッシュホールの生成を回避することができ、奥行きの一貫性を改善することができる。
このアプローチの特定の利点は、多くの実施形態において、標準的なグラフィックルーチンによって緊密にサポートされ得ることである。個々の演算の多くは、多くの実施形態において、標準化され、専用化され、最適化されたグラフィック処理ハードウェアによって実行されることができる。例えば、このアプローチは、標準化されたグラフィック処理と互換性があり、これらを効率的に利用することができる。実際、このアプローチは、ユーザ適応を可能にするレンダリング/処理パイプラインの一部に非標準的なアプローチを制限することによって、例えばOpenGL規格のような標準化されたアプローチと互換性がある。例えば、第1及び第2光強度値の決定ならびに/又は組み合わせは、例えばOpenGLレンダリングパイプラインのフラグメントシェーダステージの一部として実行されてもよい。第1/第2画像位置および対応する奥行き値の決定は、例えばOpenGLレンダリングパイプラインの頂点シェーダによって実行されることができる。
さらに、このアプローチは、奥行き勾配などの特定の値の専用の決定およびワーピング/視点シフトを必要とせず、したがって、限られた計算資源を有する実装に適している。このアプローチは、例えば、スマートフォンのようなポータブル装置における実施に特に適している。
処理のリソース集約的要素のために標準化されたハードウェア加速処理を使用する可能性は、例えば、システムの速度または容量を大幅に増加させることができる。これは、多くの実施形態において、複雑さおよび/またはリソース要件を低減することができる。
いくつかの実施形態では、組み合わせは、他の視点のためのテクスチャマップ及びメッシュから導出された追加の光強度値を含むことができる。
メッシュは、各頂点が三次元位置に関連付けられる（有する）三次元メッシュであってもよい。各頂点は、具体的には、少なくとも三次元空間位置x、y、zによって表されることができる。メッシュの各頂点は、対応するテクスチャマップ内の位置にさらにリンクされてもよい。例えば、各頂点に対して、空間位置x、y、zに対応するテクスチャマップ内の位置u, vが格納されてもよい。
メッシュは、表現されたオブジェクトの奥行きに関する情報を含むことができるが、それに限定されない（例えば、説明されるように、頂点は単に奥行き座標によってではなく、三次元座標によって表現されることができる）。
奥行きは、例えば、視差によって表されてもよく、例えば、奥行きマップは視差マップの指標であってもよい。より高い奥行き値は、基準視点からの更なる距離を示し、従って、視点から更に離れ、背景に向かう奥行きを示す。
第1奥行き値が増加するほど、第2光強度値に対する第1光強度値の重み付けを増加させることは、第1奥行き値の単調増加関数として第1光強度値に対する重みを決定すること、および/または、第1奥行き値の単調減少関数として第2光強度値に対する重みを決定することによって達成されることができる。
多くの実施形態では、第1および第2テクスチャマップならびに第1および第2メッシュは、現実のシーンのキャプチャから生成される。
このアプローチは、現実のシーンのキャプチャのための新しい視点のための画像の高性能かつ効率的な決定を可能にすることができ、例えば、仮想現実グラフィックエンジンによって提供される画像に限定されない。
本発明の任意選択の特徴によれば、重み付けは、第1奥行き値と第2奥行き値との間の差の符号に依存する。
これは、特に効率的な実装及び/又は高い性能を提供することができ、特に多くのシナリオにおいて、入力テクスチャマップ内の遮蔽されている値ではなく遮蔽されていない値を表す光強度値に向けて組み合わせをバイアスすることができる。
差の符号は、第1奥行き値が第2奥行き値よりも大きいかどうか、または第2奥行き値が第1奥行き値よりも大きいかどうかを示すことができる。それは、その差がどれだけ大きいかとは無関係であるだろう。
本発明の任意選択の特徴によれば、重み付けは、第1奥行き値と第2奥行き値との間の差分測度の大きさに依存する。
これは、特に効率的な実装及び/又は高い性能を提供することができる。差の大きさは、第1奥行き値と第2奥行き値との間の差がどれだけ大きいかを示すことができるが、どちらが大きいかを示すことはできない。大きさは絶対値であってもよい。
本発明の任意の特徴によれば、第1奥行き値および第2奥行き値のうちの小さい方の奥行き値に対する、第1奥行き値および第2奥行き値のうちの大きき方の奥行き値の重み付けは、差分測度の大きさが大きくなるにつれて増加する。
これは、多くの実施形態において、高性能で特に効率的な実装を提供することができる。
本発明の任意選択の特徴によれば、光強度画像に対する光強度値を決定することは、最大の奥行き値に対応する第1光強度値および第2光強度値の値に光強度値を設定することを含む。
これは、多くの実施形態において、高性能で特に効率的な実装を提供することができる。
本発明の任意選択の特徴によれば、光強度画像内の対応する第1画像位置と、第1メッシュの頂点のための第1画像位置奥行き値とを決定することは、頂点シェーダによって実行される。
これは、多くの実施形態において、高性能で特に効率的な実装を提供することができる。これは、特に効率的な動作を提供することができ、リソース要件を低減することができ、かつ/または処理速度を大幅に増大させることができる。特に、多くの実施形態では、プロセスのリソースクリティカルな要素のために標準化されたハードウェアアクセラレーションを使用することができる。
このアプローチは、同じ最適化された機能（例えば、GPUなど）を処理のリソースクリティカル要素のために再使用することができる、極めて効率的で複雑性の低い動作を可能にすることができる。
本発明の任意選択の特徴によれば、第1光強度値を決定するステップは、第1フラグメントシェーダによって実行される。
これは、多くの実施形態において、高性能で特に効率的な実装を提供することができる。これは、特に効率的な動作を提供することができ、リソース要件を低減することができ、かつ/または処理速度を大幅に増大させることができる。特に、多くの実施形態では、プロセスのリソースクリティカルな要素のために標準化されたハードウェアアクセラレーションを使用することができる。
本発明の任意選択の特徴によれば、光強度画像の光強度値を決定するステップは、第2フラグメントシェーダによって実行される。
これは、多くの実施形態において、高性能で特に効率的な実装を提供することができる。これは、特に効率的な動作を提供することができ、リソース要件を低減することができ、かつ/または処理速度を大幅に増大させることができる。特に、多くの実施形態では、プロセスのリソースクリティカルな要素のために標準化されたハードウェアアクセラレーションを使用することができる。
本発明の任意の特徴によれば、前記第2フラグメントシェーダは、少なくとも1つの光強度成分値および1つの透明成分値を含む多成分値を有する第2シェーダテクスチャマップを受信し、前記透明成分値に応じて、複数のテクスチャマップからの光強度成分値を組み合わせることにより出力光強度値を生成するように構成され、前記方法はさらに、前記第1光強度値を含む多成分値の透明成分値を第1奥行き値に設定する。
このアプローチは、同じ最適化された機能（例えば、GPUなど）を処理のリソースクリティカルな要素のために再使用することができる、極めて効率的で複雑性の低い動作を可能にすることができる。
第1光強度値を含む多成分値の透明成分値を第1奥行き値に設定するステップは、第2フラグメントシェーダが光強度画像の光強度値を決定する前に実行されてもよい。第1フラグメントシェーダは、第1光強度値および第1奥行き値を決定することができる。次いで、画像生成器は、多成分値を含むテクスチャマップを生成することができ、多成分値は、少なくとも第1光強度値及び第1奥行き値を含むように設定され、第1奥行き値は、多成分値の透明成分フィールド/パラメータ/値に含まれる。次に、第2フラグメントシェーダは、透明成分値（この場合、第1フラグメントシェーダによって決定された第1奥行き値である）に応じて、複数のテクスチャマップからの光強度成分値を結合することによって、テクスチャマップを処理して、出力光強度値を生成することができる。
本発明の任意選択の特徴によれば、重み付けされた組み合わせは、第3メッシュおよび第3テクスチャマップから生成された第3光強度値をさらに含む。
このアプローチは、異なる視点（または実際には同じ視点からの複数のメッシュ画像）に対するより多くの入力メッシュ画像に基づいて光強度画像を生成するのに非常に適している
本発明の任意選択の特徴によれば、第2光強度値に対する第1光強度値の重み付けは、第1光強度値の周囲の第1近傍の第1光強度値および第2光強度値の周囲の第2近傍の第2光強度値に依存する。
これは、多くの実施形態において性能を改善することができる。
第1近傍は第1テクスチャマップおよび第1メッシュから生成される光強度値を含んでもよく、第2近傍は第2テクスチャマップ及び第2メッシュから生成される光強度値を含んでもよい。
本発明の任意選択の特徴によれば、重み付けは、第1視点と第3視点との間の差にさらに依存する。
これは、多くの実施形態において性能を改善することができる。
本発明の任意選択の特徴によれば、第2光強度値に対する第1光強度値の重み付けはさらに、第1奥行きマップにおいて、第1メッシュ位置における奥行きを決定するために使用される奥行き推定の信頼性を示す信頼性指標に依存し、第2光強度値に対する第1光強度値の重み付けは、奥行き推定の信頼性が増加することを示す信頼性指標に対して増加する。
これは、多くの実施形態において性能を改善することができる。
本発明の一態様によれば、光強度画像を生成する装置が提供され、当該装置は、第1視点からのシーンを表す第1テクスチャマップと第1メッシュとを受信する受信機と、第2視点からのシーンを表す第2テクスチャマップと第2メッシュとを受信する受信機と、前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、前記第3視点からのシーンを表す光強度画像を生成する画像生成器と、を有し、前記画像生成器は、前記第1テクスチャマップと前記第1メッシュに基づいた視点変換により前記光強度画像における第1位置に対する第1光強度値を決定する第1ビュー変換器と、前記第2テクスチャマップと前記第2メッシュに基づいた視点変換により前記第1位置に対する第2光強度値を決定する第2ビュー変換器と、前記第1光強度値と前記第2光強度値との重み付け組み合わせにより前記第1位置における光強度画像のための光強度値を決定する結合器と、を有し、前記重み付け組み合わせの重み付けは、前記第1位置に対応する第2メッシュ位置での前記第2メッシュにおける第2奥行き勾配に対する、前記第1位置に対応する第1メッシュ位置での前記第1メッシュにおける第1奥行き勾配に依存する。
本発明のこれらおよび他の態様、特徴および利点は以下に記載される実施形態から明らかになり、それを参照して説明される。
本発明の実施形態は、単なる例として、図面を参照して説明される。
1つの背景オブジェクトおよび前景オブジェクトを有するシーンについての視点変換の例を示す図。 本発明のいくつかの実施形態による画像を生成するための装置の要素の例を示す図。 本発明のいくつかの実施形態による画像を生成するための方法の要素の例を示す図。 本発明のいくつかの実施形態による画像を生成するための方法の要素の例を示す図。 本発明のいくつかの実施形態による画像の光強度値を生成するための方法の要素の例を示す図。
以下の説明は、異なる視点（すなわち、異なるカメラビュー）から現実の三次元シーンをキャプチャすることから生成されるテクスチャマップおよびメッシュに基づく二次元画像のレンダリングに適用可能な本発明の実施形態に焦点を当てる。しかしながら、本発明はこのアプリケーションに限定されず、例えば、仮想現実シーンのためのコンピュータで生成された奥行きマップ及びメッシュに基づく画像の生成に適用されてもよいことが理解されるであろう。
多くの3D画像（ビデオを含む）処理アルゴリズムおよび処理は三角形メッシュの使用に基づき、これは、多くの実施形態において、高い計算効率を提供し得る。関連するテクスチャマップと共に三次元情報を提供するメッシュは、特にコンピュータグラフィックスのような多くのグラフィック処理システムで広く使用されている。メッシュは、奥行き情報を含む幾何学的構造の情報を提供することができる（しかし、もちろん、奥行き情報のみを提供することに限定されず、例えば、メッシュは、典型的には、各頂点についての三次元座標を提供することができる）。簡潔にするために、以下では、メッシュとそれに関連するテクスチャマップとの組み合わせをメッシュ画像とも呼ぶ。
メッシュ画像ベースのグラフィックス処理および画像生成は広く普及しており、大部分のコンピュータグラフィックスカード、携帯電話、ゲームコンソールなどは、1つ以上のメッシュベースのグラフィックス処理アプローチに基づいているか、またはそれをサポートしている。専用ハードウェアベースのグラフィックス処理などを効率的に利用するためにアプリケーションが使用できるクロスプラットフォームアプリケーションプログラミングインタフェースを提供する多数の規格が開発されている。このようなアプローチには、高度に専用化され最適化されたハードウェアを含む、広くサポートされているよく知られたOpenGLまたはDirectXアプリケーションプログラミングインタフェースが含まれる。
メッシュ画像ベースの処理は、シーンをレンダリングするときに視線方向を柔軟に修正するのに非常に適しており、視点が厳密な水平線における動きに限定されず、むしろ視点の自由な動きが望まれるシナリオに特に適している。新しい視点を生成する効率的な方法は、異なる視点から生じるメッシュを単一の世界座標系に変換し、次いで新しいカメラ平面上への透視投影を実行することである。これらの手順は、OpenGL規格に基づくハードウェアなど、規格に最適化されたグラフィックスハードウェアを使用して非常に効率的に実行できる。しかしながら、品質を最適化し、視点変換によって遮蔽解除された領域のための追加情報を提供するために、新しい視点からのレンダリング画像の生成は、複数の異なる視点に対して提供されるテクスチャマップおよびメッシュに基づくことが好ましい。
本発明者は、これがしばしばアーチファクトを伴う最適ではない結果、特に、奥行き歪み、および遮蔽解除された領域の不正確な充填につながる可能性があることに気付いた。
これは、1つの背景オブジェクトの前に1つの前景オブジェクトを有する例を示す図1によって示されることができる。この例では、各点/ドットは、頂点によって表されることができるシーン位置に対応すると考えることができ、典型的には、ドットは、ピクセルを表すことができ、実際にはメッシュの頂点を表すことができる。図1は、第1視点1及び第2視点2に対してメッシュ画像が提供される例を示す。これらのメッシュ画像に基づいて、第1視点1と第2視点2との間の第3視点3のための二次元画像が生成される。したがって、この例では、第1および第2視点1, 2は、シーンをキャプチャするときのカメラビュー対応し、視点3はシーンの所望のビューに対応する。画像は、レンダリングに対して生成された光強度画像である。それは、ディスプレイによってレンダリング/表示される画像の個々の画素の光強度値を直接反映することができる。
光強度値は光強度を示す任意の値とすることができ、具体的には、例えば1つのカラーチャネルの光強度とすることができることを理解されたい。例えば、光強度値は、RGB表現のR、GまたはBの値であってもよく、または例えばYuv表現のY値であってもよく、あるいは実際にはそのようなYuv表現のuまたはv値であってもよい。uおよびv値はクロマ値であってもよく、これらはまた、レンダリング時の個々のカラーチャネルの光強度に関する情報を提供することに留意されたい。したがって、光強度値は、色表現の輝度、色差または彩度の値であってもよい。
図1において、最初の図は、黒い（中実）ドットにより視点1から見える位置を示し、前景オブジェクトによって遮蔽される背景オブジェクト上の位置は、白い（中空）ドットによって示される。2番目の図は、視点2からの対応する状況を示す。したがって、2つの最初のサブ図は、2つの異なるカメラの視点1および2に対するシーン点の可視性を示す。
第3のサブ図は、視点1および2からのメッシュおよびテクスチャを組み合わせて、これらを視点3にワーピング（視点変換）した結果を示す。視点2から生じるメッシュは、局所的に引き伸ばされ、ギャップが形成される（背景オブジェクトの部分の遮蔽解除に対応する）。ギャップの奥行きは、仮想視点3への投影後、奥行きが異なる点間で線形に補間される。したがって、事実上、視点2のためのメッシュおける背景と前景との間の遷移においてメッシュを形成する基本形、ほとんどの実施形態では三角形は、視点2から視点1への視点変換後に引き伸ばされる。
図1のグレーの円は視点2から生じる点を表し、視点3のカメラ座標でシーンを投影するときに、メッシュ内の既知の3D点間で直線的に補間される点を表す。従って、グレーのドット/点は、視点2から視点3への視点変換の結果としての遮蔽解除の後に、視点3からの画像内の位置に対応するように生成される奥行き位置を示す。これらの点は、視点1から見える背景物体上の点を表す背後の黒い点よりも視点3に近い。
しかしながら、視点2用の画像を生成する場合、典型的なアプローチは、最も前方の位置を選択することである。したがって、視点1から生じ、視点1から見える黒い点を理想的に選択するのではなく、システムは、視点2から生じるグレーの点を選択する。したがって、光強度画像値は、これらの点において、視点1のテクスチャマップに基づくのではなく、視点2のテクスチャマップに基づいて生成される。これにより、オブジェクトが遮蔽されていなかったテクスチャマップからではなく、対応するオブジェクトが遮蔽されたテクスチャマップから、遮蔽解除領域の画像が決定されることになる。その結果、生成された画像の品質が低下し、典型的には、適切な情報が実際にプロセスに利用可能であるにもかかわらず、遮蔽解除領域の要素が正確に提示されない。
理論的には、標準化されたハードウェアで使用されるような奥行きテストロジックを修正することが可能であるが、これは実際には所与のレンダリングコールに対してのみ行うことができることに留意されたい。したがって、閾値を使用するという前述の欠点を伴う部分においてメッシュを再び分割する必要がある。標準の奥行きテストは、別個の視点からのメッシュがそれ自体の上に折り畳まれ得る自己遮蔽（セルフオクルージョン）に対処するための処理の一部であり、この奥行きテストは、結果として生じる曖昧さを解決するために使用される。
以下では、異なる視点のための複数のメッシュおよび関連するテクスチャマップから光強度画像を生成するための装置および方法が、そのような装置のいくつかの例示的な要素を示す図2、およびそのような方法のいくつかの例示的な要素を示す図3～5を参照して説明される。
図2および3～5の装置および方法のアプローチは、記載された欠点のいくつかを軽減する。具体的には、システムが常に最前点を選択するのではなく、出力画像内の所与の位置について、その位置についての（異なる視点に対する）両方のテクスチャマップの光強度値の重み付けされた組み合わせに基づいて、の光強度値を生成するようにシステムが構成され、重み付けは奥行き値に依存し、しばしばその位置についての奥行き値の間の差に依存する。重み付けは、光強度値の重み付けが、対応する点がさらに後方に向かうにつれて増加するようなものであってもよい。したがって、光強度値に対する重み付けは、奥行きとともに増加し得る。
この装置は、第1メッシュ画像が受信される、すなわち第1メッシュおよび第1テクスチャマップが受信されるステップ301を実行する第1受信機201を備える。第1メッシュ画像は、所与の視点からのシーンを表す。
メッシュ画像は、任意の内部または外部ソースから受信されることができる。例えば、いくつかの実施形態では、メッシュ画像は、外部ソースから、例えば通信システムを介して、または具体的にはネットワーク、例えばインターネットを介して受信されることができる。いくつかの実施形態では、メッシュ画像は、適切な配信メディアを読み取るように動作可能な内部ソースから受信されてもよく、例えば、メッシュ画像はDVDから抽出されることができる。いくつかの実施形態では、メッシュ画像は、例えばハードディスクまたはローカルメモリから抽出されてもよく、または実際には、いくつかの実施形態では、メッシュ画像は、例えばローカルの仮想現実アプリケーションによってローカルで生成されてもよい。
多くの実施形態では、第1テクスチャマップおよび第1メッシュは、実生活シーンのキャプチャから生成され得る。キャプチャは、カメラの適切なセットによるものであってもよい。例えば、単一のステレオカメラ又はレンジカメラが実生活シーンをキャプチャし、画像及び奥行き（視差）マップを生成することができる。他の実施形態では、異なる位置にある複数のカメラが二次元画像をキャプチャすることができ、キャプチャされた画像から、例えば、視差推定によって奥行きマップが生成されることができる。画像のうちの1つはテクスチャマップとして使用されてもよく、メッシュは対応する奥行きマップから生成されてもよい。従って、メッシュ画像は、実生活シーンのキャプチャを提供する画像であることができ、所与の視点においてカメラによってキャプチャされた光強度値を表すテクスチャマップを有し、キャプチャされた奥行き情報がメッシュによって表される。したがって、メッシュ画像は、（例えば、ローカル仮想現実エンジンの場合のように詳細な幾何学モデルが利用可能であるのとは対照的に）所与の視点から決定されることができる情報のみを表すので、シーンに関する限定された情報を提供する。
装置は、第2メッシュ画像を受信する、すなわち、第2テクスチャマップおよび第2メッシュを受信するステップ303を実行する第2受信機203をさらに備える。第2メッシュ画像は同じシーンの表現を提供するが、異なる視点からの表現である。第1メッシュ画像に関する記述は、第2メッシュ画像に等しく適用されることが理解される。
第1受信機201および第2受信機203は、第1テクスチャマップ、第1メッシュ、第2テクスチャマップおよび第2メッシュに応じて、第3視点からのシーンを表す光強度画像が生成されるステップ305を実行する画像生成器205に結合される。したがって、第1および第2視点それぞれについての第1および第2メッシュ画像に基づいて、第3視点についての画像が生成される。第1および第2視点は、典型的には、シーンに対するカメラ視点であり、第3視点は所望の視点を表す。画像は光強度画像であり、具体的には、所与のビューポートに対応することができ、しばしば、第3視点からのシーンのビューを提供するためにディスプレイ上で直接表示されることができる画像とすることができる。具体的には、光強度画像は１セットの光強度値を有し、各光強度値は、画像の位置における光強度を示す。典型的には、画像は、1セットの画素を有し、各画素が1つ以上の光強度値を有する。したがって、各光強度値は、画素値に対応してもよい。
いくつかの実施形態では、各位置（画素）が単一の光強度値に関連付けられる/単一の光強度値によって定義される/単一の光強度値によって記述されることができることが理解されるであろう。これは、例えば、モノクロ画像の場合である。他の実施形態では、各位置（画素）は、複数の光源強度値、例えば、色表現の各チャネルについて1つの光強度値に関連付けられ/それによって定義されることができる。従って、光強度値は色強度値とみなすことができ、光強度画像は色強度画像とすることができる。例えばそれぞれの色チャネルに対応するような複数の光強度値によって表される複数の各画素の場合、記載されるアプローチは、例えば、各色チャネルの光強度値に個々に適用され得る。
そして、画像生成器205は、異なる視点のための画像を生成するように構成される。例えば、いくつかの実施形態では、画像生成器205は、例えばユーザ入力に応じて生成される所望の視点を定義する入力を備えることができる。そして、画像生成部205は、受信されたメッシュ画像に基づいて、その視点に対応する出力表示画像を生成することができる。次いで、この画像は、例えば、適切なディスプレイによってレンダリングされることができる。
画像生成器205の動作は、画像生成器205のアプローチの一例を示す図2および図4を参照して、より詳細に説明される。
画像生成部205は、第1メッシュの頂点に対して光強度画像中の第1奥行き値及び第1画像位置が決定されるステップ401を実行する第1ビュー変換器207を有する。具体的には、第1メッシュ、すなわち第1視点用のメッシュ内の各頂点について、第1視点変換器207は、光強度画像内の対応する画像位置を決定する。これは、光強度画像の画像平面上への第1メッシュ、具体的には頂点の投影、したがって、第1視点から第3視点への効果的な投影に対応すると考えることができる。
また、第1ビュー変換器207は、生成される出力画像（光強度画像）における位置に対応する第1画像位置の決定に加えて、頂点に対する第1奥行き値の決定にも進む。第1奥行き値は、具体的には、第3視点からの頂点の奥行き/距離を示すことができる。したがって、各第1画像位置/頂点について、第1ビュー変換器207は、第3視点からのその位置に対応する奥行きを決定する。
したがって、第1ビュー変換器207は、各頂点について第3視点からの画像内の位置を決定することによって、第1視点から第3視点にメッシュをワープするように構成される。さらに、これらの位置/頂点の各々に対する奥行き値が生成され、したがって、第3画像内の複数の点/位置および関連する奥行きの形の出力が決定され、各点/位置は頂点に対応する。
画像発生器205は、第2メッシュの頂点に対して光強度画像中の第2奥行き値及び第2画像位置が決定されるステップ403を実行する第2ビュー変換器209を更に有する。具体的には、第2メッシュ、すなわち第2視点用のメッシュ内の各頂点について、第2ビュー変換器209は、光強度画像内の対応する画像位置を決定する。これは、光強度画像の画像平面上への第2メッシュ、具体的には頂点の投影、したがって、第2視点から第3視点への効果的な投影に対応すると考えることができる。
また、第2ビュー変換器209は、生成される出力画像（光強度画像）内の位置に対応する第2画像位置の決定に加えて、頂点に対する第1奥行き値の決定にも進む。第2奥行き値は、第3視点からの頂点の奥行き/距離を具体的に示すことができる。したがって、各第2画像位置/頂点について、第2ビュー変換器209は、第3視点からのその位置に対応する奥行きを決定する。
したがって、第2ビュー変換器209は、第1メッシュではなく第2メッシュ上で第1ビュー変換器207と同等の動作を実行し、したがって、第2メッシュ内の各頂点について第3視点からの画像内の位置を決定することによって、第2視点から第3視点にメッシュをワープするように構成される。さらに、これらの位置/頂点の各々に対する奥行き値が生成され、したがって、第3画像内の複数の点/位置および関連する奥行きの形の出力が決定され、各点/位置が頂点に対応する。第1および第2画像位置は、異なるメッシュ、異なる頂点、および異なる視点シフトに基づくので、典型的には異なることに留意されたい。
第3画像の画像位置および奥行きを決定するためにメッシュをワープするための異なるアルゴリズムおよびアプローチが知られており、任意の適切なアプローチが使用されてもよいことが理解されるであろう。
多くの実施形態では、第1ビュー変換器207および第2ビュー変換器209の演算は頂点シェーダによって実行される。頂点シェーディングは、多くの異なるグラフィックアプリケーションで使用されるグラフィック演算であり、非常に効果的で非常に高速な頂点陰シェーディングを実行するために、多くのアルゴリズムおよびプロセスが開発されている。特に、頂点シェーディングのための専用ハードウェアとプロセッサが開発されている。これらのアプローチは、大量の並列処理を利用し、それによって、非常に高速な処理を提供し、非常に複雑なシーンおよびメッシュに対してさえもリアルタイム処理を可能にする。第1ビュー変換器207および第2ビュー変換器209は、具体的には、専用のハードウェア加速処理を使用する頂点シェーダとして実装されることができる。
ほとんどの頂点シェーディングアルゴリズムは、本質的に、画像位置を決定する処理の一部として、出力視点の頂点の奥行き値を生成する。したがって、第1ビュー変換器207および第2ビュー変換器209の説明された機能は、多くの実施形態では、必要な処理能力または複雑さを大幅に増大させることなく、頂点シェーダによって実施されることができる。
したがって、このアプローチは、既存の機能、特に専用ハードウェアの高度の後方互換性および再使用を可能にしながら、画像位置および奥行き値の非常に効率的、かつ多くの場合、高速の計算を可能にする。
画像発生器205は、第3視点に対する出力光強度画像が第1ビュー変換器207および第2ビュー変換器209の出力から生成されるステップ405を実行するように構成される。ステップ405は、具体的には、各画素/位置について図5のステップを実行することによって、出力光強度画像の各画素についての光強度値を決定することを含む。
画像生成器205は、第1画像位置および第1テクスチャマップから、すなわち第1ビュー変換器207から生成された出力に基づいて、生成されるべき出力画像内、すなわち第3視点のための光強度画像内の複数の位置に対する光強度値および奥行き値を決定するように構成された第1シェーダ211をさらに有する。
第1シェーダ211は、第1画像位置及び奥行き値に基づいて、第3視点からの画像に対して、画素位置毎、従って画素毎に光強度値及び奥行き値を生成するように特に構成される。したがって、第1シェーダ211は、出力光強度画像の各位置/ピクセルに対してステップ501を実行し、それによって、第1メッシュ画像から、すなわち第1メッシュおよび第1テクスチャマップから、第3視点に対する第1中間画像および対応する第1中間奥行きマップを生成することができる。
第1シェーダ211は、具体的には、第1ビュー変換器207によって生成された点についての光強度値と奥行き値との間の補間を使用することができる。
一例として、第1メッシュの三次元三角形を考慮してもよい。この三角形を形成する3つの頂点について、第1ビュー変換器207は、第1中間画像及び第1中間奥行きマップにおける対応する画像位置を決定する。従って、第3視点に対する画像面上への第1メッシュ三角形の投影に対応する第1中間画像において、平面三角形が決定される。3つの頂点の各々は、第1テクスチャマップ内の位置に関連付けられ、それによって、第1メッシュ内の三次元三角形に対応するテクスチャマップ内の三角形を定義する。したがって、テクスチャマップ内の同じ三角形は、第1中間画像内の決定された平面三角形にマッピングされ、したがって、第1シェーダ211は、例えば補間によって、平面画像三角形上にこのテクスチャマップ三角形を引き伸ばすことができる。
同様に、第1中間画像内の平面三角形を決定するために、3つの頂点の第1画像位置が、第1中間奥行きマップ内の対応する平面三角形を決定する。さらに、各頂点について、第1ビュー変換器207は、対応する奥行き値を決定しており、したがって、奥行き値は、第1奥行きマップ内の3つの頂点位置について既知であり、第1シェーダ211は、例えば、頂点奥行き値間の補間によって、平面三角形内の異なる位置および特定の画素についての奥行き値を決定することに進むことができる。
画像生成器205は、第2ビュー変換器209からの出力に対して対応する処理を実行するように構成された第2シェーダ213をさらに有する。したがって、第2シェーダ213は、第2テクスチャマップと第2画像位置とに基づいて第2光強度値を生成し、第2画像位置に基づいて第2奥行き値を生成することができる。したがって、第2シェーダ213は、出力光強度画像の各位置/ピクセルについてステップ503を実行し、それによって、第2メッシュ画像から、すなわち第2視点のために提供された第2メッシュおよび第2テクスチャマップから、第3視点のための第2中間画像および第2中間奥行きマップを生成することができる。
さらなる例として、第1シェーダ211および第2シェーダ213は、メッシュ位置に該当するポリゴンの頂点のテクスチャマップ値を補間することによって、光強度値を決定することができる。この補間は、個々の頂点までのメッシュ位置の距離に依存し得る。
例えば、変換前の元のメッシュにおいて、各頂点は現在の視点に基づく座標系における関連する位置を有することができる（例えば、x、y、z座標が各頂点に対して定義される）。さらに、各頂点は、対応するテクスチャマップ内の特定の光強度値/画素値を指し示すことになり、すなわち、1セットの二次元テクスチャマップ座標（u, v）も各頂点について格納される。
第1ビュー変換器207/第2ビュー変換器209によるメッシュの視点変換は、x、y、z値が第3視点の座標系における適切な座標に変換されるように、頂点位置の修正をもたらす。中間光強度画像/奥行きマップ内の所与の第1位置に対応するメッシュ上の点が決定され、これが該当するポリゴンの頂点が識別される。点から各頂点までの距離が決定され、各頂点について、頂点のu, v位置におけるテクスチャマップの光強度画像が決定される。第1位置に対する光強度値は、次に、これらのテクスチャマップ値の重み付き補間によって決定され、重みは個々の頂点までの距離に依存する。同じアプローチが頂点の奥行き値に適用され、中間奥行きマップ内の対応する第1位置に対する奥行き値を生成する。
多くの実施形態では、第1シェーダ211および第2シェーダ213の演算はフラグメントシェーダによって実行される。フラグメントシェーディングは、多くの異なるグラフィックアプリケーションで使用されるグラフィック演算であり、非常に効果的で非常に高速なフラグメントシェーディングを実行するために、多くのアルゴリズムおよびプロセスが開発されている。特に、フラグメントシェーディングのための専用ハードウェアとプロセッサが開発されている。これらのアプローチは、大量の並列処理を利用し、それによって、非常に高速な処理を提供し、非常に複雑なシーンに対してもリアルタイム処理を可能にする。第1シェーダ211および第2シェーダ213は特に、専用のハードウェア加速処理を用いたフラグメントシェーダとして実現することができる。
従って、このアプローチは、第1視点及び第2視点の両方からのメッシュ画像に基づく第3視点のための完全な光強度画像及び奥行きマップの非常に効率的な、且つ多くの場合高速な生成を可能にする。
実際、このアプローチの特別な利点は、第1中間画像、第2中間画像、第1中間奥行きマップ及び第2中間奥行きマップの生成が同じアルゴリズム及び機能を実行することによって達成できることである。特に、4つのフラグメントシェーディング演算が同じアルゴリズムを実施する各フラグメントシェーディングに適用され得るか、または、光強度値および奥行き値の両方を生成する結合されたフラグメントシェーディングが実行され得る。これは、実行されるアルゴリズムおよび演算が、既存の機能を使用することができ、特に、最適化された専用ハードウェアを使用することができるものであるため、特に有利である。特に、このアルゴリズムは並列処理に特に適したものであり、したがって、ハードウェア加速処理に非常に適している。
それぞれのフラグメントシェーディング（すなわち、各中間画像および各デプスマップ）は、別々の機能、特に並行して動作する異なるハードウェアフラグメントシェーダによって実行されてもよいし、例えば、同じ機能、特に同じハードウェアフラグメントシェーダによって実行される反復によって実行されてもよいことが理解されるであろう。
第1シェーダ211および第2シェーダ213は、第1中間光強度画像および第2光強度画像を結合することによって第3視点のための出力光強度画像を生成するように構成された結合器215に結合され、その結合は、第1中間奥行きマップおよび第2中間奥行きマップの奥行き値に基づく。
具体的には、出力光強度画像の所定の位置／画素に対して、結合器215は、ステップ503を実行して、その位置／画素の出力光強度値を、第1中間画像の同じ位置の光強度値と第2中間画像の同じ位置の光強度値との重み付け組み合わせとして生成し 、前記光強度値の少なくとも1つに対する重みは、前記第1中間奥行きマップおよび前記第2中間奥行きマップの少なくとも1つにおけるその位置の奥行き値に依存する。
また、結合器215は、第1中間奥行きマップにおける奥行き値が増加する程、第2中間画像における光強度値の重みに対して第1中間画像における光強度値の重みを増加させるように構成されている。これに対応して、結合器215は、第2中間奥行きマップにおける奥行き値が減少するほど、第2中間画像における光強度値の重みに対して第1中間画像における光強度値の重みを増加させるように構成されてもよい。
多くの実施形態では、結合器215は、第2中間奥行きマップにおける奥行き値が増加するほど、第1中間画像内の光強度値の重みに対して第2中間画像内の光強度値の重みを増加させるようにさらに構成されてもよい。これに対応して、結合器215は、第1中間奥行きマップにおける奥行き値が減少するほど、第1中間画像における光強度値の重みに対して第2中間画像における光強度値の重みを増加させるように構成されてもよい。
したがって、結合器215は、第3観点からより後方にある、すなわちより大きい奥行き値及び距離を有する光強度値に対する重みを増加させるように構成されてもよい。したがって、結合器215は、さらに背景に向かう光強度値に向かって組み合わせをバイアスすることができ、実際に、いくつかの実施形態では、背面の方へと最も遠い光強度値を選択することによる選択組み合わせを実行することができる。
このアプローチは、直観に反するかもしれず、自己遮蔽に対処するために最も前方の光強度値を選択する従来のアプローチとは逆であることに留意されたい。しかしながら、本発明者は、第1シェーダ211および第2シェーダ213のようなフラグメントシェーダからの出力の組み合わせが、最も深い（背景に向かって最も遠い）光強度値に向けてバイアスされるとき、改善された性能が多くの実施形態において達成され得ることを認識した。
本発明者は特に、いくつかの状況において、メッシュ画像視点変換による周囲の視点からの所与の視点に対して生成された2つの画像のそのような組み合わせが、オリジナルのメッシュ画像において遮蔽されない傾向がある画像オブジェクトの重み付けを増加させることによって、改善された遮蔽解除性能を提供し得ることを認識した。例えば、図1の特定の例において、図2のアプローチは、前景画像の左側の結果の画像が、視点2よりも視点1に対する入力画像に基づいていることを可能にし、それによって、領域が遮蔽されない画像にますます基づいていることを可能にすることができる。このアプローチは、非常に大幅な改善を提供し、特に、遮蔽解除された領域において大幅に改善された品質を提供することが見出された。
異なる実施形態では、結合器215によって異なる重み付けされた組み合わせが使用されてもよいことが理解されるのであろう。具体的な例として、重み付き線形結合を使用することができる。例えば、第3視点についての出力画像における各画素について、以下の光強度値cn（ｎは視点を指す）の組み合わせが実行されることができる。
Figure 0007460641000001
前述の式の重みは、生成された中間奥行き値の奥行き値に依存する:
Figure 0007460641000002
関数ｆは、典型的には、重みの視点に対する奥行き値に対する奥行き値の単調増加関数、および/または他の視点に対する奥行き値に対する奥行き値の単調減少関数である。いくつかの実施形態では、この関数は、異なる重みに対して異なっていてもよく、および/または、2つの奥行き値に対して異なる依存性を有していてもよく、実際に、いくつかの実施形態では、一方または両方の重みは奥行き値のうちの1つのみに依存していてもよいことが理解されるであろう。実際、第1の重み、第2の重み又は第1の重みと第2の重みの両方を、各重みが第1奥行き値、第2奥行き値、又は第1奥行き値と第2奥行き値の両方の関数であるように、変化させることによって、第1視点から生じる光強度値と第2視点から生じる光強度値との間の相対的な重みの変化を達成することができる。
多くの実施形態では、重みは第1奥行き値と第2奥行き値との間の差分測度の大きさに依存する。任意の適切な差分測度が使用されてもよいことが理解されるであろう。多くの実施形態では、差分測度は、単に差分であってもよく、したがって、重み付けは第1奥行き値と第2奥行き値との間の差分測度の大きさに依存してもよい。幾つかの実施形態では、差分測度は、例えば、奥行き値に適用される単調関数の出力間の差、又はそのような差の大きさの単調関数であり得る。差分測度の大きさは、第1奥行き値と第2奥行き値との間の差の程度を示すことができるが、これらのうちのどちらが大きいかを示すことはできない。
多くの実施形態では、この大きさが小さいほど、第1光強度値と第2光強度値に対する重みの差が小さくなる。
例えば、第1及び第2光強度値に対する重みの差はd1とd2との間の差の大きさの単調関数、例えば、所与の奥行き値に対して0と1の間に正規化された大きさの二乗であるように決定されてもよい。例えば、重みの間の差は、以下のように決定されてもよい:
Figure 0007460641000003
 ここで、αは、waを［0;1］の範囲にスケーリングするように選択される。
第1光強度値と第2光強度値の重みは、d1とd2との間の差の符号に依存する場合があり、したがって、d1とd2のどちらが大きいかに依存することがある（大きい方の値は画素がより大きい奥行き/最も後ろに向かって離れていることを示す）。たとえば、
Figure 0007460641000004
 及び
Figure 0007460641000005
別の例として、選択アプローチが使用されてもよい:
Figure 0007460641000006
 及び
Figure 0007460641000007
 及び
Figure 0007460641000008
重みを決定するための多くの異なるアプローチおよび方程式が、個々の実施形態の選択および要件に応じて使用され得ることが理解されるであろう。また多くの実施形態では、重みは奥行き値間の差の符号（したがって、どちらの奥行き値が大きいか/どちらの奥行き値が最も遠いか）に依存することができ、差分測度の大きさに依存し得、重みの差は差分測度が増加するほど増加することが理解されるであろう。
多くの実施形態では、第1奥行き値および第2奥行き値のうち小さい方の奥行き値に対する、第1奥行き値および第2奥行き値のうち大きい方の奥行き値に対する重みは、差分測度が大きくなるほど大きくなる（具体的には、（2つの奥行き値のうち）大きい方の奥行き値を持つ光強度値に対する重みと小さい方の奥行き値を持つ光強度値に対する重みとの差は、2つの奥行き値の差分（尺度）が大きいほど大きくなる）。大きい方の奥行き値に対する光強度値に対する重みは、小さい方の奥行き値に対する光強度値に対する重みよりもさらに大きい。
従って、結合器215は、最も後方の光強度値をますます重み付けするように、すなわち、生成される出力光強度値を、最も後方の光強度値に向かってバイアスするように構成されてもよい。このバイアスは、奥行きの差が大きいほど大きくなる。
そのようなアプローチは、多くの実施形態において、特に有利な画像生成をもたらす非常に効率的な実装を提供することができる。
いくつかの実施形態では、結合器215は、例えば、最も大きい奥行き値に対応する光強度値を単に選択することによる選択結合を実行するように構成されてもよい。したがって、第3視点のための出力光強度画像の出力光強度値を生成する際に、結合器215は、それを単に、第1奥行き値が第2奥行き値よりも大きい場合には第1光強度値に、第2奥行き値が第1奥行き値よりも大きい場合には第2光強度値に（それらが同じであれば、いずれかに、または例えば平均値に）設定してもよい。
前述したように、第1ビュー変換器207および第2ビュー変換器209の演算は、多くの実施形態において、有利には頂点シェーダによって実行されてもよく、第1シェーダ211および第2シェーダ213の演算は第1フラグメントシェーダによって実行されてもよい。
さらに、結合器215の演算、すなわち第1および第2中間画像の結合は、多くの実施形態では、フラグメントシェーダによって有利に実行されることもできる。具体的には、2つの画像を一緒に混合するための非常に効果的で非常に高速なフラグメントシェーディングを実行するために、いくつかのアルゴリズムおよびプロセスが開発されており、これらの多くは専用ハードウェアを使用するハードウェア高速化のために最適化され得る。結合器215は、具体的には、2つの画像を混合するために専用のハードウェア加速処理を使用するフラグメントシェーダとして実装することができる。
実際に、個々の演算の大部分が、開発されたグラフィック処理および専用ハードウェアを使用して実行され得ることは、記載されたアプローチの特定の利点である。
グラフィック処理では、透明な画像オブジェクト及び要素を表現することが必要とされることがあり、この目的のために多数のアルゴリズムが開発されている。本発明者は、このような機能を現在のアプローチで利用して非常に効率的な動作を提供し、例えば、このような透明処理のために設計された専用ハードウェアおよびアルゴリズムを、他の視点のためのメッシュ画像に基づいて新しいビューを生成するプロセスのために再使用することができることを認識した。
いくつかの実施形態では、結合器215は、多成分値を含む2つ（またはそれ以上）のテクスチャマップが受信されて一緒に混合されるフラグメントシェーダアルゴリズムを実装するフラグメントシェーダを利用することができる。具体的には、テクスチャマップ内の各uv位置/ピクセルについて、アルゴリズムは、1つの値が光強度値であり、他の値が透明成分値である複数の値を受け取るように設計される。典型的には、各ピクセルの色は、RGB色値などの3つの色成分値によって表され、すなわち、テクスチャマップは3色チャネルテクスチャマップである。さらに、色チャネル/コンポーネントに加えて、アルゴリズムは、第4のチャネル、すなわち、典型的にはαで示される透明度値を提供する透明度チャネルを含むテクスチャマップに基づく。フラグメントシェーダアルゴリズムは、透明度値に基づいてカラーチャネルを組み合わせることによりカラーチャネルを混合することによって、所与の位置に対する出力値を生成するように構成されることができる。これは、背景画像が依然として観察されることを可能にしながら、透明画像が背景画像にオーバーレイされることを可能にし得る。個々の画素に対する透明度は、背景及び前景のそれぞれがどれだけが出力画素において提示されるかを決定し、即ち、それは、背景が（半）透明な前景を通してどれほど可視であるかを示す。
いくつかの実施形態では、結合器215は、第1シェーダ211および第2シェーダ213から奥行き値を取得し、各ピクセルが中間画像からの光強度値および対応する中間奥行きマップの奥行き値を有する多成分値を含む中間多成分テクスチャマップを生成するように構成され得る。具体的には、奥行き値は、フラグメントシェーダアルゴリズムによって透明度に割り当てられたチャネルに格納される。したがって、結合器215は、出力画像内の所与の位置/画素に対して、中間光強度値を含む多成分値の透明成分値を、その位置に対する中間奥行き値に設定する。いくつかの実施形態では、中間奥行き値は直接には含まれず、例えば、単調関数が適用されて、透明度チャネルに格納される値を生成する。例えば、正規化を適用することができる。
したがって、2つ（または例えばそれ以上）の4成分/チャネル中間テクスチャマップを生成することができ、続いて、フラグメントシェーダアルゴリズムがこれらの中間テクスチャマップを用いて呼び出される。フラグメントシェーダアルゴリズムは、奥行きの（導出された）値を透明度値として扱い、アルゴリズムによって透明度値であると仮定される奥行きの（導出された）値に基づいて光強度値（カラーチャネル値）を混合する。
このようにして、既存の透明度ベースのフラグメントシェーダは、結合器215について説明したように、奥行きベースの混合を実行するように「トリッキング」され得る。専用ハードウェアを含む機能を効率的に再利用できる。
説明されたアプローチの非常に重要な利点は、多くの実施形態において、必要とされる演算の多くが、ハードウェアに最適化されたグラフィックス処理によって実行され得ることである。例えば、2つのビュー変換器207, 209、2つのシェーダ211, 213及び結合器215の説明された処理の多くは、例えばOpenGL規格をサポートするGPUによって実行されることができる。これは、コストを低減し、設計および実装を容易にし、典型的には処理速度をはるかに増大させて、より効率的な実装を提供することができる。さらに、このアプローチは、典型的には、容易に利用可能な値に基づいており、例えば、奥行き勾配を生成してワーピングするために、専用の追加の処理を必要としない。むしろ、多くの場合、中間画像を生成するためのワーピングは、ワーピングの一部として必要な奥行き値を本質的に生成する。
具体的な例として、GLSL(OpenGL Shading Language)シェーダプログラムを実装することができ、フラグメントの奥行き値が変数outputColorの4 番目の要素に書き込まれる。
Figure 0007460641000009
この例では、入力テクスチャマップ"texture1"と、テクスチャマップ内のuv座標を表す2成分入力値uvCoordinateとを使用して、そのuv座標のための4成分出力値outputColorを生成する。
outputColorの値は、最初に、所与の位置におけるテクスチャマップの値、すなわちtexture(texture1, uvCoordinate)に設定される。これは、特定のテクスチャマップtexture1に対してuvCoordinateのuv位置の出力カラー値（例えばRGB値）を提供する。さらに、アルゴリズムは、outputColorの第4の成分、すなわちoutputColor［3］を、値gl_FragCoord.zに設定し、これはuvCoordinateに対して固有に生成される奥行き値である。通常、第4の値は透明度値に使用されるが、この例ではこの値が奥行き値によって上書きされる。
第1ビュー変換器207および第2ビュー変換器209はこのようにして、4成分値の2つの中間テクスチャマップを生成し、それによって、中間画像および奥行きマップの両方を表すことができる。次に、これは、以下のようなフラグメントシェーダを実装する結合器215によって混合され得る:
Figure 0007460641000010
この例では、混合された出力値は、2つのテクスチャtexture1およびtexture2から所与のuvCoordinateに対して生成される。最初に、所与のuv座標に対する4成分値が、それぞれt1およびt2に割り当てられる。次に、これらの奥行き値成分をd1およびd2に割り当てる。差が決定され、第1テクスチャマップに対する重みw1が決定される。次に、1つの重みに基づいて2つの値の重み付き線形結合を実行する関数mix()を呼び出すことによって、混合された色値を表すoutputColorが設定される（第2テクスチャマップの重みは、本質的に、混合/結合演算によって1－w1に設定される）。この例では、奥行き差は、より後方の光強度値に向かう所望のバイアスを提供するように適合され得る利得（この場合10.0）によってスケーリングされる。
上記の説明は、2つの入力メッシュ画像に基づいて出力画像を生成するための非常に効率的なアプローチに焦点を当ててきた。しかしながら、このアプローチの特に有利な特徴は、多くの実施形態において、より多数の入力メッシュ画像に容易に拡張できることである。例えば、このアプローチを3つのメッシュ画像に拡張し、第3のメッシュ画像に同じアプローチを使用して中間画像と奥行きマップを生成し、その組み合わせは、より後方の奥行き値に対して増加する重みに基づいた3つの光強度値の重み付けされた組み合わせを含むように拡張されてもよい。
異なるアルゴリズムが、3つ（またはそれ以上）の奥行き値に対する重みを決定するために使用されてもよいことが理解されるであろう。
例えば、いくつかの実施形態では、第2光強度値に対する第1光強度値の重み付けは、第1光強度値の周囲の第1近傍における第1光強度値、及び、第1光強度値の周囲の第2近傍における第2光強度値に依存する。第1近傍および第2近傍は、それぞれ第1中間画像および第2中間画像に固有であってもよい。したがって、第1近傍は、第1シェーダ211によって第1メッシュ画像から生成された光強度値を含むことができ、第2近傍は、第2シェーダ213によって第2メッシュ画像から生成された光強度値を含むことができる。
例えば、第1近傍および第2近傍における光強度値があまり変化しない（低分散である）場合、重みは、奥行きの差にあまり依存しなくなる（またはまったく依存しない）可能性がある。分散が例えば閾値未満である場合、重みは等しくなり得る。例えば、重みは、基準画像の各々に対して固定され、0.5とすることができる。これに対する動機は、両方の基準画像が均一なテクスチャを有する場合、ほとんどの場合には、実際に奥行きの遷移や違いはなく、観測される奥行きの違いはノイズや奥行きの推定誤差によるものであるということである。
多くの実施形態では、組み合わせの重みはさらに、他のパラメータに応じていてもよい。
多くの実施形態では、重みは第1視点と第3視点との間の差にさらに依存してもよい。具体的には、この差が大きいほど重みは小さくなる。この差は、例えば、視点間のx, y, z座標間の幾何学的差として決定されてもよく、又は例えば、画像生成器205に提供される視点変更パラメータから直接決定されてもよい。このアプローチは、視点の変化が小さいほど品質が高くなるという事実を反映して、より小さな視点変換の重みを、より大きな変換よりも高くすることができる。
したがって、いくつかの実施形態では、（1つまたは複数の）重みは、出力視点（第3の視点）が入力視点からどれだけ（例えば、角度差に関して）異なるかを測定するグローバルパラメータに依存することもできる。この角度差が大きい場合、近くのカメラが混合演算におけるより大きな寄与を持つように、重みをより低く選択することができる。
いくつかの実施形態では、重み付けは第1の勾配に対する信頼性指標に依存することができ、ここで、信頼性指標は、奥行き値を決定するために使用される、具体的にはメッシュの奥行き値を決定する際に使用される、奥行き推定の信頼性を示す。
多くの奥行きカメラまたは奥行推定技術は、生成された奥行き推定がどれくらい信頼できるかを示す信頼性指標を提供する。例えば、ステレオペアであるか構造化された光センサであるかにかかわらず、奥行きセンサは、典型的には関連する不確実性を有する。この不確実性は、視差推定処理または奥行きセンサの赤外線測定処理から生じる可能性がある。信頼度情報は、例えば、画素信頼度マップとして提供されてもよい。このような場合、不確実性がより高い画素は、不確実性がより低い画素よりも、その組み合わせにおいてより低く重み付けされることができる。不確実性は、例えば、視点変換の前に重みマップを決定するときに考慮されることができ、または例えば、信頼度マップは、第3の視点にワープされてもよく、第3視点領域における重みを決定するときに考慮されることができる。
いくつかの実施形態によれば、第1テクスチャマップおよび第1メッシュは、実生活シーンのキャプチャから生成される。
明確にするための上記の説明は、異なる機能回路、ユニットおよびプロセッサを参照して本発明の実施形態を説明したことが理解されるであろう。しかしながら、本発明から逸脱することなく、異なる機能回路、ユニットまたはプロセッサ間での機能の任意の適切な分散を使用できることは明らかであろう。例えば、別個のプロセッサまたはコントローラによって実行されることが示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。したがって、特定の機能ユニットまたは回路への言及は、厳密な論理的または物理的構造または編成を示すのではなく、説明された機能を提供するための適切な手段への言及としてのみ見なされるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組合せを含む任意の適切な形態で実施することができる。本発明は、任意選択で、1つまたは複数のデータプロセッサおよび/またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素およびコンポーネントは、任意の適切な方法で物理的、機能的および論理的に実装され得る。実際、機能は、単一のユニットで、複数のユニットで、または他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニットで実施されてもよく、または異なるユニット、回路およびプロセッサの間で物理的および機能的に分散されてもよい。
本発明はいくつかの実施形態に関連して説明されてきたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、或る特徴が特定の実施形態に関連して説明されるように見えるかもしれないが、当業者は説明された実施形態の様々な特徴が本発明に従って組み合わされ得ることを認識するであろう。請求項において、「有する(comprising)」という用語は、他の要素又はステップの存在を排除するものではない。
さらに、個別に列挙されているが、複数の手段、素子、回路または方法ステップが、例えば単一の回路、ユニットまたはプロセッサによって実装され得る。さらに、個々の特徴が異なる請求項に含まれている場合があるが、これらは場合によっては有利に組み合わされてもよく、異なる請求項に含まれることは特徴の組み合わせが実現可能ではない及び/又は有利ではないことを意味しない。また、或る特徴を請求項の1つのカテゴリに含めることは、このカテゴリへの限定を意味するものではなく、むしろ、その特徴が必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。さらに、請求項における特徴の順序は、当該特徴が動作しなければならない特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、当該ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは任意の適切な順序で実行されることができる。さらに、単数への言及は複数を除外しない。従って、「a」、「an」、「第1」、「第2」等への言及は複数を排除するものではない。請求項中の参照符号は、単に明確な例として提供されているにすぎず、請求項の範囲を何らかの態様で限定するものと解釈してはならない。

Claims (13)

  1. 光強度画像を生成する方法であって、
    第1視点からのシーンを表す第1テクスチャマップおよび第1メッシュを受信するステップと、
    第２視点からの前記シーンを表す第２テクスチャマップおよび第２メッシュを受信するステップと、
    前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、第3視点からの前記シーンを表す前記光強度画像を決定するステップと、を有し、
    前記光強度画像を決定する前記ステップは、
    前記光強度画像内の対応する第1画像位置および前記第1メッシュの頂点のための第1画像位置奥行き値を決定し、
    前記光強度画像内の対応する第２画像位置および前記第２メッシュの頂点のための第２画像位置奥行き値を決定し、
    前記光強度画像内の複数の位置のうちの各第1位置について、
    前記第1テクスチャマップおよび前記第1画像位置に基づく第1光強度値、ならびに、前記第1画像位置および前記第1画像位置奥行き値に基づく第1奥行き値を決定し、
    前記第２テクスチャマップおよび前記第２画像位置に基づく第２光強度値、ならびに、前記第２画像位置および前記第２画像位置奥行き値に基づく第２奥行き値を決定し、
    少なくとも前記第1光強度値および前記第2光強度値の重み付け組み合わせとして前記第1位置における前記光強度画像の光強度値を決定し、
    第1奥行き値が増加するほど前記第2光強度値に対する前記第1光強度値の重みが増加し、前記重みが、前記第1奥行き値と前記第2奥行き値との間の差分測度の大きさに依存する、方法。
  2. 前記重みが、前記第1奥行き値と前記第2奥行き値との間の差の符号に依存する、請求項１に記載の方法。
  3. 前記第1奥行き値および前記第2奥行き値のうち小さい方の奥行き値に対する前記第1奥行き値および前記第2奥行き値のうち大きい方の奥行き値に対する重みが、前記差分測度の大きさが増加するほど、増加する、請求項１に記載の方法。
  4. 前記光強度画像内の対応する第1画像位置および前記第1メッシュの頂点に対する第1画像位置奥行き値の決定が頂点シェーダによって実行される、請求項１から請求項３のいずれか一項に記載の方法。
  5. 前記第1光強度値を決定するステップが第1フラグメントシェーダによって実行される、請求項１から請求項４のいずれか一項に記載の方法。
  6. 前記光強度画像の前記光強度値を決定するステップが第2フラグメントシェーダによって実行される、請求項１から５のいずれか一項に記載の方法。
  7. 前記第2フラグメントシェーダが、
    少なくとも１つの光強度成分値および１つの透明成分値を含む多成分値を有する複数の第2シェーダテクスチャマップを受信し、前記透明成分値に応じて前記複数の第2シェーダテクスチャマップからの光強度成分値を組み合わせることにより出力光強度値を生成するように構成され、前記方法がさらに、前記第1光強度値を有する多成分値の透明成分値を第1奥行き値に設定するステップを有する、請求項６に記載の方法。
  8. 前記重み付け組み合わせが、第3メッシュおよび第３テクスチャマップから生成される第3光強度値をさらに含む、請求項１から７のいずれか一項に記載の方法。
  9. 前記第2光強度値に対する前記第1光強度値の前記重みが、前記第1光強度値の周りの第1近傍における第1光強度値および前記第2光強度値の周りの第2近傍における第2光強度値に依存する、請求項１から８のいずれか一項に記載の方法。
  10. 前記重みが、前記第1視点と前記第3視点との間の差にさらに依存する、請求項１から９のいずれか一項に記載の方法。
  11. 前記第2光強度値に対する前記第1光強度値の前記重みが、前記第1奥行きマップにおける前記第1メッシュ位置における奥行きを決定するために使用される奥行き推定の信頼性を示す信頼性指標にさらに依存し、前記第2光強度値に対する前記第1光強度値の前記重みが、前記奥行き推定の信頼性が増加することを示す前記信頼性指標に対して増加する、請求項１から１０のいずれか一項に記載の方法。
  12. 光強度画像を生成するための装置であって、
    第1視点からのシーンを表す第1テクスチャマップと第1メッシュとを受信する第1受信機と、
    第2視点からの前記シーンを表す第2テクスチャマップと第2メッシュとを受信する第2受信機と、
    前記第1テクスチャマップ、前記第1メッシュ、前記第2テクスチャマップおよび前記第2メッシュに応じて、第3視点からの前記シーンを表す前記光強度画像を決定する画像生成器と、
    を有し、
    前記画像生成器は、
    前記光強度画像における対応する第1画像位置および前記第1メッシュの頂点のための第1画像位置奥行き値を決定するための第1ビュー変換器と、
    前記光強度画像における対応する第２画像位置および前記第２メッシュの頂点のための第２画像位置奥行き値を決定するための第２ビュー変換器と、
    前記光強度画像における複数の位置のうちの各第1位置のために、前記第1テクスチャマップおよび前記第1画像位置に基づく第1光強度値、ならびに、前記第1画像位置および前記第1画像位置奥行き値に基づく第1奥行き値を決定するための第1シェーダと、
    前記光強度画像における複数の位置のうちの各第1位置のために、前記第２テクスチャマップおよび前記第２画像位置に基づく第２光強度値、ならびに、前記第２画像位置および前記第２画像位置奥行き値に基づく第２奥行き値を決定するための第２シェーダと、
    前記光強度画像における複数の位置のうちの各第1位置のために、少なくとも前記第1光強度値と前記第2光強度値との重み付け組み合わせとして当該第1位置における前記光強度画像のための光強度値を決定する結合器と、
    を有し、第1奥行き値が増加するほど、前記第２光強度値に対する前記第1光強度値の重みが増加し、前記重みが、前記第1奥行き値と前記第2奥行き値との間の差分測度の大きさに依存する、装置。
  13. コンピュータにより実行されて、当該コンピュータに請求項１から１１のいずれか一項に記載の方法を実行させるコンピュータプログラム。
JP2021541447A 2019-02-15 2020-02-10 光強度画像を生成するための装置及び方法 Active JP7460641B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19157331.0A EP3696773A1 (en) 2019-02-15 2019-02-15 Apparatus and method for generating a light intensity image
EP19157331.0 2019-02-15
PCT/EP2020/053281 WO2020165076A1 (en) 2019-02-15 2020-02-10 Apparatus and method for generating a light intensity image

Publications (3)

Publication Number Publication Date
JP2022520525A JP2022520525A (ja) 2022-03-31
JPWO2020165076A5 JPWO2020165076A5 (ja) 2023-01-30
JP7460641B2 true JP7460641B2 (ja) 2024-04-02

Family

ID=65443692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541447A Active JP7460641B2 (ja) 2019-02-15 2020-02-10 光強度画像を生成するための装置及び方法

Country Status (9)

Country Link
US (1) US11783527B2 (ja)
EP (2) EP3696773A1 (ja)
JP (1) JP7460641B2 (ja)
KR (1) KR20210129685A (ja)
CN (1) CN113424231A (ja)
BR (1) BR112021015772A2 (ja)
CA (1) CA3129658A1 (ja)
TW (1) TWI831919B (ja)
WO (1) WO2020165076A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3792876A1 (en) * 2019-09-13 2021-03-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for rendering a visual scene
US11928787B2 (en) * 2020-07-29 2024-03-12 Intel Corporation Deep novel view synthesis from unstructured input

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028428A (ja) 2009-07-23 2011-02-10 Kddi Corp 光線情報を高速に内挿補間する方法及び装置
WO2018104102A1 (en) 2016-12-06 2018-06-14 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068272B1 (en) * 2000-05-31 2006-06-27 Nvidia Corporation System, method and article of manufacture for Z-value and stencil culling prior to rendering in a computer graphics processing pipeline
JP4187188B2 (ja) * 2002-04-26 2008-11-26 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
CN101822067B (zh) * 2007-07-26 2013-04-24 皇家飞利浦电子股份有限公司 深度相关信息传播方法和设备
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US8698832B1 (en) * 2010-05-26 2014-04-15 Disney Enterprises, Inc. Perceptual detail and acutance enhancement for digital images
US8847968B2 (en) * 2011-07-12 2014-09-30 Qualcomm Incorporated Displaying static images
WO2013133648A1 (ko) * 2012-03-07 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
AU2014218390B2 (en) * 2014-08-27 2017-01-12 Canon Kabushiki Kaisha Method, system and apparatus for forming a high resolution depth map
US9613587B2 (en) * 2015-01-20 2017-04-04 Snaptrack, Inc. Apparatus and method for adaptive image rendering based on ambient light levels
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11528461B2 (en) * 2018-11-16 2022-12-13 Electronics And Telecommunications Research Institute Method and apparatus for generating virtual viewpoint image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028428A (ja) 2009-07-23 2011-02-10 Kddi Corp 光線情報を高速に内挿補間する方法及び装置
WO2018104102A1 (en) 2016-12-06 2018-06-14 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image

Also Published As

Publication number Publication date
US20220139023A1 (en) 2022-05-05
TW202040515A (zh) 2020-11-01
JP2022520525A (ja) 2022-03-31
WO2020165076A1 (en) 2020-08-20
TWI831919B (zh) 2024-02-11
CN113424231A (zh) 2021-09-21
CA3129658A1 (en) 2020-08-20
BR112021015772A2 (pt) 2021-10-05
EP3924941A1 (en) 2021-12-22
KR20210129685A (ko) 2021-10-28
EP3696773A1 (en) 2020-08-19
US11783527B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
EP3643059B1 (en) Processing of 3d image information based on texture maps and meshes
JP4977712B2 (ja) ディスプレースクリーン上に立体画像をレンダリングするコンピュータグラフィックスプロセッサならびにその方法
JP5060830B2 (ja) 遠近補正を行う３次元グラフィック処理方法及び装置
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
KR20080064523A (ko) 3차원 그래픽 처리 장치 및 그것의 동작 방법
JP5106992B2 (ja) 霧効果を考慮して３次元グラフィックスデータをレンダリングする方法及び装置
CN118678014A (zh) 利用光学运动补偿和游戏内运动补偿进行帧插值

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150