JP2023545139A - ビュー依存ポイントクラウドレンディションを使用する技法 - Google Patents

Abstract

画像をレンダリングするための方法及びデバイスが提供される。方法は、少なくとも２つの異なるカメラ位置から画像を受信することと、カメラ配向及び各位置に関連付けられた少なくとも１つの画像属性を判定することと、を含む。次いで、画像の受信されたカメラ位置に関連付けられた属性及びカメラ配向に基づいて、画像のモデルが生成される。モデルは、複数の観察配向で画像の仮想レンダリングを提供し、観察配向に関連付けられた適切な属性を選択的に提供することを可能にされている。【選択図】図２

Description

本開示は、概して、画像レンダリングに関し、より詳細には、ポイントクラウド技法を使用する画像レンダリングに関する。

ボリュメトリックビデオキャプチャは、多くの場合実際のシーンにおける動画像を、後で任意の角度から観察することができるようにキャプチャすることを可能にする技法である。これは、特定の角度のみから人及びオブジェクトの画像をキャプチャすることに制限される通常のカメラキャプチャとは非常に異なる。加えて、ビデオキャプチャは、三次元（three-dimensional、３Ｄ）空間におけるシーンのキャプチャを可能にする。その結果、取得されるデータを使用して、現実のものであるか、又は代替的にコンピュータによって生成された没入型体験を確立することができる。仮想、拡張及び複合現実環境の人気が高まるにつれて、ボリュメトリックビデオキャプチャ技法も人気が高まっている。これは、技法が写真の視覚的品質を使用し、それを空間化されたコンテンツの没入感及び対話性と混合するためである。技法は複雑であり、コンピュータグラフィックス、光学、及びデータ処理の分野における最近の進歩の多くを組み合わせている。

ボリュメトリック視覚データは、典型的には、現実世界のオブジェクトからキャプチャされるか、又はコンピュータ生成ツールの使用を通して提供される。そのようなオブジェクトの共通表現を提供する１つの一般的な方法は、ポイントクラウドの使用を通したものである。ポイントクラウドは、三次元（３Ｄ）形状又はオブジェクトを表す空間内のデータポイントのセットである。各点は、そのＸ、Ｙ又はＺ座標のセットを有する。ポイントクラウド圧縮（point cloud compression、ＰＣＣ）は、ボリュメトリック視覚データを圧縮する方法である。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）のサブグループは、ＰＣＣ規格の開発に取り組んでいる。ポイントクラウド表現のためのＭＰＥＧ ＰＣＣ要件は、３Ｄ位置ごとにビュー依存属性を必要とする。パッチ、又はポイントクラウドのある程度の点は、観察者角度に従って観察される。しかしながら、異なる角度に従ってシーンにおける任意の３Ｄオブジェクトを観察することは、いくつかの視覚的態様が視野角に応じ得るので、異なる属性（例えば、色又はテクスチャ）の修正を必要とし得る。例えば、光の特性は、オブジェクトのレンダリングに影響を与える可能性があり、その理由は、観察する角度が、オブジェクトの材料に応じてその色及び陰影を変化させる可能性があるからである。これは、テクスチャが入射光波長に依存し得るためである。残念ながら、現在の先行技術は、あらゆる角度条件下でオブジェクトの現実的なビューを提供しない。キャプチャされた画像又は走査された画像に対して観察者の角度に従って変調された属性は、元のコンテンツの忠実なレンディションを常に提供するわけではない。問題の一部は、画像をレンダリングするときに好ましい観察者角度が既知である場合であっても、３Ｄ属性に関連するものとして画像をキャプチャするために使用されたカメラ設定及び角度が、後で可能な現実的なレンダリングを提供することができる方法で常に文書化されているわけではなく、３Ｄポイントクラウド属性がいくつかの観察角度で不確実になる可能性があるためである。したがって、現実的なビュー及び画像をレンダリングするときに、従来技術のこれらの欠点に対処するための技法が必要とされる。

一実施形態では、画像をレンダリングするための方法及びデバイスが提供される。方法は、少なくとも２つの異なるカメラ位置から画像を受信することと、カメラ配向及び各位置に関連付けられた少なくとも１つの画像属性を判定することと、を含む。次いで、画像の受信されたカメラ位置に関連付けられた属性及びカメラ配向に基づいて、画像のモデルが生成される。モデルは、複数の観察配向で画像の仮想レンダリングを提供し、観察配向に関連付けられた適切な属性を選択的に提供することを可能にされている。

別の実施形態では、デコーダ及びエンコーダが提供される。デコーダは、１つ以上の属性データを有するビットストリームから復号化するための手段であって、データが、属性キャプチャ視点に対応する少なくとも関連付けられた位置を有する、手段を有する。デコーダはまた、受信された全ての当該属性を使用して、ビットストリームからポイントクラウドを再構築し、ポイントクラウドからレンダリングを提供するように構成されたプロセッサを有する。エンコーダは、モデル及びレンダリングを符号化することができる。

本開示の教示は、添付の図面と併せて以下の詳細な説明を考慮することによって、より容易に理解することができる。
カメラリグ及び画像をレンダリングする仮想カメラの例の例解図である。 図１と同様であるが、カメラがシステム座標に対して異なる角度で画像をレンダリングしている。 平面上に投影され、単位正方形に展開される球の八分円の八面体マップの例解図である。 八面体モデリングを使用する参照解除ポイント値及び近傍の例解図である。 一実施形態による、キャプチャ位置を提供する表の例解図である。 図５において提供されたものと同様の情報を有する代替表を例解する。 一実施形態による、フローチャート例解図である。 １つ以上の実施形態による、符号化及び復号化システムの一般的な概要を概略的に例解する。 一実施形態による、エンコーダのフローチャート例解図である。

理解を容易にするために、可能な場合には、図面に共通する同一の要素を指定するために同一の参照番号が使用されている。

図１は、画像又はビデオのレンダリングを提供するカメラリグ及び仮想カメラの例を提供する。レンダリングを提供するとき、カメラキャプチャパラメータは、ポイントクラウド技術を使用して適切な属性（例えば、色又はテクスチャ）ポイントサンプルを選択するために、レンダリングを提供している少なくともプロセッサに既知でなければならない。図１においてキャプチャされた画像は、数字１００で示されている。画像は、オブジェクト、シーン、又はビデオ若しくはライブストリームの一部であり得る。これが、ビデオ画像、ＴＶ画像、静止画像、又はビデオレコーダ若しくはコンピュータによって生成された画像、あるいは走査画像などのデジタル画像である場合、画像は、従来、水平ライン及び垂直ラインに配置されたピクセル又はサンプルからなる。単一画像内の画素数は、典型的には数万である。各画素は、典型的には、輝度及びクロミナンス情報などの特定の特性を含む。画像から伝達される情報の純然たる量は、従来の放送又はブロードバンドネットワークを介して伝送することが不可能ではないとしても困難であり、圧縮技法は、エンコーダから画像デコーダへのような画像をしばしば伝送するために使用される。圧縮方式の多くは、本発明の異なる実施形態で提供されるＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格に準拠している。

画像はキャプチャされ、図１の１００で提供されるような二次元で提示される。二次元（two dimensional、２Ｄ）画像の３Ｄ感覚を提供する現実的な３Ｄ画像又はレンダリングを提供することは困難である。最近使用されている１つの技法は、先に考察されるように、特にポイントクラウド技術を使用するものであるボリュメトリックビデオキャプチャを利用する。ポイントクラウドは、データポイントのセットを提供する。各点は、空間内のＸ、Ｙ、及びＺ座標のセットを有し、この点のセットは共に、３Ｄ形状又はオブジェクトを表す。圧縮方式が使用されるとき、ポイントクラウド圧縮（ＰＣＣ）は、距離、色、並びに他の特性及び属性などの追加情報に関連付けられた三次元点を記述する巨大なデータセットを含む。

考察されるいくつかの実施形態では、ＰＣＣ規格及びＭＰＥＧ規格の両方が使用される。ポイントクラウド表現のためのＭＰＥＧ ＰＣＣ要件は、３Ｄ位置ごとにビュー依存属性を必要とする。例えば、Ｖ－ＰＣＣ（ＦＤＩＳ ＩＳＯ／ＩＥＣ ２３０９０－５、ＭＰＥＧ－Ｉパート５）に規定されているようなパッチ、又はポイントクラウドのある程度のポイントは、観察者角度に従って観察される。しかしながら、異なる角度に従ってポイントクラウドとして表されるシーン内の３Ｄオブジェクトを観察することは、視野角の異なる属性値（例えば、色又はテクスチャ）関数を示し得る。これは、オブジェクトを構成する材料の特性に起因する。例えば、表面上の光の反射（等方性、非等方性など）は、画像がレンダリングされる方法を変更することができる。オブジェクトの表面の材料反射は、入射光波長に依存するので、光の特性は一般に、レンダリングに影響を与える。

先行技術は、各３Ｄ属性をキャプチャするために使用されたカメラ設定及び角度がほとんどの場合に文書化されておらず、３Ｄ属性が特定の角度から不特定になるので、異なる視点の下でキャプチャされた、又は走査された材料のいずれかについて、レンディション属性を観察者角度に従って忠実に変調することを可能にする解決策を提供していない。

加えて、ＰＣＣ及びＭＰＥＧ規格を使用するとき、ビュー依存属性は、タイリング、ボリュメトリックＳＥＩ、及びビューポートＳＥＩメッセージにもかかわらず、意図されたように３Ｄグラフィックスに対処しない。加えて、いくつかの情報がＶ－ＰＣＣストリームにおいて搬送される一方で、（ＣＧＩの場合には仮想である可能性がある）マルチ角度取得システムによってキャプチャされた同じタイプのポイント属性は、属性「カウント」（ａｔｔｒｉｂｕｔｅ＿ｉｎｆｏｒｍａｔｉｏｎ（ｊ）シンタックス構造内のａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ）にわたって記憶され、いくつかの問題を引き起こす属性インデックス（属性ビデオデータユニット内で搬送された属性データのインデックスを示すｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ）によって識別され得る。例えば、所与の角度に従って所与の属性をキャプチャするために使用される取得システム位置又は角度に関する情報はない。したがって、キャプチャ属性とそれらのキャプチャ位置との間には関係がないので、属性次元に記憶された属性のそのような収集は、観察者の観察する角度に従って任意に変調され得るだけである。これは、キャプチャされた属性の位置に関する情報の欠如、レンダリング中のコンテンツの任意の変調、及び元のコンテンツ属性に忠実でない非現実的なレンダリングなど、いくつかの欠点及び弱点につながる。

ポイントクラウド配置では、ポイントの属性は、観察者の視点に従って変化し得る。これらの変動をキャプチャするために、以下の要素を考慮する必要がある：
１）観測されたポイントクラウドに対する観察者の位置、
２）異なるキャプチャ角度に従ったポイントクラウドのいくつかのポイントについての属性値の収集、及び
３）キャプチャされた属性値の所与のセットに対するキャプチャカメラの位置（キャプチャ位置）。

ビデオベースのＰＣＣ（又はＶ－ＰＣＣ）規格及び仕様は、ビュー依存属性をレンダリングすることを可能にする「ビューポートＳＥＩメッセージファミリー」を通じて観察者の位置を提供する際に（項目１）、これらの問題のいくつかに対処する。しかしながら、残念ながら、これは、理解され得るように、レンダリング問題を提示する。これらの場合のうちのいくつかにおいて、属性がキャプチャされた位置についての指標がないので、レンダリングは影響を受ける。（一実施形態では、ａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔは、キャプチャされた属性のリストをインデックス付けするだけであるが、それらがキャプチャされた場所の情報はないことに留意されたい）。これは、一度生成され計算された記述メタデータにキャプチャ位置を記憶する際の異なる可能性によって解決することができる。

項目２において、特定のキャプチャカメラは、オブジェクトの属性（色）をキャプチャしない場合があり（例えば、頭部を考慮する場合、前方のカメラは、頬、目．．．をキャプチャするが、頭部の後ろはキャプチャしない．．．）、その結果、各点には、角度ごとに実際の属性が提供されないことに留意されたい。

属性をキャプチャするために使用されるカメラの位置は、ＳＥＩメッセージにおいて提供される。このＳＥＩは、ビューポート位置ＳＥＩメッセージと同じシンタックス要素及び同じセマンティクスを有するが、キャプチャカメラ位置を限定するので、以下の点が異なる：
－「ｖｉｅｗｐｏｒｔ」は、意味において「ｃａｐｔｕｒｅ」に置き換えられる。
－ｃｐ＿ａｔｌａｓ＿ｉｄは、関連付けられた現在のＶ３Ｃユニットに対応するアトラスのＩＤを指定する。ｃｐ＿ａｔｌａｓ＿ｉｄの値は、０～６３の両端を含む範囲内にあるものとする。
－ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘは、カメラ位置に関連付けられた属性データのインデックスを示す（すなわち、マッチングｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘに等しい）。ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘの値は、０～（ａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ［ｃｐ＿ａｔｌａｓ＿ｉｄ］－１）の両端を含む範囲内にあるものとする。
－ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒｔｉｔｉｏｎ＿ｉｎｄｅｘは、カメラ位置に関連付けられた属性次元グループのインデックスを示す。

この詳細についての更なる情報は、図５に示されるように表１に提供される。情報は、一般的な場所に記憶することができ、後で使用するためにアトラスなどのリポジトリから検索することができる。例えば、示されるように、ｃｐ＿ａｔｌａｓ＿ｉｄは、ビットストリームにおいてシグナリングされず、その値は、キャプチャ位置ＳＥＩメッセージと同じアクセスユニット内に存在するＶ３Ｃユニットから推測される（すなわち、ｖｕｈ＿ａｔｌａｓ＿ｉｄに等しい）か、又は先行若しくは後続のＶ３Ｃユニットの値をとる。

代替的に、ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘはシグナリングされず、ストリームに記憶された属性データよりも何らかの順序であるものとして非明示的に導出される（すなわち、導出されたｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘの順序は、復号／ストリーム順序においてｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘと同じである）。

更に別の代替的な実施形態では、キャプチャ位置シンタックス構造は、存在する属性データセットの数に応じてループする。ループサイズは、明示的にシグナリングされる（例えば、ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ）か、又はａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ［ｃｐ＿ａｔｌａｓ＿ｉｄ］－１から推論され得る。これを図６及び表２に示す。

加えて、代替的に又は任意選択的に、キャプチャ位置がビューポート位置と同じであるかどうかをキャプチャ位置ＳＥＩメッセージにおいて示すためにフラグが提供され得る。このフラグが１に等しく設定されている場合、ｃｐ＿ｒｏｔａｔｉｏｎ－ｒｅｌａｔｅｄ（ｑｕａｔｅｒｎｉｏｎ→ｒｏｔａｔｉｏｎ）及びｃｐ＿ｃｅｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇシンタックス要素は伝送されない。

代替的に、属性が軸（ｘ、ｙ、ｚ）又は方向に従ってビュー独立であるかどうかを指定する少なくとも１つのインジケータが提供され得る。実際に、ビュー依存性は、特定の軸又は位置に対してのみ生じ得る。

別の実施形態では、やはり前の例のうちの１つに追加的に又は任意選択的に、インジケータが、ポイントクラウドの周りのセクタを、ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘによって識別された属性データセットに関連付ける。再構成されたポイントクラウドの中心からの角度及び距離などのセクタパラメータは、固定されるか又はシグナリングされ得る。

代替実施形態では、キャプチャ位置は、ＳＥＩメッセージの処理を介して提供され得る。これは、図２に関連して考察することができる。図２は、同じ画像１００のキャプチャカメラ選択であるが、この例では、レンダリングのための３つの角度を有する。一実施形態では、考察される属性を使用する。角度は、一実施形態では、システム座標に対して相対的である。この実施形態では、角度（又は回転）は、例えば四元数モデルなどの当業者に既知の様々なモデルで判定される。（ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ（及び任意選択的に、属性キャプチャシステムの位置を属性情報のインデックスにリンクするｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒｔｉｔｉｏｎ＿ｉｎｄｅｘ、すなわち、それが関連する属性ビデオデータユニットにおいて搬送された属性データのインデックスであるマッチングｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘを参照）。この情報は、キャプチャシステムから見られる属性値（ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘによって識別される）を、観察者から見られる属性値（場合によってはビューポートＳＥＩメッセージによって識別される）と一致させることを可能にする。典型的には、選択された属性データセットは、（ビューポートＳＥＩメッセージによって示された）ビューポート位置パラメータが（キャプチャ位置ＳＥＩメッセージによって示された）キャプチャ位置パラメータに等しいか又は近い（いくつかの閾値及び平均二乗誤差のようないくつかのメトリックに従う）属性データセットである。

一実施形態では、レンダリング時に、ポイントクラウドの各ポイントが以下によってレンダリングされる：
－ドット積を使用して、角距離（図２参照）に関してｎ個の［１，ａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ［ｊ］］内のｎは、クライアント側でユーザ定義されるか、又はＳＥＩ内のメタデータとして符号化され、単純なデフォルト値は１であり得る）キャプチャ位置ＳＥＩメッセージから最も近いキャプチャ視点を見出すこと（ａは、レンダリングカメラとポイントとの間のベクトルであり、ｂは、キャプチャカメラとポイントとの間のベクトルである）

－前に選択された各キャプチャ視点に対して、ＳＥＩ内のそのインデックスｉ（ｃｐ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ）を使用して、ポイント値Ｃｉを参照解除する。
－次いで、例として、角距離によって重み付けされたｎ個の値の間の比例混合を使用して、最終ポイント値を計算する。
○（（１８０／θ１）^＊Ｃ１＋（１８０／θ２）^＊Ｃ２＋．．．）／ｎ

代替的に、異なる実施形態では、キャプチャされた視点のセットは、特定の最大角距離内の「全ての」キャプチャ視点によって選択され、次いで、前述と同じ方法で混合することができる。

図３は、球の八分円を八面体の面にマッピングする八面体表現を提供し、八面体表現は、平面上に投影され、単位正方形に展開される。図３は、ポイントごとの方向セクタの符号化のために非明示的モデルを使用することによって、レンダリングのための情報を符号化する別の方法として使用することができる。本実施形態及び本例の場合、キャプチャデータは、常にポイント多値表（属性データ）において予め定義された順序で符号化され、使用されるモデルに従ってデータが参照解除される。例えば、八面体モデル［２、３］を使用し得、これは、８つのセクション（すなわち８つの視点）における球（図２参照）の規則的な離散化を可能にする。この場合、単位正方形は、ｎ個の可能な点ごとの値（例えば、最大で５×５＝２５個のカメラ位置）を含むように、正方形単位の水平軸及び垂直軸に従って離散化させることができる。

したがって、モデルタイプ（すなわち、八面体、又は更なる使用のための他のレット）及び離散化平方サイズ（例えば、最大でｎ＝１１）を符号化することのみが必要である。これらの２つの値は全ての点を表し、非常にコンパクトに記憶される。例として、単位正方形の走査順序は、ラスタ走査又は時計回り若しくは反時計回りである。以下のような例示的なシンタックスを提供することができる：

ここで、
－存在する場合、ｃｍ＿ａｔｌａｓ＿ｉｄは、関連付けられた現在のＶ３Ｃユニットに対応するアトラスのＩＤを指定する。ｃｐ＿ａｔｌａｓ＿ｉｄの値は、０～６３の両端を含む範囲内にあるものとする。
－ｃｍ＿ｍｏｄｅｌ＿ｉｄｃは、キャプチャ球の離散化のための表現（又はマッピング）のモデルを示す。０に等しいｃｍ＿ｍｏｄｅｌ＿ｉｄｃは、離散化モデルが八面体モデルであることを示す。他の値は、将来の使用のために予約される。
－ｃｍ＿ｓｑｕａｒｅ＿ｓｉｚｅ＿ｍｉｎｕｓ１＋１は、属性値ごとの点の単位で八面体モデルを表す単位正方形のサイズを表す。デフォルト値を判定することができる（１１など）。追加的に、カメラ位置が正方形（例えば、上部、右部、又は右上部）に制約されることを可能にするために、シンタックス要素が提供され得る。

代替的に、同じ表現モデルのみを使用することができ、それはビットストリームにおいてシグナリングされない。不規則キャプチャリグからの実際の規則値を充填することは、ｎのユーザ定義値で、圧縮段階において前のセクションで提示されたアルゴリズムを使用することによって行われることができる。

代替的に、同じ表現モデルのみが使用され、それはビットストリームにおいてシグナリングされない。不規則キャプチャリグからの実際の規則値のファイリングは、ユーザが圧縮のためにｎの値を定義することができる点で、以前に提示されたアルゴリズムを使用することによって行われることができる。

代替的に、非明示的モデルＳＥＩメッセージが、図４に示される処理のために使用されることができる。図４において、参照解除ポイント値及び近傍は、前の八面体モデルにおいて使用される。この実施形態では、レンダリング時に、角度座標をグローバル座標で使用して、使用可能な最も近い値を取り出すことができる。これは、ａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ値：Ｖ＝Ｖａｌ［ｉ^＊ｎ＋ｊ］を有するポイント値（例えば、色）表内の値を参照解除することにつながり、ここで、例えば、ｎ＝１１であり、ｉ及びｊは、正方形単位に関連付けられた水平及び垂直システム座標内のインデックスである。一実施形態では、より複雑なフィルタリングは、高速処理のために八面体マップ内の最近傍を使用して、双線形を使用し得る。

図７は、一実施形態による、画像を処理するためのフローチャート例解図を提供する。ステップ７１０（Ｓ７１０）に示されるように、画像は、少なくとも２つの異なるカメラ位置からのものである。Ｓ７２０では、カメラ配向が判定される。カメラ配向は、カメラ角度、回転、行列、又は当業者によって理解され得る他の同様の配向を含むことができる。一実施形態では、角度は、システム座標に従っていくつかの角度によって判定される複合角度（四元数モデルで表される回転角ｘ、ｙ、及びｚ）であり得る。他の例では、カメラ配向は、レンダリングされる当該画像の３Ｄレンダリングに対するカメラの位置であり得る。代替的に、３Ｄモデルが表現される座標に対して構築された回転行列として表現することもできる。加えて、このステップでは、各位置に関連付けられた少なくとも１つの画像属性も判定される。Ｓ７３０において、モデルが生成される。モデルは、３Ｄ又は２Ｄポイントクラウドモデルであり得る。一実施形態では、モデルは、全ての属性で構築されている（しかし、いくつかは、レンダリングにおいて選択的に提供され得る（Ｓ７４０参照））。モデルは、レンダリングされる画像のモデルであり、画像の受信されたカメラ位置に関連付けられた属性及びカメラ配向に基づく。Ｓ７４０において、画像の仮想レンデイングが提供される。レンダリングは、任意の任意の観察配向のものであり、観察配向に関連付けられた適切な属性を選択的に提供する。一実施形態では、ユーザは、提供されるレンダリングのための好ましい視点を選択することができる。

図８は、１つ以上の実施形態による、符号化及び復号化システムの一般的な概要を概略的に例解する。図８のシステムは、１つ以上の機能を実行するように構成され、符号化デバイス８４０による符号化のために、受信されたコンテンツ（１つ以上の画像又はビデオを含む）を準備するための前処理モジュール８３０を有することができる。また、前処理モジュール８３０は、マルチ画像取得、取得された複数の画像を共通空間などでマージすること、特定のフォーマットの全方位ビデオを取得すること、その他の機能を実行することで、より符号化に好適なフォーマットを準備することができる。別の実装形態は、複数の画像を組み合わせて、ポイントクラウド表現を有する共通空間にする可能性がある。符号化デバイス８４０は、互換性のある復号化デバイス８７０による復元のために、伝送及び／又は記憶に好適な形態でコンテンツをパッケージ化する。概して、厳密には必要とされないが、符号化デバイス８４０は、ある程度の圧縮を提供し、共通空間がより効率的に表されることを可能にする（すなわち、記憶のためにより少ないメモリを使用し、かつ／又は伝送のためにより少ない帯域幅が必要とされる）。２Ｄフレーム上にマッピングされた３Ｄ球の場合、２Ｄフレームは、事実上、いくつかの画像（又はビデオ）コーデックのいずれかによって符号化することができる画像である。ポイントクラウド表現を有する共通空間の場合、符号化デバイスは、例えば、八分木分解によって、周知されているポイントクラウド圧縮を提供し得る。符号化された後、データは、例えばゲートウェイに存在する任意のネットワークインタフェースに典型的に実装され得るネットワークインタフェース８５０に送信される。次いで、データは、インターネットなどの通信ネットワークを通じて伝送することができる。様々な他のネットワークタイプ及び構成要素（例えば、有線ネットワーク、無線ネットワーク、モバイルセルラーネットワーク、ブロードバンドネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ＷｉＦｉネットワークなど）が、そのような伝送のために使用され得、任意の他の通信ネットワークが予見され得る。次いで、データは、ゲートウェイ、アクセスポイント、エンドユーザデバイスの受信機、又は通信受信能力を含む任意のデバイスにおいて実装され得るネットワークインタフェース８６０を介して受信され得る。受信後、データは、復号化デバイス８７０に送信される。次いで、復号化されたデータは、センサ又はユーザ入力データと通信することもできるデバイス８８０によって処理される。デコーダ８７０及びデバイス８８０は、単一のデバイス（例えば、スマートフォン、ゲームコンソール、ＳＴＢ、タブレット、コンピュータなど）に統合され得る。別の実施形態では、レンダリングデバイス８９０も組み込まれ得る。一実施形態では、復号化デバイス８７０は、補間データ及び非補間データを含む少なくとも１つの色成分を含む画像を取得し、非補間データを有する少なくとも１つの色成分内の１つ以上の場所を示すメタデータを取得するために使用され得る。

図９は、デコーダのフローチャート例解図である。一実施形態では、デコーダは、Ｓ９１０に示されるように、少なくとも属性キャプチャ視点に対応する位置をビットストリームから復号化する手段を含む。ビットストリームは、属性キャプチャ視点に対応する位置に関連付けられている１つ以上の属性を有することができる。デコーダは、Ｓ９２０に示されるように受信された全ての当該属性を使用して、ビットストリームからポイントクラウドを再構成再構成するように構成された少なくとも１つのプロセッサを有する。次に、プロセッサは、Ｓ９３０に示されるように、ポイントクラウドからレンダリングを提供することができる。

多くの実装形態が説明されている。それにもかかわらず、様々な修正が行われ得ることが理解されるであろう。例えば、異なる実装形態の要素は、他の実装形態を生成するために組み合わせ、補足、修正、又は削除することができる。追加的に、当業者は、開示されたものに対して他の構造及びプロセスを置換することができ、結果として生じる実装形態は、少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、開示された実装形態と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これら及び他の実装形態は、本出願によって企図される。

Claims (20)

1. 画像を処理する方法であって、
   少なくとも１つのカメラ位置から画像を受信することと、
   カメラ配向及び前記位置に関連付けられた少なくとも１つの画像属性を判定することと、
   前記画像の前記受信されたカメラ位置に関連付けられた前記属性及びカメラ配向に基づいて、レンダリングされる前記画像のモデルを生成することであって、
   前記モデルが、複数の観察配向で前記画像の視点を提供することを可能にされている、生成することと、前記観察配向に関連付けられた適切な属性を選択的に提供することと、を含む、方法。
2. 画像を処理するためのデバイスであって、
   少なくとも１つのカメラ位置から画像を受信するように構成されたプロセッサであって、
   カメラ配向及び前記位置に関連付けられた少なくとも１つの画像属性を判定すること、
   前記画像の前記受信されたカメラ位置に関連付けられた前記属性及びカメラ配向に基づいて、レンダリングされる前記画像のモデルを生成することであって、
   前記モデルが、複数の観察配向で前記画像をレンダリングし、前記観察配向に関連付けられた適切な属性を選択的に提供する視点を提供することを可能にされている、生成することを更に行うように構成されている、プロセッサを備える、デバイス。
3. 前記カメラ位置を含む前記カメラ属性がリポジトリに記憶される、請求項１に記載の方法又は請求項２に記載のデバイス。
4. 前記リポジトリがアトラスである、請求項３に記載の方法又は請求項３に記載のデバイス。
5. 前記モデルが、属性の選択的サブセットで構築されている、請求項１～４のいずれか一項に記載の方法又は請求項２～４のいずれか一項に記載のデバイス。
6. 前記モデルが、全ての属性で構築されているが、前記属性のうちのいくつかのみが、前記レンダリングにおいて表示される、請求項１若しくは３～４のいずれか一項に記載の方法又は請求項２～４のいずれか一項に記載のデバイス。
7. 前記選択された属性が、前記レンダリングによって表示されている視野角に依存する、請求項６に記載の方法又は請求項６に記載のデバイス。
8. 前記カメラ配向が、カメラ角度である、請求項１に記載の方法又は請求項２に記載のデバイス。
9. 前記カメラ配向が、３Ｄレンダリングに対する前記カメラの前記位置である、請求項１に記載の方法又は請求項２に記載のデバイス。
10. 前記カメラ配向は、前記３Ｄモデルが表される座標に対して構築された回転行列として表される、請求項１に記載の方法又は請求項２に記載のデバイス。
11. 前記画像が、複数の画素を含み、前記属性が、１つ以上の画素に関連付けられている、請求項１若しくは３～１０のいずれか一項に記載の方法又は請求項２～１０のいずれか一項に記載のデバイス。
12. 前記属性が、前記画像における１つ以上の画素の彩度若しくは輝度のいずれか、又は両方を含む、請求項１１に記載の方法又は請求項１１に記載のデバイス。
13. 前記属性が、前記画像によって表示された少なくとも表面上の光によってキャプチャされた方性又は非等方性特性を含む、請求項１１若しくは１２に記載の方法又は請求項１１若しくは１２に記載のデバイス。
14. 前記モデルが、三次元（３Ｄ）モデルである、請求項１に記載の方法又は請求項２に記載のデバイス。
15. 前記モデルが、二次元（２Ｄ）点モデルである、請求項１に記載の方法又は請求項２に記載のデバイス。
16. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるときに、請求項１又は３～１５のいずれか一項に記載の方法を実行するためのソフトウェアコード命令を含む、コンピュータプログラム。
17. １つ以上の属性データを有するビットストリームから復号化するための手段であって、前記データが、属性キャプチャ視点に対応する少なくとも関連付けられた位置を有する、手段と、
    受信された全ての前記属性を使用して前記ビットストリームからポイントクラウドを再構築するように構成されたプロセッサと、を備える、デコーダ。
18. 前記プロセッサがまた、前記ポイントクラウドからレンダリングを提供するように構成されている、請求項１７に記載のデコーダ。
19. 前記他のプロセッサと通信している第２のプロセッサが、前記ポイントクラウドからレンダリングを提供するように構成されている、請求項１７に記載のデコーダ。
20. 属性が、前記レンダリングによって提示される前記視点に基づいて、前記レンダリングのために選択される、請求項１８に記載のデコーダ。