JP7447266B2 - ボリュメトリック画像データに関するビューの符号化及び復号 - Google Patents

Description

本発明はボリュメトリック画像データ、例えば点群を符号化するための符号器システム、及び符号化済みのボリュメトリック画像データを復号するための復号器システムに関する。

本発明は、ボリュメトリック画像データを符号化する方法及び符号化済みのボリュメトリック画像データを復号する方法に更に関する。

本発明は、コンピュータシステムがかかる方法を実行することを可能にするコンピュータプログラム製品にも関する。

拡張現実（ＡＲ）及び仮想現実（ＶＲ）は、生で行われているスポーツのリモート観戦、共有ＶＲ及びソーシャルＶＲ、（真剣な）ゲーム及び訓練及び教育等の人を惹きつける、一連の使用事例を提供する。かかる体験は、視聴者が長距離にわたってつながることを可能にする。ＡＲ及びＶＲの両方における真に没入型の体験を得るために、視聴者は６自由度（６ＤｏＦ）を必要とする。つまり、頭部搭載型のＡＲゴーグル又はＶＲディスプレイを装着しているとき、視聴者は、自分の頭部を四方八方に動かすときに、即ち、相対的な横（ヨー）軸、交差（ピッチ）軸、及び縦（ロール）軸に沿って回転させることによる向きの変化と組み合わせて、頭部位置を前後（サージ）、上下（ヒーブ）、及び左右（スウェイ）に変えるときに、より一般的には自分の頭部を自分の身体に対してじっとしたままにしておきながらも、自分の頭部を動かすときに環境の変化を体験する。

視聴者が６ＤｏＦの体験を得ることができる環境を表し、それによりその環境のレンダリングを可能にするために、ボリュメトリック形式が必要とされる。かかるボリュメトリック形式の一態様は、所与の時間にわたって動的に変化するボリュメトリック環境を表すために作成される、ボリュメトリックビデオ形式である。ＡＲ及びＶＲ業界は、その形式に向かって進んでいる。例えば上述の使用事例では、ボリュメトリック捕捉モデルを使用することによって、ユーザの画像をより現実的にすることができる。

ボリュメトリック画像データは、例えば点群（ＰＣ）、ボクセル、又はボリュメトリック（多角形）メッシュを含み得る。メッシュは例えばゲーム内の３Ｄモデルを表すために使用される。点群はボリュメトリックオブジェクトを１組の点として表すために使用することができ、それらの点は、仮想シーン内で使用され得る。点群は（通常非常に大きい）１組の３次元（ｘ，ｙ，ｚ）∈Ｒ^３の点を使用して３Ｄデータを表すための方法であり、ここではｘ，ｙ，ｚはデカルト座標を通常指すが、他の形式も存在し得る（例えば半径ｚの球上の角度ｘ、ｙを有する３Ｄ基準点（例えば［０，０，０］））。表されているデータの種類に応じて、それぞれの点は自らに割り当てられる追加の属性（例えば色、反射、表面配向、タイムスタンプ、動き）を有し得る。

点群内の点は、ゼロのボリュームを有すると通常見なされる（換言すれば定められたサイズ／寸法を有さないと通常見なされる）。かかる点を意味があるようにレンダリングするために、複数の技法が文献に記載されている。より自明な方法の１つでは、レンダリングの前に又はレンダリング中に厚さの値が各点に割り当てられる。この厚さを使用し、３Ｄオブジェクト（例えば非常に小さい球、ボクセル、六角形又は他の形）と共に各点を表すことができ、それによりその点が見えるようになり、背後にある他の点を隠す場合がある。

点群は、一連の測定及び捕捉装置からの出力のための記憶形式としてよく適している。具体的には、赤外線飛行時間（ＴｏＦ）センサと組み合わせられ同期されるＲＧＢカメラ（例えばＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）が、点群として組み合わせられ表現され得る奥行き及び色情報を感知するために一般に使用される。点群の使用をもたらした別の技術はＬｉＤＡＲであり、ＬｉＤＡＲは自動運転車及び遠隔感知で主に知られている技術である。

メッシュは、接続された複数の点又は頂点で構成される３Ｄ構造である。（平）面を形成するために頂点を接続し閉じることができる。グラフィックスカード（ＧＰＵ）は、３面又は４面で構成される大きいメッシュの組をレンダリングするために概して最適化される。頂点の数を増やすことによってオブジェクトをよりよく概算することができる。メッシュはプログラムで構築することができ、及び／又は３Ｄモデリングソフトウェアを使用して定めることができる。メッシュデータを一義的に記憶するための多くの方法もあり、そのため例えば３ＤＳ、ＯＢＪ、ＧＬＴＦ、及びＰＬＹ形式等、この目的のための多くの公開された及び独自仕様の形式がある。

ボクセル又は「ボリュメトリックピクセル」は、ボリュメトリックデータを表すために使用されるデータ構造である。一般に、ボクセルは同様のサイズのセルで構成される３Ｄ「ボクセルグリッド」上に定められる。実際には、ボクセルは医療分野、地理空間分野、並びにより広くはコンピュータグラフィックスにおけるアプリケーションを用いて様々なボリュメトリック測定及びサンプリングを表すために使用される。そのため、ボクセルは、ＭＲＩ、ＣＴ、及び超音波スキャン、衛星による測定、及び地形高度マップの表現において一般に見られる。

３Ｄシーンをレンダリングするとき、通常はユーザが最終的に見ることができる内容（例えばビュー）よりも多く（例えば全シーン）が表される。このことは、ユーザのビューに影響を及ぼさないオブジェクト（の一部）を最初に検出し、次いでそれを無視することによってレンダリング機能を最適化するためにグラフィックスパイプライン内で概して使用される。概してこの種の操作は「カリング」（例えば不所望のオブジェクトの除去）として知られる。カリングの２つの重要な種類は「視錐台カリング」及び「オクルージョンカリング」である。

最も簡単な形のカリングである視錐台カリングは、仮想カメラオブジェクトのビューボリューム内にないオブジェクトを除去する。実際には、（仮想スクリーンが正方形なので）かかるカメラオブジェクトは「近い」面及び「遠い」面（最小及び最大描画距離）を切り落とした四角錐を使用してしばしばモデリングされ、結果として生じるオブジェクトは「錐台」として知られる。視錐台カリングアルゴリズムは、錐台ボリューム内にあるオブジェクトを検出し、他の全てのオブジェクト（の一部）を見ることができないので除去する、つまりカリングすることを含む。

加えて「オクルージョンカリング」は、所与の視点から見えるコンテンツだけを選択するために一般に使用される別の技法である。視聴者の見通し線内の他のオブジェクトによって遮られる全てのオブジェクト（の部分）はレンダリングに関して検討されない。一定の視点からのシーン内のオクルージョンの検出はコンピュータグラフィックスにおいてよく知られている問題であり、一定の視点を所与としてシーン内のどの面（の部分）が見えないのか（従ってレンダリングアルゴリズムの出力に影響を及ぼすことなしに除去できるのか）を突き止める問題である、より一般的な「隠面問題」（及びその類似物である「可視表面問題」）を解決しようと試みる多くのアルゴリズムが開発されている。このトピックに関して膨大な数の文献が入手可能であり、かかるアルゴリズムの実装が現在の最新式のシステム内に存在する。

レンダリングエンジン（Ｕｎｉｔｙ及びＵｎｒｅａｌゲームエンジン等）は、レンダリング段階の前にオクルージョンカリングメカニズムをしばしば提供する。オクルージョンカリングプロセスは１組の仮想カメラによってシーンに目を通し、各仮想カメラの視点からのシーンの可視部分を明らかにする。可視オブジェクトだけが最終的にレンダリングされる。オクルージョンカリングプロセスは、コンテンツレンダリング中の計算時間の殆どを占める。

レンダリングのためにレンダリングシステムに与えられるボリュメトリック画像データ、例えば点群が大きければ大きいほど、（カリングを含む）より多くの処理を行う必要がある。このことは、レンダリングシステムにおいて多くの計算時間が取られることを引き起こす。従って、レンダリングのためにレンダリングシステムに与えられるボリュメトリック画像データのサイズを、可能な限り減らすことが望ましい。

ＣｅｓｉｕｍＪＳ及びＣｅｓｉｕｍ ｉｏｎを含む３Ｄ地理空間データ用のＣｅｓｉｕｍプラットフォームがＣｅｓｉｕｍと呼ばれる会社によって開発されている。このプラットフォームは、レンダリングのためにレンダリングシステムに与えられるボリュメトリック画像データのサイズをやはり減らす技法を提供する。これを実現するためにＣｅｓｉｕｍプラットフォームは３Ｄタイルを使用する。Ｃｅｓｉｕｍタイルは文字通りの空間（例えば地理的）分割を使用し、広い領域から点群を効率的にストリーミングする（及び表示する）ことを目標として有する。広い領域は多くの点群で構成されるが、３Ｄタイルを使用することは所望のデータだけを要求することを可能にする。Ｃｅｓｉｕｍプラットフォームの欠点は、それが３Ｄ地理空間データ用に設計されており、拡張現実及び／又は仮想現実コンテンツ用には設計されていないことである。更なる欠点は、Ｃｅｓｉｕｍタイルが任意の観察位置から分離される３Ｄ空間の任意の分割によって定められることである。その結果、Ｃｅｓｉｕｍタイル内のデータは一定の観察位置から見える場合も見えない場合もあり、そのことは、大きい点群をレンダリングしているクライアントが、このレンダリングされる観察位置に関して遮られたデータを含むＣｅｓｉｕｍタイルをダウンロードしなければならないことを意味する。

本発明の第１の目的は、伝送されるボリュメトリック画像データの量を限定する符号器システムを提供することである。

本発明の第２の目的は、ボリュメトリック画像データをレンダリングするために限られたハードウェア資源を使用する復号器システムを提供することである。

本発明の第３の目的は、伝送されるボリュメトリック画像データの量を限定するボリュメトリック画像データを符号化する方法を提供することである。

本発明の第４の目的は、ボリュメトリック画像データをレンダリングするために限られたハードウェア資源を必要とする符号化済みのボリュメトリック画像データを復号する方法を提供することである。

本発明の第１の態様では、符号器システムが、ボリュメトリック画像データの入力セットを得ること、前述のボリュメトリック画像データに対する複数のビューのそれぞれについて前述のボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からの前述のデータの可視性に基づいて選択することであって、それにより複数の前述のビューが前述のボリュメトリック画像データの一部しか含まない、選択すること、ボリュメトリック画像データの別個の出力セットとして前述のビューのそれぞれを符号化すること、及び前述の複数の視点を示すメタデータを生成することを行うように構成される、少なくとも１つのプロセッサを含む。

ボリュメトリック画像データの入力セットを、例えば錐台、四角錐、又は円錐形のビューにセグメント化することにより、及びそれらの入力セットに対して視錐台カリング（及び典型的には部分的に遮られたデータではなく完全に遮られたデータを除去するために任意選択的にオクルージョンカリング）を行うことにより、符号器システムが復号器システムに限られた量のコンテンツを伝送することが可能になる。このことは、復号器システムが入力セットの一部だけ、即ち所望のユーザ視点から入力セットをレンダリングするために十分なボリュメトリック画像データを復号するのに必要な部分だけを得ることを可能にする。このことは、コンテンツ、例えば拡張現実コンテンツ及び／又は仮想現実コンテンツをレンダリングするために復号器システムが必要とするボリュメトリック画像データの量を（このボリュメトリック画像データの量を一定の最大値に限定するための或る特定のアクションを必要とせずに）限定する。ボリュメトリック画像データのサイズが限定される結果、ボリュメトリック画像データの全入力セット、例えば全点群又は部分セットであるがレンダリングに無用な遮られたデータを含む部分セット、例えばＣｅｓｉｕｍによってタイルとして伝送される点の任意の「立方体」を伝送するシステムと比較して、復号器システムが見えない点のレンダリング又は錐台カリング及びオクルージョンカリングに、限られた／より少ない計算資源（及び典型的には限られた／より少ないメモリ及び記憶域）を費やす必要があり、帯域幅等のネットワーク資源の使用も限定／低減され得る。

前述のビューは、例えば錐台、四角錐、又は円錐のように形成され得る。例えば２つの目のビューを同時にレンダリングするために、（例えば錐台形の）単一のワイドビューを使用することができる。前述のメタデータは前述の複数の視点に関連し、３Ｄ位置情報を含む。前述のメタデータは各ビューの他の特性、例えば観察方向及び／又は視野を表すことができる。ビューが全て同じ観察方向及び／又は視野を有さない場合、例えば視点の１つ又は複数が点群内にあり、視点が既定の観察方向に関連しない場合、観察方向及び／又は視野をメタデータに含めることは有益である。例えば複数の出力セットが同じコンテンツの複数の特質を表す場合、複数の出力セットが同じメタデータ／視点に関連し得る。どの視点及び／又は観察方向及び／又は視野を使用すべきかを指定する情報は入力データから、例えば入力セットを含む同じ入力データの一部として又はそれとは別に得ることができる。或いは観察方向及び／又は視野は、例えば既定の観察方向及び／又は既定の視野であり得る。本明細書では、たとえ間接的に（即ち復号によって）ボリュメトリックに過ぎないとしても、符号化済みのボリュメトリックデータも「ボリュメトリックデータ」と呼ぶ。

既定の観察方向及び／又は視野は、実行時に知られており信号情報内で与えられない観察方向及び／又は視野である。異なる使用事例が異なる既定値を使用してもよい。既定値は別の既定値に動的に依存し得る（しかし静的既定パラメータの任意の組について１組の（静的＋動的）既定パラメータしか通常は存在しない）。復号器システム及び符号器は、例えば既定値をソフトウェア内にコンパイルすることによって、既定値をどのように計算／決定できるのかの規則を（例えば標準内で）指定することによって、又は別のコンポーネントに値を決定させ、その値を符号器システム及び復号器システムへの入力として与えることによって既定値を得ることを可能にされ得る。

前述の少なくとも１つのプロセッサは、前述の対応する観察方向において及び／又は前述の対応する視野内で前述の対応する視点から見える前述のボリュメトリック画像データの全てをそれぞれのビューごとに前述のボリュメトリック画像データから選択することにより、前述の複数のビューのそれぞれについて前述のボリュメトリック画像データから前述のデータを選択するように構成され得る。或いは、それぞれの観察方向においてそれぞれの視点から見える一部のデータを、例えばそのデータがレンダリングにさほど有益でない場合、ボリュメトリック画像データの総量を更に限定するために、又は符号化の作業／時間を単に減らすために省くことができる。例えば一定の観察方向において、点群内で重複しない２つの点がレンダリング時に著しく重複する場合があり（及びその一方が殆ど見えない場合があり）、その結果それらの点の両方をレンダリングしなくてもよい場合がある。

前述の少なくとも１つのプロセッサは、１つ又は複数のそれぞれの更なる視点からの更なるデータの可視性に基づいて前述の複数のビューの前述の更なるデータを選択するように構成することができ、前述の１つ又は複数のそれぞれの更なる視点は前述のそれぞれの視点に関係する。データ及び更なるデータは、例えば隣接する又は部分的に重複するビューに対応し得る。所望のユーザ視点はしばしば利用可能な視点の１つと同じではないので、復号済みのビューを所望のユーザ視点に合わせて調節するために幾らかの調節が典型的には復号器システムによって必要とされる。典型的には、選択された利用可能な視点から見える一部のデータは所望のユーザ視点から見えず、従ってレンダリングされるビュー内で省かれる。更に、所望のユーザ視点から見える一部のデータは選択された利用可能な視点から見えない。それぞれの観察方向において及び／又はそれぞれの視野内でそれぞれの視点から見えるデータだけよりも多くのデータをビュー内に与えることにより、所望のユーザ視点から見え、利用可能な視点からは見えないデータを依然としてレンダリングすることができる。

或いは、復号器システムは複数のビューを得てそれらのビューを融合することができる。どちらの場合にも、錐台カリング及びオクルージョンカリング及び／又は見えないデータをレンダリングするのに必要な計算時間は、レンダリングのために全入力セットを復号器システムに与える場合よりも通常短くなる。一定の視点のための更なるデータは、この一定の視点を仮想的に移動することによって又はビューのために既に選択されているデータ付近のデータを選択することによって選択され得る。前者は最良の結果（例えば省かれるデータがないこと）をもたらすが、後者の方が素早く実行することができる。

前述の少なくとも１つのプロセッサは、前述のボリュメトリック画像データの出力セット又は前述のボリュメトリック画像データの出力セットの一部を何処で得るのかを前述のメタデータ内で指定するように構成され得る。このことは、どの出力セット／ビューを得るのかに関する完全な制御を復号器システムに与える。前述のメタデータはマニフェストファイル、例えばＭＰＥＧ－ＤＡＳＨに関するメディアプレゼンテーションの説明（ＭＰＤ）（ＩＳＯ／ＩＥＣ ２３００９－１）内で指定され得る。別の実施形態では、前述のメタデータがＩＳＯベースメディアファイル形式（ＩＳＯＢＭＦＦ）のデータ形式で指定されてもよく、ＩＳＯＢＭＦＦではボリュメトリック画像データの各出力セットが同じＩＳＯＢＭＦＦ（ＩＳＯ／ＩＥＣ１４４９６－１２）ファイル内への異なるトラックへとカプセル化され得る。

前述のボリュメトリック画像データの入力セットは１つ又は複数の点群を含み得る。点群はビューへとセグメント化するのが相対的に容易であり、例えば点群のサブセットは更なる処理なしに有効である。ボリュメトリック画像データが複数の点群を含む場合、それらの点群は単一のシーンを構成し、即ち空間内で関係する。例えば或る点群は部屋の中のテーブルを表すことができ、別の点群は同じ部屋の中の椅子を表し得る。ボリュメトリック画像データが複数の点群を含む場合、それらの複数の点群のサブセットに対してのみカリングを行うことが可能であり得る。３Ｄメッシュもビューへとセグメント化することができるが、かかるセグメント化は元の多角形を置換するための新たな多角形の作成を必要とする場合があり、その理由はそれらの元の多角形の一部が一定のビュー内で遮られるからである。ボリュメトリック画像データの他の例はＲＧＢ＋Ｄ画像データ及びボクセルである。前述のボリュメトリック画像データの入力セットは経時変化する場合があり、前述の少なくとも１つのプロセッサは前述のビューのそれぞれについて前述のボリュメトリック画像データから前述のデータを繰り返し選択し、別個のビットストリームとして前述のビューのそれぞれを符号化するように構成され得る。

前述の複数のビューは、前述のボリュメトリック画像データの全てを集合的に含み得る。これにより、ユーザはユーザ視点を変えることによってボリュメトリック画像データの全てを見ることが可能になる。或いは、例えば全ての視点から隠れるので、データの一部がビューのどの中にもなくてもよい。

本発明の第２の態様では、復号器システムが、所望のユーザ視点を決定すること、符号化済みのボリュメトリック画像データに関連するメタデータを得ることであって、前述のメタデータは利用可能な視点を示し、前述の利用可能な視点のそれぞれは利用可能なビューに対応する、得ること、前述の所望のユーザ視点に基づいて前述の利用可能な視点の１つ又は複数を選択すること、前述の選択した１つ又は複数の視点に基づき、前述の選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データを得ること、前述の１組又は複数組のボリュメトリック画像データから前述の１つ又は複数の利用可能なビューの少なくとも１つを復号すること、及び前述の復号済みの１つ又は複数の利用可能なビュー（又はその一部）の前述の少なくとも１つを任意選択的にレンダリングすることを行うように構成される少なくとも１つのプロセッサを含む。視点という用語は位置を指す。例えば観察方向に応じて、一定の視点から複数のビューが可能である。

前述の復号器システムは、例えばモバイル装置又はモバイル装置の一部であり得る。前述の復号器システムは１つ又は複数の装置を含み得る。前述のビューは、例えば錐台、四角錐、又は円錐のように形成され得る。前述のメタデータは前述の複数の視点に関連し、３Ｄ位置情報を含む。前述のメタデータは各ビューの他の特性、例えば観察方向及び／又は視野を表すことができる。ビューが全て同じ観察方向及び／又は視野を有さない場合、例えば視点の１つ又は複数が点群内にあり、視点が既定の観察方向に関連しない場合、観察方向及び／又は視野をメタデータに含めることは有益である。

好ましくは、対応する少なくとも１つの利用可能なビューが利用可能なビューのうちで（所望のユーザ視点に対応する）所望のユーザビューと最も類似するように１つ又は複数の利用可能な視点の少なくとも１つが選択される。復号器システムは、最も高い品質を実現するために１つ又は複数のビューをこのやり方で最初に選択し、次いでボリュメトリック画像に最も近いビューを更に選択することができる。レンダリングは復号と並列に行うことができる（例えば部分的に復号された点群が既にレンダリングされていてもよい）。複数のビューの事例では、各ビューを個々にレンダリングすることができる。

所望のユーザ視点はしばしば利用可能な視点の１つと厳密に同じではないので、復号済みのビューを所望のユーザ視点に合わせて調節するために幾らかの調節が典型的には復号器システムによって必要とされる。見えないデータがレンダリングされることを防ぐために又はレンダリングされる見えないデータの量を減らすために、復号器システムはオクルージョンカリング及び／又は錐台カリングを実行して調節済みのビューを得ることができる。

一実施形態では、復号器システムがＣＰＵと、所望の視点の生成器（例えばＨＭＤ、マウス、又は他の入力装置）と、ＧＰＵと、任意選択的にディスプレイとを含む。この実施形態では、レンダリングがＧＰＵ上で行われるが、ＣＰＵが所望の視点を受信し、レンダリングするようにＧＰＵに命令する。復号済みの画像がメモリ内に記憶され、それを必要とする何らかのシステム、例えばＧＰＵ、システムバス、及び／又はネットワークインタフェースに送信され得る。

前述の少なくとも１つのプロセッサは、更なる所望のユーザ視点を決定すること、前述の更なる所望のユーザ視点に基づいて前述の利用可能な視点から更なる利用可能な視点を選択すること、前述の更なる利用可能な視点に対応する更なる利用可能なビューが符号化されている更なる１組のボリュメトリック画像データを得ること、前述の更なる１組のボリュメトリック画像データから前述の更なる利用可能なビューを復号すること、前述の復号済みの更なる利用可能なビューを前述の少なくとも１つの復号済みの利用可能なビューと融合すること、及び前述の少なくとも１つの復号済みの利用可能なビューをレンダリングした後で又はレンダリングする代わりに、前述の融合済みの更なる利用可能なビューを任意選択的にレンダリングすることを行うように構成され得る。

融合は、視点を切り替えるときのレンダリングにおける不整合を防ぐために使用され得る。融合は、不可逆的圧縮アーティファクト及び／又はビュー間の重複によって生じ得る様々な視点の様々なビュー間の「シーム」を隠すために知られている技法を使用してビューを平滑化することを概して含む。所望のユーザ視点が瞬間ごとに変わり得るだけでなく、利用可能な視点もフレームごとに又はフレームのシーケンスごとに変わり得る。どちらも事例でも利用可能な視点から新たな選択を行う必要がある。

前述の少なくとも１つのプロセッサは、１つ又は複数の関係するビューからのデータが符号化されている更なる１組のボリュメトリック画像データを得ることであって、前述の１つ又は複数の関係するビューは前述の１つ又は複数の利用可能なビューに関係している、得ること、前述の更なる１組のボリュメトリック画像データから前述の１つ又は複数の関係するビューの少なくとも１つを復号すること、前述の復号済みの少なくとも１つの関係するビューを前述の復号済みの少なくとも１つの利用可能なビューと融合すること、及び任意選択的に前述の融合済みのビューをレンダリングすることを行うように構成され得る。

前述の１つ又は複数の関係するビューは、以下のときに前述の１つ又は複数の利用可能なビューに関係すると見なされ得る：
・（例えばビュー群を作成する）コンテンツクリエータによってそのように定められる。これは１組の限られたユーザ位置を有するシナリオにおいて有用である。かかるシナリオは、シーンのグラフ又は１つ若しくは複数のシーン内の位置として一般に定められる。
・幾らか共通の属性を有する（例えば観察方向の差が定数ｃ未満であり、又はその相対距離が定数ｄ未満である）。
・自動生成されるビューが符号器システムによってグループ化され得る。例えば符号器システムが１組の「アンカ」ビューから開始するが、シーンの更に多くをカバーするために更に多くのビューを必要とする場合、符号器システムは既に知られているビューに関係する追加のビューを定め得る。

前述の１つ又は複数の関係するビューは、例えば隣接し、隔てられ、又は重複し得る。関係するビューは前述の利用可能なビューと部分的に重複することができ、又はそれらの２つのビューの１つが他方のビュー内に完全に含まれ得る。所望のユーザ視点はしばしば利用可能な視点の１つと同じではないので、利用可能な１つのビューが所望のユーザ視点から見える全てのデータを含まない場合がある。関係するビューを取得しそれらの関係するビューを融合することにより、所望の視点から見える全てのデータを取得しレンダリングすることができる。この事例では、融合が行われるのは視点を切り替えるときだけではない。融合済みのビューに対して視錐台カリング及び／又はオクルージョンカリングが行われ得る。

一定の状況では、例えば最初の１組の画像データは（例えばことによるとより多くの点を含むので又は圧縮がより難しいので）更なる組よりもフェッチに時間がかかるので、最初の組を得る前に更なる組（即ち関係するビュー）が得られる場合がある。この事例では、最初の組が（まだ）復号されレンダリングされていない場合、更なる組を復号しレンダリングすることができる。例えば最初の組が到着するのが遅過ぎる場合があり、利用できるのは更なる組だけである場合がある。このことは、全く何も示さないよりもユーザにとってより関連し得る少なくとも何かを示すことを可能にする。（完全には）リアルタイムでないコンテンツについて更なる組が例えば推定されるユーザの動きに基づいて予めフェッチされている場合、最初の組を得る前に更なる組を得ることもできる。

前述の少なくとも１つのプロセッサは、前述の利用可能な視点を示し、前述の利用可能な視点に対応する利用可能なビューが符号化されているボリュメトリック画像データの組又は前述の組の一部を何処で得るのかを指定するメタデータを得るように構成され得る。

前述のメタデータは、前述の利用可能な視点のそれぞれについて観察方向及び／又は視野及び／又は更なる視点の構成を更に示し得る。更なる視点の構成の例は、カメラの投影の種類、カメラの向き、近くの／遠くのクリッピング面、ズームレベル、レンズの形状、速度、加速度、アンチエイリアスのレベル、アンチエイリアスの種類、異方性フィルタリングのレベル、ガンマ補正、コントラスト、及び明度である。

本発明の第３の態様では、ボリュメトリック画像データを符号化する方法が、ボリュメトリック画像データの入力セットを得ること、前述のボリュメトリック画像データに対する複数のビューのそれぞれについて前述のボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からの前述のデータの可視性に基づいて選択することであって、それにより複数の前述のビューが前述のボリュメトリック画像データの一部しか含まない、選択すること、ボリュメトリック画像データの別個の出力セットとして前述のビューのそれぞれを符号化すること、及び前述の複数の視点を示すメタデータを生成することを含む。前述の方法はプログラム可能装置上で実行されるソフトウェアによって実行され得る。そのソフトウェアはコンピュータプログラム製品として提供され得る。

複数のビューに加えて、ボリュメトリック画像データの全入力セットもボリュメトリック画像データの別個の出力セットとして符号化され得る。これは任意の時点においてボリュメトリック画像データの全入力セットの低品質版を提供し、それによりシーンの一部に対応するデータを表示することができない「エンプティボイド（ｅｍｐｔｙ ｖｏｉｄ）」効果を回避するために使用され得る。クライアントが低品質版のダウンロード後に十分な帯域幅及び計算資源を有する場合、そのクライアントは低品質のものを置換するために高品質の利用可能なボリュメトリック画像データをフェッチすることに決めることができる。このようにして、ユーザの素早い動作及び高いネットワーク遅延においてもシーンを常にレンダリングすることができる。

本発明の第４の態様では、符号化済みのボリュメトリック画像データを復号する方法が、所望のユーザ視点を決定すること、前述の符号化済みのボリュメトリック画像データに関連するメタデータを得ることであって、前述のメタデータは利用可能な視点を示し、前述の利用可能な視点のそれぞれは利用可能なビューに対応する、得ること、前述の所望のユーザ視点に基づいて前述の利用可能な視点の１つ又は複数を選択すること、前述の選択した１つ又は複数の視点に基づき、前述の選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データを得ること、前述の１組又は複数組のボリュメトリック画像データから前述の１つ又は複数の利用可能なビューの少なくとも１つを復号すること、及び前述の復号済みの１つ又は複数の利用可能なビュー（又はその一部）の前述の少なくとも１つを任意選択的にレンダリングすることを含む。前述の方法はプログラム可能装置上で実行されるソフトウェアによって実行され得る。そのソフトウェアはコンピュータプログラム製品として提供され得る。

メタデータはメタデータに関連するコンテンツアイテムがレンダリングされる前に受信されてもよく、又はコンテンツアイテムを選択しメタデータを受信することは例えば並列に行うことができる。コンテンツアイテムは所望のユーザ視点が決定された後で選択され得る。例えば同様のコンテンツを有する複数のコンテンツアイテムがある場合、コンテンツアイテムは所望のユーザ視点に基づいて選択され得る。

更に、本明細書に記載の方法を実行するためのコンピュータプログラム、並びにそのコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体を提供する。コンピュータプログラムは、例えば既存の装置によってダウンロードされ又は既存の装置にアップロードされてもよく、又はこれらのシステムの製造時に記憶され得る。

非一時的コンピュータ可読記憶媒体は少なくとも第１のソフトウェアコード部分を記憶し、第１のソフトウェアコード部分はコンピュータによって実行され又は処理されるとき、ボリュメトリック画像データの入力セットを得ること、前述のボリュメトリック画像データに対する複数のビューのそれぞれについて前述のボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からの前述のデータの可視性に基づいて選択することであって、それにより複数の前述のビューが前述のボリュメトリック画像データの一部しか含まない、選択すること、ボリュメトリック画像データの別個の出力セットとして前述のビューのそれぞれを符号化すること、及び前述の複数の視点を示すメタデータを生成することを含む実行可能操作を行うように構成される。

非一時的コンピュータ可読記憶媒体は少なくとも第２のソフトウェアコード部分を記憶し、第２のソフトウェアコード部分はコンピュータによって実行され又は処理されるとき、所望のユーザ視点を決定すること、前述の符号化済みのボリュメトリック画像データに関連するメタデータを得ることであって、前述のメタデータは利用可能な視点を示し、前述の利用可能な視点のそれぞれは利用可能なビューに対応する、得ること、前述の所望のユーザ視点に基づいて前述の利用可能な視点の１つ又は複数を選択すること、前述の選択した１つ又は複数の視点に基づき、前述の選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データを得ること、前述の１組又は複数組のボリュメトリック画像データから前述の１つ又は複数の利用可能なビューの少なくとも１つを復号すること、及び前述の復号済みの１つ又は複数の利用可能なビュー（又はその一部）の前述の少なくとも１つを任意選択的にレンダリングすることを含む実行可能操作を行うように構成される。２つのソフトウェア部分は独立に実行することができ、典型的には互いに独立に機能することを必要としない。

当業者なら理解するように、本発明の態様は装置、方法、又はコンピュータプログラム製品として具体化され得る。従って、本発明の態様は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は「回路」、「モジュール」、若しくは「システム」として本明細書で全て広く呼ばれ得るソフトウェアの側面とハードウェアの側面とを組み合わせた実施形態の形を取り得る。本開示に記載する機能はコンピュータのプロセッサ／マイクロプロセッサによって実行されるアルゴリズムとして実装され得る。更に、本発明の態様は、コンピュータ可読プログラムコードが実装された、例えば記憶された１つ又は複数のコンピュータ可読媒体内に具体化されるコンピュータプログラム製品の形を取り得る。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、これだけに限定されないが例えば電子、磁気、光学、電磁、赤外線、又は半導体システム、機器、若しくは装置、又は上記のものの任意の適切な組み合わせとすることができる。コンピュータ可読記憶媒体のより具体的な例は、これだけに限定されないが１つ又は複数の配線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去プログラム可能読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記のものの任意の適切な組み合わせを含み得る。本発明の脈絡では、コンピュータ可読記憶媒体は命令実行システム、機器、又は装置によって使用するための又はそれらに関連するプログラムを含み得る又は記憶し得る任意の有形媒体とすることができる。

コンピュータ可読信号媒体は、例えばベースバンド内に又は搬送波の一部としてコンピュータ可読プログラムコードが実装された伝搬データ信号を含み得る。かかる伝搬信号は、これだけに限定されないが電磁、光学、又はその任意の適切な組み合わせを含む様々な形式の何れかを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、機器、又は装置によって使用するための又はそれらに関連するプログラムを伝達し、伝搬し、又は搬送することができる任意のコンピュータ可読媒体であり得る。

コンピュータ可読媒体上に具体化されるプログラムコードは、これだけに限定されないが、無線、電線、光ファイバ、ケーブル、ＲＦ等、又は上記のものの任意の適切な組み合わせを含む任意の適切な媒体を使用して伝送され得る。本発明の態様の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、関数型プログラミング言語、ハードウェア記述言語、及び「Ｃ」プログラミング言語等の従来の手続き型プログラミング言語又は同様のプログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせによって書くことができる。プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、独立型のソフトウェアパッケージとして、ユーザのコンピュータ上で部分的に且つリモートコンピュータ上で部分的に、又はリモートコンピュータ若しくはサーバ上で完全に実行され得る。後者のシナリオでは、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザのコンピュータに接続することができ、又は接続は（例えばインターネットサービスプロバイダを使用してインターネットによって）外部のコンピュータに対して行われ得る。

本発明の実施形態による方法、機器（システム）、及びコンピュータプログラム製品の流れ図及び／又はブロック図に関して本発明の態様を以下に記載する。流れ図及び／又はブロック図の各ブロック、並びに流れ図及び／又はブロック図内のブロックの組み合わせはコンピュータプログラム命令によって実装され得ることが理解されよう。それらのコンピュータプログラム命令はマシンをもたらすために汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理機器のプロセッサ、具体的にはマイクロプロセッサ又は中央処理装置（ＣＰＵ）に与えることができ、それによりコンピュータ、他のプログラム可能データ処理機器、又は他の装置のプロセッサによって実行される命令が流れ図及び／又はブロック図のブロックの中で指定される機能／動作を実装するための手段を作り出す。

これらのコンピュータプログラム命令は、特定の方法で機能するようにコンピュータ、他のプログラム可能データ処理機器、又は他の装置に指示することができるコンピュータ可読媒体の中に記憶されてもよく、それによりコンピュータ可読媒体の中に記憶される命令が流れ図及び／又はブロック図のブロック内で指定される機能／動作を実装する命令を含む製品をもたらす。

コンピュータによって実装されるプロセスをもたらすためにコンピュータ、他のプログラム可能機器、又は他の装置上で一連の操作上のステップを実行させるために、コンピュータ、他のプログラム可能データ処理機器、又は他の装置上にコンピュータプログラム命令をロードすることもでき、それによりコンピュータ又は他のプログラム可能機器上で実行される命令が、流れ図及び／又はブロック図のブロック内で指定される機能／動作を実装するためのプロセスを提供する。

図中の流れ図及びブロック図は、本発明の様々な実施形態による装置、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図内の各ブロックは指定の論理機能を実装するための１つ又は複数の実行可能命令を含むモジュール、セグメント、又はコードの一部を表し得る。一部の代替的実装形態では、ブロック内に示す機能が図中に示す順序から外れて生じ得ることにも留意すべきである。例えば連続して示す２つのブロックが実際にはほぼ同時に実行されてもよく、又は関与する機能にもよるがブロックを逆の順序で実行できる場合もある。ブロック図及び／又は流れ図の各ブロック並びにブロック図及び／又は流れ図内のブロックの組み合わせは、指定の機能又は動作を実行する専用のハードウェアベースのシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって実装され得ることも指摘しておく。

図面の簡単な説明
本発明のこれらの及び他の態様が、例として以下の図面を参照して明らかになり更に解明される。

図中の対応する要素は同じ参照番号で示す。

符号器システムの一実施形態及び復号器システムの一実施形態のブロック図である。 符号化方法の一実施形態及び復号方法の第１の実施形態の流れ図である。 視錐台カリングの一例を示す。 視錐台カリング及びオクルージョンカリングの一例を示す。 ステレオ視錐台の一例を示す。 点群及び３つの視点の一例を示す。 図６の視点の１つに対応するビューを示す。 ユーザ視点の一例を示す。 復号方法の第２の実施形態の流れ図である。 復号方法の第３の実施形態の流れ図である。 本発明の方法を実行するための例示的なデータ処理システムのブロック図である。

図面の詳細な説明
図１は、符号器システムの一実施形態であるコンピュータ２１、及び復号器システムの一実施形態であるモバイル装置１を示す。コンピュータ２１は、受信機２３、送信機２４、プロセッサ２５、及び記憶手段２７を含む。プロセッサ２５は、例えば１つ又は複数の点群を含むボリュメトリック画像データの入力セットを得ること、及びボリュメトリック画像データに対する複数のビューのそれぞれについてボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からのデータの可視性に基づいて選択することであって、それにより複数のビュー、例えばビューのそれぞれがボリュメトリック画像データの一部しか含まない、選択することを行うように構成される。視点という用語は位置を指す。例えば観察方向に応じて、一定の視点から複数のビューが可能である。

プロセッサ２５は、ボリュメトリック画像データの別個の出力セットとしてビューのそれぞれを符号化すること、及び複数の視点を示すメタデータを生成することを行うように更に構成される。メタデータは複数の視点に関連し、３Ｄ位置情報を含み得る。メタデータは各ビューの他の特性、例えば観察方向及び／又は視野を表すことができる。例えば複数の出力セットが同じコンテンツの複数の特質を表す場合、複数の出力セットが同じメタデータ／視点に関連し得る。どの視点及び／又は観察方向及び／又は視野を使用すべきかを指定する情報は入力データから、例えば入力セットを含む同じ入力データから得ることができる。或いは観察方向及び／又は視野は、例えば既定の観察方向及び／又は既定の視野であり得る。図１の例では、コンピュータ２１が出力セット及びメタデータをサーバコンピュータ１３に与える。

既定の観察方向及び／又は視野は、実行時に知られており信号情報内で与えられない観察方向及び／又は視野である。異なる使用事例が異なる既定値を使用してもよい。既定値は別の既定値に動的に依存し得る（しかし静的既定パラメータの任意の組について１組の（静的＋動的）既定パラメータしか通常は存在しない）。復号器システム及び符号器は、例えば既定値をソフトウェア内にコンパイルすることによって、既定値をどのように計算／決定できるのかの規則を（例えば標準内で）指定することによって、又は別のコンポーネントに値を決定させ、その値を符号器システム及び復号器システムへの入力として与えることによって既定値を得ることができる。

モバイル装置１は、トランシーバ３、送信機４、プロセッサ５、メモリ７、カメラ８、及びディスプレイ９を含む。プロセッサ５は、例えばカメラ８を使用して所望のユーザ視点を決定し、符号化済みのボリュメトリック画像データに関連するメタデータを媒体１１、例えばインターネット等のコンピュータネットワークを介してサーバコンピュータ１３から得るように構成される。メタデータは利用可能な視点を示し、利用可能な視点のそれぞれは利用可能なビューに対応する。プロセッサ５は、所望のユーザ視点に基づいて利用可能な視点の１つ又は複数を選択し、選択した１つ又は複数の視点に基づき、選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データをサーバコンピュータ１３から取得し、１組又は複数組のボリュメトリック画像データから１つ又は複数の利用可能なビューの少なくとも１つを復号するように更に構成される。

モバイル装置１は、対応するビューが利用可能なビューのうちで（所望のユーザ視点に対応する）所望のユーザビューと最も類似するように利用可能な視点を選択することができる。或いはモバイル装置１は、最も高い品質を実現するために１つ又は複数のビューをこのやり方で最初に選択し、次いでオブジェクトに最も近いビューを更に選択することができる。レンダリングは復号と並列に行うことができる（例えば部分的に復号された点群が既にレンダリングされていてもよい）。複数のビューの事例では、各ビューを個々にレンダリングすることができる。

図１の実施形態では、復号器システムがモバイル装置であり、復号済みの１つ又は複数の利用可能なビューの少なくとも１つをレンダリングする。代替的実施形態では、復号器システムが異なる装置、例えばＰＣであり、装置、例えばモバイル装置の一部であり、又は複数の装置を含む。図１の例では、モバイル装置１がサーバコンピュータ１３からメタデータ及びボリュメトリック画像データを得る。或いは、モバイル装置はメモリ７からメタデータ及びボリュメトリック画像データを得ることができる。

図１に示すモバイル装置１の実施形態では、モバイル装置１が１つのプロセッサ５を含む。代替的実施形態では、モバイル装置１が複数のプロセッサを含む。モバイル装置１のプロセッサ５は、例えばＡＲＭ又はＱｕａｌｃｏｍｍの汎用プロセッサ又は特定用途向けプロセッサであり得る。モバイル装置１のプロセッサ５は、例えばアンドロイド（登録商標）又はｉＯＳオペレーティングシステムを実行することができる。ディスプレイ９は、例えばＬＣＤ又はＯＬＥＤディスプレイパネルを含み得る。ディスプレイ９は例えばタッチスクリーンとすることができる。プロセッサ５は、例えばユーザインタフェースを提供するためにこのタッチスクリーンを使用することができる。メモリ７は１つ又は複数のメモリユニットを含み得る。メモリ７は例えばソリッドステートメモリを含み得る。カメラ８は例えばＣＣＤ又はＣＭＯＳセンサを含み得る。

受信機３及び送信機４は、例えば他の装置と通信するために１つ又は複数の無線通信技術、例えばＷｉ－Ｆｉ（ＩＥＥＥ ８０２．１１）を使用することができる。代替的実施形態では、単一の受信機及び単一の送信機の代わりに複数の受信機及び／又は複数の送信器が使用される。図１に示す実施形態では、別個の受信機及び別個の送信機が使用される。代替的実施形態では、受信機３と送信機４とがトランシーバへと組み合わせられる。モバイル装置１は、電池及び電源コネクタ等のモバイル装置にとって典型的な他のコンポーネントを含み得る。本発明は１つ又は複数のプロセッサ上で実行されるコンピュータプログラムを使用して実装され得る。

図１に示すコンピュータ２１の実施形態では、コンピュータ２１が１つのプロセッサ２５を含む。代替的実施形態では、コンピュータ２１が複数のプロセッサを含む。コンピュータ２１のプロセッサ２５は、例えばＩｎｔｅｌ又はＡＭＤの汎用プロセッサ又は特定用途向けプロセッサであり得る。コンピュータ２１のプロセッサ２５は、例えばＷｉｎｄｏｗｓ又はＵｎｉｘベースのオペレーティングシステムを実行することができる。記憶手段２７は１つ又は複数のメモリユニットを含み得る。記憶手段２７は、例えば１つ又は複数のハードディスク及び／又はソリッドステートメモリを含み得る。記憶手段２７は、例えばオペレーティングシステム、アプリケーション、及びアプリケーションデータを記憶するために使用することができる。

受信機２３及び送信機２４は、例えば他の装置と通信するためにイーサネット及び／又はＷｉ－Ｆｉ（ＩＥＥＥ ８０２．１１）等の１つ又は複数の有線及び／又は無線通信技術を使用することができる。代替的実施形態では、単一の受信機及び単一の送信機の代わりに複数の受信機及び／又は複数の送信器が使用される。図１に示す実施形態では、別個の受信機及び別個の送信機が使用される。代替的実施形態では、受信機２３と送信機２４とがトランシーバへと組み合わせられる。コンピュータ２１は、電源コネクタ等のコンピュータにとって典型的な他のコンポーネントを含み得る。本発明は１つ又は複数のプロセッサ上で実行されるコンピュータプログラムを使用して実装され得る。

ボリュメトリック画像データを符号化する方法の一実施形態、及び符号化済みのボリュメトリック画像データを復号する方法の第１の実施形態を図２に示す。ステップ１０１は、ボリュメトリック画像データの入力セットを得ることを含む。ボリュメトリック画像データの入力セットは、例えば１つ又は複数の点群を含むことができ、又は３Ｄメッシュ、ＲＧＢ＋Ｄ画像データ若しくはボクセルを含み得る。点群は１組の３Ｄの点であり、そのうちの各点は関連する特性（例えば色、輝度）を有しても有さなくてもよい。点群の点は関連する３Ｄ法線ベクトルを有し得る。

点群は、例えば「．ｐｌｙ」ファイルとして提供され得る。このファイルは知られている技法を使用して構文解析し、ＲＡＭメモリ内に記憶することができる。記憶される点群は、例えばＧＰＵアルゴリズムの一部としてＲＡＭからＧＰＵメモリにコピーされ得る。点群は（例えばＲＧＢ＋Ｄセンサによって捕捉される）１組の１つ又は複数のＲＧＢ＋Ｄ入力から生成され得る。１つよりも多くのＲＧＢ＋Ｄ入力がある場合、点群の平滑さを改善するために点を融合することができる。

ボリュメトリック画像データが複数の点群を含む場合、それらの点群は単一のシーンを構成し、即ち空間内で関係する。例えば或る点群は部屋の中のテーブルを表すことができ、別の点群は同じ部屋の中の椅子を表し得る。ボリュメトリック画像データが複数の点群を含む場合、それらの複数の点群のサブセットに対してのみカリングを行うことが可能であり得る。

ボリュメトリック画像データの入力セットは経時変化する場合があり、少なくとも１つのプロセッサはビューのそれぞれについてボリュメトリック画像データからデータを繰り返し選択し、別個のビットストリームとしてビューのそれぞれを符号化するように構成され得る。

ステップ１０３は、ボリュメトリック画像データに対する複数のビューのそれぞれについてボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からのデータの可視性に基づいて選択することを含み、それにより複数のビュー、例えばビューのそれぞれがボリュメトリック画像データの一部しか含まない。図２の実施形態では、ステップ１０３がサブステップ１１１及び１１３を含む。

ステップ１１１は、入力セットについて複数の視点を定め、それらの視点に対応するビューのための初期データ選択を行うことを含む。視点は、対応するビューがボリュメトリック画像データの全てを集合的に含むように選択され得る。これにより、ユーザはユーザ視点を変えることによってボリュメトリック画像データの全てを見ることが可能になる。或いは、例えば全ての視点から隠れるので又は符号化の作業／時間を単に減らすために、データ、例えば点の一部をビューのどれにも含めなくてもよい。

１組の視点を入力として受信することができる。例えば以下のＪＳＯＮスキーマは、それらの視点を指定するために使用可能なデータ構造を指定する：

この例では、入力される点群と同じ単位で位置が指定される。向きはラジアン単位のＴａｉｔ－Ｂｒｙａｎ角度として指定される。投影の種類は一覧から選択される（例えば直角、透視、円筒、球面、又は国際公開第２０１８／２１５５０２ Ａ１号パンフレットで開示されている投影の種類）。カメラの視野は度を単位として指定される。近くの及び遠くのクリッピング面は入力点群と同じ単位及び座標空間内で指定される。スーパーサンプリングレートはピクセル当たりのサブサンプル数として指定される。

ボリュメトリック画像データからの対応する観察方向において及び／又は対応する視野内で対応する視点から見えるボリュメトリック画像データの全てをビューごとに最初に選択することができる。

或いは、それぞれの観察方向においてそれぞれの視点から見える一部のデータを、例えばそのデータがレンダリングにさほど有益でない場合又は符号化の作業／時間を単に減らすために省くことができる。例えば一定の観察方向において、点群内で重複しない２つの点がレンダリング時に著しく重複する場合があり（及びその一方が殆ど見えない場合があり）、その結果それらの点の両方をレンダリングしなくてもよい場合がある。

このステップの第１の実装形態では、視点及びビューを以下のように決定する。まず、点群空間内の点ｃにおいて半径ｒの仮想的な球を構築する（例えば点ｃは全ての点の重心であり得る）。所望のカバレッジレベルに応じて、この球上の位置を視点として選択する。視点が点ｃ（例えば仮想的な球の中心）を見るようにビューの回転が選択される。カバレッジを増やすために、このプロセスを｛ｒ，ｃ｝の様々な値について繰り返すことができる。

「カバレッジレベル」は何個の点が含まれるのかの抽象的なメトリクとして、例えば以下のように定めることができる：
１．含まれる点対除外される点の比率（例えば全ての点の８０％の最低カバレッジを定めることができる）。
２．含まれる点の絶対数（例えば１００．０００個の点の最低カバレッジレベルを定めることができる）。
３．上記のものの組み合わせ、例えば４０％又は１００．０００個の点のうちの低い方。

定義２）は特定の標的帯域幅に到達すべき場合、所望のカバレッジレベルをこの値に設定することができるのでとりわけ有用である（点の量が帯域幅の使用と相関する）。しかし、定義２）はかかる表現が一体どの程度正確であり得るのかを考慮に入れない（例えば境界は相対的な情報消失を考慮に入れない）。

この第１の実装形態の第１の改変形態、即ち第２の実装形態では、ｃが一定のままであり、ｒが幾つかの一定のステップｎ内で一定量ｅ段階的に低減される。

この第１の実装形態の第２の改変形態、即ち第３の実装形態では、１組の適切な視点及びビューを生成するとき、最低カバレッジレベルｃに達するように１組の大規模なビューＶをまず生成する。次に、特定の所望のカバレッジレベルｄに達するビューのサブセットＶ’⊆Ｖを決定することができる（ここではｃ＝ｄが成立し得る）。｜Ｖ’｜≦｜Ｖ｜なので、結果はより効率的であり得る。

この第２の改変形態の利点は、一部のシナリオでは（例えば帯域幅の制限により）必要とする／望むよりも多くの精度を与える１組の大きいビューを最初に生成した方が安価なことである。この第２の改変形態では、カバレッジレベルへの寄与度に基づいて視点を削除する（例えば２つのビューが非常に重複している（同様の点をカバーしている）場合、一方又は他方を除去することはカバレッジレベルをさほど低減しないが、全ビューの符号化／伝送を節約する）。

このステップの第４の実装形態では、カメラの特性が視点ごとに指定される。

任意選択的に、ステップ１１１は、それぞれの視点に関係する１つ又は複数のそれぞれの更なる視点からの更なるデータの可視性に基づき、複数のビューのための更なるデータを選択することを含む。データ及び更なるデータは、例えば隣接する又は部分的に重複するビューに対応し得る。

所望のユーザ視点はしばしば利用可能な視点の１つと同じではないので、復号済みのビューを所望のユーザ視点に合わせて調節するために幾らかの調節が典型的には復号器システムによって必要とされる。それぞれの観察方向において及び／又はそれぞれの視野内でそれぞれの視点から見えるデータだけよりも多くのデータをビュー内に与えることにより、この調節を取得済みのデータセットから決定することができ、即ち所望のユーザ視点から見え、利用可能な視点から見えないデータを取得済みのデータセットから明らかにすることができる。

一定の視点のための更なるデータは、この一定の視点を仮想的に移動することによって又はビューのために既に選択されているデータ付近のデータを選択することによって選択され得る。前者は最良の結果（例えば省かれるデータがないこと）をもたらすが、後者の方が素早く実行することができる。代替的実施形態では、この更なるデータが更なるデータセットとして（ビューに関連するが）ビューとは別個に与えられる。

ステップ１１３は、ビューのための初期データ選択をカリングすることを含む。ビューは、例えば錐台、四角錐、又は円錐のように形成され得る。図３は、視錐台カリングの一例を示す。この例では、視錐台４３を有する視点４１からのビューをカリングする。図３では点群の５個の点、つまり点５１～５４及び５６が示されている。これらの５個の点のうち、点５３及び５４だけが錐台４３内に位置する。点５１は視錐台４３の左側に位置し、点５２は視錐台４３の右側に位置し、点５６は視錐台４３の背後に位置する。従って点５１、５２、及び５６を初期選択からカリング、即ち除去する。

図４は、視錐台カリング及びオクルージョンカリングの一例を示す。図４の例では、追加の遮られた点５５が示されている。この点５５は視点４１から見えず、従って初期選択からカリング、即ち除去する。先に説明したように、オクルージョンカリング及び視錐台カリングは知られている技法である。

２つの目のビューを同時にレンダリングするために、（例えば錐台形の）単一のワイドビューを使用することができる。これを図５に示す。図５の例では第２の視錐台４５が示されており、第２の視錐台４５は図３及び図４の視錐台４３と共にステレオ視錐台を形成する。

カリングは、例えばラスタ化又はレイトレーシングを使用して行うことができる。このステップの第１の実装形態では、オクルージョン検出のための設定済みの点のサイズを使用して点群がレンダリングされ、カリング済みの点群がカラー及びデプスバッファに基づいてその後再構築される。

或いは点群を点ごとにレンダリングすることができ、含める点の一覧又は除外する点の一覧を維持することができる。このステップの第２の実装形態では、含める点の一覧を初期設定した後、ラスタ化を使用して点群をレンダリングする。点が見えないとレンダリング中に判定される場合、その点は除外一覧に含められる。点が見えると判定される場合、その点は除外一覧に含められない。カリング済みの点群は、除外一覧内にある点を除く元の点群の全ての点で構成される。

このステップの第３の実装形態では、含める点の一覧を初期設定した後、レイトレーシングを使用して点群を点ごとにレンダリングする。点が見えるとレイトレーシング中に判定される場合、その点は含まれる、出力一覧に含める。点が見えないと判定される場合、その点は出力一覧に含められない。カリング済みの点群は出力一覧内の全ての点で構成される。レイトレーシングの利点は、レイトレーシングアルゴリズムの可視性検出の一環としてオクルージョンを「ただで」得ることができることであり、これはＧＰＵ内の最近のレイトレーシング指向のハードウェア加速技術、例えばＮｖｉｄｉａ ＧＰＵ内のＲＴＸによってことによると相対的に高速である。

図６は、点群７１及び３つの視点７３～７５の一例を示す。この例では点群７１が人を表す。視点７３の視野及び観察方向を図６に示す。ビュー８３（図７参照）は、この視野内で視点７３から見えるデータ、つまり点群７１の（厳密な）サブセット８１を含む。

ステップ１０５は、ボリュメトリック画像データの別個の出力セットとしてビューのそれぞれを符号化することを含む。結果として生じる出力セット３１は、例えばサーバコンピュータに与えることができる。符号化は単純に出力セットごとのファイルを作成し、被選択データをファイル内に含めることを含むことができ、又は被選択データを圧縮することを含み得る。点群を圧縮するための技法は、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｅｍｅｒｇｉｎｇ ａｎｄ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，ｖｏｌｕｍｅ ９，ｉｓｓｕｅ １，Ｍａｒｃｈ ２０１９の中で発表されているＳｅｂａｓｔｉａｎ Ｓｃｈｗａｒｚらによる「Ｅｍｅｒｇｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄｓ ｆｏｒ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ」の中で記載されている。かかる技法の一例は、動的コンテンツを対象としたＭＰＥＧビデオベースの点群圧縮（Ｖ－ＰＣＣ）である。複数の点群が並列に符号化されてもよい。

複数のビューに加えて、ボリュメトリック画像データの全入力セットもボリュメトリック画像データの別個の出力セットとして符号化され得る。これは任意の時点においてボリュメトリック画像データの全入力セットの低品質版を提供し、それによりシーンの一部に対応するデータを表示することができない「エンプティボイド」効果を回避するために使用され得る。クライアントがボリュメトリック画像の低品質版のダウンロード後に十分な帯域幅及び計算資源を有する場合、そのクライアントは低品質のものを置換するために高品質の利用可能なボリュメトリック画像データをフェッチすることに決めることができる。このようにして、ユーザの素早い動作及び高いネットワーク遅延においてもボリュメトリック画像を常にレンダリングすることができる。

ステップ１０７は、メタデータ３３を生成することを含む。メタデータは複数の視点を示す。図２の実施形態では、ステップ１０７がステップ１１１の後に実行される。代替的実施形態では、ステップ１０７がステップ１１１と並列に実行される。メタデータは視点の位置を指定し得るが、ボリュメトリック画像データの出力セット又はボリュメトリック画像データの出力セットの一部を何処で得るのかも指定し得る。このことは、どの出力セット／ビューを得るのかに関する完全な制御を復号器システムに与える。メタデータはマニフェストファイル、例えばＭＰＥＧ－ＤＡＳＨに関するメディアプレゼンテーションの説明（ＭＰＤ）（ＩＳＯ／ＩＥＣ ２３００９－１）内で指定され得る。別の実施形態では、メタデータがＩＳＯベースメディアファイル形式（ＩＳＯＢＭＦＦ）のデータ形式で指定されてもよく、ＩＳＯＢＭＦＦではボリュメトリック画像データの各出力セットが同じＩＳＯＢＭＦＦ（ＩＳＯ／ＩＥＣ１４４９６－１２）ファイル内への異なるトラックへとカプセル化され得る。

ＭＰＤマニフェストの一例を以下に示す：

この例では、同じ点群の異なるパースペクティブが別個の適応セットとして符号化される（３番目の適応セットは同期された音声トラックである）。クライアントはこのＭＰＤを構文解析し、ストリーミングのために所望の適応セットを選択することができる。適応セット内の表現内のＵＲＬに基づき、クライアントは選択した点群をレンダリングのためにＨＴＴＰ上でダウンロードすることができる。所与の間隔にわたってパラメータを変更できるようにするために、複数の期間が使用され得る。

この例では「ＣａｍｅｒａＬｏｃａｔｉｏｎ」タグは視点に対応するカメラの位置を定め、「ＣａｍｅｒａＯｒｉｅｎｔａｔｉｏｎ」タグはカメラの回転を定める。ビューが独立に符号化され記憶されることを所与とし、ビューはレンダリング前に融合しなければならない可能性がある。そのために、レンダリング前にその特定のビューに適用すべき変換行列を指定する「Ｏｆｆｓｅｔ」タグが含められている。

ステップ１２１は、符号化済みのボリュメトリック画像データに関連するメタデータ３３を得ることを含む。図２の実施形態では、メタデータがコンテンツアイテム（例えばＸ対Ｙのサッカーの試合）に関連し、ステップ１２１は、関連するメタデータが得られる前に例えばユーザ入力に応答してコンテンツアイテムを選択することを含む。代替的実施形態では、コンテンツアイテムが選択される前にメタデータが受信されてもよく、又はコンテンツアイテムの選択が要求されなくてもよい。

ステップ１０７に関して記載したように、メタデータ３３は利用可能な視点を示し、利用可能な視点のそれぞれは利用可能なビューに対応する。メタデータは、利用可能な視点のそれぞれについて観察方向及び／又は視野及び／又は更なる視点の構成を更に示し得る。更なる視点の構成の例は、カメラの投影の種類、カメラの向き、近くの／遠くのクリッピング面、ズームレベル、レンズの形状、速度、加速度、アンチエイリアスのレベル、アンチエイリアスの種類、異方性フィルタリングのレベル、ガンマ補正、コントラスト、及び明度である。

ステップ１２３は、所望のユーザ視点を決定することを含む。ユーザは、（例えば仮想現実の場合は）コントローラを使用することにより、又は（例えば拡張現実の場合は）自分の頭部若しくはモバイル装置の方向を変えること若しくは動き回ることによって新たな視点からのビューを要求可能であり得る。この所望の視点は、利用可能な視点の１つと必ずしも一致しない。

代替的実施形態では、ステップ１２１及び１２３が異なる順序で実行される。図２の実施形態では、所望のユーザ視点が決定される前にコンテンツアイテムが選択される。代替的実施形態では、所望のユーザ視点が決定された後でコンテンツアイテムが選択され得る。例えば同様のコンテンツを有する複数のコンテンツアイテムがある場合、コンテンツアイテムは所望のユーザ視点に基づいて選択され得る。この代替的実施形態では、ステップ１２３が通常はステップ１２１の前に実行される。

ステップ１２５は、所望のユーザ視点に基づいて利用可能な視点の１つ又は複数を選択することを含む。図８は所望のユーザ視点の一例、つまりユーザ視点９１を示す。図８は、３つの利用可能な視点７３～７５を更に示す。

このステップの第１の実装形態では、ステップ１２５が、ユーザ視点９１に対応するビュー及び利用可能な視点７３～７５に対応するビューを決定すること、ユーザビューと利用可能なビューのそれぞれとの間の重複を比較すること、及び最大の重複を有する利用可能なビューに対応する利用可能な視点を選択することを含む。

このステップの第２の実装形態では、ステップ１２５が、ユーザ視点９１と利用可能な視点７３～７５のそれぞれとの間の距離を求めること、及び最も近い利用可能な視点を選択することを含む。従って観察方向は無視される。この第２の実装形態は、全ての視点が点群の方を向いていることが分かっている場合に有益である。両方の実装形態により、図８の例において利用可能な視点７３が選択される。

これらの２つの実装形態の拡張として、優先順位付けした視点の一覧を作成し、望ましさによってランク付けすることができる。一覧のうちの最も一致する視点に対応するビューが最初に得られるが、時間が残っている場合は更に多くの（例えば２番目に優れた、３番目に優れた等の）利用可能なビューを優先順位付けした視点の一覧に従って得ることができる。

ステップ１２７は、選択した１つ又は複数の視点に基づき、選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データ３１を得ることを含む。

このステップの第１の実装形態では、ボリュメトリック画像データの組はＭＰＥＧ ＤＡＳＨを使用してサーバコンピュータによって公開されるファイルである。各ファイルは点群のサブセットを含むことができ、ファイルは複数のクライアント／復号器システムにストリーミングされ得る。

このステップの第２の実装形態では、サーバコンピュータがボリュメトリック画像データ、例えばビューを含むファイルをメディアストリーミングプロトコル（ＲＴＰ等）上でストリーミングする。かかるストリーミングシナリオでよくあるように、ストリーミングが開始する前に、ストリームの転送をネゴシエートするためにＳＩＰを使用することができる。これを実装するために、様々な視点をシグナリングするために使用可能な新たなＳＤＰメッセージ部分を定める必要があり得る。この新たなＳＤＰメッセージは、それぞれステップ１０７及び１２１において既にそれぞれ伝送及び受信されていることになる。例えば点群に関するビューのストリーミングのために以下のメッセージ部分を定めることができ、このメッセージ部分は視点ごとに含まれ得る：

この例では「ｖｉｅｗｐｏｉｎｔ ｉｄ」は、視点「ｘ」、「ｙ」、及び「ｚ」が視点の位置を示す浮動小数点数である一方、「ｙａｗ」、「ｐｉｔｃｈ」、及び「ｒｏｌｌ」が関連するカメラのそれぞれの回転を示す浮動小数点数であることを識別するセッション固有の整数である。

完全なＳＤＰメッセージの一例を以下に示す。ＳＤＰメッセージは点群に関するビューのストリーミングをネゴシエートするために使用される。この例では、点群のためのＲＴＰペイロードタイプを「２０１９」だと仮定する。

Ａｌｉｃｅが、３つの視点を有する点群の送信を申し出る：

Ｂｏｂが、ｉｄ１を有する視点を受信するための要求で応える。

ＳＩＰプロトコルによれば、ネゴシエーションがこれで完了し、Ａｌｉｃｅは対応するビューをＢｏｂに伝送し始めることができる。Ｂｏｂが異なる視点に対応するビューを受信したくなると、ＳＤＰ再ネゴシエーションを使用してそれを実現することができる。

このステップの第３の実装形態では、第２の実装形態にあるのと同じ種類のシグナリングを有するＷｅｂＲＴＣを使用するが、その後ＪａｖａＳｃｒｉｐｔセッション確立プロトコル（ＪＳＥＰ）を使用してストリーミングが実現される。

このステップの第４の実装形態では、ビューがＩＳＯＢＭＦＦコンテナ内に含まれる。ＩＳＯＢＭＦＦコンテナは例えば１つ又は複数の点群を含み得る。

目標はステップ１２７で少なくとも１つのビューを得ることだが、十分な時間がある場合は複数のビューを得ることができる。ストリーミングの間、クライアントは更に多くのデータをフェッチするのに十分な時間があるかどうかを判定するための期限を使用することができる。これらのビューは、元の画像データのより優れた概算を与えるために使用され得る。どの追加のビューを厳密にフェッチするのかは、ステップ１２５に関して説明したように選択アルゴリズムの拡張版を使用して決定することができる（例えば視点が類似度によってランク付けされる場合、クライアントは２番目に類似する視点、３番目に類似する視点等をフェッチすることができる）。

例えばクライアントが次のフレームを表示しなければならず、新たなフレームデータが利用できない場合、無作為の追加の視点をフェッチすることは後の処理にも有用であり得る。現在の点群が１組の複数の連続した点群（例えば動画の点群）の中の１つであり、クライアントが次の点群の期限を逃す場合、最初にフェッチされたビューと異なる角度から現在の点群を表示するために追加でフェッチしたビューを使用することができる。現在の点群及び次の点群は点群の現在のフレーム及び次のフレームと呼ぶこともできる。

追加のビューは一次ビューと異なる品質を有し得る。ＤＡＳＨのようなクライアントベースの品質選択メカニズム、例えばＡＢＲ又はＢＯＬＡアルゴリズムを使用することができる。ユーザが複数の、例えば目ごとに１つの視点を有する場合、複数のパースペクティブを（例えば単一のストリーム／ビデオ内で）同時にストリーミングすることができる。一部の点群について、このことはコード化効率の改善をもたらし得る。これらのストリームは１つ又は複数の画像のシーケンスとして空間的に（例えばキルトパターン又は隣り合わせで）構成することができ、そのためホログラフィックディスプレイ及び／又はライトフィールドディスプレイによって直接使用可能である。

ステップ１２９は、１組又は複数組のボリュメトリック画像データから１つ又は複数の利用可能なビューの少なくとも１つを復号することを含む。クライアントは、取得したビューをその形式に従って復号するために典型的には最新式の復号器を使用する。例えばＶ－ＰＣＣを使用して点群が符号化される実施形態では、ビューを復号するために最新式のＶ－ＰＣＣ復号器が典型的には使用される。複数のビュー／点群が並列に復号されてもよい。

任意選択的なステップ１３１は、復号済みの１つ又は複数の利用可能なビューの少なくとも１つをレンダリングすることを含む。ビューをレンダリングするために知られている技法、例えば点群レンダリング技法を使用することができる。視錐台カリングが既に実行されているので、殆どの事例でデータのサイズが既に著しく低減されている。従って通常の最新式のレンダリングでも、これらの方法を使用するとき必要とされる総作業量は低減される。しかし、得られる利用可能なビューが所望のユーザビューよりも大きい場合、ステップ１３１で追加の視錐台カリングを行うことができる。

所望のユーザ視点はしばしば利用可能な視点の１つと同じではないので、復号済みのビューを所望のユーザ視点に合わせて調節するために幾らかの調節が典型的には復号器システムによって必要とされる。従ってステップ１３１でオクルージョンカリングを行うことが有益である。図２の実施形態では、ステップ１０３のサブステップであるステップ１１３でオクルージョンカリングが符号器システムによっても行われる。代替的実施形態では、ステップ１０３でオクルージョンカリングが符号器システムによって行われない。

オクルージョンカリングが行われない場合、復号器システムによる一般的なオーバードローアルゴリズムの使用が、見えるオブジェクトの前に遮られたオブジェクト、例えば点がレンダリングされないことを確実にする。例えばオーバードローアルゴリズムは全てのオブジェクトを取ることによって実行されてもよく、オブジェクトごとにカメラまでのオブジェクトの相対距離が計算される。その結果生じる距離の一覧をソートし、最遠から最近の順にオブジェクトが描かれる。ステップ１２１又は１２３はステップ１３１の後で繰り返され、その後この方法は図２に示すように続く。ステップ１２３の次の反復では、更なる所望のユーザ視点を決定する。

図２に関して記載した実装形態は点群の使用を含むが、点群だけに制限されない。同じ又は同様の実装形態が異なる種類のボリュメトリックデータの使用を含み得る。

利用可能な視点から逸脱する所望のユーザ視点における所望のユーザ視野を埋めるために十分なデータが得られることを確実にする、以下を含む幾つかの選択肢が存在する：
・利用可能なビューの視野をユーザの視野よりも広くすることができる。これについてはステップ１１１に関して説明しており、図１０に関しても説明する。
・１つ又は複数の関係するビューを取得し、一次ビューと融合することができる。これについては図９に関して説明する。

符号化済みのボリュメトリック画像データを復号する方法の第２の実施形態を図９に示す。この第２の実施形態では、１つ又は複数の関係するビューが取得され、一次ビューと融合される。

ステップ１２１は、符号化済みのボリュメトリック画像データに関連するメタデータを得ることを含む。ステップ１２３は、所望のユーザ視点を決定することを含む。ステップ１２５は、所望のユーザ視点に基づいて利用可能な視点を選択することを含む。

ステップ１２７はステップ１２５の後に実行される。ステップ１２７は、選択した視点に基づき、選択した利用可能な視点に対応する利用可能なビューが符号化されている１組のボリュメトリック画像データを得ることを含む。ステップ１２９は、１組のボリュメトリック画像データから利用可能なビューを復号することを含む。

ステップ１２７に加え、ステップ１２５の後にステップ１４１が実行される。ステップ１４１は、１つ又は複数の関係するビューからのデータが符号化されている更なる１組のボリュメトリック画像データを得ることを含む。１つ又は複数の関係するビューは利用可能なビューに関係する。１つ又は複数の関係するビューは、例えば隣接し、隔てられ、又は重複し得る。

１つ又は複数の関係するビューは、以下のときに１つ又は複数の利用可能なビューに関係すると見なされ得る：
・（例えばビュー群を作成する）コンテンツクリエータによってそのように定められる。これは１組の限られたユーザ位置を有するシナリオにおいて有用である。かかるシナリオは、シーンのグラフ又は１つ若しくは複数のシーン内の位置として一般に定められる。
・幾らか共通の属性を有する（例えば観察方向の差が定数ｃ未満であり、又はその相対距離が定数ｄ未満である）。
・自動生成されるビューが符号器システムによってグループ化され得る。例えば符号器システムが１組の「アンカ」ビューから開始するが、シーンの更に多くをカバーするために更に多くのビューを必要とする場合、符号器システムは既に知られているビューに関係する追加のビューを定め得る。

関係するビューは利用可能なビューと部分的に重複することができ、又はそれらの２つのビューの１つが他方のビュー内に完全に含まれ得る。ステップ１４３はステップ１４１の後に実行される。ステップ１４３は、更なる１組のボリュメトリック画像データから１つ又は複数の関係するビューの少なくとも１つを復号することを含む。

ステップ１４５は、ステップ１２９及び１４３の後に実行される。ステップ１４５は、復号済みの少なくとも１つの関係するビューを復号済みの利用可能なビューと融合することを含む。図２のステップ１３１（図９には不図示）はステップ１４５の後に実行され得る。その場合、融合済みのビューをステップ１３１でレンダリングする。融合済みのビューに対して視錐台カリング及び／又はオクルージョンカリングが行われ得る。

符号化済みのボリュメトリック画像データを復号する方法の第３の実施形態を図１０に示す。図９の実施形態では、常に（或いは殆ど常に）複数のビューが融合される。図１０の実施形態ではかかる融合は通常不要であり、その理由は取得済みのビューを所望のユーザ視点に合わせて調節できるようにするために利用可能なビューの視野がユーザの視野よりも広くされているからである。しかしユーザが自らの所望の視点を例えば自分の頭部を動かすことによって、動き回ることによって、又はコントローラを使用することによって変える場合、別の（例えばより近くの）視点が現在のものよりも好ましくなり得る。

その場合、利用可能なビューのうちの別のものに移行することが望ましい。この移行を可能にするために、この移行中に２つのビューを一緒にレンダリングすることが有益であり得る。これらの２つのビューは通常同じアルゴリズムによって同時にレンダリングされる。複数の視点からの複数のビューをレンダリングする場合、複数のビュー間の平滑な移行を確実にするために点を融合する（ノイズ除去、平均化、平滑化、重複除去、及び／又は除去する）ことができる。

ステップ１２１は、符号化済みのボリュメトリック画像データに関連するメタデータを得ることを含む。ステップ１２３は、所望のユーザ視点を決定することを含む。ステップ１２５は、所望のユーザ視点に基づいて１つ又は複数の利用可能な視点を選択することを含む。

所望のユーザ視点が一定の利用可能な視点と同一である、又は一定の利用可能な視点に対応する利用可能なビューが所望のユーザ視点から見える全てのデータを含む場合、その一定の視点だけが選択される。従って、複数のビューを（完全に）得ることを必要とせずに所望のユーザ視点から見える全てのデータが得られる。ステップ１２５の後にステップ１７１が実行される。

ステップ１７１は、選択した視点のうちの少なくとも１つのビューデータがまだ得られていないかどうかを確認することを含む。該当する場合、選択した視点の１つについてステップ１２７及び１２９を実行する。ステップ１２７は、選択した視点に基づき、この選択した利用可能な視点に対応する利用可能なビューが符号化されている１組のボリュメトリック画像データを得ることを含む。ステップ１２９は、１組のボリュメトリック画像データからこの利用可能なビューを復号することを含む。

全ての選択した視点に対応するビューが得られているとステップ１７１で判定される場合、次にステップ１７５を実行する。ステップ１７３がステップ１２７及び１２９の後に実行される。ステップ１７３は、そのビューデータがまだ得られていない選択した視点が依然としてあるかどうかを確認することを含む。該当する場合はステップ１７１を繰り返す。該当しない場合は次にステップ１７５を実行する。

ステップ１７５は、複数の視点が選択されているかどうか、及び複数のビューが得られ復号されているかどうかを確認することを含む。該当しない場合はステップ１７７を実行する。任意選択的なステップ１７７は、単一の復号済みのビューをレンダリングすることを含む。更なる所望のユーザ視点に関してステップ１７７の後でステップ１２３を繰り返し、その後この方法は図１０に示すように続く。

複数の視点が選択されており、複数のビューが得られ復号されているとステップ１７５で判定される場合、ステップ１８１を次に実行する。ステップ１８１は、複数の復号済みの利用可能なビューを融合することを含む。任意選択的なステップ１８３は、融合済みの利用可能なビューをレンダリングすることを含む。更なる所望のユーザ視点に関してステップ１８３の後でステップ１２３を繰り返し、その後この方法は図１０に示すように続く。代替的実施形態では、複数の視点が選択されており、複数のビューが得られていても、それらのサブセットだけが使用されてもよく、選択されたビューの１つしか使用されない場合はステップ１７７を実行することができる。

ステップ１８１の融合は、（不可逆的圧縮アーティファクト及び／又はビュー間の重複によって生じ得る）様々な視点の様々なビュー間の「シーム」を隠すために知られている技法を使用してビューを平滑化することを概して含む。所望のユーザ視点が瞬間ごとに変わり得るだけでなく、利用可能な視点もフレームごとに又はフレームのシーケンスごとに変わり得る。どちらも事例でも利用可能な視点から新たな選択を行う必要がある。

見えないデータがレンダリングされることを防ぐために又はレンダリングされる見えないデータの量を減らすために、ステップ１７７及び１８３でオクルージョンカリング及び／又は錐台カリングを実行することができ、このことは既存のレンダリングパイプラインを不変のままにしておくことができる利点を有する。錐台カリングは既に符号器システム内で実行されているので、錐台カリングは技術的現状においてよりも速く生じる可能性がある。符号器システム内でオクルージョンカリングが行われた場合、同じことがオクルージョンカリングに当てはまる。

図１１は、図２、図９、及び図１０に関して説明した方法を実行することができる例示的なデータ処理システムを示すブロック図を示す。

図１１に示すように、データ処理システム４００は、システムバス４０６によってメモリ要素４０４に結合される少なくとも１つのプロセッサ４０２を含み得る。そのため、データ処理システムはメモリ要素４０４内にプログラムコードを記憶することができる。更にプロセッサ４０２は、システムバス４０６によってメモリ要素４０４からアクセスされるプログラムコードを実行することができる。一態様では、データ処理システムがプログラムコードを記憶し及び／又は実行するのに適したコンピュータとして実装され得る。但し、データ処理システム４００は、本明細書の中で記載した機能を実行可能なプロセッサ及びメモリを含む任意のシステム形式で実装できることを理解すべきである。

メモリ要素４０４は、例えばローカルメモリ４０８及び１つ又は複数の大容量記憶装置４１０等の１つ又は複数の物理メモリ装置を含み得る。ローカルメモリは、プログラムコードを実際に実行する間に一般に使用されるランダムアクセスメモリ又は他の非永続的メモリ装置を指し得る。大容量記憶装置は、ハードドライブ又は他の永続的データ記憶装置として実装され得る。処理システム４００は、実行中に大容量記憶装置４１０からプログラムコードを取り出さなければならない回数を減らすために、少なくとも一部のプログラムコードの一時記憶域を提供する１つ又は複数のキャッシュメモリ（不図示）も含み得る。

入力装置４１２及び出力装置４１４として示す入出力（Ｉ／Ｏ）装置は、任意選択的にデータ処理システムに結合され得る。入力装置の例は、これだけに限定されないがキーボード、マウス等のポインティングデバイス、３ＤｏＦ又は６ＤｏＦ追跡コントローラ等を含み得る。出力装置の例は、これだけに限定されないがモニタ又はディスプレイ（例えばＨＭＤ又はＡＲステレオディスプレイ）、スピーカ等を含み得る。入出力装置はデータ処理システムに直接、又は介在するＩ／Ｏコントローラによって結合され得る。

一実施形態では、入力装置及び出力装置が複合入出力装置として実装され得る（入力装置４１２及び出力装置４１４を取り囲む破線によって図１１に示す）。かかる複合装置の一例は、「タッチスクリーンディスプレイ」又は単純に「タッチスクリーン」と呼ばれることもあるタッチセンスディスプレイである。かかる実施形態では、装置への入力が例えばタッチスクリーンディスプレイ上の又はその近くのスタイラス又は人の指等の物理的物体の動きによって与えられ得る。

データ処理システムが介在する私設ネットワーク又は公衆ネットワークによって他のシステム、コンピュータシステム、リモートネットワーク装置、及び／又はリモート記憶装置に結合することを可能にするために、ネットワークアダプタ４１６もデータ処理システムに結合され得る。ネットワークアダプタは、前述のシステム、装置、及び／又はネットワークによってデータ処理システム４００に伝送されるデータを受信するためのデータ受信機、及びデータ処理システム４００から前述のシステム、装置、及び／又はネットワークにデータを伝送するためのデータ送信機を含み得る。モデム、ケーブルモデム、及びイーサネットカードはデータ処理システム４００と共に使用することができる様々な種類のネットワークアダプタの例である。

図１１に図示するように、メモリ要素４０４がアプリケーション４１８を記憶することができる。様々な実施形態において、アプリケーション４１８がローカルメモリ４０８内に、彼１つ又は複数の大容量記憶装置４１０内に、又はローカルメモリ及び大容量記憶装置から離して記憶され得る。データ処理システム４００は、アプリケーション４１８の実行を助けることができるオペレーティングシステム（図１１には不図示）を更に実行できることを理解すべきである。実行可能プログラムコード形式で実装されているアプリケーション４１８は、データ処理システム４００によって、例えばプロセッサ４０２によって実行され得る。アプリケーションを実行することに応答し、データ処理システム４００は本明細書に記載した１つ又は複数の操作又は方法ステップを実行するように構成され得る。

コンピュータシステムと共に使用するためのプログラム製品として本発明の様々な実施形態を実装することができ、プログラム製品のプログラムは（本明細書に記載した方法を含む）実施形態の機能を定める。一実施形態では、プログラムが様々な非一時的コンピュータ可読記憶媒体上に含まれてもよく、本明細書で使用するとき「非一時的コンピュータ可読記憶媒体」という表現は、唯一の例外が一時的な伝搬信号である、全てのコンピュータ可読媒体を含む。別の実施形態では、プログラムが様々な一時的コンピュータ可読記憶媒体上に含まれ得る。例示的なコンピュータ可読記憶媒体は、これだけに限定されないが（ｉ）情報が永続的に記憶される書込み不能記憶媒体（例えばＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、ＲＯＭチップ、又は任意の種類のソリッドステート不揮発性半導体メモリ等のコンピュータ内の読取専用メモリ装置）、及び（ｉｉ）可変情報が記憶される書込み可能記憶媒体（例えばフラッシュメモリ、ディスケットドライブ又はハードディスクドライブ内のフロッピディスク、又は任意の種類のソリッドステートランダムアクセス半導体メモリ）を含む。コンピュータプログラムは本明細書に記載のプロセッサ４０２上で実行され得る。

本明細書で使用した用語は特定の実施形態を説明することを目的とするに過ぎず、本発明の限定であることは意図しない。本明細書で使用するとき、文脈上明白に他の意味を示す場合を除いて単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は複数形も含むことを意図する。本明細書で使用するとき「含む」及び／又は「含んでいる」という用語は、述べられた特徴、完全体、ステップ、操作、要素、及び／又はコンポーネントの存在を規定するが、１つ又は複数の他の特徴、完全体、ステップ、操作、要素、コンポーネント、及び／又はそのグループの存在又は追加を除外しないことが更に理解されよう。

添付の特許請求の範囲の中の全てのミーンズ又はステッププラスファンクション要素の対応する構造、材料、行為、及び等価物は、具体的に主張する特許請求の範囲の他の要素と組み合わせて機能を実行するための任意の構造、材料、又は行為を含むことを意図する。本発明の実施形態の説明は解説目的で示してきたが、網羅的であることも開示した形の実装形態に限定されることも意図しない。本発明の範囲及び趣旨から逸脱することなしに多くの修正形態及び改変形態が当業者に明らかになる。本発明の原理及び一部の実用的応用を最も良好に説明するために、及び予期される特定の使用法に適した様々な修正形態を有する様々な実施形態について当業者が本発明を理解できるようにするために実施形態を選択し且つ記載した。

Claims (15)

1. － ボリュメトリック画像データ（７１）の入力セットを得るステップと、
   － 前記ボリュメトリック画像データ（７１）に対する複数のビューのそれぞれについて前記ボリュメトリック画像データ（７１）からデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からの前記データの可視性に基づいて選択するステップであって、それにより前記複数のビューのそれぞれが前記ボリュメトリック画像データ（７１）の一部しか含まない、ステップと、
   － ボリュメトリック画像データの別個の出力セットとして前記ビューのそれぞれを符号化するステップと、
   － 前記複数の視点を示すメタデータを生成するステップと
   を行うように構成される少なくとも１つのプロセッサ（２５）を含む、符号器システム（２１）。
2. 前記少なくとも１つのプロセッサ（２５）が、
   － １つ又は複数のそれぞれの更なる視点からの更なるデータの可視性に基づいて前記複数のビューのそれぞれの前記更なるデータを選択するように構成され、前記１つ又は複数のそれぞれの更なる視点は、前記それぞれの視点に関係している、
   請求項１に記載の符号器システム（２１）。
3. 前記少なくとも１つのプロセッサ（２５）が、前記ボリュメトリック画像データの出力セット又は前記ボリュメトリック画像データの出力セットの一部を何処で得るのかを前記メタデータ内で指定するように構成される、請求項１又は２に記載の符号器システム（２１）。
4. 前記メタデータが、前記複数の観察方向及び／又は前記複数の視野及び／又は更なる視点の構成を更に示す、請求項１乃至３の何れか一項に記載の符号器システム（２１）。
5. 前記ボリュメトリック画像データ（７１）の入力セットが１つ又は複数の点群を含む、請求項１乃至４の何れか一項に記載の符号器システム（２１）。
6. 前記少なくとも１つのプロセッサ（２５）が、前記対応する観察方向において及び／又は前記対応する視野内で前記対応する視点から見える前記ボリュメトリック画像データの全てをそれぞれのビューごとに前記ボリュメトリック画像データから選択することにより、前記複数のビューのそれぞれについて前記ボリュメトリック画像データ（７１）から前記データを選択するように構成される、請求項１乃至５の何れか一項に記載の符号器システム（２１）。
7. 前記複数のビューが集合的に前記ボリュメトリック画像データ（７１）の全てを含む、請求項１乃至６の何れか一項に記載の符号器システム（２１）。
8. － 所望のユーザ視点（９１）を決定するステップと、
   － 符号化済みのボリュメトリック画像データに関連するメタデータを得るステップであって、前記メタデータは利用可能な視点（７３～７５）を示し、前記利用可能な視点（７３～７５）のそれぞれは利用可能なビューに対応する、ステップ、
   － 前記所望のユーザ視点（９１）に基づいて前記利用可能な視点（７３～７５）の１つ又は複数を選択するステップと、
   － 前記選択した１つ又は複数の視点に基づき、前記選択した１つ又は複数の視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データを得るステップと、
   － 前記１組又は複数組のボリュメトリック画像データから前記１つ又は複数の利用可能なビューの少なくとも１つを復号するステップと
   を行うように構成される少なくとも１つのプロセッサ（５）を含む、復号器システム（１）。
9. 前記少なくとも１つのプロセッサ（５）が、
   － 更なる所望のユーザ視点を決定するステップと、
   － 前記更なる所望のユーザ視点に基づいて前記利用可能な視点（７３～７５）から更なる利用可能な視点を選択するステップと、
   － 前記更なる利用可能な視点に対応する更なる利用可能なビューが符号化されている更なる１組のボリュメトリック画像データを得るステップと、
   － 前記更なる１組のボリュメトリック画像データから前記更なる利用可能なビューを復号するステップと、
   － 前記復号済みの更なる利用可能なビューを少なくとも１つの前記復号済みの利用可能なビューと融合するステップと
   を行うように構成される、請求項８に記載の復号器システム（１）。
10. 前記少なくとも１つのプロセッサ（５）が、
    － １つ又は複数の関係するビューからのデータが符号化されている更なる１組のボリュメトリック画像データを得るステップであって、前記１つ又は複数の関係するビューは前記利用可能な１つ又は複数の利用可能なビューに関係している、ステップと、
    － 前記更なる１組のボリュメトリック画像データから前記１つ又は複数の関係するビューの少なくとも１つを復号するステップと、
    － 前記復号済みの少なくとも１つの関係するビューを前記復号済みの少なくとも１つの利用可能なビューと融合するステップと
    を行うように構成される、請求項８に記載の復号器システム（１）。
11. 前記少なくとも１つのプロセッサ（５）が、前記利用可能な視点（７３～７５）を示し、前記利用可能な視点（７３～７５）に対応する利用可能なビューが符号化されているボリュメトリック画像データの組又は前記組の一部を何処で得るのかを指定するメタデータを得るように構成される、請求項８乃至１０の何れか一項に記載の復号器システム（１）。
12. 前記メタデータが、前記利用可能な視点（７３～７５）のそれぞれについて観察方向及び／又は視野及び／又は更なる視点の構成を更に示す、請求項１１に記載の復号器システム（１）。
13. － ボリュメトリック画像データの入力セットを得るステップと（１０１）、
    － 前記ボリュメトリック画像データに対する複数のビューのそれぞれについて前記ボリュメトリック画像データからデータをそれぞれの観察方向における及び／又はそれぞれの視野内のそれぞれの視点からの前記データの可視性に基づいて選択するステップ（１０３）であって、それにより前記複数のビューのそれぞれが前記ボリュメトリック画像データの一部しか含まない、ステップと（１０３）、
    － ボリュメトリック画像データの別個の出力セットとして前記ビューのそれぞれを符号化するステップと（１０５）、
    － 前記複数の視点を示すメタデータを生成するステップと（１０７）
    を含む、ボリュメトリック画像データを符号化する方法。
14. － 所望のユーザ視点を決定するステップと（１２１）、
    － 符号化済みのボリュメトリック画像データに関連するメタデータを得るステップと（１２３）であって、前記メタデータは利用可能な視点を示し、前記利用可能な視点のそれぞれは利用可能なビューに対応する、ステップと（１２３）、
    － 前記所望のユーザ視点に基づいて前記利用可能な視点の１つ又は複数を選択するステップと（１２５）、
    － 前記選択した１つ又は複数の視点に基づき、前記選択した１つ又は複数の利用可能な視点に対応する１つ又は複数の利用可能なビューが符号化されている１組又は複数組のボリュメトリック画像データを得るステップと（１２７）、
    － 前記１組又は複数組のボリュメトリック画像データから前記１つ又は複数の利用可能なビューの少なくとも１つを復号するステップと（１２９）
    を含む、符号化済みのボリュメトリック画像データを復号する方法。
15. ソフトウェアコード部分がコンピュータシステム上で実行されるとき請求項１３又は１４に記載の方法を実行するように構成される、少なくとも１つのソフトウェアコード部分を含むコンピュータプログラム。

Images