JP2024521898A - ３次元シーン及びその深度平面データを表現する方法、エンコーダ、及び表示装置 - Google Patents

Abstract

３次元データセットとして格納された３次元シーンを表現するための方法は、視野方向に沿ったP個の深度平面深度のセットを決定するステップを含む。方法は、３次元データセットから、各深度平面深度について、（i）３次元データセットを構成し、（ii）各々が各々のシーン深度における３次元シーンの各々の横断面を表す、複数の横断面画像のうちの少なくとも１つの断面画像から、P個のプロキシ画像のうちのプロキシ画像を生成することにより、P個のプロキシ画像を含むプロキシ３次元データセットを生成するステップを含む。

Description

［関連出願］
本願は、参照により全体がここに組み込まれる、共に２０２１年６月２日に出願した米国仮出願番号第６３／１９５８９８号及び欧州特許出願番号第２１１７７３８１．７号の優先権を主張する。

一部の立体、拡張現実、及び仮想現実アプリケーションは、シーンのビューアに対して異なる距離（深度平面）における一連の画像として３次元シーンを表現する。所望の視点からそのようなシーンをレンダリングするために、各深度平面を順番に処理し、他の平面と合成して、所望のビューア位置での３次元シーンの２次元投影をシミュレートすることができる。この２次元投影は、次に、ヘッドマウント装置、携帯電話、又は他のフラットスクリーン上で表示することができる。ビューアの位置に基づいて２次元投影を動的に調整することで、３次元のシーンの中にいるような体験をシミュレートすることができる。

３次元シーンを正確に表現するために必要な深度平面の数を減少させることは、そのような減少が処理されるべきデータの量を減少させるので価値がある。本明細書に開示される実施形態では、深度を知覚する人間の視覚システムの能力に適合するか又は僅かに上回る正確なシミュレーションをレンダリングできることを保証しながら、深度平面の数を減らすことが達成される。本明細書に開示される実施形態は、深度の物理的距離（深度平面）を視力などの人間の視覚システムの能力に関連付ける「深度知覚量子化（Depth Perceptual Quantization）」機能又はD_PQを含む。D_PQによって計算される各深度平面は、隣接する平面からの一定の「最小可知差（just noticeable difference）」である。

第１態様において、３次元データセットとして記憶された３次元シーンを表現する方法が開示される。この方法は、第１視点に対する第１視野方向に沿ったP個の深度平面深度を決定することを含む。深度平面深度の各近位深度Dと隣接する遠位深度（D+ΔD）との間の分離ΔDは、（i）近位深度D、（ii）第１視野方向に垂直で、かつ第１視点と第２視点との間の横方向オフセットΔx、及び（iii）第２視点から見たときに分離ΔDだけ傾斜した視野角Δφによって決定される最小可知差である。方法はまた、３次元データセットから、P個のプロキシ画像I_kを含むプロキシ３次元データセットを生成することを含む。プロキシ３次元データセットを生成することは、P個の深度平面深度のうちの深度平面深度ごとに、（i）３次元データセットを構成し、（ii）各々が複数のシーン深度のうちの各々のシーン深度における３次元シーンの各々の横断面を表す、複数の横断面画像のうちの少なくとも１つの断面画像から、P個のプロキシ画像のうちのプロキシ画像を生成することにより、P個のプロキシ画像を含むプロキシ３次元データセットを生成することを含む。

第２態様において、エンコーダは、プロセッサ及びメモリを含む。メモリは、機械可読命令を記憶しており、
前記機械可読命令は、前記プロセッサによって実行されると、第１態様のいずれかに記載の方法を実行するように前記プロセッサを制御する。

第３態様において、表示装置は、電子視覚ディスプレイ、プロセッサ、及びメモリを含む。メモリは、機械可読命令を格納しており、前記機械可読命令は、プロセッサによって実行されると、P個のプロキシ画像のうちの各プロキシ画像I_k、k=０、１、．．．、（P－１）、について、
（i）次式の線形関数として、プロキシ画像I_kの各シーン深度D_kを決定し：

ここで、m、n、c_１、c_２、及びc_３が所定値であり、P_d =（P－１）であり、
（ii）電子視覚ディスプレイにシーン深度D_kでプロキシ画像I_kを表示する、
ようにプロセッサを制御する。

第４の態様では、深度平面データを表現する方法は、３次元シーン内の複数の深度Dの各々に対応する複数の２次元画像の各々について、
（i）深度Dから正規化深度D'を決定することと、
（ii）次式に等しい正規化された知覚深度D_PQを計算することと：

（iii）正規化された知覚深度D_PQをバイナリコード値D_Bとして表現することであって、m、n、c_１、c_２、及びc_３は所定の値である、ことと、
を含む。

装置のディスプレイによってレンダリングされた３次元シーンを見るビューアの概略図である。

視聴距離と横方向変位の関数として、最小可知差のための式の幾何学的導出を示す概略図である。

図２の横方向変位と視聴距離、水平画面解像度及び角度視力の関係を示す概略図である。

特定の視聴構成における視聴距離の関数としての、最小可知差のプロットである。

実施形態において、図２により導出された深度における最小可知差の表現を用いて再帰的に決定された複数の深度平面深度を示すプロットである。

実施形態において、図５の深度平面深度の関数として正規化深度を示すグラフである。

実施形態における、３次元データセットとして記憶された３次元シーンを表現する方法を示すフローチャートである。

実施形態における、深度平面データを表現する方法を示すフローチャートである。

本明細書に開示される装置及び方法は、空間視力（細部を知覚する能力）の限界に基づいて深度平面位置を決定する。このアプローチは、両眼視力（２つの眼で異なる画像を知覚する能力）に依存する方法とは異なる。空間視力を利用することにより、本明細書に開示される実施形態は、１つのオブジェクトがある観察位置から別のオブジェクトによって隠されているが別の観察位置からは見える場合に存在する、高周波数閉塞の正確な表現を保証する。

本明細書に開示される深度平面位置特定法は、運動視差を考慮する。運動視差は、観察者がシーンを観察する際に移動して別の視点からそれを観察することである。２つの異なる視点からの画像の変化は、強力な深度キューをもたらす。他の方法は、２つの目の間の視点の差（通常は６．５cm）のみを考慮する。本明細書の実施形態は、より多くの知覚深度平面をもたらす２８cmの動きのような、はるかに長いベースラインに対応し、そのために設計されている。

図１は、装置１００のディスプレイ１１０によってレンダリングされた３次元シーン１１２を見るビューア１９１の概略図である。装置１００の例は、ヘッドマウントディスプレイ、モバイル装置、コンピュータモニタ、及びテレビ受信機を含む。装置１００はまた、プロセッサ１０２と、それに通信可能に結合されたメモリ１０４と、を含む。メモリ１０４は、プロキシ３次元データセット１７０及びソフトウェア１３０を格納する。ソフトウェア１３０は、機械可読命令の形式でデコーダ１３２を含み、装置１００の１つ以上の機能を実装する。本明細書で使用される用語「プロキシ画像データセット」は、元の画像データセットのためのメモリ効率の良い表現、又はプロキシを意味する。

図１はまた、符号化装置１６０を含み、符号化装置１６０は、プロセッサ１６２及びそれに通信可能に結合されたメモリ１６４を含む。メモリ１６４は、３次元データセット１５０、ソフトウェア１６６、及びプロキシ３次元データセット１７０を格納する。ソフトウェア１６６は、機械可読命令の形式でエンコーダ１６８を含み、符号化装置１６０の１つ以上の機能を実装する。実施形態では、エンコーダ１６８は、３次元データセット１５０からプロキシ３次元データセット１７０及びP個の深度平面深度１７４を生成する。装置１００と符号化装置１６０は、通信ネットワーク１０１を介して通信可能に接続される。

メモリ１０４及び１６４の各々は、一時的及び／又は非一時的であり、揮発性メモリ（例えば、SRAM、DRAM、計算RAM、他の揮発性メモリ、又はそれらの任意の組み合わせ）及び不揮発性メモリ（例えば、FLASH、ROM、磁気媒体、光学媒体、その他の不揮発性メモリ、又はそれらの任意の組み合わせ）の一方又は両方を含むことができる。メモリ１０４及び１６４の一部又は全部は、各々プロセッサ１０２及び１６２に統合されてよい。

３次元データセット１５０は、S個の横断面画像（transverse cross-section）１５２を含む。各横断面画像１５２は、各々のシーン深度１５４（０、１、．．．、S－１）における３次元シーンの各々の横断面を表す。S個はP個より多い。プロキシ３次元データセット１７０は、P個のプロキシ画像１７２（０、１、．．．、P－１）を含む。各深度平面深度１７４（k）について、エンコーダ１６８は、少なくとも１つの横断面画像１５２からプロキシ画像１７２（k）を生成する。インデックスkは、P個の整数のうちの１つの、例えば、両端を含む０と（P－１）との間の整数である。少なくとも１つの横断面画像１５２の各々のシーン深度１５４のうちの１つは、深度平面深度１７４（k）に最も近い。

デコーダ１３２は、プロキシ３次元データセット１７０を復号し、復号されたデータをディスプレイ１１０に送信し、ディスプレイ１１０は３次元シーン１１２として表示する。３次元シーン１１２は、P個のプロキシ画像１７２（０、１、．．．、P－１）を含み、各プロキシ画像は、３次元デカルト座標系１１８のx－y面に平行な方向zの各々の深度平面深度１７４（０、１、．．．、P－１）にある。座標系１１８上では、深度平面深度１７４は、z軸に沿ってz_０、z_１、…、z_P－１として示される。図１はまた、方向x'、y'、及びz'を定義する３次元デカルト座標系１９８を示す。ビューア１９１によって視聴されるとき、座標系１１８の方向x、y、及びzは、座標系１９８の各々の方向x'、y'、及びz'に平行である。

知覚深度の計算
図２は、視聴距離の関数として、最小可知差のための式の導出を示す概略図である。図２において、オブジェクト２２１は、ビューア１９１観察者から距離Dに位置し、オブジェクト２２２は距離ΔDだけその後方に位置する。観察位置２１１から、オブジェクト２２２はオブジェクト２２１によって隠される。ビューア１９１が距離Δxだけ新しい位置２１２に移動すると、ビューア１９１はオブジェクト２２２を観察することができる。幾何学は、式（１）に示されるように、図２に示される角度２３１及び２３２の差Δφの観点で記述することができ、ここでΔφは観察者の角度視力（angular visual acuity）である。テレビ及び映画制作のために、国際電気通信連合による勧告ITU－R BT．１８４５は、「通常の」２０／２０の視力、又は角度分解能Δφ=１／６０度の観察者を規定している。

式（１）は三角関数で次のように記述できる：

式（２）をΔDについて解くと、式（３）が得られ、これは深度量子化関数の例である。

式３を使用するには、深度平面の範囲を指定する必要がある。勧告ITU－R BT．１８４５は、人間の目が快適に焦点を合わせることができる最も近い距離をD_min =０．２５mと規定している。D_maxについては、分母が０に達し、ΔDが無限大になる値を選択するが、これは次式で発生し：

ベースライン距離Δxと視力Δφの両方の選択に依存する。

Δxの値も指定しなければならない。これは、観察者がオブジェクト２２１とオブジェクト２２２の間の深度の変化を知覚するために行わなければならない最小の動きである。これは、ディスプレイ上で見ることを意図した画像については、図３に示すように、各画素の幅Δwが視力Δφと一致する点としてITU－RB T．１８４５に規定された「理想視聴距離」から算出することができる。画面の水平解像度がNx=３８４０画素の場合、最小視聴距離D_minで見ると、画面の端から端までの距離は式４で与えられる：

最も近い視聴距離D= D_minに対してΔxを計算すると、Δx=０．２８mとなり、従ってD_max =９６０mとなる。大きな動きは最小可知差（just－noticeable difference （JND））を超えることがあるが、１人の観察者が両方の位置から同時に見ることは不可能であるため、両方の視点からの見方を比較するにはワーキングメモリに頼る必要がある。

図４は、式（３）のΔDのメートル単位のプロット、Δφ=１／６０度、Δx=０．２８メートルの場合の視聴距離Dの関数としてのΔD／Dを示している。近距離では、非常に小さな深度の変化が見える（D=２５cmで０．１５mm）。深度JNDは、深度がD_maxに近づくまで、より大きな距離で増加する。

D_minで開始し、D_maxに達するまでΔDだけ増加する式３を使用すると、各深度平面深度１７４が最後の深度から知覚量だけ異なるP個の深度平面深度１７４の表を作成することができる。最後の深度平面はD= D_maxに設定される。従って、プロキシ３次元データセット１７０は、３次元データセット１５０のメモリ効率の良い表現、又はプロキシになる。ビューア１９１がx'軸に沿って移動するときに、装置１００がビュー３次元シーン１００を表示及びリフレッシュするために必要な計算リソースは、データセット１７０の方がデータセット１５０よりも少ない。

上記の条件下でのユニークな深度平面の数はP=２８９０である。観察者の移動Δx=０．２８mを許容しながら、スクリーンの半分にまたがる滑らかな連続勾配（例えば、３次元シーン１１２に示されるように、スクリーンの下端から上端までの距離に消える鉄道）を示すためには、ほぼ３０００のユニークな深度平面が必要である。

図５は、上述の２８９０個の深度平面の各々についての深度平面インデックスk=０からk=２８８９の、各々の深度平面深度D_kへのマッピング５１０を示すプロットであり、ここで、D_kはk番目の深度平面の深度である。

関数形式のフィッティング
複数の実際の深度Dを各々の深度平面深度D_PQにマッピングするマッピング５１０への関数フィット（反転可能）を達成することが可能である。式（５）の関数形式は、そのようなマッピングの１つであり、ここで、深度平面深度D_PQは、指数n及び係数c_１、c_２及びc_３の適切に選択された値に対して、最適マッピング５１０である。式（５）の右辺は、本明細書の範囲から逸脱することなく、他の形式を有することができる。

式（５）において、D'は正規化深度D／D_maxであり、D_PQは対応する知覚深度平面の正規化深度である。D_PQの範囲は０から１である。係数c_１、c_２及びc_３は、c_３= c_１+c_２－１、及びc_２=－c_１（D_min／D_max）ⁿを満たす。実施形態では、c_２及びc_３の値は、D_PQ（D_min）=０及びD_PQ（D_max）=１のように決定される。実施形態では、D_maxは９６０メートルに等しく、c_１=２６２００００、及び指数nは３／４に等しい。

より正確な関数フィッティングは、式（５）の右辺に指数mを追加した式（６）に規定された関数形式を使用して得ることができる。つまり、式（５）は、mが１に等しい式（６）の特定のインスタンスである。実施形態では、指数n=１である。

式（５）におけるように、c２及びc３の値は、D_PQ（D_min）=０及びD_PQ（D_max）=１のように決定される。係数c_１、c_２及びc_３間の関係は、式（５）で前述したものと同じである。実施形態では、D_maxは９６０メートルに等しく、c_１=２６２００００、及び指数nは３８７２／４０９６に等しく、及びm=５／４である。

式（６）の深度平面深度D_PQは、深度平面深度１７４の例である。D_PQの単位が明示的に言及されていない場合、各深度平面深度D_PQは、０から１の範囲の正規化深度である。他の実施形態では、各深度平面深度D_PQは長さの単位を有し、D_minからD_maxの範囲である。

式（７）は式（６）の反転形式であり、したがって、正規化深度の明示的な式であるD'=D／D_maxは、深度平面深度D_PQ、係数c_１、c_２、及びc_３、ならびに指数m及びnの関数である。

図６は、式（７）のプロット６００である。プロット６００は、以下の式（３）：D_k+１=D_k+ΔD_k、ここでΔD_kは式（３）の左辺である、の反復的かつ再帰的な適用によって生成されたデータ６１０を含む。プロット６００は、式（７）によって生成されたはフィット６２０も含む。実施形態において、指数n=１は、n≠１のとき、式（７）の近似をもたらす。

式（８）は、インデックス付きバージョンの式（７）であり、k／P_dはD_PQを置き換え、D'はD'を置き換え、インデックスkは０からP_dまでの範囲であり、P_d =（P－１）である。式（８）は、係数μとオフセットβも含む。

D'_kの単位が明示的に言及されていない場合、βは０に等しく、μは１に等しく、その結果、D'_kは正規化深度D_k／D_maxを表す。他の実施形態では、β及びμは長さの単位を有し、D'_k（k=０）がD_minに等しく、D'_k（k=P－１）がD_maxに等しく、D'_kがもはや正規化されないように選択される。

実施形態では、装置１００のソフトウェア１３０は、プロセッサによって実行されるときに、（i）各プロキシ画像１７２（０-P_d）について、式（８）に従って各々の正規化されたシーン深度D'_kを決定し、（ii）各プロキシ画像１７２（０-P_d）を正規化されたシーン深度D'_kから決定されたシーン深度でディスプレイ１１０上で表示するように、プロセッサを制御する、機械可読命令を含む。

図７は、３次元データセットとして記憶された３次元シーンを表現する方法７００を示すフローチャートである。実施形態では、方法７００は、符号化装置１６０及び／又は装置１００の１つ以上の態様の中で実施される。例えば、方法７００は、（i）ソフトウェア１６６のコンピュータ可読命令を実行するプロセッサ１６２、及び（ii）ソフトウェア１３０のコンピュータ可読命令を実行するプロセッサ１０２、のうちの少なくとも１つによって実施され得る。方法７００は、ステップ７２０及び７３０を含む。実施形態では、方法７００は、ステップ７１０、７４０及び７５０の少なくとも１つも含む。

ステップ７２０は、第１視点に対する第１視野方向に沿ったP個の深度平面深度を決定することを含む。深度平面深度の各近位深度Dと隣接する遠位深度（D+ΔD）との間の分離ΔDは、（i）近位深度D、（ii）第１視野方向に垂直で、かつ第１視点と第２視点との間の横方向オフセットΔx、及び（iii）第２視点から見たときに分離ΔDだけ傾斜した視野角Δφによって決定される最小可知差である。ステップ７２０の例では、エンコーダ１６８は深度平面深度１７４を決定する。

実施形態では、視野角Δφは１アークミニット（arcminute）である。実施形態では、P個の深度平面深度の各々は、最小深度D_０を超え、D_k、k=１、２、．．．、（P－１）で示され、P個の深度平面深度を決定するステップは、深度D_k+１=D_k+ΔD_kを繰り返し決定するステップを含む。そのような実施形態では、分離ΔD_kは、式（３）の例である次式に等しい：

実施形態では、方法７００は、ステップ７１０を含み、視野角Δφからの横方向オフセットΔx、及びP個の深度平面深度のうちの所定の最小深度平面深度を決定することを含む。ステップ７１０の例では、ソフトウェア１６６は、式（４）を用いて横方向オフセットΔxを決定し、Dは深度平面深度１７４（０）と等しい。

ステップ７３０は、３次元データセットから、P個のプロキシ画像I_kを含むプロキシ３次元データセットを生成することを含む。プロキシ３次元データセットを生成することは、P個の深度平面深度のうちの深度平面深度ごとに、（i）３次元データセットを構成し、（ii）各々が複数のシーン深度のうちの各々のシーン深度における３次元シーンの各々の横断面を表す、複数の横断面画像のうちの少なくとも１つの断面画像から、P個のプロキシ画像のうちのプロキシ画像を生成することにより、P個のプロキシ画像を含むプロキシ３次元データセットを生成することを含む。実施形態では、少なくとも１つの横断面画像の各々のシーン深度のうちの１つは、深度平面深度に最も近い。ステップ７３０の例では、エンコーダ１６８は、３次元データセット１５０からプロキシ３次元データセット１７０を生成する。図１に示すように、データセット１５０及び１７０は、各々横断面画像１５２及びプロキシ画像１７２である。

ステップ７３０の少なくとも１つの断面画像が複数の断面画像を含む場合、ステップ７３０はステップ７３２を含むことができる。ステップ７３２は、複数の断面画像を平均化することを含むプロキシ画像を生成することを含む。最終的な深度平面は、D_maxを超えるすべての深度の値を平均化することによって構築することができる。第１深度平面は、D_min以下のすべての深度の値を平均化することによって構築することができる。ステップ７３２の例では、エンコーダ１６８は、２つ以上の横断面画像１５２の平均として各プロキシ画像１７２を生成する。

ステップ７４０は、Pプロキシ画像の各プロキシ画像I_k、k=０、１、２、．．．、（P－１）、について、プロキシ画像I_kの各シーン深度D'_kを次式の線形関数として決定することを含み：

ここで、m、n、c_１、c_２、及びc_３は所定の値であり、P_d =（P－１）である。実施形態では、各シーン深度D'_kは次式に等しい：

ステップ７４０の例では、エンコーダ１６８又はデコーダ１３２のいずれかが、各プロキシ画像１７２（k）について、式（７）に従って、各々の深度平面深度１７４（k）を決定する。ここで、D_PQはk／P_dに等しく、深度平面深度１７４（k）はシーン深度D'_kに等しい。

実施形態では、ステップ７４０は、３次元データセットのメタデータから数量D_min、D_max及びPを読み取ることを含む。例えば、数量D_min、D_max及びPは、ソフトウェア１６６によって読み取られる３次元データセット１５０のメタデータとして格納することができる。実施形態では、D_min及びD_maxの各々は１０ビットの固定小数点値であり、固定小数点値が０の場合、各々の値は０．２５メートル及び９６０メートルである。実施形態では、Pは１２ビットの固定小数点値である。

ステップ７５０は、各々の深度平面深度でプロキシ画像I_kを表示することを含む。ステップ７５０の例では、装置１００は、３次元シーン１１２内にz_kとして示される、深度平面深度１７４（k）において少なくとも１つのプロキシ画像１７２（k）を表示する。方法７００がステップ７４０を含む場合、ステップ７５０の各々の深度平面深度は、ステップ７４０の各々のシーンの深度D'_kに等しく、例えば、深度平面深度１７４（k）はシーンの深度D'_kに等しい。

実施形態では、ステップ７２０及び７３０は、図１の符号化装置１６０のような第１装置によって実行され、方法７００はステップ７４０を含む。そのような実施形態では、ステップ７５０は、第１装置から第２装置にプロキシ３次元データを送信するステップ７５２を含み、第２装置は、各シーン深度D_kの決定を実行し、プロキシ画像を表示する。ステップ７５２の例では、符号化装置１６０は、プロキシ３次元データセット１７０を装置１００に送信し、深度平面深度１７４を生成も保存もしない。この例では、装置１００はステップ７４０を実行して深度平面深度１７４を決定する。

図８は、深度平面データを表現する方法８００を示すフローチャートである。実施形態では、方法７００は、装置１００の１つ以上の態様の中で実施される。例えば、方法８００は、ソフトウェア１３０のコンピュータ可読命令を実行するプロセッサ１０２によって実施することができる。

方法８００は、ステップ８１０、８２０、８３０を含み、各ステップは、３次元シーン内の複数の深度Dの各々に対応する複数の２次元画像の各々に対して実行される。実施形態では、横断面画像１５２は複数の２次元画像を構成し、シーン深度１５４は複数のシーン深度Dを構成する。

ステップ８１０は、深度Dから正規化深度D'を決定することを含む。ステップ８１０の例では、ソフトウェア１３０は、各シーン深度１５４から各々の正規化深度を決定する。

ステップ８２０は、式（６）に従って正規化知覚深度D_PQを計算することを含む。ステップ８２０の例では、ソフトウェア１３０は、各シーン深度１５４をD_maxで除算して、各々の深度平面深度１７４を決定する。この例では、深度平面深度は正規化深度である。

ステップ８３０は、正規化された知覚深度D_PQをバイナリコード値D_Bとして表すことを含む。ステップ８３０の例では、ソフトウェア１３０は、各深度平面深度１７４を各々のバイナリコード値として表す。実施形態では、バイナリコード値D_Bのビット深度は、８、１０、又は１２のいずれかである。ステップ８３０はまた、メモリ１０４の一部であってもよい非一時的記憶媒体上に各バイナリコード値を記憶することを含むことができる。

特徴の組み合わせ
上述の特徴及び以下に請求される特徴は、本明細書の範囲から逸脱することなく、様々な方法で組み合わせることができる。以下の列挙された例は、幾つかの可能な非限定的な組み合わせを示している。

（A１）３次元データセットとして記憶された３次元シーンを表現する方法が開示される。方法は、第１視点に対する第１視野方向に沿ったP個の深度平面深度を決定することを含む。深度平面深度の各近位深度Dと隣接する遠位深度（D+ΔD）との間の分離ΔDは、（i）近位深度D、（ii）第１視野方向に垂直で、かつ第１視点と第２視点との間の横方向オフセットΔx、及び（iii）第２視点から見たときに分離ΔDだけ傾斜した視野角Δφによって決定される最小可知差である。方法はまた、３次元データセットから、P個のプロキシ画像I_kを含むプロキシ３次元データセットを生成することを含む。プロキシ３次元データセットを生成することは、P個の深度平面深度のうちの深度平面深度ごとに、（i）３次元データセットを構成し、（ii）各々が複数のシーン深度のうちの各々のシーン深度における３次元シーンの各々の横断面を表す、複数の横断面画像のうちの少なくとも１つの断面画像から、P個のプロキシ画像のうちのプロキシ画像を生成することにより、P個のプロキシ画像を含むプロキシ３次元データセットを生成することを含む。

（A２）方法A１の実施形態では、視野角Δφは１アークミニット（arcminute）である。

（A３）方法A１及びA２の実施形態は、視野角Δφからの横方向オフセットΔx、及びP個の深度平面深度のうちの所定の最小深度平面深度を決定することを含む。

（A４）方法A１～A３のいずれか一項の実施形態では、P個の深度平面深度の各々は、最小深度D_０を超え、D_k、k=１、２、．．．、（P－１）で示され、P個の深度平面深度を決定するステップは、深度D_k+１=D_k+ΔD_kを繰り返し決定するステップを含む。

（A５）方法A４の実施形態では、分離ΔD_kは次式に等しい：

（A６）方法A１～A５のいずれか一項の実施形態では、プロキシ画像を生成するとき、少なくとも１つの断面画像は、複数の横断面画像のうちの複数の断面画像を含み、プロキシ画像を生成することは、複数の断面画像を平均化することを含む。

（A７）方法A１～A６のいずれか一項の実施形態は、P個のプロキシ画像のうちの各プロキシ画像I_k、k=０、１、２、．．．、（P－１）、について、プロキシ画像I_kの各シーン深度D'_kを次式の線形関数として決定することを含み：

ここで、m、n、c_１、c_２、及びc_３は所定の値であり、P_d =（P－１）である、ことと、
シーン深度D'_kにおけるプロキシ画像I_kを表示することと、
を含む。

（A８）P個の深度平面深度を決定することと、プロキシ３次元データセットを生成することは、第１装置によって実行され、
第１装置から第２装置にプロキシ３次元データを送信することであって、第２装置は、各々のシーン深度D'_kの決定を実行し、プロキシ画像を表示する、ことを更に含む。

（A９）方法A７及びA８のいずれかの実施形態では、各シーン深度D'_kは次式に等しく：

P個の等間隔の深度平面深度は０～１の範囲であり、c_３= c_１+c_２－１及びc_２=－c_１（D_min／D_max）ⁿであり、D_min及びD_maxは、各々、前記３次元シーンの最小シーン深度及び最大シーン深度である。

（A１０）A９の実施形態は、３次元データセットのメタデータから数量D_min、D_max及びPを読み取ることを含む。

（A１１）方法A９及びA１０のいずれかの実施形態において、D_min及びD_maxは、各々０．２５メートル及び９６０メートルに等しい。

（A１２）方法A７～A１１のいずれか一項の実施形態において、c_１、m及びnは、各々２６２００００、５／４、及び３８４５／４０９６に等しい。

（A１３）方法A１～A１２のいずれか一項の実施形態では、プロキシ画像を生成するステップにおいて、少なくとも１つの断面画像の各々のシーン深度のうちの１つは、深度平面深度に最も近い。

（B１）プロセッサとメモリとを含むエンコーダ。メモリは、機械可読命令を記憶しており、
機械可読命令は、プロセッサによって実行されると、A１～A１３のいずれか一項に記載の方法を実行するようにプロセッサを制御する。

（C１）表示装置は、電子視覚ディスプレイ、プロセッサ、及びメモリを含む。メモリは、機械可読命令を格納しており、機械可読命令は、プロセッサによって実行されると、P個のプロキシ画像のうちの各プロキシ画像I_k、k=０、１、．．．、（P－１）、について、
（i）次式の線形関数として、プロキシ画像I_kの各シーン深度D_kを決定し：

ここで、m、n、c_１、c_２、及びc_３が所定値であり、P_d =（P－１）であり、
（ii）電子視覚ディスプレイにシーン深度D_kでプロキシ画像I_kを表示する、
ようにプロセッサを制御する。

（D１）深度平面データを表現する方法は、深度平面データを表現する方法は、３次元シーン内の複数の深度Dの各々に対応する複数の２次元画像の各々について、
（i）深度Dから正規化深度D'を決定することと、
（ii）次式に等しい正規化された知覚深度D_PQを計算することと：

（iii）正規化された知覚深度D_PQをバイナリコード値D_Bとして表現することであって、m、n、c_１、c_２、及びc_３は所定の値である、ことと、
を含む。

（D２）方法D１の実施形態では、複数の深度Dは、D_PQが０に等しい最小D_minからD_PQが１に等しい最大D_maxまでの範囲であり、c_２は－c_１（D_min／D_max）ⁿに等しく、c３は（c_１+c_２－１）に等しい。

（D３）方法D１～D２のいずれか一項の実施形態において、c_１は２６２００００に等しく、nは３８７２／４０９６に等しく、mは５／４に等しい。

（D４）方法D１～D３のいずれか一項の実施形態において、バイナリコード値D_Bのビット深度は、８、１０、又は１２のいずれかである。

（D５）方法D１～D４のいずれか一項の実施形態において、バイナリコード値D_Bを非一時的記憶媒体に記憶するステップを更に含む。

（E１）機器は、非一時的記憶媒体と、非一時的記憶媒体に記憶されたビットストリームとを含む。ビットストリームは、深度距離データを含み、深度距離データは、次式：

の関数モデルに少なくとも部分的に基づく正規化深度距離値D'を表すバイナリコード値D_Bで符号化される。パラメータn、m、c_１、c_２、c_３は所定値であり、D_PQはバイナリコード値D_Bの正規化値であり、０≦D_PQ≦１を満たす。

（F１）復号方法は、P個のプロキシ画像のうちの各プロキシ画像I_k、k=０、１、２、．．．、（P－１）、について、
（ｉ）プロキシ画像I_kの各シーン深度D'_kを次式の線形関数として決定することであって：

ここで、m、n、c_１、c_２、及びc_３は所定の値であり、P_d =（P－１）である、ことと、
（ii）シーン深度D'_kにおけるプロキシ画像I_kを表示することと、
を含む。

（F２）方法F１の実施形態では、各シーン深度D'_kは次式に等しく：

P個の等間隔の深度平面深度は０～１の範囲であり、c_３=c_１+c_２－１及びc_２=－c_１（D_min／D_max）nであり、D_min及びD_maxは、各々、前記３次元シーンの最小シーン深度及び最大シーン深度である。

（F３）F１及びF２のいずれかの実施形態は、３次元データセットのメタデータから数量D_min、D_max及びPを読み取ることを含む。

（F４）方法F１～F３のいずれかの実施形態において、D_min及びD_maxは、各々０．２５メートル及び９６０メートルに等しい。

（F５）方法F１～F４のいずれか一項の実施形態において、c_１、m及びnは、各々２６２００００、５／４、及び３８４５／４０９６に等しい。

（G１）プロセッサとメモリとを含むエンコーダ。メモリは、機械可読命令を記憶しており、機械可読命令は、プロセッサによって実行されると、F１～F５のいずれか一項に記載の方法を実行するようにプロセッサを制御する。

本実施形態の範囲を逸脱することなく、上記の方法及びシステムを変更することができる。従って、上記の説明に含まれている事項又は添付図面に示されている事項は、限定的な意味ではなく、例示的なものとして解釈されるべきであることに留意されたい。本明細書において、特に指示がない限り、「実施形態において」という語句は、「特定の実施形態において」という語句と同等であり、すべての実施形態を指すものではない。以下の特許請求の範囲は、本明細書に記載されたすべての一般的及び特定の特徴、ならびに本方法及びシステムの範囲のすべての記述をカバーすることを意図しており、言語の問題として、それらを含むと言える。

Claims (15)

1. ３次元データセットとして記憶された３次元シーンの深度面の数を削減する方法であって、
   第１視野方向に垂直で、かつ、第１視点と第２視点との間の横方向オフセットΔxを受信するステップであって、前記横方向オフセットΔxは、観察者が、前記第１視野方向に沿った近位深度Dにおける第１オブジェクトと、前記第１視野方向に沿った隣接する遠位深度（D+ΔD）における第２オブジェクトとの間の深度の変化を知覚するためにとらなければならない最小距離である、ステップと、
   前記観察者の角度視力を表す視野角Δφを受信するステップと、
   S個の横断面画像を含む前記３次元データセットを受信するステップであって、各横断面画像は、深度平面深度に対応し、前記第１視点に対する前記第１視野方向に沿った各々のシーン深度における前記３次元シーンの各々の横断面を表す、ステップと、
   前記第１視点に対する前記第１視野方向に沿ったP個の深度平面深度を決定するステップであって、前記P個の深度平面深度のうちの各近位深度Dと前記隣接する遠位深度（D+ΔD）との間の分離ΔDは、（i）前記近位深度D、（ii）前記横方向オフセットΔx、及び（iii）前記第２視点から見たときの分離ΔDだけ傾斜した前記視野角Δφ、によって決定される最小可知差であり、P個はS個より少ない、ステップと、
   前記受信した３次元データセットから、P個のプロキシ画像を含むプロキシ３次元データセットを生成するステップであって、前記P個の深度平面深度の深度平面深度ごとに、前記S個の横断面画像の少なくとも１つの断面画像から、前記P個のプロキシ画像のうちのプロキシ画像を生成する、ステップと、
   を含む方法。
2. 前記横方向オフセットΔxを受信するステップは、Δx=Nx・D_min・tan（Δφ）を計算することにより、横方向オフセットΔxを決定するステップを含み、Nxは、水平画面解像度であり、D_minは、前記P個の深度平面深度の所定の最小深度平面深度である、請求項１に記載の方法。
3. 前記S個の横断面画像のうちの少なくとも１つの断面画像からプロキシ画像を生成するステップは、前記S個の横断面画像のうちの複数の断面画像から前記プロキシ画像を生成するステップを含み、前記プロキシ画像を生成するステップは、前記複数の断面画像を平均化するステップを含む、請求項１又は２に記載の方法。
4. 前記S個の横断面画像のうちの少なくとも１つの断面画像からプロキシ画像を生成するステップは、各々の深度平面深度に最も近い少なくとも１つの断面画像から前記プロキシ画像を生成するステップを含む、請求項１～３のいずれかに記載の方法。
5. 前記P個の深度平面深度の各々は、所定の最小深度平面深度D_min以上であり、D_k、k=０、１、２、．．．、（P－１）で示され、前記P個の深度平面深度を決定するステップは、深度D_k+１=D_k+ΔD_kを繰り返し決定するステップを含む、請求項１～４のいずれかに記載の方法。
6. 前記分離ΔD_kは、
   

   

   に等しい、請求項５に記載の方法。
7. P個のプロキシ画像の各プロキシ画像I_kについて、k=０、１、２、．．．、（P－１）であり、
   線形関数：
   

   

   としてプロキシ画像I_kの各々の近似された正規化深度平面深度D'_kを決定するステップであって、m、n、c_１、c_２、及びc_３は、各近似された正規化深度平面深度D'_kが、請求項５又は請求項６の方法に従って決定された対応する深度平面深度D_kの正規化値の近似であるように選択され、P_d
   =（P－１）であり、k／P_dは、前記正規化された知覚深度D_PQの離散表現を表すステップと、
   前記近似された正規化深度平面深度D'_kから決定された深度平面深度でのプロキシ画像I_kを表示するステップと、
   を更に含む請求項１～４のいずれかに記載の方法。
8. 前記P個の深度平面深度を決定するステップと、前記プロキシ３次元データセットを生成するステップは、第１装置によって実行され、
   前記第１装置から第２装置に前記プロキシ３次元データを送信するステップであって、前記第２装置は、各々の近似された正規化深度平面深度D'_kの決定を実行し、前記プロキシ画像を表示する、ステップを更に含む、請求項７に記載の方法。
9. P個の等間隔の正規化深度平面深度は０～１の範囲であり、c_３= c_１+c_２－１及びc_２=－c_１（D_min／D_max）ⁿであり、D_min及びD_maxは、各々、前記３次元シーンの最小シーン深度及び最大シーン深度である。請求項７又は８に記載の方法。
10. 機器であって、
    プロセッサと、
    機械可読命令を記憶しているメモリと、
    を有し、
    前記機械可読命令は、前記プロセッサによって実行されると、請求項１～９のいずれかに記載の方法を実行するように前記プロセッサを制御する、機器。
11. ディスプレイ装置であって、
    電子視覚ディスプレイと、
    プロセッサと、
    機械可読命令を記憶しているメモリと、
    を有し、
    前記機械可読命令は、前記プロセッサによって実行されると、請求項１～９のいずれかに記載の方法を実行し、前記生成したプロキシ画像を前記電子視覚ディスプレイ上で表示するように前記プロセッサを制御する、ディスプレイ装置。
12. ３次元シーンの深度平面データに関連する正規化知覚深度にシーン深度をマッピングする方法であって、前記方法は、
    最小シーン深度D_minを受信するステップと、
    最大シーン深度D_maxを受信するステップと、
    前記３次元シーン内の複数のシーン深度Dの各々に対応する複数の２次元画像の各々について、
    D／D_maxを算出して前記シーン深度Dから正規化深度D'を決定するステップと、
    次式に等しい正規化知覚深度D_PQ：
    

    

    を計算するステップと、
    前記正規化知覚深度D_PQをバイナリコード値D_Bとして表すステップであって、m、n、c_１、c_２、及びc_３は、請求項９に記載の方法に従って決定される、ステップと、
    を含む方法。
13. 前記バイナリコード値D_Bを非一時的記憶媒体に記憶するステップ、を更に含む請求項１２に記載の方法。
14. ３次元シーンの深度平面データに関連する正規化知覚深度を正規化深度距離値にマッピングする方法であって、前記方法は、
    前記３次元シーン内の複数の正規化知覚深度D_PQの各々に対応する複数の２次元画像の各々について、
    次式の線形関数として正規化深度距離値D'を計算するステップであって：
    

    

    D_PQは正規化値であり、０≦D_PQ≦１を満たし、m、n、c_１、c_２、及びc_３は、請求項９に記載の方法に従って決定される、ステップ、
    を含む方法。
15. 機器であって、
    非一時的記憶媒体と、
    前記非一時的記憶媒体に格納されたビットストリームと、
    を含み、前記ビットストリームは、深度距離データを含み、前記深度距離データは、請求項１４に記載の方法に従って決定された正規化深度距離値D'を表すバイナリコード値D_Bで符号化される、機器。

Images