JP7407703B2 - ３ｄシーンの点を生成するための方法およびデバイス - Google Patents

３ｄシーンの点を生成するための方法およびデバイス Download PDF

Info

Publication number
JP7407703B2
JP7407703B2 JP2020518785A JP2020518785A JP7407703B2 JP 7407703 B2 JP7407703 B2 JP 7407703B2 JP 2020518785 A JP2020518785 A JP 2020518785A JP 2020518785 A JP2020518785 A JP 2020518785A JP 7407703 B2 JP7407703 B2 JP 7407703B2
Authority
JP
Japan
Prior art keywords
depth
points
point
scene
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020518785A
Other languages
English (en)
Other versions
JP2020536325A (ja
JP2020536325A5 (ja
Inventor
ラセール，セバスチャン
リカード，ジュリアン
ジュリアン，レミ
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2020536325A publication Critical patent/JP2020536325A/ja
Publication of JP2020536325A5 publication Critical patent/JP2020536325A5/ja
Application granted granted Critical
Publication of JP7407703B2 publication Critical patent/JP7407703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

１．技術分野
本文書は、３Ｄシーンを処理するドメインに関する。具体的には、但し限定されないが、本原理の技術分野は、３Ｄシーンまたはその一部のジオメトリおよび／またはテクスチャ、例えば３Ｄオブジェクトのジオメトリおよび／またはテクスチャを表すポイントクラウドの点の処理に関する。本原理の技術分野は、テクスチャおよび奥行き投影スキームを使用する３Ｄ画像データの符号化／復号にも関連し得る。
２．背景技術
本節は、以下で説明および／または特許請求される本文書のさまざまな態様に関連し得るさまざまな技術態様を読者に紹介することを意図している。本考察は、本発明のさまざまな態様のよりよい理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではない。
３Ｄオブジェクトをポイントクラウドまたはメッシュで表すことはよく知られている。
メッシュは、頂点と、頂点どうしを接続するエッジとで各々が表されるメッシュ要素（例えば、三角形）で構成される。メッシュは、通常、３Ｄオブジェクトの外側表面を表すことを意図されている。
ポイントクラウドは、通常、３Ｄオブジェクトの外側表面であるが、メッシュのような他のデータ形式では効率的に表し得ない毛髪や毛皮のような、より複雑なジオメトリを表すことを意図された点の集合である。ポイントクラウドの各点は、３Ｄ空間位置（３Ｄ空間内のＸ、Ｙ、Ｚ座標）によって定義されることが多く、例えばＲＧＢまたはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトルなどの他の関連付けられた属性によって定義される場合もある。カラーポイントクラウド、すなわち６成分点の集合（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）または同等の（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）も考えられ、ここで、（Ｘ、Ｙ、Ｚ）は３Ｄ空間内の点の空間位置を定義し、（Ｒ、Ｇ、Ｂ）または（Ｙ、Ｕ、Ｖ）はこの点の色またはテクスチャを定義する。
ポイントクラウドは、テクスチャおよび奥行きの投影で表され得、画像ベースのポイントクラウド表現に対応する。
奥行き圧縮後、３Ｄシーンのいくつかの点が誤って再構築され、または単純に欠落すると、視点によっては視認可能となり得る３Ｄシーン内の穴をもたらす可能性がある。
３．発明の概要
本明細書において「１つの実施形態」、「一実施形態」、「一例示的実施形態」、「特定の実施形態」という場合、記載された実施形態が特定の特徴、構造、または特性を含み得ることを示すが、すべての実施形態がその特定の特徴、構造、または特性を必ずしも含まなくてもよい。さらに、そのような語句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性が一実施形態に関連して説明される場合、明示的に説明されていてもいなくても、他の実施形態に関連してそのような特徴、構造、または特性をとるかは、当業者の知識の範囲内であると考えられる。
本文書は、奥行き画像から３Ｄシーンの点を生成する方法に関し、方法は、
－奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
－現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は差に依存する、生成することと、を含む。
本文書は、奥行き画像から３Ｄシーンの点を生成するように適合されたデバイス／装置にも関し、デバイス／装置は、
－奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
－現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は差に依存する、生成することと、を行うように構成された少なくとも１つのプロセッサに関連付けられたメモリを備える。
本文書は、奥行き画像から３Ｄシーンの点を生成するように適合されたデバイス／装置にも関し、デバイス／装置は、
－奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較するための手段と、
－現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成するための手段であって、追加点の数は差に依存する、手段と、を含む。
一特性によれば、現在のピクセルとの奥行き差が第１の値と第２の値との間に含まれる隣接ピクセルのなかから、現在のピクセルとの最大奥行き差を有する隣接ピクセルが選択され、生成される追加点の数は最大奥行き差に依存する。
特定の特性によれば、体積単位が３Ｄシーンの点に関連付けられており、奥行き差は体積単位の数に対応し、生成される点の数は奥行き差から１を引いたものに対応する。
別の特性によれば、少なくとも１つの追加点に関連付けられる属性が決定され、属性は、現在の点および隣接ピクセルに関連付けられた属性から決定される。
さらなる特性によれば、少なくとも１つの追加点に関連付けられる属性は、奥行き情報および／またはテクスチャ情報を含む。
さらなる特性によれば、奥行き画像は、受信されたビットストリームから復号される。
別の特性によれば、３Ｄシーンの点は、ポイントクラウドの一部である。
本文書は、少なくとも１つのプロセッサによって、プログラムがコンピュータ上で実行されると、奥行き画像から３Ｄシーンの点を生成する上述の方法を実行するためのプログラムコードの命令を含む、コンピュータプログラム製品にも関する。
本文書は、少なくとも、奥行き画像から３Ｄシーンの点を生成する上述の方法をプロセッサに実行させるための命令を記憶した（非一時的）プロセッサ可読媒体にも関する。
４．図一覧
添付の図面を参照してなされる以下の説明を読めば、本文書はよりよく理解され、他の特定の特徴および利点が明らかになるであろう。
本原理の実施例に従う、３Ｄシーンの３Ｄオブジェクトの例を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトに関連付けられた属性画像の例を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトに関連付けられた属性画像の例を示す。 本原理の非限定的な実施形態に従う、図２Ａおよび図２Ｂの属性画像を取得するための第１の実施例を示す。 本原理の非限定的な実施形態に従う、図２Ａおよび図２Ｂの属性画像を取得するための第２の実施例を示す。 本原理の非限定的な実施形態に従う、決定された視点に従う図１の３Ｄオブジェクトの点を示す。 本原理の非限定的な実施形態に従う、決定された視点に従う図１の３Ｄオブジェクトの点を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトのいくつかの点の３Ｄ表現および関連付けられた奥行き画像を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトのいくつかの点の３Ｄ表現および関連付けられた奥行き画像を示す。 本原理の非限定的な実施形態に従う、図６Ａの３Ｄ表現に含まれる穴の２Ｄ表現を示す。 本原理の非限定的な実施形態に従う、図６Ａの３Ｄ表現に含まれる穴の２Ｄ表現を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄシーンの１つ以上の点を生成するための方法を示す。 本原理の非限定的な実施形態に従う、図８、図１２および／または図１３の方法を実施するための装置のアーキテクチャの例を示す。 本原理の実施例に従う、図１の３Ｄオブジェクトを表すポイントクラウドの符号化／復号スキームの例を示す。 本原理の非限定的な実施形態に従う、図１０のスキームによって取得されるビットストリームを転送する信号の構文の例を示す。 本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトを表すポイントクラウドの符号化において実施されるプロセスの例を示す。 本原理の非限定的な実施形態に従う、ビットストリームを復号して、図１の３Ｄオブジェクトを表す復号されたポイントクラウドを取得するためのプロセスの例を示す。
５．実施形態の詳細な説明
ここで、図面を参照して主題を説明するが、図面全体を通して、同様の参照番号が、同様の要素を指すために使用される。以下の記述では、説明の目的で、主題が完全に理解されるように、多くの特定の詳細を示す。しかしながら、主題の実施形態は、これらの特定の詳細なしで実施することができることは明らかであり得る。
非限定的な実施形態によれば、３次元（３Ｄ）シーンの点を生成するための方法およびデバイスが開示される。
以下では、画像は、画像（またはビデオ）のピクセル値に関するすべての情報と、例えば画像（またはビデオ）を視覚化および／または復号するためのディスプレイおよび／または任意の他のデバイスによって使用され得るすべての情報とを特定する特定の画像／ビデオ形式の、１つまたはいくつかのサンプル（ピクセル値）配列を含む。画像は、第１のサンプル配列の形状の少なくとも１つの成分、通常はルーマ（または輝度）成分と、場合によっては、少なくとも１つの他のサンプル配列の形状の少なくとも１つの他の成分、通常は色成分とを含む。あるいは、同等に、同じ情報は、従来の３色ＲＧＢ表現などの１組の色サンプル配列によっても表され得る。
以下では、ピクチャは、画像、すなわちサンプル配列として、または画像の集まりとして見ることができる。
ピクセル値は、ｎｖ個の値のベクトルで表され、ここで、ｎｖは成分の数である。ベクトルの各値は、ピクセル値の最大ダイナミックレンジを規定するビット数で表される。
本原理を、既存の点に加えて、３Ｄシーンの１つ以上の点、例えば３Ｄシーンの３Ｄオブジェクトの１つ以上の点を生成するための方法（およびそのように構成された装置）の特定の実施形態を参照して説明する。属性が、３Ｄシーンの既存の点に関連付けられ得、属性は、テクスチャ情報（テクスチャ属性）および／または奥行き情報（奥行き属性）に対応する。奥行き（または距離）属性は奥行き画像に記憶される、すなわち奥行き画像のピクセルに関連付けられ、テクスチャ（または色）属性はテクスチャ画像に記憶される、すなわちテクスチャ画像のピクセルに関連付けられる。奥行き画像の現在のピクセルに関連付けられた奥行き情報は、現在のピクセルに隣接する奥行き画像のピクセルに関連付けられた奥行き情報と比較される。現在のピクセルとその隣接ピクセルとは、現在のピクセルを取り囲む８つの隣接ピクセルと一緒に、９つのピクセルのブロックを形成する。この９つのピクセルのブロックは、３Ｄシーンの９つの点の集合に関連付けられ、８つの隣接ピクセルに関連付けられた８つの点は、現在のピクセルに関連付けられた現在の点の近傍を形成する。現在のピクセルに対する奥行き差が第１の値よりも小さくかつ第２の値よりも大きい隣接ピクセルのうちの少なくとも１つについて、奥行きマップの現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの１つ以上の追加点が生成される。生成される追加点の数は、奥行き差に依存し、奥行き差が大きいほど、生成される追加点の数も多くなる。
奥行き画像（それぞれテクスチャ画像）内の３Ｄシーンのある点の近傍は、奥行き画像（それぞれテクスチャ画像）のピクセルの近傍に位置する奥行き画像（それぞれテクスチャ画像）のピクセルに対応し、後者のピクセルは、３Ｄオブジェクトの点に対応する。あるピクセルの近傍は、例えば、ピクセルに隣接するすべてのピクセルを包含し得るが、そのような例に限定されない。例えば、近傍は、ピクセルに隣接するピクセルおよびピクセルに隣接する各ピクセルに隣接するすべてのピクセル、またはさらにそれより多くを包含してもよい。
３Ｄシーンの追加点を生成することで、視点を変更したときに視認可能となり得る３Ｄシーンの穴を埋めることができる。また、３Ｄシーンのいくつかの領域で点の密度を高めることもできる。（３Ｄオブジェクトの３Ｄ空間の代わりに）奥行き画像を使用すると、埋めるべき穴を迅速に特定することができる。
３Ｄシーンの単一の奥行き画像を参照して説明されたとしても、本原理は、複数の奥行き画像に同じように適用される。
図１は、非限定的な実施形態に従う、３Ｄオブジェクトまたはその一部の２つの異なる表現を示す。３Ｄオブジェクトは、例えば、１つ以上の３Ｄオブジェクトを含む３Ｄシーンに属し得る。図１の例によれば、オブジェクトは、例えばシーン内を動く人であり、頭部に対応するオブジェクトの一部が図１に示されている。図１はまた、オブジェクト１０の３次元（３Ｄ）モデルと、３Ｄモデル１０に対応するポイントクラウド１１の点とを示し得る。モデル１０は３Ｄメッシュ表現であり得、ポイントクラウド１１の点はメッシュの頂点であり得る。点１１はまた、メッシュの面の表面上に分散する点でもあり得る。モデル１０は、ポイントクラウド１１のスプラッティングバージョンとしても表され得、モデル１０の表面は、ポイントクラウド１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセルやスプラインなど、多数のさまざまな表現で表すことができる。図１は、３Ｄオブジェクトの表面表現からポイントクラウドを定義することが常に可能であり、逆に、ポイントクラウドから３Ｄオブジェクトの表面表現を作成することが常に可能であることを示す。本明細書で使用される場合、（３Ｄシーンの拡張点により）３Ｄオブジェクトの点を画像に投影することは、この３Ｄオブジェクトの任意の表現をオブジェクトに投影することと同等である。
オブジェクトの一部の第１の表現１０は、ポイントクラウドである。ポイントクラウドは、オブジェクト、例えばオブジェクトの外側表面または外側形状を表す点の大きな集まりに対応する。ポイントクラウドは、ベクトルベースの構造と見なし得、各点は、その座標（例えば、３次元座標ＸＹＺ、または所与の視点からの奥行き／距離）と、成分とも呼ばれる１つ以上の属性とを有する。成分の例は、異なる色空間、例えばＲＧＢ（赤、緑、青）またはＹＵＶ（Ｙはルーマ成分であり、ＵＶは２つのクロミナンス成分である）で表現され得る色成分である。ポイントクラウドは、所与の視点または視点の範囲から見たオブジェクトの表現である。ポイントクラウドは、例えば、
・任意選択で深度能動感知デバイスで補完されたカメラ装置で撮影される、実際のオブジェクトの撮影から、
・モデル化ツールで仮想カメラ装置によって撮影される、仮想／合成オブジェクトの撮影から、
・実際のオブジェクトと仮想オブジェクトとの両方から、のさまざまな方法で取得され得る。
第１のケースでは（実際のオブジェクトの撮影から）、カメラセットが、さまざまなビュー（異なる視点）に対応する一組の画像または一連の画像（ビデオ）を生成する。各カメラの中心からオブジェクトの表面までの距離を意味する奥行き情報は、能動深度検知デバイスによって、例えば、赤外線範囲で構造化された光分析もしくは飛行時間に基づいて、または視差アルゴリズムに基づいて取得される。どちらの場合も、すべてのカメラを、本質的および非本質的に、較正する必要がある。視差アルゴリズムは、典型的には１次元の線に沿うように補正された１対のカメラ画像において類似の視覚的特徴を検索することからなり、ピクセル列の差が大きいほど、この特徴の表面はより近い。カメラアレイの場合、複数のカメラ対の利点を利用して、グローバルな奥行き情報が複数のピア視差情報の組み合わせから取得され得、したがって、信号対ノイズ比が改善される。
第２のケース（合成オブジェクト）では、モデル化ツールが奥行き情報を直接提供する。
ポイントクラウド１０は、時間とともに進化する動的ポイントクラウドであり得、すなわち、点の数が時間とともに変わり得、かつ／または１つ以上の点の位置（例えば、座標Ｘ、ＹおよびＺのうちの少なくとも１つ）が時間とともに変わり得る。ポイントクラウドの進化は、ポイントクラウドによって表されるオブジェクトの動き、および／またはオブジェクトもしくはオブジェクトの一部の形状の変化に対応し得る。
ポイントクラウド１０は、１つのピクチャにおいてまたは１つ以上の時間的連続ピクチャ群において表され得、各ピクチャは、決定時間「ｔ」におけるポイントクラウドの表現を含む。１つ以上の時間的連続ピクチャ群は、ポイントクラウド１０の少なくとも一部を表すビデオを形成し得る。
オブジェクトの一部の第２の表現１１が、ポイントクラウド表現１０から取得され得、第２の表現は表面表現に対応する。ポイントクラウドは、その表面を計算するために処理され得る。そのために、ポイントクラウドの所与の点について、この所与の点の局所表面に対する法線を計算するために、この所与の点の近傍点が使用され、この所与の点に関連付けられた表面要素が、法線から導出される。表面を取得するためのすべての点について、プロセスが繰り返される。ポイントクラウドから表面を再構成する方法は、例えば、Ｍａｔｔｈｅｗ Ｂｅｒｇｅｒらによって“Ｓｔａｔｅ ｏｆ ｔｈｅ Ａｒｔ ｉｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ”，Ｓｔａｔｅ ｏｆ ｔｈｅ Ａｒｔ Ｒｅｐｏｒｔ，２０１４に記載されている。変形例によれば、ポイントクラウドの所与の点に関連付けられた表面要素は、この所与の点にスプラットレンダリングを適用することによって取得される。オブジェクトの表面（オブジェクトの黙示的表面または外側表面とも呼ばれる）は、ポイントクラウドの点に関連付けられたすべてのスプラット（例えば、楕円体）をブレンドすることによって得られる。
特定の実施形態では、ポイントクラウドは、オブジェクト全体ではなく、オブジェクトの部分的なビューのみを表し、これは、例えば映画のシーンにおいて、オブジェクトがレンダリング側でどのように見られることになっているかに対応する。例えば、平坦なカメラアレイに面している登場人物を撮影すると、装置側のポイントクラウドのみが生成される。登場人物の背中は存在もせず、オブジェクト自体は閉じておらず、したがって、このオブジェクトの幾何学的特性は、装置の方向に向いたすべての表面の集合である（各局所表面の法線と、獲得デバイスに戻る光線との角度は例えば９０°未満である）。
図２Ａおよび図２Ｂは、各々、本原理の特定の非限定的な実施形態に従う、ポイントクラウド１０のピクチャを示す。
図２Ａは、ポイントクラウドのピクチャ２０、例えばポイントクラウドのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ、ピクチャ群）の１つピクチャの第１の例を示す。ピクチャ２０は、ｎ個の画像２０１、２０２、２０３、２０ｎの集合で構成され、ｎは２以上の整数である。画像２０１～２０ｎの各々は、ピクセル配列に対応し、そのサイズおよび／または定義は、画像ごとに変わり得る。例えば、画像２０１および２０ｎの定義は同じであるが、画像２０２、２０３の定義は、互いに、および画像２０１および２０ｎの定義とは異なる。図２Ａの例では、画像２０１～２０ｎは、画像間で重なり合うことなく、ピクチャ２０全体をカバーするように空間的に配置されている。変形例によれば、画像２０１～２０ｎは、ピクチャ全体をカバーせず、画像２０１～２０２の間に、または少なくともそれらのいくつかの間に空間が存在する、すなわち２つの隣接する画像の縁が接触していない場合がある。データ、例えばテクスチャ情報および／または奥行き情報が、画像２０１～２０ｎの各ピクセルに関連付けられ得る。テクスチャ情報は、例えば、色空間（例えば、ＲＧＢ色空間またはＹＵＶ色空間）の各チャンネルに関連付けられたグレーレベルの形態で記憶され得、各チャンネルのグレーレベルは、例えば、最初に決定されたビット数、例えば８、１０、１２ビットで表される。奥行き情報は、例えば、値の形態で、例えば第２の決定されたビット数、例えば、８、１０、または１２ビットを有するαチャンネルに記憶され得る。したがって、４つの成分ＲＧＢαまたはＹＵＶα（例えば、４つの１０ビットチャンネル）が、例えば、決定時間「ｔ」におけるポイントクラウドを表すためのピクチャ２０内の各ピクセルに関連付けられ得る。変形例によれば、第１のピクチャ２０はテクスチャ情報（例えば、３成分ＲＧＢまたはＹＵＶ）を記憶するために使用され、同じ配置の画像を有する第２のピクチャは奥行き情報を記憶するために使用され、両方のピクチャが、時間「ｔ」におけるポイントクラウドを表す。ピクチャ２０を形成する画像の集合は、例えば、図３に示すように、投影法、例えば第１の画像ごとに異なる投影法に従って、ポイントクラウドの点を投影することによって取得され得る。
図３は、本原理の非限定的な実施例に従う、ポイントクラウド１０の少なくとも一部の境界を定めるキューブ３１を示す。
キューブ３１は、例えば、第１の細分レベルにおいて８つのサブキューブに細分される（明確化のために、８つのサブキューブのうちの１つのサブキューブ３２のみが示されている）。サブキューブ３２はまた、第２の細分レベルにおいて８つのサブキューブに細分される（明確化のために、８つのサブキューブのうちの１つのサブキューブ３３のみが示されている）。各細分レベルで、ポイントクラウドの点の一部が、キューブの１つ以上の面（例えば、灰色の塗りつぶしのある面）に（例えば、正射影に従って）投影され得る。例えば、ポイントクラウドの点は、キューブ３１の面３０１上、キューブ３２の面３０２上、およびキューブ３３の面３０３上に投影される。面は、例えば、離散化されて、キューブの細分レベルに依存する定義／サイズを有するピクセル配列を形成する。例えば、あるキューブの１面の１ピクセルについて、ピクセルに投影されているポイントクラウドの点は、ピクセルから発する、ピクセルを含む面に垂直な光線を追跡したときにピクセルに最も近いポイントクラウドの点に対応する。ピクセルに関連付けられた属性は、ピクセルに投影された点の属性（テクスチャおよび／または奥行き）に対応する。
面３０１は、例えば、画像２０１を形成するために使用され、面３０２は、画像３０２を形成するために使用され、面３０３は、画像３０３を形成するために使用される。
図２Ｂは、ポイントクラウドのピクチャ２１、例えばポイントクラウドのＧＯＰの１つのピクチャの第２の例を示す。ピクチャ２１は、ｍ個の画像２１１、２１２、２１３、２１４、２１ｍの集合から構成され、ｍは２以上の整数である。画像２１１～２１ｍの配置は、ピクチャ２０の配置とは異なり得、例えば、画像２１１～２１ｍの間に空き空間がある。画像２１１～２１ｍは、さまざまなサイズおよび／または定義を有し得る。各ピクチャは、ポイントクラウドの点から属性を受け取り得、属性は、各画像２１１～２１ｍのピクセルの少なくともいくつかに関連付けられている。例えば、ポイントクラウドから属性を受け取る各画像の部分は灰色領域として示され、ポイントクラウドから属性を受け取らない画像の部分は白色領域として示されており、白色領域は、画像間の空き空間のように、デフォルト値が充填されている。図２Ａのピクチャ２０についてと同様に、画像２１１～２１ｎのピクセルに関連付けられたデータは、テクスチャ情報および／または奥行き情報に対応し得る。変形例では、第１のピクチャ２１はテクスチャ情報（例えば、３成分ＲＧＢまたはＹＵＶ）を記憶するために使用され、同じ配置の画像２１１から２１ｍを有する第２のピクチャ２１は奥行き情報を記憶するために使用され、両方のピクチャは、時間「ｔ」におけるポイントクラウドを表す。
ピクチャ２１を形成する画像の集合は、例えば、１つ以上の第１の画像と、潜在的に１つ以上の第２の画像とを含み得る。第１の画像（少なくとも各第１の画像の灰色領域）は、例えば、図４に示すように、ポイントクラウドの点を第１の投影法、例えば第１の画像ごとに異なる第１の投影法に従って投影することにより取得され得る。
図４は、本原理の非限定的な実施例に従う、ピクチャ２１を形成する画像の集合の第１の画像の取得を示す。３Ｄオブジェクト４を表すポイントクラウドは、複数の３Ｄ部分、例えば５０個、１００個、１０００個またはそれ以上の３Ｄ部分に分割され、そのうちの３つ、すなわち３Ｄ部分４２、４３、４４が図４に示されており、３Ｄ部分４４は（例えば、図１のポイントクラウド１０に対応する）人の頭部の一部を表すポイントクラウドの点を含み、３Ｄ部分４２は人の脇の下を表すポイントクラウドの点を含み、３Ｄ部分４３は人の手を表すポイントクラウドの点を含む。各３Ｄ部分または３Ｄ部分の一部の１つ以上の画像が生成されて、各３Ｄ部分が、２次元で、すなわち２Ｄパラメータ化に従って表される。例えば、２Ｄパラメータ化４０１が３Ｄ部分４４に対して得られ、２Ｄパラメータ化４０２が３Ｄ部分４２に対して得られ、２つの異なる２Ｄパラメータ化４０３および４０４が３Ｄ部分４３に対して取得される。２Ｄパラメータ化は、３Ｄ部分ごとに変わり得る。例えば、３Ｄ部分４１に関連付けられた２Ｄパラメータ化４０１は線形透視投影であり、３Ｄ部分４２に関連付けられた２Ｄパラメータ化４０２はＬＬＥであり、３Ｄ部分４３に関連付けられた２Ｄパラメータ化４０３および４０４は両方とも、異なる視点に従う正投影である。変形例によれば、すべての３Ｄ部分に関連付けられたすべての２Ｄパラメータ化は、同じタイプのもの、例えば、線形透視投影または正投影である。変形例によれば、同じ３Ｄ部分に対して異なる２Ｄパラメータ化が使用され得る。
ポイントクラウドの１つの所与の３Ｄ部分に関連付けられた２Ｄパラメータ化は、ポイントクラウドの所与の３Ｄ部分を２次元でブラウジングすることに対応し、所与の３Ｄ部分、すなわち（第１の画像のピクセルに対応し得る）複数のサンプルを含むこの所与の３Ｄ部分のコンテンツ（すなわち、点）の２Ｄ表現をサンプリングすることを可能にし、サンプルの数は適用されるサンプリングステップに依存する。２Ｄパラメータ化は、さまざまな方法、例えば以下の方法のいずれか１つを実施することによって、取得し得る：
－視点に関連付けられた平面へのポイントクラウドの３Ｄ部分の点の線形透視投影、線形透視投影を表すパラメータは、仮想カメラの位置、空間サンプリングステップ、および２次元の視野を含む；
－ポイントクラウドの３Ｄ部分の点の一表面への正投影、正投影を表すパラメータは、投影表面のジオメトリ（形状、サイズ、および配向）および空間サンプリングステップを含む；
－ここでは３Ｄから２Ｄへの変換／転換に適用される、数学的次元縮小演算に対応するＬＬＥ（Ｌｏｃａｌｌｙ－Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）、ＬＬＥを表すパラメータは、変換係数を含む。
各画像は、有利には、ピクチャ２１に対する圧縮プロセスを容易にするために長方形を有する。
図５Ａおよび図５Ｂは、本原理の非限定的な実施例に従う、図１の３Ｄシーンの一部の２Ｄ表現を示す。
図５Ａは、３Ｄオブジェクト１０の一部、例えば３Ｄオブジェクト１０の一断面の２Ｄ表現５Ａの例を提供する。断面５Ａの点は、３Ｄ表現１０におけるキューブまたはボクセルに対応する正方形で表されている。例えば、正方形（またはキューブ）５１０は、点５１で表されている。キューブまたはボクセルは、３Ｄシーン（または３Ｄシーンがポイントクラウドで表されているときにはポイントクラウド）の点に関連付けられ、３Ｄシーンの空間を埋める。図５Ａに表されている正方形のいくつかは空であり得る、すなわちそれらに関連付けられている３Ｄシーンの点は存在しない、すなわちそれらに関連付けられているテクスチャも奥行きも存在しない。３Ｄオブジェクト１０の表面は直線５０で表され、点５０１～５０６は視点５２から見た点に対応する。点５０１～５０６に関連付けられた正方形は灰色の陰影で示されている。これらの点５０１～５０６を、関連付けられた奥行き画像に視点５２に従って投影すると、点５０１～５０６に関連付けられた１つのピクセル列が得られ、１つの単一ピクセルは１つの単一点に関連付けられている。
当然ながら、正方形とは異なる体積要素、例えば球を、３Ｄシーンの点に関連付けてもよい。説明の残りの部分では、「体積単位」という表現を、点に関連付けられた体積要素を表すために使用し、体積単位は、例えばボクセルサイズ１×１×１、例えば１ｍｍ×１ｍｍ×１ｍｍ（体積１ｍｍ３）、または１ｃｍ×１ｃｍ×１ｃｍ（体積１ｃｍ３）、または任意の他の寸法に対応する。
図５Ｂは、図５Ａに示されているものと同じ３Ｄオブジェクト１０の部分の２Ｄ表現５Ｂを示しており、２Ｄ表現５Ｂは、２Ｄ表現５Ａから取得された奥行き画像からの点５０１～５０６を視点５２に従って投影することによって取得される。点（および関連付けられた体積単位）５０１～５０６は灰色の陰影で示されている。点（および関連付けられた体積単位）５１１～５１８は、斜めストライプパターンで示され、視点５３から見たときの３Ｄオブジェクト１０の穴に対応する。これらの穴は、視点５３とは異なる視点５２に従って点を投影したときに得られた奥行き画像を使用して３Ｄオブジェクトを再構築した結果であり得、そのような穴は、再構築体３Ｄを視点５３から見たときに視認可能なアーチファクトとなる。テクスチャ情報および奥行き情報は、穴に対応する点５１１～５１８には関連付けられていない。
図６Ａは、本原理の非限定的な実施例に従う、図１の３Ｄオブジェクトの点の部分集合６Ａを３次元で示し、図６Ｂは、部分集合６Ａに関連付けられた奥行き画像の部分６Ｂを示す。
図６Ａは、３Ｄオブジェクトの点の部分集合６Ａを示し、図６Ａではキューブまたはボクセルで示されている、関連付けられた体積単位６０１、６０２、６０３、６０４、６０５、６０６、６０７、６０８、および６０９を示す。キューブ６０１～６０９は、Ｘ、ＹおよびＺの３次元に延在し、軸Ｚは奥行きを表し、Ｘは横軸を表し、Ｙは縦軸を表す。矢印６１、６２および６３は、部分集合６Ａが見られ得る異なる視点を表す。視点６１は、部分集合６ＡをＺ軸に従って見ることを可能にし、視点６２は、部分集合６ＡをＹ軸に従って見ることを可能し、視点６３は、部分集合６ＡをＸ軸に従って見ることを可能にする。キューブ６０２～６０９（または同等に点６０２～６０９）は、キューブ６０１（または同等に点６０１）の近傍を形成していると見てもよい。
図６Ｂは、部分集合６Ａに関連付けられた奥行き画像の部分６Ｂを示す。奥行き画像の部分６Ｂは、キューブ（点）６０１～６０９を視点６１および関連付けられた軸Ｚに従って投影することによって取得され得る。図６Ｂで分かるように、部分６Ｂは、（部分集合６Ａの関連付けられたキューブ／点６０１に対応する／それを指す）ピクセル６１１を取り囲む（部分集合６Ａの関連付けられたキューブ／点６０２～６０９にそれぞれ対応する／それらを指す）８つの隣接ピクセル６１２～６１９からなる、９つのピクセルのブロックを形成する。キューブ／点６０２～６０９は、関連付けられた奥行き画像の対応するピクセル６１２～６１９がキューブ／点６０１に対応するピクセル６１１を取り囲む奥行き画像の隣接ピクセルに対応するので、キューブ／点６０１の近傍に対応する。
視点６１から見た場合、部分集合６Ａに穴は現れない（視点６１に従うビューは奥行き画像の部分６Ｂに対応する）。ただし、他の視点から見ると、穴が現れる場合がある。例えば、視点６２から見た場合、キューブ／点６０１と６０２との間に穴が現れ、そのような穴が占める空間は、ストライプで示されたキューブ６００１の空間に対応する。そのような穴６００１を図７Ａに示す。図７Ａは、視点６２からの部分集合６Ａのビューの一部、具体的には、キューブ６０１および６０２ならびにそれらの間の空き空間、すなわち部分集合６Ａのキューブ／点によって占有されていない空間を含む部分を示す。視点６３から見ると、キューブ／点６０１と６０４との間に穴が現れ、そのような穴が占める空間は、ストライプで示された２つのキューブ、すなわちキューブ６００１および６００２の空間に対応する。そのような穴６００１、６００２を図７Ｂに示し、図７Ｂは、視点６３からの部分集合６Ａのビューの一部、具体的には、キューブ６０１および６０４ならびにそれらの間の空き空間、すなわち部分集合６Ａのキューブ／点によって占有されていない空間を含む部分を示す。
３Ｄシーンに関連付けられた奥行き画像を使用して、３Ｄシーン内の領域内のどこに穴が位置し得るかを決定し得る。例えば、３Ｄオブジェクト１０の点の部分６Ａに関連付けられた（およびそれから取得された）奥行き画像の部分６Ｂを、以下に説明するように処理および分析して、穴の位置を取得する。より具体的には、ピクセル６１１～６１９に関連付けられた奥行き情報を使用して、穴６００１、６００２の位置を取得する。図６Ｂのブロック６Ｃは、ピクセル６１１～６１９に関連付けられた奥行き情報を示す。そのようなプロセスは、例えば、現在のピクセル、すなわち図６Ａおよび図６Ｂの例における（現在の点６０１に関連付けられた）現在のピクセル６１１に適用される。図６Ｂの例では、基準奥行きが現在のピクセル６１１に関連付けられており、例えば、基準奥行きは０に等しい。現在のピクセル６１１に隣接するピクセル６１２～６１９に関連付けられた奥行きは、体積単位（図６Ａ、図６Ｂの例ではキューブ／ボクセルに対応する体積単位）で表される。現在のピクセルに対して、隣接ピクセル６１２に関連付けられた奥行きは＋２体積単位に等しく、隣接ピクセル６１３に関連付けられた奥行きは＋１体積単位に等しく、隣接ピクセル６１４に関連付けられた奥行きは＋３体積単位に等しく、隣接ピクセル６１５に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１６に関連付けられた奥行きは、－１体積単位に等しく、隣接ピクセル６１７に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１８に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１９に関連付けられた奥行きは＋１体積単位に等しい。当然ながら、ピクセルに関連付けられた奥行きは、他のメトリックで表し得、例えば、奥行き画像に関連付けられた視点から点（すなわち関連付けられたキューブ）を隔てる体積単位の数、すなわち視点と３Ｄシーンの点との距離で表すことができる（例えば、現在のピクセル６１１に関連付けられた奥行きは１２５４の体積単位に等しく、隣接ピクセル６１２～６１９に関連付けられた奥行きはそれぞれ１２５６、１２５５、１２５７、１２５４、１２５３、１２５４、１２５４および１２５５となる）。別の実施例によれば、奥行きは、センチメートルまたはメートルまたは任意の他のメトリックで表され得、センチメートルまたはメートルで表された、奥行き画像に関連付けられた視点からの距離に対応する。
各隣接ピクセル６１２～６１９に関連付けられた奥行き情報は、現在のピクセル６１１に関連付けられた奥行き情報と比較される。例えば、奥行き差は、各隣接ピクセル６１２～６１９と現在のピクセル６１１との間で計算される。差が第１の決定値（例えば、奥行きが体積単位の数で表される場合は２体積単位）以上である場合、それは考慮されている隣接ピクセルおよび現在のピクセルに関連付けられているキューブが、３Ｄシーンの空間内で隣接していないことを意味し、それらが３Ｄシーン内で互いに接触していないことを意味し、それらの間に穴が存在することを意味する。例えば、ピクセル６１２と６１１との奥行き差は＋２に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０１と６０２との間に穴が存在することを意味する（キューブ６００１で示されている空所に対応する穴）。ピクセル６１４と６１１との奥行き差は＋３に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０１と６０４との間に穴が存在することを意味する（キューブ６００１および６００２で示されている空所に対応する穴）。別の例によれば、ピクセル６１７と６１１との奥行き差は＋０に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０７と６０１との間に穴は存在しないことを意味する（キューブ６０７および６０１は、どちらもＸ軸とＹ軸とで定義される平面に属しており、面を共有しているので、互いに接触している）。別の例によれば、ピクセル６１９と６１１との奥行き差は＋１に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０９と６０１との間に穴は存在しないことを意味する（キューブ６０９と６０１とは、隅を共有しているので、互いに接触している）。
同じ処理を３Ｄシーンの各点（または少なくとも３Ｄシーンの点の一部の各点、例えば２点ごとの各点、または８点ごとの各点）に対して実行し得、すなわち、各点は現在の点として処理され、その奥行きがその近傍の奥行きと（すなわち関連付けられた奥行き画像の空間において）比較される。
変形例によれば、正の奥行き差のみが考慮され、第１の決定値と比較される。負の奥行き差は、負の奥行き差を有する隣接ピクセルを新しいピクセルまたは他の現在のピクセルと見なすことによって考慮される。正の奥行き差のみを考慮することにより、穴を検出するための３Ｄシーンの処理が高速化される。
別の変形例によれば、２つの隣接ピクセル間の奥行き差はまた第２の決定値とも比較され、この第２の決定値以下の奥行き差のみを考慮して、隣接ピクセルに関連付けられたキューブ間に穴が存在するかどうかを決定し得る。第２の決定値との比較により、２つのキューブが３Ｄシーンの同じオブジェクトまたは３Ｄオブジェクトの同じ部分に属していることを保証することができる。実際、２つの隣接ピクセル間（すなわち２つの対応するキューブ間）の奥行き差が大きすぎる場合、これらの２つのキューブは同じ表面に属していないことを意味する。第２の決定値は、例えば、１０、５０、または１００体積単位に等しくし得る。２つのキューブ間の穴は、次の条件が満たされたときに決定される。
Ｔｈ１≦ｄ≦Ｔｈ２ 式１
ここで、ｄは２つの考慮されているピクセル（および関連付けられたキューブ）間の奥行き差に対応し、Ｔｈ１は第１の決定値に対応し、Ｔｈ２は第２の決定値に対応する。
決定された穴を埋めるために、追加キューブ／点が、式１を満たす（奥行き画像における）奥行き差ｄを有する２つのキューブ／点間に生成され得る。追加キューブ／点は、それらに関連付けられる奥行きおよびテクスチャを、穴を決定するために使用されたキューブに関連付けられた奥行きおよびテクスチャから計算することによって（例えば、穴の存在を決定するために使用された点／キューブを補間することによって）生成され得る。奥行き差が体積単位の数で表される場合、生成される追加点の数は、奥行き差の関数であり得、例えば、ｄから１を引いたもの（ｄ－１）に等しくなる。例えば、点／キューブ６０１と６０２との間に生成される点／キューブの数は１に等しく、奥行き画像の対応するピクセル６１１と６１２との奥行き差は２に等しい。別の例によれば、点／キューブ６０１と６０４との間に生成される点／キューブの数は２に等しく、奥行き画像の対応するピクセル６１１と６１４との奥行き差は３に等しい。
既存の点／キューブ６０１と６０２との間に生成された追加点／キューブ６００１は、テクスチャ情報として、点／キューブ６０１および６０２に関連付けられたテクスチャ値の平均値を受け取り、奥行き情報として、点／キューブ６０１に関連付けられた奥行き値の平均値＋１（ｄ６０１＋１）を受け取り得る。
既存の点／キューブ６０１と６０４との間に生成された追加点／キューブ６００１および６００２は、テクスチャ情報として、点／キューブ６０１および６０４に関連付けられたテクスチャ値の平均値を受け取り、奥行き情報として、キューブ６００１については点６０１の奥行き値＋１（ｄ６０１＋１）を受け取り、キューブ６００２については点６０１の奥行き値＋２（ｄ６０１＋２）を受け取り得る。
変形例によれば、追加点／キューブのテクスチャを決定するために、既存の点／キューブのテクスチャに重みが関連付けられる。例えば、追加点６００１は点６０４よりも点６０１により近いため、追加点６００１のテクスチャを計算するとき、点６０４の重みよりも大きな重みが、点６０１のテクスチャに関連付けられ得る。対照的に、追加点６００２は点６０１よりも点６０４により近いため、追加点６００２のテクスチャを計算するとき、点６０１の重みよりも大きな重みが点６０４のテクスチャに関連付けられ得る。例えば、生成された追加点に関連付けられるテクスチャ値を補間するときにテクスチャ値に関連付けられる重みは、生成された追加点を、それを生成するために使用された点から隔てる距離（奥行き）に反比例し得る。例えば、追加点６００１のテクスチャを計算するとき、２に等しい重みが点６０１のテクスチャに関連付けられ、１に等しい重みが点６０４のテクスチャに関連付けられ、追加点６００１と点６０１との距離（奥行き差）は１体積単位に等しいが、追加点６００１と点６０４との距離（奥行き差）は２体積単位に等しい。
別の変形例によれば、生成された追加点に関連付けられるテクスチャ情報は、それを生成するために使用された点の１つのテクスチャ情報に対応する。例えば、点６０１のテクスチャ情報が、生成された追加点６００１に適用され得、点６０４のテクスチャ情報が、生成された追加点６００２に適用され得る。
さらなる任意選択の変形例によれば、（現在のピクセルとこの現在のピクセルに隣接ピクセルとの）奥行き差ｄが第１の決定値Ｔｈ１以上でありかつ第２の決定値Ｔｈ２以下であると判定されるたびに追加点を生成する代わりに、現在のピクセルと、間隔［Ｔｈ１；Ｔｈ２］内で最大奥行き差ｄｍａｘを有するピクセル隣接ピクセルとの間にのみ、追加点が生成される。例えば、点／キューブ６００１を２回（１回は点／キューブ６０１および６０２を使用して、１回は点／キューブ６０１および６０４を使用して）生成する代わりに、点キューブ６００１は、６０１と６０４との奥行き差（すなわち、＋３）は点６０１と６０２との奥行き差（すなわち、＋２）よりも大きいので、点／キューブ６０１および６０４を使用して１回だけ生成される。その目的を達成するために、ピクセルブロック６Ｂのすべての奥行き差ｄ６１２～ｄ６１９のなかから（Ｔｈ２以下の）最大奥行き差ｄｍａｘを選択し、すべての隣接ピクセル６１２～６１９のなかで最大奥行き差ｄｍａｘに対応する隣接ピクセル６１４のみを、現在のピクセル６１１について考慮し、（対応する点／キューブ６０１および６０４から）追加点／キューブを生成する。
図８は、本原理の非限定的な実施形態に従う、（例えば、図９に関して説明される）デバイス９において実施される３Ｄシーンの１つ以上の点を生成する方法を示す。
第１の動作８１では、現在のピクセルに関連付けられた奥行き情報が、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較される。奥行き画像は、３Ｄシーンまたは３Ｄシーンの一部の既存の点（例えば、３Ｄオブジェクトの既存の点）に関連付けられる。奥行き画像の各ピクセルは、３Ｄシーンの対応する点に関連付けられており、奥行き画像は、３Ｄシーンの点を対応するピクセルに投影することで取得され、点の奥行き属性は、奥行き画像に、対応するピクセルに関連付けられて記憶される。
第２の動作８２では、現在のピクセルに関連付けられている現在の点に加えて、３Ｄシーンの１つ以上の追加点が生成される。現在の点は、例えば、３Ｄシーンの既存の点から奥行き画像を取得するために使用された投影のパラメータを使用して、現在のピクセルを逆投影することによって生成される。１つ以上の点は、例えば、現在のピクセルと隣接ピクセルとの奥行き差が第１の値Ｔｈ１よりも大きくかつ第２の値Ｔｈ２よりも小さい場合、現在の点と、現在のピクセルに隣接する奥行き画像のピクセルを逆投影することによって取得された３Ｄシーンの点とを使用することによって生成される。追加点は、例えば、第１の値と第２の値との間に含まれる奥行き差を有する各点対（各対は、現在の点と、現在のピクセルに隣接する奥行き画像のピクセルに対応する現在の点の近傍の点とを含む）に対して生成される。生成される追加点の数は、奥行き差に依存し、奥行き差が大きいほど、生成される追加点の数は多くなる。
変形例によれば、現在のピクセルとの奥行き差が第１の値と第２の値との間に含まれる隣接ピクセルのなかから、現在のピクセルとの奥行き差が最も大きい隣接ピクセルが選択され、追加点は、現在の点と、最大奥行き差を有する隣接ピクセルに対応する近隣点のみを使用して生成される。
追加点に関連付けられる属性、特にテクスチャ属性は、追加点を生成するために使用される（現在のピクセルおよび隣接ピクセルにそれぞれ対応する）現在の点および近隣点の属性を使用して決定される。テクスチャ属性は、例えば、現在の点および近隣点のテクスチャ属性を補間することによって取得される。
第１および第２の動作は、複数の現在のピクセル（または同等に３Ｄシーンの対応する現在の点）に対して、例えば奥行き画像の各ピクセルに対して、または奥行き画像のピクセルの一部の各ピクセルに対して、繰り返され得る。
図９は、本原理の非限定的な実施形態に従う、図６および図８に関して説明された方法のうちの少なくとも１つを実施するように適合された装置９のアーキテクチャの例を示す。
装置９は、データおよびアドレスバス９１によって一緒にリンクされる以下の要素を備える：
－マイクロプロセッサ９２（またはＣＰＵ）、例えば、ＤＳＰ（すなわちデジタルシグナルプロセッサ）；
－ＲＯＭ（すなわち読み取り専用メモリ）９３；
－ＲＡＭ（すなわちランダムアクセスメモリ）９４；
－記憶装置インターフェース９５；
－アプリケーションから、送信するデータを受信するためのＩ／Ｏインターフェース９６；および
－電源、例えばバッテリ。
一実施例によれば、電源はデバイスの外部にある。上記の各メモリでは、本明細書で使用される「レジスタ」という語は、小容量（いくつかのビット）の領域または非常に大きな領域（例えば、プログラム全体、または大量の受信または復号されたデータ）に対応する。ＲＯＭ９３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ９３は、本原理に従って技法を実行するためのアルゴリズムおよび命令を記憶し得る。電源が投入されると、ＣＰＵ９２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。
ＲＡＭ９４は、１つのレジスタ内に、ＣＰＵ９２によって実行され装置９の電源投入後にアップロードされるプログラムを、１つのレジスタ内に入力データを、１つのレジスタ内に方法の異なる状態の中間データを、および１つのレジスタ内に方法の実行に使用される他の変数を含む。
本明細書で説明される実施は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号において実施され得る。単一の実施形態に関して考察（例えば、方法またはデバイスとしてのみ考察）されたとしても、考察された機能の実施は他の形式（例えば、プログラム）でも実施し得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施され得る。方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含む、一般に処理デバイスと称される例えばプロセッサなどの装置で実施し得る。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
３Ｄシーンの点（例えば、ポイントクラウドの点）および関連付けられたデータ／属性（例えば、点の奥行きおよびテクスチャ）は、ソースから取得される。例えば、ソースは、以下を含むセットに属する：
－ローカルメモリ（９３または９４）、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわち読み取り専用メモリ）、ハードディスク；
－記憶装置インターフェース（９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース；
－通信インターフェース（９６）、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（ＩＥＥＥ８０２．１１インターフェースもしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）；および
－ユーザがデータを入力することを可能とするグラフィカルユーザインターフェースなどのユーザインターフェース。
デコーディング／レンダリングまたはデコーダ／レンダラーの例によれば、復号された点または再構築された３Ｄシーンが宛先に送られ、具体的には、宛先は以下を含むセットに属する：
－ローカルメモリ（９３または９４）、例えばビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク；
－記憶装置ンターフェイス（９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース；および
－通信インターフェース（９６）、例えば、有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（すなわちユニバーサルシリアルバス））、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ（高解像度マルチメディアインターフェース）インターフェース）または無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、ＷｉＦｉ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）。
実施例によれば、装置９は、図６～図８のうちの少なくとも１つに関して説明された方法を実施するように構成され、以下を含むセットに属する：
－モバイルデバイス；
－通信デバイス；
－ゲームデバイス；
－タブレット（またはタブレット型コンピュータ）；
－ノート型パソコン；
－静止画カメラ；
－ビデオカメラ；
－エンコーデングチップ；
－サーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、ウェブサーバー）；
－セットトップボックス；
－テレビセット；および
－ディスプレイ（例えばＨＭＤなど）。
図１０は、本原理の特定の非限定的な実施形態に従う、３Ｄシーン、例えばポイントクラウド１０３の符号化／復号スキームの概略図を示す。
ポイントクラウド１０３は、モジュールＭ１０１において実施される符号化プロセス１０１を介して、ビットストリーム１０４の形態の符号化データに符号化される。ビットストリームは、復号プロセス１０２を実施するモジュールＭ１０２に送られ、符号化されたデータが復号され、復号ポイントクラウド１０５が取得される。モジュールＭ１０１およびＭ１０２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせであり得る。
ポイントクラウド１０３は、オブジェクト、例えばオブジェクトの外側表面または外側形状を表す大きな点の集まりに対応する。ポイントクラウドは、ベクトルベースの構造と見なすことができ、各点は、その座標（例えば、３次元座標ＸＹＺ、または所与の視点からの奥行き／距離）と１つ以上の成分とを有する。成分の一例は、異なる色空間、例えばＲＧＢ（赤、緑、青）またはＹＵＶ（Ｙはルーマ成分であり、ＵＶは２つのクロミナンス成分である）で表現され得る色成分である。ポイントクラウドは、１つ以上の視点から見たオブジェクトの表現であり得る。ポイントクラウドは、さまざまな方法、例えば以下から取得し得る：
・任意選択で奥行き能動感知デバイスで補完された、１台以上のカメラで撮影される、実際のオブジェクトの撮影から；
・モデル化ツールにおいて１つ以上の仮想カメラによって撮影される、仮想／合成オブジェクトの撮影から；
・実際のオブジェクトおよび仮想オブジェクトの両方の混合から。
ポイントクラウド１０３は、時間とともに進化する動的ポイントクラウドであり得、すなわち、点の数が時間とともに変わり得、かつ／または１つ以上の点の位置（例えば、座標Ｘ、ＹおよびＺのうちの少なくとも１つ）が時間とともに変わり得る。ポイントクラウドの進化は、ポイントクラウドによって表されるオブジェクトの動きに、および／またはオブジェクトまたはオブジェクトの一部の形状の変化に対応し得る。
ポイントクラウド１０３は、ピクチャまたは１つ以上の時間的連続ピクチャ群において表され得、各ピクチャは、決定時間「ｔ」におけるポイントクラウドの表現を含む。１つ以上の時間的連続ピクチャ群は、ポイントクラウド１０３の少なくとも一部を表すビデオを形成し得る。
符号化プロセス１０１は、例えば、ピクチャ内コーディングおよび／またはピクチャ間コーディングを実施し得る。ピクチャ内コーディングは、効果的なデルタコーディングのためにすでにコードされたピクセルから外挿して予測値を計算することにより、空間的冗長性、すなわち１つのピクチャ内のピクセル間の相関を活用するピクチャ内予測に基づいている。ピクチャ間コーディングは、時間的冗長性を活用するピクチャ間予測に基づいている。時間的に独立してコードされた、いわゆるイントラピクチャ「Ｉ」は、イントラコーディングのみを使用する。時間的にコードされた予測ピクチャ「Ｐ」（または「Ｂ」）は、ピクチャ内予測およびピクチャ間予測を使用し得る。
復号プロセス１０２は、例えば、符号化プロセスで符号化されたデータを復号するための、符号化プロセス１０１の逆演算に対応し得る。
図１１は、データがパケットベースの送信プロトコルを介して送信される場合に、例えば２つの遠隔デバイス間で送信される信号の構文の例を示す。送信される各パケットＰは、ヘッダーＨとペイロードデータＰＡＹＬＯＡＤとを含む。
実施形態によれば、ペイロードＰＡＹＬＯＡＤは、以下の要素のうちの少なくとも１つを含み得る：
－所定の時間ｔにおけるポイントクラウドを表す少なくとも１つのピクチャを表すビット、例えば、ビットは、少なくとも１つのピクチャのピクセルに関連付けられたテクスチャ情報および／または奥行き情報を表し得る；
－少なくとも１つのピクチャの投影と画像との間の投影情報データおよびマッピングを表すビット。
図１２は、本原理の特定の非限定的な実施形態に従う、３Ｄシーン、例えばポイントクラウド１０３を符号化するための動作を示す。動作は、符号化プロセス１０１の一部であり得、図９の装置９によって実施され得る。
動作１２０では、ポイントクラウドのピクチャ２０のデータがエンコーダＥＮＣ１によって符号化される。ピクチャ２０は、例えば、ピクチャ群（ＧＯＰ）の一部であり、決定時間「ｔ」におけるポイントクラウドを表すデータを含む。ピクチャ２０は、画像の集合を含み得、集合の画像のうちの少なくとも１つは、ピクチャ２０のデータの少なくとも一部に対応する属性を含む。属性は、決定された投影に従って、各画像内のポイントクラウドの一部を投影することによって得られ、属性は、各画像上に投影されたポイントクラウドの部分の点の属性に対応する。属性は、テクスチャ（もしくは色）情報および／または奥行き（もしくは視点までの距離）情報に対応し得る。エンコーダＥＮＣ１は、例えば、次のようなレガシーエンコーダに準拠する：
・ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ１０９１８－１ＵＩＴ－Ｔ勧告Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｔ．８１／ｅｎ、
・ＡＶＣ、別名ＭＰＥＧ－４ ＡＶＣまたはｈ２６４。ＵＩＴ－Ｔ Ｈ．２６４およびＩＳＯ／ＣＥＩ ＭＰＥＧ－４ Ｐａｒｔ１０（ＩＳＯ／ＣＥＩ１４４９６－１０）の両方に仕様、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６４／ｅｎ、
・ＨＥＶＣ（その仕様はＩＴＵウェブサイトにある、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ）、または
・３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張で、仕様はＩＴＵウェブサイトにある、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１６１２－Ｉ／ｅｎ附属書ＧおよびＩ）。
ピクチャ２０の符号化されたデータは、ビットストリーム１０４において記憶および／または送信され得る。
動作１２１では、ピクチャ２０の符号化データが、デコーダＤＥＣ１によって復号される。デコーダＤＥＣ１はエンコーダＥＮＣ１に準拠し、例えば、次のようなレガシーデコーダに準拠する：
・ＪＰＥＧ、
・ＡＶＣ、別名ＭＰＥＧ－４ＡＶＣもしくはｈ２６４、
・ＨＥＶＣ、または
・３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張）。
動作１２０で符号化された属性は、ピクチャ２０に関連付けられた参照ピクチャ１２５の生成に使用するために、動作１２１で復号および回収され、例えばバッファメモリに記憶される。
モジュールＭ１２２によって実施される動作１２２では、各画像は、ポイントクラウドの点を生成するため、および例えば符号化／復号プロセス１２０、１２１から生じ得る穴を埋めるために、図６および／または図８に関して説明したように処理される。
参照ピクチャ１２５が、モジュールＭ１２２から取得された補正画像から取得され得る。
参照ピクチャ１２５は、モジュールＭ１２４によって実施される動作１２４で使用され得る。動作１２４は、例えば、ピクチャ２０とは異なるポイントクラウドの１つ以上のピクチャ（例えば、ピクチャ２０の時間「ｔ」とは異なる決定時間におけるポイントクラウドのピクチャ）をコーディングするためのインター予測のための予測子を生成することを含む。次いで、ポイントクラウド１０３、またはポイントクラウドを表すピクチャは、参照ピクチャ１２５を参照することによって符号化され得る。変形例によれば、モジュールＭ１２４は、エンコーダＥＮＣ１の一部である。
当然ながら、複数の参照ピクチャを、参照ピクチャ１２５と同じ方法で取得し得、複数の参照ピクチャの各々は、ポイントクラウドを表す特定の画像から取得され、ポイントクラウド１０３の符号化では、１つまたはいくつかの参照ピクチャが参照される。
図１３は、本原理の特定の非限定的な実施形態に従う、ビットストリーム１０４からポイントクラウド１０３の符号化バージョンを復号するための動作を示す。動作は、復号プロセス１０２の一部であり得、図９の装置９によって実施され得る。
動作１３１では、ポイントクラウドの１つ以上のピクチャ（例えば、１つ以上のＧＯＰまたはイントラ期間のピクチャ）の符号化データが、受信されたビットストリーム１０４からデコーダＤＥＣ２によって復号される。ビットストリーム１０４は、１つ以上のピクチャの符号化データを含む。各ピクチャは、画像の集合を含み、集合の画像のうちの少なくとも１つは、符号化されたピクチャのデータの少なくとも一部に対応する属性を含む。属性は、第１の投影に従って、各第１の画像内のポイントクラウドの一部を投影することによって得られ、属性は、各第１の画像上に投影されたポイントクラウドの部分の点の属性に対応する。属性は、テクスチャ（もしくは色）情報および／または奥行き（もしくは視点までの距離）情報に対応し得る。デコーダＤＥＣ２は、図１２のデコーダＤＥＣ１に対応し得、例えば、次のようなレガシーデコーダに準拠する：
・ＪＰＥＧ、
・ＡＶＣ、別名ＭＰＥＧ－４ＡＶＣもしくはＨ２６４、
・ＨＥＶＣ、または
・３Ｄ－ＨＥＶＣ（ＨＥＶＣの拡張）。
動作１３１で復号された属性は、１つ以上の参照ピクチャ１３５の生成に使用するために、回収され、例えばバッファメモリに記憶され、各参照ピクチャは、１つのピクチャに関連付けられる。以下では、明確さおよび簡潔さのために、１つのピクチャに関連付けられた１つの参照ピクチャのみを考慮する。
（図１２のモジュールＭ１２２と同一であり得る）モジュールＭ１３２によって実施される動作１３２では、ポイントクラウドの点を生成するため、および例えば符号化／復号プロセス１２０、１３１から生じ得る穴を埋めるために、復号された属性が、図６および／または図８に関して説明したように処理される。
（図１２の参照ピクチャ１２５と同一であり得る）参照ピクチャ１３５が、動作１２１から取得される復号された第１の属性を、動作１２３から取得される第２の属性と融合することによってピクチャから取得され得る。参照ピクチャは、ピクチャと同じ構造、すなわち同じ空間配置の画像の集合を含み得るが、異なるデータ、すなわち、復号された第１の属性および取得された第２の属性を含み得る。参照ピクチャを取得するためのプロセスの例の詳細な説明は、図９の説明とともに上記で提供されている。
参照ピクチャ１３５は、モジュールＭ１３４によって実施される動作１３４で使用され得る。動作１３４は、例えば、ビットストリームに含まれる符号化されたデータの復号から、インター予測のための予測子を生成することを含む。予測子の生成に関連付けられたこれらのデータは、以下を含み得る：
－予測タイプ、例えば、予測モードがイントラかインターかを示すフラグ、
－運動ベクトル、および／または
－参照ピクチャのリストから参照ピクチャを示すインデックス。
当然ながら、複数の参照ピクチャが、参照ピクチャ１３５と同じ方法で取得されてもよく、複数の参照ピクチャの各々は、ポイントクラウドを表す特定のピクチャの復号データから取得され、ビットストリーム１０４のデータの復号は、復号されたポイントクラウド１０５を取得するための１つまたはいくつかの参照ピクチャに基づき得る。
当然ながら、本文書は、前述の実施形態に限定されない。
本文書は、３Ｄシーンの点を生成する方法に限定されず、３Ｄシーン／ポイントクラウドを符号化および／もしくは復号するための方法、ならびに／または３Ｄシーン／ポイントクラウドの符号化により取得されるビットストリームを送信するための方法およびデバイス、ならびに／または３Ｄシーン／ポイントクラウドの符号化により取得されるビットストリームを受信するための方法およびデバイスに拡張される。本文書はまた、復号された３Ｄシーン／ポイントクラウド、すなわち復号されたポイントクラウドによって表される３Ｄオブジェクトの画像を、視点を各画像に関連付けて、レンダリングおよび／または表示するための方法およびデバイスにも拡張される。
本明細書で説明された実施は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実施され得る。（例えば、方法またはデバイスとしてのみ考察された）単一の実施形態に関する考察のみの場合でも、考察された機能の実施は他の形態（例えば、プログラム）でも実施し得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施され得る。方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含む、一般に処理デバイスを指す、例えばプロセッサなどの装置で実施し得る。プロセッサはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
本明細書で説明されたさまざまなプロセスおよび機能の実施は、さまざまな異なる機器またはアプリケーション、特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに画像および関連テクスチャ情報および／または奥行き情報の他の処理に関連付けられた機器またはアプリケーションで具現化することができる。そのような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ノート型パソコン、パソコン、携帯電話、ＰＤＡ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートグラス、その他の通信デバイスが含まれる。明らかなように、機器は移動型であり、移動車両に設置されている場合さえある。
さらに、方法は、プロセッサによって実行されている命令によって実施され得、そのような命令（および／または実施によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリアまたは他の記憶デバイスなど、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、しばしばデジタル多用途ディスクと称されるＤＶＤ、またはデジタルビデオディスク）、ランダムアクセスメモリ（「ＲＡＭ」）、または読み取り専用メモリ（「ＲＯＭ」）などの、プロセッサ可読媒体に記憶し得る。命令は、プロセッサ可読媒体上で有形的に具現化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、またはこの２つの組み合わせに見ることができる。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスとの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実施によって生成されたデータ値を記憶し得る。
当業者には明らかであるように、実施は、例えば、記憶または送信され得る情報を搬送するようにフォーマット化されたさまざまな信号を生成し得る。情報は、例えば、方法を実行するための命令、または説明された実施のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態の構文を書き込むまたは読み取るための規則をデータとして搬送するように、または説明された実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット化され得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、またはベースバンド信号としてフォーマット化され得る。フォーマット化は、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であり得る。信号は、既知のように、さまざまな異なる有線または無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
多数の実施が説明されてきた。それでもなお、さまざまな変更が行われ得ることが理解されよう。例えば、異なる実施の要素は、他の実施を行うために、結合、補足、変更、または削除されてもよい。さらに、当業者は、他の構造およびプロセスが開示されたものの代わりになり得、結果として生じる実施が、少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、開示された実施と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実施は、本出願によって企図されている。
［付記１］
奥行き画像から３Ｄシーンの点を生成する方法であって、
－前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
－前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を含む方法。
［付記２］
前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの最大奥行き差を有する前記隣接ピクセルを選択することをさらに含み、生成される追加点の数は前記最大奥行き差に依存する、付記１に記載の方法。
［付記３］
体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、付記１～２の１項に記載の方法。
［付記４］
少なくとも１つの追加点に関連付けられる属性を決定することをさらに含み、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、付記１～３の１項に記載の方法。
［付記５］
前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、付記４に記載の方法。
［付記６］
受信されたビットストリームから前記奥行き画像を復号することをさらに含む、付記１～５の１項に記載の方法。
［付記７］
３Ｄシーンの前記点は、ポイントクラウドの一部である、付記１～６の１項に記載の方法。
［付記８］
奥行き画像から３Ｄシーンの点を生成するように構成されたデバイスであって、
－前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
－前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を行うように構成された少なくとも１つのプロセッサに関連付けられたメモリを備える、デバイス。
［付記９］
前記少なくとも１つのプロセッサはさらに、前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの前記最大奥行き差を有する前記隣接ピクセルを選択するように構成され、生成される追加点の数は前記最大奥行き差に依存する、付記８に記載のデバイス。
［付記１０］
体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、付記８～９の１項に記載のデバイス。
［付記１１］
前記少なくとも１つのプロセッサはさらに、前記少なくとも１つの追加点に関連付けられる属性を決定するように構成され、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、付記８～１０の１項に記載のデバイス。
［付記１２］
前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、付記１１に記載のデバイス。
［付記１３］
前記少なくとも１つのプロセッサはさらに、受信されたビットストリームから前記奥行き画像を復号するように構成されている、付記８～１２の１項に記載のデバイス。
［付記１４］
前記３Ｄシーンの前記点は、ポイントクラウドの一部である、付記８～１３の１項に記載のデバイス。
［付記１５］
付記１～７の１項に記載の方法をプロセッサに実行させるための命令を記憶した非一時的プロセッサ可読媒体。

Claims (15)

  1. 奥行き画像から３Ｄシーンの点を生成する方法であって、
    －前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
    －前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値以上かつ第２の値以下である場合、前記第２の値は、前記現在のピクセルと隣接ピクセルとが前記３Ｄシーンの同じオブジェクトまたは前記３Ｄシーンのオブジェクトの同じ部分に属していることを示し、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を含む方法。
  2. 前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの最大奥行き差を有する前記隣接ピクセルを選択することをさらに含み、生成される追加点の数は前記最大奥行き差に依存する、請求項１に記載の方法。
  3. 体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、請求項１に記載の方法。
  4. 少なくとも１つの追加点に関連付けられる属性を決定することをさらに含み、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、請求項１に記載の方法。
  5. 前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、請求項４に記載の方法。
  6. 受信されたビットストリームから前記奥行き画像を復号することをさらに含む、請求項１に記載の方法。
  7. ３Ｄシーンの前記点は、ポイントクラウドの一部である、請求項１に記載の方法。
  8. 奥行き画像から３Ｄシーンの点を生成するように構成されたデバイスであって、
    －前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
    －前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、前記第２の値は、前記現在のピクセルと隣接ピクセルとが前記３Ｄシーンの同じオブジェクトまたは前記３Ｄシーンのオブジェクトの同じ部分に属していることを示し、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を行うように構成された少なくとも１つのプロセッサに関連付けられたメモリを備える、デバイス。
  9. 前記少なくとも１つのプロセッサはさらに、前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの最大奥行き差を有する前記隣接ピクセルを選択するように構成され、生成される追加点の数は前記最大奥行き差に依存する、請求項８に記載のデバイス。
  10. 体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、請求項８に記載のデバイス。
  11. 前記少なくとも１つのプロセッサはさらに、前記少なくとも１つの追加点に関連付けられる属性を決定するように構成され、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、請求項８に記載のデバイス。
  12. 前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、請求項１１に記載のデバイス。
  13. 前記少なくとも１つのプロセッサはさらに、受信されたビットストリームから前記奥行き画像を復号するように構成されている、請求項８に記載のデバイス。
  14. 前記３Ｄシーンの前記点は、ポイントクラウドの一部である、請求項８に記載のデバイス。
  15. 請求項１～７の１項に記載の方法をプロセッサに実行させるための命令を記憶した非一時的プロセッサ可読媒体。
JP2020518785A 2017-10-06 2018-10-03 ３ｄシーンの点を生成するための方法およびデバイス Active JP7407703B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306345.4 2017-10-06
EP17306345.4A EP3467782A1 (en) 2017-10-06 2017-10-06 Method and device for generating points of a 3d scene
PCT/US2018/054057 WO2019070778A1 (en) 2017-10-06 2018-10-03 METHOD AND DEVICE FOR GENERATING POINTS OF A 3D SCENE

Publications (3)

Publication Number Publication Date
JP2020536325A JP2020536325A (ja) 2020-12-10
JP2020536325A5 JP2020536325A5 (ja) 2021-11-11
JP7407703B2 true JP7407703B2 (ja) 2024-01-04

Family

ID=60143653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518785A Active JP7407703B2 (ja) 2017-10-06 2018-10-03 ３ｄシーンの点を生成するための方法およびデバイス

Country Status (9)

Country Link
US (1) US11830210B2 (ja)
EP (2) EP3467782A1 (ja)
JP (1) JP7407703B2 (ja)
KR (1) KR102537420B1 (ja)
CN (1) CN111386556B (ja)
BR (1) BR112020006530A2 (ja)
DK (1) DK3692509T3 (ja)
HU (1) HUE061036T2 (ja)
WO (1) WO2019070778A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10907954B2 (en) * 2018-09-28 2021-02-02 Hand Held Products, Inc. Methods and systems for measuring dimensions of a 2-D object
GB2584119B (en) * 2019-05-22 2022-11-02 Sony Interactive Entertainment Inc Content coding system and method
WO2022050650A1 (ko) * 2020-09-03 2022-03-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11823327B2 (en) 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same
WO2022119304A1 (ko) * 2020-12-01 2022-06-09 현대자동차주식회사 적응적 데드존 양자화를 이용하는 포인트 클라우드 코딩 장치 및 방법
EP4277284A1 (en) * 2021-01-06 2023-11-15 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11756281B1 (en) * 2023-03-14 2023-09-12 Illuscio, Inc. Systems and methods for splat filling a three-dimensional image using semi-measured data
US11935209B1 (en) 2023-07-24 2024-03-19 Illuscio, Inc. Systems and methods for dynamic backfilling of a three-dimensional object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174710A1 (en) 2008-01-08 2009-07-09 Samsung Electronics Co., Ltd. Modeling method and apparatus

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7576737B2 (en) * 2004-09-24 2009-08-18 Konica Minolta Medical & Graphic, Inc. Image processing device and program
EP1875440B1 (en) 2005-04-19 2008-12-03 Koninklijke Philips Electronics N.V. Depth perception
US8249334B2 (en) * 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
US9645240B1 (en) * 2010-05-10 2017-05-09 Faro Technologies, Inc. Method for optically scanning and measuring an environment
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
KR101210625B1 (ko) * 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9282915B2 (en) * 2011-11-29 2016-03-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Method and system for generating and/or repairing a surface model of a geometric structure
WO2013111994A1 (en) * 2012-01-26 2013-08-01 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3d video
US8712147B2 (en) * 2012-02-03 2014-04-29 Harris Corporation Fractal method for detecting and filling data gaps within LiDAR data
EP2876609B1 (en) * 2012-07-23 2017-12-13 Fujitsu Limited Shape data generating program, shape data generating method, and shape data generating device
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
WO2014124871A2 (en) * 2013-02-12 2014-08-21 Thomson Licensing Method and device for enriching the content of a depth map
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
US9171403B2 (en) * 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
US9292961B1 (en) * 2014-08-26 2016-03-22 The Boeing Company System and method for detecting a structural opening in a three dimensional point cloud
US9792531B2 (en) 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
GB2543749A (en) 2015-10-21 2017-05-03 Nokia Technologies Oy 3D scene rendering
CN105825544B (zh) * 2015-11-25 2019-08-20 维沃移动通信有限公司 一种图像处理方法及移动终端
US20170186223A1 (en) * 2015-12-23 2017-06-29 Intel Corporation Detection of shadow regions in image depth data caused by multiple image sensors
US10192103B2 (en) * 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
EP3434012A1 (en) * 2016-03-21 2019-01-30 InterDigital CE Patent Holdings Dibr with depth map preprocessing for reducing visibility of holes by locally blurring hole areas
TW201805894A (zh) * 2016-05-06 2018-02-16 國立臺灣大學 三維渲染方法以及三維繪圖處理裝置
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
KR20190103146A (ko) * 2016-10-20 2019-09-04 로보-팀 홈 엘티디. 사람을 추적하는 로봇
US10176589B2 (en) * 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
US10803561B2 (en) * 2017-06-02 2020-10-13 Wisconsin Alumni Research Foundation Systems, methods, and media for hierarchical progressive point cloud rendering
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174710A1 (en) 2008-01-08 2009-07-09 Samsung Electronics Co., Ltd. Modeling method and apparatus

Also Published As

Publication number Publication date
US20200258247A1 (en) 2020-08-13
DK3692509T3 (da) 2023-01-09
HUE061036T2 (hu) 2023-05-28
KR102537420B1 (ko) 2023-05-26
EP3467782A1 (en) 2019-04-10
JP2020536325A (ja) 2020-12-10
WO2019070778A1 (en) 2019-04-11
EP3692509A1 (en) 2020-08-12
KR20200057077A (ko) 2020-05-25
BR112020006530A2 (pt) 2020-10-06
RU2020115158A (ru) 2021-11-08
EP3692509B1 (en) 2022-12-07
CN111386556A (zh) 2020-07-07
CN111386556B (zh) 2024-03-12
US11830210B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
JP7407703B2 (ja) ３ｄシーンの点を生成するための方法およびデバイス
CN111615715B (zh) 编码/解码体积视频的方法、装置和流
US20200273258A1 (en) Method and device for modifying attributes of points of a 3d scene
US20190108655A1 (en) Method and apparatus for encoding a point cloud representing three-dimensional objects
US11019363B2 (en) Method and device for encoding a point cloud
US20200258202A1 (en) Method and apparatus for reconstructing a point cloud representing a 3d object
CN113597771A (zh) 用于处理点云数据的设备和方法
CN110915216A (zh) 用于编码/解码表示3d对象的几何形状和颜色的有色点云的方法和装置
US20210166435A1 (en) Method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3429206A1 (en) Method and device for encoding a point cloud
CN114051734A (zh) 一种解码三维场景的方法和装置
EP3716628A1 (en) A method and apparatus for encoding and decoding volumetric video
RU2788439C2 (ru) Способ и устройство для генерации точек трехмерной (3d) сцены
WO2024093215A1 (en) Encoding/decoding point cloud geometry data
WO2024140684A1 (zh) 端云协同系统、编解码方法及电子设备
US20240179347A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
CN118283267A (zh) 端云协同系统、编解码方法及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231219

R150 Certificate of patent or registration of utility model

Ref document number: 7407703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150