JP7431742B2 - 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置 - Google Patents

Description

２．分野。
本原理は一般的に、三次元物体を表すポイントクラウドのコーディング及び復号に関する。特に、本原理の技術分野は、ポイントクラウドの投影ベースの符号化／復号に関する。

３．背景。
本節は、様々な技術態様に読者を紹介することを目的としており、以下に説明及び／又は請求されている本原理の様々な態様に関する。この説明は、本原理の様々な態様のより良い理解を容易にするために、背景情報を読者に提供するのに役立つと考えられる。従って、これらの説明は、この観点から読まれるべきであり、先行技術の承認としてではないものとする。

ポイントクラウドは、三次元物体（但し、メッシュのような他のデータフォーマットによって効率的に表されることができない髪又は毛皮のようなより複雑な形状）の外面を表すように通常意図されている点の集合である。ポイントクラウドの各点を、三次元空間位置（三次元空間におけるＸ、Ｙ、及びＺ座標）、及び場合によっては、ＲＧＢ又はＹＵＶ色空間（例えば、透明度、反射率、法線ベクトルなど）で表される色などの他の関連属性によって規定することが多い。

着色ポイントクラウドは、６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）又は同等に（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）（但し、（Ｘ、Ｙ、Ｚ）は、三次元空間における点の空間位置を規定し、（Ｒ、Ｇ、Ｂ）又は（Ｙ、Ｕ、Ｖ）は、この点の色を規定する）の集合であってもよい。

下記で、用語「ポイントクラウド」は、着色ポイントクラウドを含む任意のポイントクラウドを意味する。

着色ポイントクラウドは、ポイントクラウドが時間に対して進化するか否かによって静的又は動的であってもよい。動的ポイントクラウドの場合、点の数は、必ずしも一定である必要はないが、一般的に時間と共に進化することに留意すべきである。従って、動的ポイントクラウドは、点の集合の時間順序付きリストである。

実際に、物体を送信又は視察することなく物体の空間構成を共用するために、着色ポイントクラウドを、状態又は建造物のような物体を三次元で走査する文化遺産／建造物などの様々な目的のために使用してもよい。更に、物体が破壊され得る場合の物体（例えば、地震による寺）の知識の保存を保証する方法である。このような着色ポイントクラウドは典型的に、静的で非常に大きい。

別の使用の場合は、三次元表現を使用することによって、地図が、平面に限定されず、起伏を含んでもよい地形及び地図製作にある。

更に、自動車産業及び自律走行車は、ポイントクラウドを使用することができる分野である。自律走行車は、自律走行車のすぐ近くの現実に基づいて安全運転決定を行う環境を「証明する」ことができるはずである。典型的なセンサーは、決定エンジンによって使用される動的ポイントクラウドを生成する。これらのポイントクラウドは、人によって見られるように意図されていない。典型的に、ポイントクラウドは、小さく、必ずしも着色されているわけではなく、高い収集頻度で動的である。ポイントクラウドは、検出物体の物理面の材料と相関がある貴重な情報であり、決定に役立つことができる反射率のような他の属性を有してもよい。

仮想現実（ＶＲ）及び没入型世界は、最近ホットな話題になっており、二次元平面ビデオの未来として多くの人によって予測されている。基本的な考えは、視聴者の前で仮想世界を視聴者が単に見ることができる標準的なテレビに対向して視聴者の周囲全体の環境に視聴者を没入させることである。環境内の視聴者の自由によって没入性に幾つかの階調がある。着色ポイントクラウドは、仮想現実世界を配信する優れたフォーマット候補である。着色ポイントクラウドは、静的又は動的であってもよく、典型的に、着色ポイントクラウドの平均サイズは、例えば、一度に数百万点以下である。

エンドユーザに対して実際の記憶／伝送を可能にするのにビットストリームのサイズが十分小さい場合に限り、ポイントクラウド圧縮は、没入型世界に対する三次元物体の記憶／伝送に成功する。

更に、経験の許容できる（又は好ましくは、非常に優れた）品質を維持しながら、帯域幅の妥当な消費で、エンドユーザに動的ポイントクラウドを配信することは重要である。ビデオ圧縮と同様に、時間的相関関係の良い使用法は、動的ポイントクラウドの効率的な圧縮をもたらす重要な要素であると考えられる。

周知の手法は、ポイントクラウドの色情報を表すテクスチャ、及びポイントクラウドの形状情報を表す深度情報を含むビデオを取得し、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いてテクスチャ及び深度ビデオをコーディングするために、三次元物体を含む立方体の面に、三次元物体の形状及び色を表す着色ポイントクラウドを投影する。

圧縮の性能は、各投影点に対してビデオ圧縮に近い。しかし、幾つかの内容は、動的ポイントクラウドを考える場合、閉塞、冗長性及び時間的安定性のために、より複雑であることがある。その結果、ポイントクラウド圧縮は、ビット速度に関してビデオ圧縮よりも要求が厳しい。

閉塞に関して、多くの投影を使用することなく複雑なトポロジーの完全な形状を得ることは殆ど不可能である。従って、これらの全投影を符号化／復号するのに必要な資源（計算能力、記憶メモリ）は通常、非常に大きい。

テクスチャ及び深度投影方式を用いたポイントクラウド符号器／復号器（コーデック）が、１２０回目のＭＰＥＧ会議中に、最近提案されている。この方式は、ISO/IEC JTC1/SC29 WG11 Doc. N17248,Macau,CN、２０１７年１０月の文献に記載されており、提案方式は、「ポイントクラウド圧縮試験モデルカテゴリ２バージョン０．０（Point cloud compression Test Model Category 2 version 0.0） （ＴＭＣ２ｖ０）」と呼ばれる。

この符号器／復号器は、動的ポイントクラウドデータを異なるビデオ列の集合に基本的に変換することによって、動的ポイントクラウドの形状及びテクスチャ情報を圧縮する既存のビデオ符号器／復号器を活用する。

特に、既存のビデオ符号器／復号器、例えば、ＨＥＶＣ主プロファイル符号器を用いて、２つのビデオ列（ポイントクラウドデータの形状情報を収集する１つのビデオ列、及びテクスチャ情報、即ち点の色を収集するもう１つのビデオ列）を、生成して圧縮する。

更に、２つのビデオ列を解釈するのに必要な追加メタデータ、即ち、占有マップ及び補助パッチ／ブロック情報を、別々に生成して圧縮する。次に、最終ポイントクラウドビットストリームを生成するように、生成ビデオビットストリーム及びメタデータを一緒に多重化する。更に、メタデータを、算術符号器／復号器などのエントロピー符号器／復号器によって符号化する。

このポイントクラウド符号器／復号器の例示的な符号器２の構造を、図１に表す。

符号器２は、３つの主なブロック、形状圧縮ブロック４、メタデータ圧縮ブロック６及びテクスチャ圧縮ブロック８を含む。

形状圧縮ブロック４は、入力ポイントクラウドを深度パッチに分解する深度パッチ生成ブロック１０を含む。

深度パッチ生成処理１０は、再構成誤差も最小限にしながら、滑らかな境界を有する最小数の深度パッチにポイントクラウドを分解することを目的とする。深度パッチは、深度値に対応付けられる画素のグループによってポイントクラウドの一部を表す。

一例として、図２に詳述する下記の手法を実施する。

まず、Hugues Hoppe,Tony DeRose,Tom Duchamp,John McDonald,Werner Stuetzle,“Surface reconstruction from unorganized points”，ACM SIGGRAPH 1992 Proceedings,71-78に記載のように、あらゆる点における法線を、１０２で推定する。

次に、それらの法線によって規定される下記の６つの有向面のうち１つに各点を対応付けることによって、ポイントクラウドの初期クラスタリングを、１０４で取得する。
－（１．０、０．０、０．０）
－（０．０、１．０、０．０）
－（０．０、０．０、１．０）
－（－１．０、０．０、０．０）
－（０．０、－１．０、０．０）、及び
－（０．０、０．０、－１．０）

より正確には、各点を、最も近い法線を有する平面に対応付ける（即ち、点法線及び平面法線のドット積を最大化する）。

一実施形態によれば、上述の６つの有向面を、下記のように索引付けする。
－（１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
－（０．０、１．０、０．０）を、クラスター索引１によって索引付けする。
－（０．０、０．０、１．０）を、クラスター索引２によって索引付けする。
－（－１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
－（０．０、－１．０、０．０）を、クラスター索引１によって索引付けする。
－（０．０、０．０、－１．０）を、クラスター索引２によって索引付けする。

次に、各点を、対応するクラスターの索引に対応付ける。

次に、点の法線及び最も近い隣接のクラスター索引に基づいて各点に対応付けられたクラスター索引を繰り返し更新することによって、初期クラスタリングを改善する。一実施形態によれば、考えられる点に対して、全隣接点（例えば、三次元空間における現在点までの距離が２未満である全点）を、クラスターＡとして知られている１つのクラスターに割り当て、考えられる点を別のクラスターに割り当てる、考えられる点のクラスター索引を、クラスターＡに更新する。

次に、接続成分抽出手順を適用する、即ち、同じクラスター索引を有する隣接点を抽出して接続成分を形成することによって、深度パッチを、１０６で抽出する。一実施形態によれば、下記の２つの条件を同時に満たす全点をグループ化することによって、１つの接続成分を構成する。
－同じクラスター索引を有する全点
－関連接続成分における各点に対して、現在点までの距離が事前定義閾値（例えば、１に等しい）未満である同じ接続成分における少なくとも１つの点が存在する。

各接続成分を、接続成分のクラスター索引（即ち、接続成分に属する点のクラスター索引）に従って投影面に対応付ける。一実施形態は、下記の通りである。
－クラスター索引０を有する接続成分に対するＹＯＺ平面
－クラスター索引１を有する接続成分に対するＸＯＺ平面
－クラスター索引２を有する接続成分に対するＸＯＹ平面

同じ投影線に沿った多くの点の場合（投影線は、３つの座標（Ｘ、Ｙ、Ｚ）のうち２つの同じ座標を有する点を含む。例えば、投影線は、同じ（Ｘ、Ｙ）座標を有する全点から構成されることがある。）をより良く処理するために、２つの深度パッチを、各接続成分に対して生成し、対応する画素の最小及び最大深度値に対応し、Ｄ１－Ｄ０＜＝表面厚さ（但し、表面厚さは、最大表面厚さであり、例えば、４に等しい）を満たす深度値Ｄ０及びＤ１を記録する。

より正確には、｛Ｈ（ｕ、ｖ）｝を、同じ画素（ｕ、ｖ）に投影された現在接続成分の点の集合とする。近い層とも呼ばれる第１の深度パッチは、最低深度Ｄ０を有する｛Ｈ（ｕ、ｖ）｝内の点の深度を記憶する。遠い層と呼ばれる第２の深度パッチは、区間［Ｄ０、Ｄ０＋表面厚さ］内で最高深度を有する｛Ｈ（ｕ、ｖ）｝内の点を収集する。

深度パッチ生成ブロック１０の後に、パッキングブロック１２が続く。このパッキングブロック１２は、全投影接続成分を二次元グリッドにマップしながら、未使用空間を最小化しようとし、このグリッドのあらゆるＴ×Ｔ（例えば、１６×１６）ブロック（但し、Ｔは、ビットストリームに符号化され復号器に送信されるユーザ定義パラメータである）を固有投影接続成分に対応付けることを保証する。二次元グリッド上の各点は、画像上の画素に対応する。

パッキングは、Ｗ×Ｈグリッド（但し、Ｗ及びＨは、符号化される形状／テクスチャ画像の解像度に対応するユーザ定義パラメータ（例えば、１０２８×１０２８）である）にパッチを繰り返し挿入しようとする単純なパッキング戦略を使用する。ラスター走査順序で実行される徹底探索によって、パッチ位置を判定する。パッチの重複無し挿入を保証することができる第１の位置を選択し、パッチによって覆われるグリッドセルを、使用されるようにマーク付けする。現在画像解像度における空空間がパッチに適合することができない場合、グリッドの高さＨを、一時的に２倍にし、探索を再度適用する。処理の終わりに、使用グリッドセルに適用するように、Ｈを切り抜く。二次元グリッドにおけるパッキング位置（各パッチの投影領域のバウンディングボックスの左上隅の位置）、及び各パッチの投影領域のサイズを、圧縮ビットストリームに信号伝送する。

占有マップを、パッキングブロック１２からメタデータ圧縮ブロック６に出力する。占有マップは、グリッドの各セルに対して、グリッドの各セルが、空空間に属する、即ち占有されないか、グリッドの各セルが、ポイントクラウドに属する、即ち占有されるかどうかを示す２進マップから構成される（但し、二次元グリッドの１つのセルは、画像生成処理中に深度を伝える画素又は色情報を生成する）。

更に、形状圧縮ブロック４は、画像生成ブロック１４を含み、この画像生成ブロック１４は、パッキング処理１２中に計算される三次元から二次元のマッピング、より詳細には、各接続成分の投影領域のパッキング位置及びサイズを利用して、ポイントクラウドの形状を画像として記憶する。

各接続成分に対して２つの深度パッチを生成するという事実に対応して、２つの画像を生成して、ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１と呼ばれるポイントクラウドの形状を記憶する。

符号器２の画像生成ブロック１４について、図３を参照して更に詳述する。

画像生成は、各パッチの投影領域のパッキング位置に従って、各パッチのＤ０値を第２のグリッドの対応する部分に複写するパッキング処理（深度Ｄ０パッキング）を含む。

更に、画像生成は、ｄｅｐｔｈＩｍａｇｅ０の各占有画素に対して、デルタ＿深度＝Ｄ１－Ｄ０（Ｄ１及びＤ０は、同じ投影線上にある）であり、対応するＤ０値を記憶する同じ位置にデルタ＿深度を記憶するデルタ深度判定を含む。

更に、画像生成は、下記のような時間インターリービング（ｄｅｐｔｈＩｍａｇｅ０＿０、ｄｅｐｔｈＩｍａｇｅ１＿０、…、ｄｅｐｔｈＩｍａｇｅ０＿ｉ、ｄｅｐｔｈＩｍａｇｅ１＿ｉ、…、ｄｅｐｔｈＩｍａｇｅ０＿ｎ、ｄｅｐｔｈＩｍａｇｅ１＿ｎ）（但し、ｄｅｐｔｈＩｍａｇｅ０＿ｉ及びｄｅｐｔｈＩｍａｇｅ１＿ｉをポイントクラウドフレームｉから生成する）を含む。

更に、画像生成は、ビデオ圧縮に適している区分的に滑らかな画像を生成するためにパッチ間の空空間に充填することを目的とするパディング処理２０を含む。このパディング処理は、下記のように進む単純なパディング戦略を使用する。
・Ｔ×Ｔ（例えば、１６×１６）画素の各ブロックを独立して処理する。
・ブロックが空である（即ち、全画素が空空間に属する）場合、ラスター順序で前のＴ×Ｔブロックの最後の行又は列を複写することによって、ブロックの画素に充填する。
・ブロックが一杯である（即ち、空画素がない）場合、何もしない。
・ブロックが空画素及び充填画素の両方を有する場合、非空隣接の平均値を空画素に繰り返し充填する。

画像生成ブロック１４の後に、深度ビデオ符号化ブロック２１が続く。この深度ビデオ符号化ブロック２１では、ＨＭ１６などの任意のレガシービデオ符号器／復号器を用いて、生成深度画像を、ビデオフレームとして記憶して圧縮する。ＨＭ構成に従う１６個のビデオ符号器／復号器を、パラメータとして与える。

符号器２のメタデータ圧縮ブロック６において、パッチ毎／接続成分メタデータと呼ばれる下記のメタデータを、下記のように、あらゆる接続成分に対して、収集して符号化する。
・投影面の索引
○平面（１．０、０．０、０．０）及び（－１．０、０．０、０．０）に対する索引０
○平面（０．０、１．０、０．０）及び（０．０、－１．０、０．０）に対する索引１
○平面（０．０、０．０、１．０）及び（０．０、０．０、－１．０）に対する索引２
・パック形状／テクスチャ画像上の二次元バウンディングボックス（ｕ０、ｖ０、ｕ１、ｖ１）
・深度シフトδ０、接線シフトｓ０及び２接線シフトｒ０の観点から表される接続成分の三次元位置（ｘ０、ｙ０、ｚ０）

選択投影面に従って、（δ０、ｓ０、ｒ０）を、下記のように計算する。
○索引０、δ０＝ｘ０、ｓ０＝ｚ０、及びｒ０＝ｙ０
○索引１、δ０＝ｙ０、ｓ０＝ｚ０、及びｒ０＝ｘ０
○索引２、δ０＝ｚ０、ｓ０＝ｘ０、及びｒ０＝ｙ０

更に、各Ｔ×ＴブロックにＴ×Ｔブロックの関連パッチ／接続成分索引を提供するマッピング情報（ブロック対パッチマップと呼ばれる）を、下記のように、生成して符号化する。
・各Ｔ×Ｔブロックに対して、Ｌを、二次元バウンディングボックスがそのブロックを含むようにパッチの索引の順序付きリストとする。リストにおける順序は、二次元バウンディングボックスを符号化するために使用される順序と同じである。Ｌは、候補パッチのリストと呼ばれる。
・形状／テクスチャ画像上のパッチ間の空空間を、パッチと考え、全ブロックの候補パッチリストに追加される特殊索引０を、この空空間に割り当てる。
・Ｉを、現在Ｔ×Ｔブロックを占有するパッチの索引とし、Ｊを、ＬにおけるＩの位置とする。索引Ｉを明示的に符号化する代わりに、Ｉの位置Ｊを算術的に符号化し、その結果、より良い圧縮効率をもたらす。

更に、メタデータ圧縮ブロック６は、パッキングブロック１２から生成される占有マップの符号化２２を実施する。

占有マップ圧縮は、空のＴ×Ｔブロック（即ち、パッチ索引０を有するブロック）を検出するために、上述のブロック対パッチマッピング情報を活用する。残りのブロックを、下記のように、２３で符号化する。

占有マップを、Ｂ０×Ｂ０ブロック（但し、Ｂ０は、ユーザ定義パラメータである）の精度で、２２で符号化することができる。無損失符号化を達成するために、Ｂ０を、１に設定すべきである。実際に、Ｂ０＝２又はＢ０＝４は、視覚的に許容できる結果になるが、占有マップを符号化するのに必要なビットの数が大幅に減少する。

ブロック対パッチマップ符号化２３は、下記のように進む。
・２進値を、同じＴ×Ｔブロックに属するＢ０×Ｂ０サブブロックに対応付ける。サブブロックが少なくとも非パッド画素を含む場合、値１をサブブロックに対応付け、それ以外ならば、０である。サブブロックが１の値を有する場合、サブブロックは、一杯であると考えられ、それ以外ならば、サブブロックは、空のサブブロックである。
・Ｔ×Ｔブロックの全サブブロックが一杯である（即ち、値１を有する）場合、ブロックは、一杯であると考えられる。それ以外ならば、ブロックは、一杯でないと考えられる。
・各Ｔ×Ｔブロックが一杯であるか否かを示す各Ｔ×Ｔブロックに対して、２進情報を符号化する。
・ブロックが一杯でない場合、一杯／空のサブブロックの位置を示す追加情報を、下記のように符号化する。
○異なる横行順序を、サブブロックに対して規定する。図４は、４つの考えられる横行順序を示す。
○符号器は、これらの横行順序のうち１つを選択し、この横行順序の索引をビットストリームに明示的に信号伝送する。
○ランレングス符号化戦略を使用することによって、サブブロックに対応付けられた２進値を符号化する。
■最初のサブブロックの２進値を符号化する。
■符号器によって選択された横行順序に従いながら、０及び１の連続実行を検出する。
■検出実行の数を符号化する。
■最後の実行を除いて、各実行の長さをも更に符号化する。

占有マップストリームを、占有マップ符号化２２から出力し、ブロック対パッチマップストリームを、占有マップ２３から出力する。ブロック対パッチ索引及び占有マップは、ブロック毎メタデータと呼ばれる。

テクスチャ圧縮ブロック８は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含み、この後に、形状再構成処理２４が続く。この形状再構成処理２４は、再構成形状画像における占有画素を検出するために、占有マップ情報を利用する。それらの占有画素に対応付けられた点の三次元位置を、メタデータ及び形状画像を活用することによって計算する。より正確には、Ｐを、占有画素（ｕ、ｖ）から再構成される点とし、（δ０、ｓ０、ｒ０）を、属する接続成分の三次元位置とし、（ｕ０、ｖ０、ｕ１、ｖ１）を、対応する深度パッチの二次元バウンディングボックスとする。Ｐを、下記のように、深度δ（ｕ、ｖ）、接線シフトｓ（ｕ、ｖ）及び２接線シフトｒ（ｕ、ｖ）の観点から表すことができる。
δ（ｕ、ｖ）＝δ０＋ｇ（ｕ、ｖ）
ｓ（ｕ、ｖ）＝ｓ０－ｕ０＋ｕ
ｒ（ｕ、ｖ）＝ｒ０－ｖ０＋ｖ
但し、ｇ（ｕ、ｖ）は、再構成形状画像の輝度成分である。

更に、ポイントクラウド形状再構成処理２４は、現在点を再構成する深度値を記憶する画素の位置、即ち（ｉ、ｕ、ｖ）（但し、ｉは、深度画像、即ちＤｅｐｔｈＩｍｇ０又はＤｅｐｔｈＩｍｇ１を示し、（ｕ、ｖ）は、ｉ番目の深度画像における画素の座標である）を、各再構成点に対して出力する。

更に、テクスチャ圧縮ブロック８は、三次元色転送ブロック２６を含む。この三次元色転送ブロック２６では、各再構成点に対してコーディングされるべき色及び／又は他の属性値を、色及び／又は他の属性情報コーディング誤差を最小限にする方法で判定する。一実施形態によれば、各再構成点に対して、入力／原ポイントクラウドにおける最も近い点の色を、コーディングされるべき色として割り当てる。

三次元色転送ブロック２６の後に、テクスチャ画像生成ブロック２８が続く。このテクスチャ画像生成ブロック２８は、形状画像と同じ位置、即ち（ｉ、ｕ、ｖ）における各再構成点のコーディングされるべき色情報を記憶することによって、コーディングされるべきテクスチャ画像を生成する。

テクスチャ画像生成ブロック２８の後に、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いたテクスチャビデオ符号化が続く。

形状圧縮ブロック４から生成される深度ビデオストリーム、メタデータ圧縮ブロック６から生成されるブロック毎及びパッチ毎メタデータストリーム、及びテクスチャ圧縮ブロック８から生成される色ビデオストリームを、符号器２から出力される圧縮ストリームに多重化する。

図５は、ポイントクラウドの再構成用の符号器２に対応する復号器３０を表す。

復号器３０で、符号器２から出力された圧縮ストリームを、深度ビデオストリーム、ブロック毎メタデータストリーム、パッチ毎メタデータストリーム及び色ビデオストリームに逆多重化する。

復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含む形状再構成ブロック３１を含む。

更に、画像再構成ブロック３１は、図６で詳述される画像再構成ブロック３２を含む。このブロック３２は、
再構成深度ビデオストリームから再構成ｄｅｐｔｈＩｍａｇｅ０及び再構成ｄｅｐｔｈＩｍａｇｅ１を時間デインターリーブすることと、
再構成ｄｅｐｔｈＩｍａｇｅ０に記憶された再構成Ｄ０値を検索することと、
再構成＿Ｄ０＋再構成＿デルタ＿深度（但し、再構成＿デルタ＿深度値をｄｅｐｔｈＩｍａｇｅ１に記憶する）を用いてＤ１値を再構成することと
を含む。

更に、画像再構成ブロック３１は、符号器２のポイントクラウド形状再構成ブロック２４と同じ方法で動作するポイントクラウド形状再構成ブロック３３を含む。

更に、復号器３０は、下記を含むメタデータ再構成ブロック３４を含む。
－占有マップストリームを復号する占有マップ復号ブロック３５。このブロック３５から出力された占有マップを、深度画像再構成ブロック３２に送信する。
－ブロック対パッチマップストリームを復号するブロック対パッチマップ復号ブロック３６。このブロック３６から出力されたブロック対パッチマップを、ポイントクラウド形状再構成ブロック３３に送信する。
－パッチ毎メタデータストリームを復号するパッチ毎メタデータ復号ブロック３７。このブロック３７から出力されたパッチ毎メタデータを、ポイントクラウド形状再構成ブロック３３に送信する。

更に、復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器によるテクスチャビデオ復号段階を含むテクスチャ再構成処理を含む。

更に、テクスチャ再構成処理は、再構成パッチ毎及びブロック毎メタデータを用いてテクスチャパッチを再構成するテクスチャパッチ再構成段階を含む。

更に、テクスチャ再構成処理は、各点を再構成する画素の位置を用いて各再構成点の色を再構成テクスチャ画像から取り出すポイントクラウドテクスチャ再構成段階３５を含む。

図１の符号器２の無損失の変型は、ISO/IEC JTC1/SC29/WG11 MPEG2018/m42170、２０１８年１月、Gwangju、Koreaの文献に提案されている。

図７に表すこの無損失符号器５０の基本的な考えは、符号器２によって構築される接続成分によって紛失された全点から構成される特殊接続成分を構成することである。次に、対応する追加深度パッチ、及び紛失点パッチに対応する追加テクスチャパッチを、深度及びテクスチャ画像にパックする。

二次元ビデオフレームに投影されない入力ポイントクラウドにおける点は、紛失点と呼ばれる。それらの紛失点は、投影線に沿った最小及び最大深度値を有する２つの点の間に位置決めされる点、ノイズの多い点と考えられる点、投影に対して小さすぎると考えられる成分に属する点を妥協して解決する。全紛失点は、missedPonitsPatchと呼ばれる特殊接続成分を構成する。全紛失点の（ｘ、ｙ、ｚ）座標を、１つの三次元ビデオフレームに別々に又は他の深度値と一緒に記憶される１つの二次元パッチに記憶する。

図１及び図７の損失及び無損失コーディングモードの両方の場合、パック深度画像及びテクスチャ画像に加えて、圧縮ビットストリームのかなりの部分は、パック画像からポイントクラウドを再構成するのに役立ち、下記を含む補助情報を含む。
・法線軸、法線方向における変位、パック画像上の位置などを含むパッチ毎メタデータ
・パック画像における各ブロックをどのパッチによって占有するかを示すブロック対パッチマップ
・画素を占有するか否かを示す占有マップ

図７の無損失ポイントクラウドコーディングにおいて、占有マップは、下記の理由でポイントクラウドを再構成する必要がまだある。
・コーディングされるべき０に等しい値を有する占有画素を、０に等しい値を有することもできる非占有画素と区別する必要がある。
・圧縮性能を向上させるために、パック画像の非占有部分に充填する。この操作は、画像パディングと呼ばれる。

しかし、占有マップ自体は通常、特に無損失モードで、圧縮されるのに非常に高価である。図７の無損失符号器５０において、占有マップをコーディングするコストは、画像パディングによってもたらされる利益よりも非常に大きい。

２０１６年１２月２１日に出願され、欧州特許３３４０６２９号として公開された欧州特許出願公開第１６３０６７６４．８号は、コーディングされるべき深度値における最下位場所、即ちコード語の下位２ビットを確保して占有マップを記憶することを提案している。これは、特定の数のビット、例えば２ビットを左シフトすることによって、コーディングされるべき元の深度データを上方基準化することによって、達成される。しかし、上方基準化操作は、データ範囲を大幅に増加するので、深度画像は、コーディングされるのに更に一層高価になる。

無損失コーディングモードの場合、この上方基準化操作は、占有マップコーディングを除去する過剰な解決策である。更に、上方基準化は、値「０」を有する占有画素を非占有画素と区別する問題を解決しない。

４．概要。
下記は、本原理の幾つかの態様の基本的な理解を与えるために、本原理の簡略化した概要を提示する。この概要は、本原理の幅広い概説でない。概要は、本原理の主要な又は重要な要素を確認するように意図されていない。下記の概要は、後述のより詳細な説明への前置きとして簡略化した形で本原理の幾つかの態様を単に提示する。

一般的に言えば、本開示は、状況を改善するための解決策を提案する。

この開示は、復号の複雑さを減らすこと、及びコーディングされるべきデータ範囲を不変にしておきながら、占有マップコーディングを除去することによって、無損失ポイントクラウドコーディングのビット速度を節約することを提案する。

有利なことに、占有マップコーディングを、符号器側及び復号器側の両方で除去する。

有利なことに、占有情報を、例えば下記の方法で、コーディングされるべき深度画像のうち１つに埋め込む。
－占有情報を、投影線に沿って最小深度値を記憶するＤｅｐｔｈＩｍｇ０に埋め込む場合、コーディングされるべき全深度値、及びより詳細には深度Ｄ０が０を超えることを確実にするように、深度パッチ生成ステップを修正する。
－ＤｅｐｔｈＩｍｇ１が、投影線に沿って最小及び最大深度値の間の差デルタ＿深度を記憶する場合に、占有情報をＤｅｐｔｈＩｍｇ１に埋め込む場合、コーディングされるべき全デルタ＿深度値に、１を加算する。
－ＤｅｐｔｈＩｍｇ１が、投影線に沿って最大深度値を記憶する場合に、占有情報をＤｅｐｔｈＩｍｇ１に埋め込む場合、コーディングされるべき全深度値、より詳細には深度Ｄ１が０を超えることを確実にするように、深度パッチ生成ステップを修正する。

従って、本開示は、
－投影面の上に規定される二次元正規グリッドのブロックを投影面の上のポイントクラウドの少なくとも１つの点の正射影の深度情報に対応付けるかどうかを示す占有情報を取得することと、
－深度情報を記憶する画像に占有情報を埋め込むことと、
－画像を符号化することと
を含む方法を提供する。

更に、本開示は、
－投影面の上に規定される二次元正規グリッドのブロックを投影面の上のポイントクラウドの少なくとも１つの点の正射影の深度情報に対応付けるかどうかを示す占有情報を取得する手段と、
－深度情報を記憶する画像に占有情報を埋め込む手段と、
－画像を符号化する手段と
を含むデバイスを提供する。

有利なことに、深度情報を記憶する画像に占有情報を埋め込むことは、記憶されるべき深度情報をシフトさせることを含む。

実施形態によれば、方法は、深度情報がシフトされていることを示す情報を伝送することを更に含む。

実施形態によれば、ポイントクラウドの点の深度情報を記憶する画像は、投影面からの最短距離を有する。

実施形態によれば、ポイントクラウドの点の深度情報を記憶する画像は、投影面からの最長距離を有する。

実施形態によれば、深度情報を記憶する画像は、投影面からの最長距離を有するポイントクラウドの点の深度情報と投影面からの最短距離を有するポイントクラウドの点の深度情報との間の差を表す。

更に、本開示は、
－投影面の上のポイントクラウドの少なくとも１つの点の正射影の深度情報を記憶する画像を復号することと、
－復号深度画像から占有情報を導出することであって、占有情報は、投影面の上に規定される二次元正規グリッドのブロックを復号深度情報に対応付けるかどうかを示すことと
を含む方法を提供する。

更に、本開示は、
－投影面の上のポイントクラウドの少なくとも１つの点の正射影の深度情報を記憶する画像を復号する手段と、
－復号深度画像から占有情報を導出する手段であって、占有情報は、投影面の上に規定される二次元正規グリッドのブロックを復号深度情報に対応付けるかどうかを示す手段と
を含むデバイスをも提供する。

有利なことに、符号器／復号器モジュールを、符号器／復号器内の１つ又は複数のプロセッサによって実施する。

開示による方法を、プログラマブル装置上のソフトウェアで実施してもよい。方法を、ハードウェア又はソフトウェアで、又はこれらの組み合わせで単に実施してもよい。

本発明をソフトウェアで実施することができるので、任意の適切な搬送媒体上のプログラマブル装置に提供されるコンピュータ可読コードとして、本発明を具体化することができる。搬送媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は固体メモリデバイスなどの記憶媒体を含んでもよい。

従って、開示は、コンピュータが本発明の符号化／復号方法を実行することができるコンピュータ実行可能命令を含むコンピュータ可読プログラムを提供する。

５．図面の簡単な説明。
図面において、本原理の例を示す。

既述の符号器を示す。 既述の図１の符号器の深度パッチ生成処理を例示する。 既述の図１の符号器の画像生成処理を例示する。 既述の図１の符号器で使用されるサブブロックの横行の例を示す。 既述の復号器を示す。 既述の図５の復号器の画像再構成処理を例示する 有利なことに本原理を実施することができる無損失符号器を示す。 本開示の実施形態による図７の無損失符号器の修正を示す。 本開示の実施形態による図５の復号器の修正を示す。 本開示の第１の実施形態によって修正された形状圧縮ブロックを例示する。 本開示の第２の実施形態によって修正された形状圧縮ブロックを例示する。 本開示の第３の実施形態によって修正された形状圧縮ブロックを例示する。 本開示の実施形態による拡張デルタ深度（ＥＤＤ）コードの例を示す。 本開示の第４の実施形態によって修正された形状圧縮ブロックを例示する。 本開示の第５の実施形態によって修正された形状圧縮ブロックを例示する。 本原理の例によるデバイスのアーキテクチャの例を示す。 本原理の例による通信ネットワーク上で通信する２つの遠隔デバイスを示す。 本原理の例による信号の構文を示す。

同様な又は同じ要素を、同じ参照符号で参照する。

６．本原理の例の説明。
以下、本原理について、本原理の例を示す添付図面を参照してより完全に説明する。しかし、本原理は、多くの代替の形態で具体化されてもよく、ここに記載の例に限定されると受け取られるべきではない。従って、本原理は、様々な修正及び代替の形態の余地があるが、本原理の特定の例を、一例として図面に示し、本明細書にて詳細に説明する。しかし、本原理を開示の特定の形態に限定する意図がないものと理解されたい。その一方で、開示は、特許請求の範囲によって規定されるような本原理の精神及び範囲内にある全ての修正、均等物、及び代替物を含むものとする。

本明細書にて使用される用語は、特定の例だけを説明するためであり、本原理を限定するように意図されていない。ここで使用されるように、単数形「１つ（a）」、「１つ（an）」及び「その（the）」は、特に明示的に指示がない限り、複数形も含むように意図されている。更に、本明細書で使用される場合、用語「含む（comprises）」、「含む（comprising）」、「含む（includes）」及び／又は「含む（including）」は、記載の特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定し、１つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除しないということが更に理解されるであろう。その上、要素が別の要素に「応答する」又は「接続される」と言及される場合、要素は、他の要素に直接応答する又は接続されることができ、又は介在要素が存在してもよい。一方、要素が他の要素に「直接応答する」又は「直接接続される」と見なされる場合、介在要素が存在しない。ここで使用されるように、用語「及び／又は（and/or）」は、関連列挙項目のうち１つ又は複数の項目のありとあらゆる組み合わせを含み、「／」と短縮されてもよい。

第１（first）、第２（second）などという用語は、様々な要素を説明するために本明細書にて使用され得るが、これらの要素をこれらの用語によって限定すべきではないということが理解されるであろう。これらの用語は、１つの要素を別の要素と区別するために使用されるだけである。例えば、第１の要素を第２の要素と呼ぶことができ、同様に、本原理の教示から逸脱することなく、第２の要素を第１の要素と呼ぶことができる。

線図の幾つかは、通信の主な方向を示すために通信路上に矢印を含むが、図示の矢印と逆方向に通信が行われてもよいものとする。

幾つかの例を、ブロック図及び動作フローチャートに関して説明し、各ブロックは、回路要素、モジュール、又は指定の論理機能を実施する１つ又は複数の実行可能命令を含むコードの一部を表す。更に、他の実装において、ブロックに記載の機能は、記載の順序が狂って行われてもよいことに留意すべきである。例えば、実際に、連続して示される２つのブロックを実質的に同時に実行してもよく、又は場合によっては、ブロックを、関連機能によって逆の順序で実行してもよい。

ここで、「例によって（in accordance with an example）」又は「例において（in an example）」の参照は、例に関連して説明される特定の特徴、構造、又は特性を、本原理の少なくとも１つの実装に含むことができることを意味する出願の様々な箇所における語句「例によって（in accordance with an example）」又は「例において（in an example）」の状況は、必ずしも同じ例を全て参照するとは限らず、他の例を必ず互いに除く別の又は代替の例でもない。

特許請求の範囲で見られる参照符号は、例示に過ぎず、特許請求の範囲に対する効果を限定しないものとする。

明示的に説明されていないが、本例及び変型例を、任意の組み合わせ又は部分組み合わせで使用してもよい。

本原理は、着色ポイントクラウドを符号化／復号するために説明されるが、一連の着色ポイントクラウドの符号化／復号にまで及ぶ。なぜなら、一連の各着色ポイントクラウドを、後述のように連続的に符号化／復号するからである。

実施形態によれば、既述の無損失符号器５０及び復号器３０を、本原理の実装のために使用する。

本開示の実施形態によって修正された無損失符号器５１を表す図８で明らかに分かるように、占有マップコーディングが除去されている。代わりに、占有情報を、コーディングされるべき深度画像に埋め込み、有利なことに、リンク５２を、画像生成ブロック１４とメタデータ圧縮ブロック６との間に生成する。

それに対応して、復号器３０を表す図９で分かるように、復号器３０によって受信される圧縮ストリームに占有マップストリームがなく、占有マップ３５の復号のブロックを抑制する。

画像生成ブロック１４を例示する図３を参照して説明されるように、各投影線に沿って最小及び最大深度値を生成する２つの点を、圧縮ビットストリームに記録する。それに対応して、符号器５１は、各ポイントクラウドフレームに対して２つの深度画像ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１を符号化する。各投影線に沿った絶対最小深度値と投影線が属する接続成分の最小深度値との間の差である相対最小深度値Ｄ０を、ＤｅｐｔｈＩｍｇ０に信号伝送しながら、ＤｅｌｔａＤ＝（Ｄ１－Ｄ０）（但し、Ｄ１は、相対最大深度値、即ち、各投影線に沿った絶対最大深度値と投影線が属する接続成分の最小深度値との間の差である）を、ＤｅｐｔｈＩｍｇ１に信号伝送する。

各パッチの最小深度値をパッチ毎メタデータに信号伝送することに留意する価値がある。

図１０に表す第１の実施形態によれば、占有情報をＤｅｐｔｈＩｍｇ０に埋め込む。

０を超える全Ｄ０値を形成し、図３に表すようなＤｅｐｔｈＩｍｇ０のパディングステップ２０を除去することによって、無損失復号Ｄ０値は、占有情報を示すこともできる。

０を超える全Ｄ０値を形成するために、深度パッチ検証ブロック５４を追加する。この新しいブロックは、２つの段階を含む。

第１の段階中に、必要ならば、接続成分を分割する。Ｄ０深度パッチが、最大可能範囲［０、Ｎ－１］を超えるデータ範囲を有する場合、対応する接続成分を２つに分割する。Ｎの値は、コーディングビットに左右される。８ビットＨＥＶＣを使用する場合、Ｎ＝２５５である。１０ビットＨＥＶＣを使用する場合、Ｎ＝１０２３である。

次に、第２の段階中に、各Ｄ０パッチに対して、コーディングされるべきＤ０値、又はＤ０パッチの最小深度値を、下記の処理に従って変換する。
・Ｄ０パッチの最小深度、又は対応する接続成分が、０を超える場合、現在の最小パッチ深度を１だけ減少させる。その結果、コーディングされるべき全接続Ｄ０値に１を加算する。この場合、ポイントクラウド形状を再構成するためにＤ０値を使用する前に、再構成Ｄ０値を変更する必要はない。
・Ｄ０パッチの最小深度、又は対応する接続成分が、既に０である場合、現在の最小パッチ深度を、変わらない状態にしておく。次に、コーディングされるべき全Ｄ０値に１を加算する。この場合、ポイントクラウド形状を再構成する前に、再構成Ｄ０値を１だけ減少させる必要がある。

必要ならば、使用される前に再構成Ｄ０値を補正する必要があるかどうかを示すために、１パッチ当たり、即ち１接続成分当たり１ビットを加算する。

図１１に表す第２の実施形態によれば、ＤｅｐｔｈＩｍｇ１がＤｅｌｔａＤ値を記憶する場合、占有情報をＤｅｐｔｈＩｍｇ１に埋め込む。

この実施形態によれば、ＤｅｐｔｈＩｍｇ１を５６でパックする前に、コーディングされるべき全ＤｅｌｔａＤ値を１だけ増加させる。占有画素のＤｅｌｔａＤ値の大部分が０であるので、コーディング前のＤｅｌｔａＤの変換段階５８を追加する。それに対応して、復号器側でポイントクラウドを再構成するためにＤｅｌｔａＤ値を使用する前に、再構成ＤｅｌｔａＤ値を１だけ減少させる。

図１２に表す第３の実施形態によれば、ＤｅｐｔｈＩｍｇ１が最大深度値Ｄ１を記憶する場合、占有情報をＤｅｐｔｈＩｍｇ１に埋め込む。

０を超える全Ｄ１値を形成し、ＤｅｐｔｈＩｍｇ１のパディングステップを除去することによって、無損失復号Ｄ１値は、占有情報を示すこともできる。

０を超える全Ｄ１値を形成するために、深度パッチ検証ブロック６０を追加する。この新しいブロックは、２つの段階を含む。

第１の段階中に、必要ならば、接続成分を分割する。Ｄ１深度パッチが、最大可能範囲［０、Ｎ－１］を超えるデータ範囲を有する場合、対応する接続成分を２つに分割する。Ｎの値は、コーディングビットに左右される。８ビットＨＥＶＣを使用する場合、Ｎ＝２５５である。１０ビットＨＥＶＣを使用する場合、Ｎ＝１０２３である。

次に、第２の段階中に、各Ｄ１パッチに対して、コーディングされるべきＤ１値を、下記の処理に従って変換する。
・Ｄ１パッチでコーディングされるべき最小値Ｄ１が、０を超える場合、ポイントクラウド形状を再構成するためにＤ１値を使用する前に、再構成Ｄ１値を変更する必要はない。
・Ｄ１パッチでコーディングされるべき最小値Ｄ１が、０である場合、現在のＤ１パッチのコーディングされるべき全Ｄ１値に１を加算する。この場合、ポイントクラウド形状を再構成する前に、再構成Ｄ１値を１だけ減少させる必要がある。

使用される前に再構成Ｄ１値を補正する必要があるかどうかを示すために、１パッチ当たり、即ち１接続成分当たり１ビットを加算する。

別の可能性は、図１３に例示のように、深度Ｄ０と深度Ｄ１との間で、投影線に沿った各位置に対して、この位置を占有するか否かを示すビットを連結するコード語である拡張デルタ深度（ＥＤＤ）コードを、ＤｅｌｔａＤ又はＤ１の代わりに、ＤｅｐｔｈＩｍｇ１に記憶することである。

図１４に表す第４の実施形態によれば、ＤｅｐｔｈＩｍｇ１が最大深度値Ｄ１を記憶する場合、第１の実施形態に記載の方法と同じ方法で、占有情報をＤｅｐｔｈＩｍｇ０に埋め込み、ＤｅｐｔｈＩｍｇ１は、これらのＥＤＤコードを記憶する。

図１５に表す第５の実施形態によれば、ＤｅｐｔｈＩｍｇ１がＥＤＤコードを記憶する場合、占有情報をＤｅｐｔｈＩｍｇ１に埋め込む。この実施形態によれば、ＤｅｐｔｈＩｍｇ１を６２でパックする前に、コーディングされるべき全ＥＤＤコードを１だけ増加させる。占有画素のＥＤＤコードの大部分が０であるので、コーディング前のＥＤＤコードの変換段階６４を追加する。それに対応して、復号器側でポイントクラウドを再構成するためにＥＤＤコードを使用する前に、再構成ＥＤＤコードを１だけ減少させる。

有利なことに、下記のメタデータを、図７の符号器５０と比較して、符号器５１によってビットストリーム出力に加算する。
・占有マップをビットストリームに信号伝送するか否かを示す１ビット。例えば、１は肯定を意味し、０は否定を意味する。
・第１のビットが０に等しい場合、どの深度画像が占有情報を含むかを示す１ビット。例えば、０はＤｅｐｔｈＩｍｇ０を意味し、１はＤｅｐｔｈＩｍｇ１を意味する。
・どのデータをＤｅｐｔｈＩｍｇ１に記憶するかを示す数ビット。例えば、０は、ＤｅｐｔｈＩｍｇ１がＤ１を記憶することを意味し、１は、ＤｅｐｔｈＩｍｇ１がＤｅｌｔａＤ＝Ｄ１－Ｄ０を記憶することを意味し、２は、ＤｅｐｔｈＩｍｇ１がＥＤＤコードを記憶することを意味する２ビット。
・ＤｅｐｔｈＩｍｇ０が占有情報を伝える場合、ポイントクラウド形状を再構成するためにＤ０値を使用する前に現在のパッチの再構成Ｄ０値を補正する必要があるか否かを示すパッチ毎メタデータと一緒に、パッチ毎１ビットメタデータを信号伝送するかどうかを示す１ビット。
・ＤｅｐｔｈＩｍｇ１が占有情報を伝え、ＤｅｐｔｈＩｍｇ１がＤ１値を記憶する場合、ポイントクラウド形状を再構成するためにＤ１値を使用する前に現在のパッチの再構成Ｄ１値を補正する必要があるか否かを示す１ビットパッチ毎メタデータ。

上述の新しいメタデータを、全ビットストリームに対して１回、又は一緒に圧縮される各フレーム又はフレームの各グループに対して複数回、信号伝送することができ、その結果、各フレーム又はフレームの各グループに対して異なるコード体系を選択することができる。上述のメタデータの値を記録するデータフィールドを、圧縮ビットストリームに直接出力することができ、又はこのデータフィールドを圧縮ビットストリームに出力する前に更にエントロピーコーディングすることができる。

図９の復号器３０を、図１０～図１５を参照して説明される符号器５１の実施形態によって修正する。

占有情報をＤｅｐｔｈＩｍｇ０に埋め込む第１の実施形態の場合、占有マップを、次式に従って生成する。

更に、必要な場合いつでもＤ０値を１だけ減少させることによって、深度パッチを再構成する。

占有情報をＤｅｐｔｈＩｍｇ１に埋め込む第２の実施形態の場合、占有マップを、次式に従って生成する。

更に、全ＤｅｌｔａＤ値を１だけ減少させることによって、深度パッチを再構成する。

占有情報をＤｅｐｔｈＩｍｇ１に埋め込み、ＤｅｐｔｈＩｍｇ１がＤ１値を記憶する第３の実施形態の場合、占有マップを、次式に従って生成する。

必要ならば、関連Ｄ１値を１だけ減少させることによって、Ｄ１深度パッチを再構成する。

占有情報をＤｅｐｔｈＩｍｇ０に埋め込む第４の実施形態の場合、占有マップを、次式に従って生成する。

更に、必要な場合いつでもＤ０値を１だけ減少させ、ＥＤＤコードから深度値を再構成することによって、深度パッチを再構成する。

占有情報をＤｅｐｔｈＩｍｇ１に埋め込む第５の実施形態の場合、占有マップを、次式に従って生成する。

更に、全ＥＤＤコードを１だけ減少させることによって、深度パッチを再構成する。

図１～図１５に関して、モジュールは、区別できる物理ユニットと関連していても関連していなくてもよい機能ユニットである。例えば、これらのモジュール又はモジュールの一部は、固有の構成要素又は回路と一緒にされてもよく、又はソフトウェアの機能に寄与してもよい。一方、幾つかのモジュールは、個別の物理的実体から構成される可能性があってもよい。純粋なハードウェア、例えば、ＡＳＩＣ＜＜特定用途向け集積回路＞＞又はＦＰＧＡ＜＜フィールドプログラマブルゲートアレイ＞＞又はＶＬＳＩ＜＜超大規模集積回路＞＞のような専用ハードウェアを用いて、又はデバイスに組み込まれた幾つかの集積電子構成要素から、又はハードウェア及びソフトウェア構成要素の混合から、本原理に適合する装置を実施する。

図１６は、図１～図１５に関して記載の方法を実施するように構成可能なデバイス１１００の例示的なアーキテクチャを表す。

デバイス１１００は、データ及びアドレスバス１１０１によって一緒にリンクされる下記の要素を含む。
－例えば、ＤＳＰ（又はデジタル信号プロセッサ）であるマイクロプロセッサ１１０２（又はＣＰＵ）
－ＲＯＭ（又は読み出し専用メモリ）１１０３
－ＲＡＭ（又はランダムアクセスメモリ）１１０４
－送信すべきデータをアプリケーションから受信する入出力インターフェース１１０５
－バッテリー１１０６

例によれば、バッテリー１１０６は、デバイスの外部にある。記載のメモリの各々において、明細書で使用される用語＜＜レジスタ＞＞は、小容量（数ビット）の領域、又は非常に大きい領域（例えば、全プログラム、又は大量の受信又は復号データ）に対応することができる。ＲＯＭ１１０３は、少なくともプログラム及びパラメータを含む。ＲＯＭ１１０３は、本原理による技法を実行するアルゴリズム及び命令を記憶してもよい。電源を入れると、ＣＰＵ１１０２は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ１１０４は、ＣＰＵ１１０２によって実行され、デバイス１１００の電源を入れた後にアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の方法の異なる状態における中間データ、及びレジスタで方法を実行するために使用される他の変数を、レジスタに含む。

ここに記載の実装を、例えば、方法又は処理、装置、ソフトウェアプログラム、データストリーム、又は信号で実施してもよい。実装の単一の形（例えば、方法又はデバイスとしてだけ記載）の文脈でだけ記載されている場合でも、記載の特徴の実装を、他の形（例えば、プログラム）で実施してもよい。装置を、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施してもよい。方法を、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスなどを含む処理デバイスを一般的に意味するプロセッサなどの装置で実施してもよい。更に、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、及びエンドユーザ間の情報通信を容易にする他のデバイスなどの通信デバイスを含む。

符号化又は符号器の例によれば、入力ポイントクラウドを、ソースから取得する。例えば、このソースは、下記を含むセットに属する。
－ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み出し専用メモリ）、ハードディスク
－記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
－通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ ８０２．１１インターフェース又はブルートゥース（登録商標）インターフェース）
－画像収集回路（例えば、ＣＣＤ（又は電荷結合素子）又はＣＭＯＳ（又は相補型金属酸化膜半導体）などのセンサー）

復号又は復号器の例によれば、復号ポイントクラウドを、宛先に送信し、具体的には、この宛先は、下記を含むセットに属する。
－ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク
－記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
－通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（又はユニバーサルシリアルバス））、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ(登録商標）（高解像度マルチメディアインターフェース）インターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ ８０２．１１インターフェース、ワイファイ（ＷｉＦｉ）（登録商標）又はブルートゥース（登録商標）インターフェース）
－レンダリングデバイス
－ディスプレイ

符号化又は符号器の例によれば、ビットストリーム（圧縮ストリーム）を宛先に送信する。一例として、ビットストリームを、ローカル又はリモートメモリ、例えば、ビデオメモリ（１１０４）又はＲＡＭ（１１０４）、ハードディスク（１１０３）に記憶する。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェースに送信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェース上で伝送する。

復号又は復号器の例によれば、ビットストリーム（圧縮ストリーム）をソースから取得する。典型的に、ビットストリームを、ローカルメモリ、例えば、ビデオメモリ（１１０４）、ＲＡＭ（１１０４）、ＲＯＭ（１１０３）、フラッシュメモリ（１１０３）又はハードディスク（１１０３）から読み取る。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気支持体を有するインターフェースから受信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェースから受信する。

例によれば、図１及び図９に関して記載の符号化方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
－携帯機器
－スマートフォン、又は三次元収集機能を有するテレビ受像機
－通信デバイス
－ゲーム機
－タブレット（又はタブレットコンピュータ）
－ラップトップ
－静止画像カメラ
－ビデオカメラ
－符号化チップ
－静止画像サーバー
－ビデオサーバー（例えば、同報通信サーバー、ビデオオンデマンドサーバー、又はウェブサーバー）

例によれば、図３及び図１０に関して記載の復号方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
－携帯機器
－頭部装着型ディスプレイ（ＨＭＤ）
－（複合現実感）スマートメガネ
－ホログラフィックデバイス
－通信デバイス
－ゲーム機
－セットトップボックス
－テレビ受像機
－タブレット（又はタブレットコンピュータ）
－ラップトップ
－ディスプレイ
－立体ディスプレイ
－復号チップ

通信ネットワークＮＥＴ上の２つの遠隔デバイスＡ及びＢの間の伝送状況で図１７に例示の本原理の例によれば、デバイスＡは、図８に関して記載のように着色ポイントクラウドを符号化する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含み、デバイスＢは、図９に関して記載のように復号する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含む。

例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスに符号化着色ポイントクラウドを同報通信するのに適している同報通信ネットワークである。

デバイスＡによって伝送されるように意図されている信号は、ビットストリームを伝える。

図１８は、データをパケットベースの伝送プロトコル上で伝送する場合、このような信号の構文の例を示す。各伝送パケットＰは、ヘッダーＨ及びペイロードＰＡＹＬＯＡＤを含む。

ここに記載の様々な処理及び特徴の実装を、様々な異なる機器又はアプリケーションで具体化してもよい。このような機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を与えるプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオ符号器／復号器、ウェブサーバー、セットトップボックス、ラップトップ、パソコン、携帯電話、パーソナルデジタルアシスタント、頭部装着型ディスプレイ、スマートメガネ、及び画像又はビデオ又は他の通信デバイスを処理する任意の他のデバイスを含む。明らかであるように、機器は移動できてもよく、更に、機器を移動車両に設置してもよい。

更に、方法を、プロセッサによって実行される命令によって実施してもよく、このような命令（及び／又は実装によって生成されるデータ値）を、コンピュータ可読記憶媒体に記憶してもよい。コンピュータ可読記憶媒体は、１つ又は複数のコンピュータ可読媒体で具体化され、コンピュータ可読プログラムコードで具体化されてコンピュータによって実行可能なコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形をとることができる。ここで使用されるようなコンピュータ可読記憶媒体は、コンピュータ可読記憶媒体に情報を記憶する固有能力及びコンピュータ可読記憶媒体から情報を検索する固有能力を考慮すると、持続性記憶媒体と考えられる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、又はこれらの任意の適切な組み合わせ（但し、これらに限定されない）であることができる。本原理を適用することができるコンピュータ可読記憶媒体のより具体的な例を与えるが、下記（ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせ）は、例示に過ぎず、当業者が容易に分かるように完全な列挙でないことを理解されたい。

命令は、プロセッサ可読媒体で明白に具体化されるアプリケーションプログラムを形成してもよい。

命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせの中にあってもよい。命令を、例えば、オペレーティングシステム、個別アプリケーション、又はこれらの２つの組み合わせの中で見つけてもよい。従って、プロセッサを、例えば、処理を実行するように構成されているデバイス、及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方と見なしてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装によって生成されるデータ値を記憶してもよい。

当業者に明白になり得るように、実装は、例えば、記憶又は伝送可能な情報を伝えるようにフォーマットされた様々な信号を生成してもよい。この情報は、例えば、方法を実行する命令、又は記載の実装のうち１つによって生成されるデータを含んでもよい。例えば、本原理の記載の例の構文を読み書きする規則をデータとして伝える、又は本原理の記載の例によって書き込まれた実際の構文値をデータとして伝えるように、信号をフォーマットしてもよい。このような信号を、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いて）又はベースバンド信号として、フォーマットしてもよい。フォーマッティングは、例えば、データストリームを符号化して、この符号化データストリームで搬送波を変調することを含んでもよい。信号が伝える情報は、例えば、アナログ又はデジタル情報であってもよい。知られているように、信号を、様々な異なる有線又は無線リンク上で伝送してもよい。信号を、プロセッサ可読媒体に記憶してもよい。

多くの実装について説明されている。それにもかかわらず、様々な修正を行うことができるものとする。例えば、異なる実装の要素を、結合、補足、修正、又は除去して、他の実装を生成してもよい。更に、他の構造及び処理を開示の構造及び処理と置換することができることを当業者は理解することができ、得られた実装は、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を果たし、開示の実装と少なくとも実質的に同じ結果を得る。従って、このアプリケーションによって、これらの実装及び他の実装が考えられる。

Claims (11)

1. －投影線に沿う投影面の上のポイントクラウドの第１の点の投影から得られる画素を占有するかどうかを示す占有情報を取得することと、
   －前記第１の点の第１の深度値と前記投影線に沿って前記投影面の上に投影される前記ポイントクラウドの第２の点の第２の深度値との間の位置に対して、前記位置を占有するか否かを示すビットを連結するコード語とともに、前記占有情報を画像に記憶することと、
   －前記画像を符号化することと
   を含む方法。
2. －投影線に沿う投影面の上のポイントクラウドの第１の点の投影から得られる画素を占有するかどうかを示す占有情報を取得する手段と、
   －前記第１の点の第１の深度値と前記投影線に沿って前記投影面の上に投影される前記ポイントクラウドの第２の点の第２の深度値との間の位置に対して、前記位置を占有するか否かを示すビットを連結するコード語とともに、前記占有情報を画像に記憶する手段と、
   －前記画像を符号化する手段と
   を含むデバイス。
3. 前記コード語とともに前記占有情報を記憶することは、記憶されるべき前記コード語を
   シフトさせることを含む、請求項１に記載の方法。
4. 前記コード語がシフトされていることを示す情報を伝送することを更に含む、請求項３
   に記載の方法。
5. 前記コード語とともに前記占有情報を記憶する手段は、記憶されるべき前記コード語をシフトさせることを含む、請求項２に記載のデバイス。
6. 前記コード語がシフトされていることを示す情報を伝送する手段を更に含む、請求項５に記載のデバイス。
7. －占有情報と、投影線に沿って投影面の上に投影されるポイントクラウドの第1の点の第1の深度値と前記投影線に沿って前記投影面の上に投影される前記ポイントクラウドの第２の点の第２の深度値との間の位置に対して、前記位置を占有するか否かを示すビットを連結するコード語とを記憶する画像を復号することと、
   －前記復号された画像から前記占有情報を導出することであって、前記占有情報は、前記第１の点の前記投影面の上への前記投影から得られる画素を占有するかどうかを示す、導出することと
   を含む方法。
8. －占有情報と、投影線に沿って投影面の上に投影されるポイントクラウドの第１の点の第１の深度値と前記投影線に沿って前記投影面の上に投影される前記ポイントクラウドの第２の点の第２の深度値との間の位置に対して、前記位置を占有するか否かを示すビットを連結するコード語とを記憶する画像を復号する手段と、
   －前記復号された画像から前記占有情報を導出する手段であって、前記占有情報は、前記第１の点の前記投影面の上への前記投影から得られる画素を占有するかどうかを示す、導出する手段と
   を含むデバイス。
9. 前記コード語をシフトさせる必要があるかどうかを示す情報を受信することと、前記受信された情報に従って前記復号されたコード語をシフトさせることとを更に含む、請求項７に記載の方法。
10. 前記コード語をシフトさせる必要があるかどうかを示す情報を受信する手段と、前記受信された情報に従って前記復号されたコード語をシフトさせる手段とを更に含む、請求項８に記載のデバイス。
11. 請求項１、３～４、７、又は９のいずれか一項に記載の方法を１つ又は複数のプロセッサに実行させる命令を含む持続性プロセッサ可読媒体。

Images