JP7433442B2 - ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法 - Google Patents

ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法 Download PDF

Info

Publication number
JP7433442B2
JP7433442B2 JP2022540365A JP2022540365A JP7433442B2 JP 7433442 B2 JP7433442 B2 JP 7433442B2 JP 2022540365 A JP2022540365 A JP 2022540365A JP 2022540365 A JP2022540365 A JP 2022540365A JP 7433442 B2 JP7433442 B2 JP 7433442B2
Authority
JP
Japan
Prior art keywords
point cloud
lod
geometry
point
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540365A
Other languages
English (en)
Other versions
JP2023510179A (ja
Inventor
ホ，ヘジョン
オ，セジン
ハン，ジェシン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023510179A publication Critical patent/JP2023510179A/ja
Application granted granted Critical
Publication of JP7433442B2 publication Critical patent/JP7433442B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

実施例はユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）および自律走行サービスなどの様々なサービスを提供するために、ポイントクラウドコンテンツ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を提供する方案を提供する。
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現することができ、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
（技術的課題）
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延（ｌａｔｅｎｃｙ）及び符号化／復号の複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
但し、上述した技術的課題のみに制限されず、記載された全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
（技術的解決方法）
よって、効率的にポイントクラウドデータを処理するために、実施例によるポイントクラウドデータ送信方法は、ジオメトリ及び特質を含むポイントクラウドデータを符号化するステップ、及び符号化されたポイントクラウドデータを含むビットストリームを送信するステップを含む。実施例によるジオメトリは、ポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質は、ポイントの色及び反射率のうちの少なくとも１つ以上を含む。ポイントクラウドデータを符号化するステップは、ジオメトリを符号化するステップ及び符号化されたジオメトリの全体または一部(パーシャル、ｐａｒｔｉａｌ)の八分木構造に基づいて特質を符号化するステップを含む。
実施例によるポイントクラウドデータ送信装置は、ジオメトリ及び特質を含むポイントクラウドデータを符号化するエンコーダ、及び符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含む。実施例によるジオメトリは、ポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質は、ポイントの色及び反射率のうちの少なくとも１つ以上を含む。実施例によるエンコーダは、ジオメトリを符号化するジオメトリエンコーダ及び符号化されたジオメトリの全体または一部(パーシャル、ｐａｒｔｉａｌ)の八分木構造に基づいて特質を符号化する特質エンコーダを含む。
実施例によるポイントクラウドデータ処理方法は、ポイントクラウドデータを含むビットストリームを受信するステップ、及びビットストリームに含まれたシグナル情報に基づいてポイントクラウドデータを復号するステップを含む。ポイントクラウドデータを復号するステップは、ポイントクラウドデータに含まれたジオメトリを復号するステップ、及び復号されたジオメトリの全体または一部(パーシャル、ｐａｒｔｉａｌ)の八分木構造に基づいてポイントの色及び反射率のうちの少なくとも１つ以上を含む特質を復号するステップを含む。実施例によるジオメトリは、ポイントクラウドデータのポイントの位置を示す情報である。
実施例によるポイントクラウドデータ処理装置は、ポイントクラウドデータを含むビットストリームを受信する受信部、及びビットストリームに含まれたシグナル情報に基づいてポイントクラウドデータを復号するデコーダを含む。デコーダは、ポイントクラウドデータに含まれたジオメトリを復号するジオメトリデコーダ、及び復号されたジオメトリの全体または一部(パーシャル、ｐａｒｔｉａｌ)の八分木構造に基づいてポイントの色及び反射率のうちの少なくとも１つ以上を含む特質を復号する特質デコーダを含む。実施例によるジオメトリは、ポイントクラウドデータのポイントの位置を示す情報である。
（発明の効果）
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
添付図面は実施例の理解を助けるためのものであり、実施例に関連する説明と共に実施例を示す。後述する様々な実施例に対するより適切な理解のために、添付図面において類似する参照番号に対応する部分を含む次の図面に関連して以下の実施例の説明を必ず参照すべきである。
図１は、実施例によるポイントクラウドコンテンツ提供システムの一例を示す。 図２は、実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。 図３は、実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。 図４は、実施例によるポイントクラウドエンコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ）の一例を示す。 図５は、実施例によるボクセルの一例を示す。 図６は、実施例による八分木及び占有コード（ｏｃｃｕｐａｎｃｙ ｃｏｄｅ）の一例を示す。 図７は、実施例による隣接ノードパターンの一例を示す。 図８は、実施例によるＬＯＤごとのポイント構成の一例を示す。 図９は、実施例によるＬＯＤごとのポイント構成の一例を示す。 図１０は、実施例によるポイントクラウドデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ）の一例を示す。 図１１は、実施例によるポイントクラウドデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ）の一例を示す。 図１２は、実施例による送信装置の一例を示す。 図１３は、実施例による受信装置の一例を示す。 図１４は、実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。 図１５は、ポイントクラウド符号化の一例を示すフローダイヤグラムである。 図１６は、ポイントと隣接ポイントの一例を示す。 図１７は、ビットストリーム構造図の一例を示す。 図１８は、実施例によるシグナル情報の一例を示す。 図１９は、実施例によるシグナル情報の一例を示す。 図２０は、実施例による相関加重値のコード化可能な方法の一例を示す。 図２１は、空間的拡張性復号の一例を示す。 図２２は、改善された量子化加重値の誘導プロセスの一例を示す。 図２３は、実施例によるポイントクラウド符号化を示すフローダイヤグラムである。 図２４は、実施例によるポイントクラウドデータ送信方法を示すフローダイヤグラムである。 図２５は、実施例によるポイントクラウドデータ処理方法を示すフローダイヤグラムである。
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
図１に示したポイントクラウドコンテンツ提供システムは、送信装置（ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ）１００００及び受信装置（ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ）１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局（ｆｉｘｅｄ ｓｔａｔｉｏｎ）、ＢＴＳ（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ）、ネットワーク、ＡＩ（Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術（例えば、５Ｇ ＮＲ（Ｎｅｗ ＲＡＴ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ））を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ）機器、ＡＩ機器／サーバーなどを含む。
実施例による送信装置１００００は、ポイントクラウドビデオ取得部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ）１０００１、ポイントクラウドビデオエンコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）１０００２及び／又は送信機（Ｔｒａｎｓｍｉｔｔｅｒ（又は、通信モジュール））１０００３を含む。
実施例によるポイントクラウドビデオ取得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを取得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）コーディング及び／又はＶ－ＰＣＣ（Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナル情報を含む。
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント（例えば、ストリーミングセグメント）などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部（又はカプセル化モジュール）を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体（例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど）に格納される。実施例による送信機１０００３は受信装置１０００４（又は受信機（Ｒｅｃｅｉｖｅｒ）１０００５）と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有／無線通信が可能である。また送信機１０００３はネットワークシステム（例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム）によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド（Ｏｎ Ｄｅｍａｎｄ）方式によってカプセル化されたデータを送信することもできる。
実施例による受信装置１０００４は、受信機（Ｒｅｃｅｉｖｅｒ）１０００５、ポイントクラウドビデオデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ）１０００６及び／又はレンダラー（Ｒｅｎｄｅｒｅｒ）１０００７を含む。実施例において、受信装置１０００４は無線接続技術（例えば、５Ｇ ＮＲ（Ｎｅｗ ＲＡＴ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ））を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ）機器、ＡＩ機器／サーバーなどを含む。
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部（又はデカプセル化モジュール）を含む。またデカプセル化部は受信機１０００５とは別個のエレメント（又はコンポーネント）で具現される。
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる（例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程）。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報（ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ）の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報（例えば、ヘッドオリエンテーション情報）、ビューポート（Ｖｉｅｗｐｏｒｔ）情報などを含む。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス（例えば、自律走行サービスなど）のためのものである場合には、フィードバック情報はコンテンツ送信側（例えば、送信装置１００００）及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点（ｖｉｅｗｐｏｉｎｔ）はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直（ｖｅｒｔｉｃａｌ）或いは水平（ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析（Ｇａｚｅ Ａｎａｌｙｓｉｓ）などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理（符号化／復号）する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００（又はポイントクラウドビデオデータエンコーダ１０００２）はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理（符号化／復号）せず、フィードバック情報に基づいて必要なデータ（例えば、ユーザのヘッド位置に対応するポイントクラウドデータ）を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される（取得／符号化／送信／復号／レンダリングの一連の過程で処理される）ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナル情報を含む概念として使用することができる。
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング（例えば、Ｇ－ＰＣＣ）に基づいてポイントクラウドデータを処理する。
実施例によるポイントクラウドコンテンツ提供システム（例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ取得部１０００１）では、ポイントクラウドビデオを取得する（２００００）。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ（Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt）ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、取得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ（Ｇｅｏｍｅｔｒｙ）及び／又は特質（Ａｔｔｒｉｂｕｔｅ）のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系（例えば、ＸＹＺ軸からなる座標系など）を示すパラメータ（例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値）で表現される。特質はポイントの特質（例えば、それぞれのポイントのテクスチャ情報、色（ＹＣｂＣｒ又はＲＧＢ）、反射率（ｒ）、透明度など）を含む。一つのポイントは一つ又はそれ以上の特質（又は属性）を有する。例えば、一つのポイントは、色の一つの特質を有するか、或いは色及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム（例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ取得部１０００１）は、ポイントクラウドビデオの取得過程に関連する情報（例えば、深さ情報、色情報など）からポイントクラウドデータを確保することができる。
実施例によるポイントクラウドコンテンツ提供システム（例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２）は、ポイントクラウドデータを符号化する（２０００１）。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナル情報をさらに含む。
実施例によるポイントクラウドコンテンツ提供システム（例えば、送信装置１００００又は送信機１０００３）は、符号化されたポイントクラウドデータを送信する（２０００２）。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナル情報（例えば、ジオメトリ符号化及び特質符号化に関連するシグナル情報）と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
実施例によるポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又は受信機１０００５）は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又は受信機１０００５）は、ビットストリームを逆多重化することができる。
ポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５）は、ビットストリームで送信される符号化されたポイントクラウドデータ（例えば、ジオメトリビットストリーム、特質ビットストリーム）を復号する。ポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５）は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナル情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５）は、ジオメトリビットストリームを復号してポイントの位置（ジオメトリ）を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５）は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
実施例によるポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はレンダラー１０００７）は、復号されたポイントクラウドデータをレンダリングする（２０００４）。ポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４又はレンダラー１０００７）は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ（例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど）によりユーザに提供される。
実施例によるポイントクラウドコンテンツ提供システム（例えば、受信装置１０００４）は、フィードバック情報を確保することができる（２０００５）。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。
ポイントクラウドコンテンツは、様々な３次元空間（例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など）に位置するオブジェクト（ｏｂｊｅｃｔ）及び／又は環境を示すポイントクラウドビデオ（イメージ及び／又は映像）を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ（例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色情報を抽出できるＲＧＢカメラなど）、プロジェクター（例えば、深さ情報を確保するための赤外線パターンプロジェクターなど）、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き（ｉｎｗａｒｄ－ｆａｃｉｎｇ）方式及び外向き（ｏｕｔｗａｒｄ－ｆａｃｉｎｇ）方式のうちのいずれか１つ以上に基づいてキャプチャーされる。
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ（又はカメラセンサ）が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ（例えば、ユーザに客体（例：キャラクター、選手、品物、俳優などの核心となる客体）の３６０°イメージを提供するＶＲ／ＡＲコンテンツ）を生成するために使用される。
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ（又はカメラセンサ）が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ（例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ）を生成するために使用される。
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を設定するために、一つ又はそれ以上のカメラの校正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域（例えば、背景）を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間（ｓｐａｔｉａｌ ｈｏｌｅ）がある場合、それを埋める動作を行うことができる。
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
図４は実施例によるポイントクラウドエンコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ）の一例を示す図である。
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質（例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ）を調節するために、ポイントクラウドデータ（例えば、ポイントの位置及び／又は特質）を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合（例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ）、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングできないこともある。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
実施例によるポイントクラウドエンコーダは、座標系変換部（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ）４００００、量子化部（Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ（Ｖｏｘｅｌｉｚｅ））４０００１、八分木分析部（Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ）４０００２、表面近似分析部（Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ）４０００３、演算エンコーダ（Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ）４０００４、ジオメトリ再構成部（Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ）４０００５、色変換部（Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ）４０００６、特質変換部（Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ）４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部（Ｇｅｎｅｒａｔｅｄ ＬＯＤ）４０００９、リフト変換部（Ｌｉｆｔｉｎｇ）４００１０、係数量子化部（Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ）４００１１及び／又は演算エンコーダ（Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ）４００１２を含む。
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング（ｄｉｒｅｃｔ ｃｏｄｉｎｇ）、ｔｒｉｓｏｕｐジオメトリ符号化（ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ）及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系（ｃｏｏｒｄｉｎａｔｅ）に変換する。例えば、位置は３次元空間（例えば、ＸＹＺ座標系で表現される３次元空間など）の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値（例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値）に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール（ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ）値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置（又は位置値）を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化（ｖｏｘｅｌｉｚａｔｉｏｎ）を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル（ｐｉｘｅｌ）のように、実施例によるポイントクラウドコンテンツ（又は３次元ポイントクラウドビデオ）のポイントは一つ又はそれ以上のボクセル（ｖｏｘｅｌ）に含まれる。ボクセルはボリューム（Ｖｏｌｕｍｅ）とピクセル（Ｐｉｘｅｌ）を組み合わせた言葉であり、３次元空間を表現する軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）に基づいて３次元空間をユニット（ｕｎｉｔ＝１.０）単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点（ｃｅｔｅｒ）の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて（ｃｏｍｂｉｎｅｄ）、該当ボクセルに割り当てられる。
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング（又は八分木コーディング）を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算（Ａｒｉｔｈｍｅｔｉｃ）符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質（例えば、色）が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ）コーディング、予測変換（Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）コーディング及びリフト変換（ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ））コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
実施例による色変換部４０００６は、特質に含まれた色値（又はテクスチャ）を変換する色変換コーディングを行う。例えば、色変換部４０００６は色情報のフォーマットを変換（例えば、ＲＧＢからＹＣｂＣｒに変換）する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に（ｏｐｔｉｏｎａｌ）適用される。
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成（復元）する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ（又は復元されたジオメトリ）とも呼ばれる。
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
特質変換部４０００７は、各ボクセルの中央点の位置（又は位置値）から特定の位置／半径内に隣接しているポイントの特質又は特質値（例えば、各ポイントの色、又は反射率など）の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質（又は特質値）を有する。
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード（ｍｏｕｌｔｏｎ ｃｏｄｅ）に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木（ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ）で迅速に最短隣接点探索（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ）ができるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値（例えば、（ｘ，ｙ，ｚ））をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が（５，９，１）であると、座標値のビット値は（０１０１、１００１、０００１）である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が（５，９，１）であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索（ＮＮＳ）を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索（ＮＮＳ）が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことを示す。ポイントをＬＯＤによって分類できる。
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうちいずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示（ｉｎｓｔｒｕｃｔｉｏｎ）のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ（例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体メモリデバイス（Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ）など）を含む。
図５は実施例によるボクセルの一例を示す図である。
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ（例えば、量子化部４０００１など）はボクセル化を行う。ボクセルは３次元空間を表現する軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）に基づいて３次元空間をユニット（ｕｎｉｔ＝１.０）単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点（０,０,０）及び（２d、２d、２d）により定義される境界ボックス（ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ）を再帰的に分割（ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ）する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群（ｖｏｘｅｌ ｇｒｏｕｐ）との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質（色又は反射率など）を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
図６は実施例による八分木及び占有コード（ｏｃｃｕｐａｎｃｙ ｃｏｄｅ）の一例を示す図である。
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム（ポイントクラウドビデオエンコーダ１０００２）又はポイントクラウドエンコーダ（例えば、八分木分析部４０００２）は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング（又は八分木コーディング）を行う。
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）で表現される。八分木構造は２つの極点（０,０,０）及び（２d、２d、２d）により定義される境界ボックス（ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ）を再帰的に分割（ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ）して生される。２ｄはポイントクラウドコンテンツ（又はポイントクラウドビデオ）の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、（ｘint n、ｙint n、ｚint n）は量子化されたポイントの位置（又は位置値）を示す。
図６の上側中央に示したように、分割によって全体の３次元空間は８つの空間に分割される。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）により分割される。よって、それぞれの空間は再び８つの小さい空間に分割される。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード（ｌｅａｆ ｎｏｄｅ）がボクセルになるまで適用される。
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード（ｃｈｉｌｄ ｎｏｄｅ）で表現される。それぞれの子ノードは分割された空間の占有率（ｏｃｃｕｐａｎｃｙ）を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと（ｅｍｐｔｙ）、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ（例えば、演算エンコーダ４０００４）は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６）は占有コードに基づいて八分木を再構成する。
実施例によるポイントクラウドエンコーダ（例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２）は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域（又は八分木のリーフノードを除いたノード）についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング（Ｄｉｒｅｃｔ ｃｏｄｉｎｇ）を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード（Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ）と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル（ｓｕｒｆａｃｅ ｍｏｄｅｌ）に基づいて特定の領域（又はノード）内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化（Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ）を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ（ｔｒｉａｎｇｌｅ ｍｅｓｈ）のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング（又は八分木コーディング）と結合して行うことができる。
ダイレクトコーディング（Ｄｉｒｅｃｔ ｃｏｄｉｎｇ）を行うためには、ダイレクトコーディングを適用するための直接モード（ｄｉｒｅｃｔ ｍｏｄｅ）の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値（ｔｈｒｅｓｈｏｌｄ）以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ（又は演算エンコーダ４０００４）はポイントの位置（又は位置値）をエントロピーコーディングすることができる。
実施例によるポイントクラウドエンコーダ（例えば、表面近似分析部４０００３）は、八分木の特定のレベル（レベルは八分木の深さｄよりは小さい場合）を定め、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる（ｔｒｉｓｏｕｐモード）。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック（ｂｌｏｃｋ）と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック（ｂｒｉｃｋ）に対応することもできる。それぞれのブロック内においてジオメトリは表面（ｓｕｒｆａｃｅ）と表現される。実施例による表面は最大１回、ブロックの各エッジ（ｅｄｇｅ）と交差することができる。
一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス（ｖｅｒｔｅｘ、頂点又は頂上）と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル（ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ）がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である（ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ）。
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点（ｘ、ｙ、ｚ）、エッジの方向ベクトル（Δｘ、Δｙ、Δｚ）、バーテックス位置値（エッジ内の相対的位置値）をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ（例えば、ジオメトリ再構成部４０００５）は三角形再構成（ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、アップ－サンプリング（ｕｐ－ｓａｍｐｌｉｎｇ）、ボクセル化過程を行って復元されたジオメトリ（再構成されたジオメトリ）を生成することができる。
ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の通りである。（１）各バーテックスの中心（ｃｅｎｔｒｏｉｄ）値を計算し、（２）各バーテックスの値から中心値を引いた値に（３）自乗を行って、その値を全て併せた値を得る。
加えられた値の最小値を求め、最小値がある軸に沿って投影（Ｐｒｏｊｅｃｔｉｏｎ）過程を行う。例えば、ｘ要素（ｅｌｅｍｅｎｔ）が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、（ｙ，ｚ）平面に投影させる。（ｙ，ｚ）平面に投影させて得た値が（ａｉ，ｂｉ）であれば、ａｔａｎ２（ｂｉ，ａｉ）によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
表２－１．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １，…，ｎ
ｎ ｔｒｉａｎｇｌｅｓ
3 (1,2,3)
4 (1,2,3), (3,4,1)
5 (1,2,3), (3,4,5), (5,1,3)
6 (1,2,3), (3,4,5), (5,6,1), (1,3,5)
7 (1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)
8 (1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)
9 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)
10 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)
11 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11), (11,3,7)
12 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9), (9,11,1), (1,5,9)
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数（ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ）とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス（ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ）と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置（又は位置値）に基づいて特質符号化を行うことができる。
図７は実施例による隣接ノードパターンの一例を示す図である。
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ）コーディングに基づいてエントロピーコーディングを行う。
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ（例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４）は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化（イントラ符号化）を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化（インター符号化）を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率（ｏｃｃｕｐａｎｃｙ）を判断して隣接ノードパターン（ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ）値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ（真ん中に位置するキューブ）及び該当キューブと少なくとも一面を共有する６つのキューブ（隣接ノード）を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値（１、２、４、８、１６、３２、など）を示す。各加重値は隣接ノードの位置によって順に付与される。
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード（ポイントを有する隣接ノード）の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード（占有ノード）がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を足した値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる（例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う）。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して（例えば、６４を１０又は６に変更するテーブルに基づく）、コーディングの複雑度を減らすことができる。
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成（復元）される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む（例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置）。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
ポイントクラウドエンコーダ（例えば、ＬＯＤ生成部４０００９）はポイントをＬＯＤごとに分類する（ｒｅｏｒｇａｎｉｚａｔｉｏｎ）。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い（ｓｐａｒｓｅ）分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔（又は距離）は短くなる。
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ（例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９）はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値（又はユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）のセット）によって改良レベル（ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ）のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例（Ｐ０～Ｐ９）を示す。図９のオリジナルオーダー（Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ）はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬＯＤ基盤のオーダー（ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ）はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機（ｐｒｅｄｉｃｔｏｒ）を生成して各ポイントの予測特質（又は予測特質値）を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値（＝１／距離）を計算することができる。
実施例による予測特質（又は特質値）は、各ポイントの予測機に設定された隣接ポイントの特質（又は特質値、例えば、色、反射率など）に各隣接ポイントまでの距離に基づいて計算された加重（又は加重値）を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ（例えば、係数量子化部４００１１）は、各ポイントの特質（特質値）から予測特質（特質値）を引いた残余値（ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる）を量子化（ｑｕａｔｉｚａｔｉｏｎ）及び逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）することができる。量子化過程は以下の表の通りである。
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
ｉｎｔ ＰＣＣＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｖａｌｕｅ >=０) {
ｒｅｔｕｒｎ ｆｌｏｏｒ(ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
} ｅｌｓｅ {
ｒｅｔｕｒｎ -ｆｌｏｏｒ(-ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
｝
｝
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
ｉｎｔ ＰＣＣＩｎｖｅｒｓｅＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｑｕａｎｔＳｔｅｐ ==０) {
ｒｅｔｕｒｎ ｖａｌｕｅ;
} ｅｌｓｅ {
ｒｅｔｕｒｎ ｖａｌｕｅ＊ｑｕａｎｔＳｔｅｐ;
｝
｝
実施例によるポイントクラウドエンコーダ（例えば、演算エンコーダ４００１２）は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ（例えば、演算エンコーダ４００１２）は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ（例えば、リフト変換部４００１０）は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
１）各ポイントの加重値を貯蔵する配列ＱＷ（ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ）を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
３）アップデートウェイト（ｕｐｄａｔｅｗｅｉｇｈｔ）及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた（ＱＷに貯蔵された）加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ（例えば、係数量子化部４００１１）は予測特質値を量子化する。またポイントクラウドエンコーダ（例えば、演算エンコーダ４００１２）は量子化された特質値をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ（例えば、ＲＡＨＴ変換部４０００８）は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップにおいてボクセルをもっと大きいブロックに合わせながらルートノード（ｒｏｏｔ ｎｏｄｅ）までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード（ｅｍｐｔｙ ｎｏｄｅ）については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
図１０は実施例によるポイントクラウドデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ）の一例を示す図である。
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム（ｂｉｔｓｔｒｅａｍ）に含まれたジオメトリビットストリーム（ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ）及び特質ビットストリーム（Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ）を受信する。ポイントクラウドデコーダはジオメトリデコーダ（ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ）及び特質デコーダ（ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ）を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ（ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ）を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質（ｄｅｃｏｄｅｄ ａｔｔｒｉｂｕｔｅｓ）を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元（ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ）するために使用される。
図１１は実施例によるポイントクラウドデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ）の一例を示す図である。
図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。
図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
実施例によるポイントクラウドデコーダは、演算デコーダ（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ）１１０００、八分木合成部（ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ）１１００１、表面近似合成部（ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ）１１００２、ジオメトリ再構成部（ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ）１１００３、座標系逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ）１１００４、演算デコーダ（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ）１１００５、逆量子化部（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ）１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部（ｇｅｎｅｒａｔｅ ＬＯＤ）１１００８、逆リフト部（Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ）１１００９及び／又は色逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ）１１０１０を含む。
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング（ｄｉｒｅｃｔ ｃｏｄｉｎｇ）及びｔｒｉｓｏｕｐジオメトリ復号（ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ）を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから（又は復号結果、確保されたジオメトリに関する情報）から占有コードを取得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ（Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ）復号、予測変換（Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）復号、及びリフト変換（ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ （Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ））復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングで復号する。
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）して、逆量子化された特質（又は特質値）を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値（又はテクスチャ）を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示（ｉｎｓｔｒｕｃｔｉｏｎ）のセットを動作又は実行する。
図１２は実施例による送信装置の一例を示す。
図１２に示した送信装置は、図１の送信装置１００００（又は図４のポイントクラウドエンコーダ）の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色変換処理部１２００８、特質変換処理部（又は属性変換処理部）１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は取得する。データ入力部１２０００はポイントクラウドビデオ取得部１０００１の動作及び／又は取得方法（又は図２に示した取得過程２００００）と同一又は類似する動作及び／又は取得方法を行う。
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
実施例による量子化処理部１２００１は、ジオメトリ（例えば、ポイントの位置値、又はポジション値）を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ（又は八分木分析部４０００２）の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による表面モデル処理部１２００４は、表面モデル（ｓｕｒｆａｃｅ ｍｏｄｅｌ）に基づいて特定の領域（又はノード）内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ（例えば、表面近似分析部４０００３）の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算（Ａｒｉｔｈｍｅｔｉｃ）符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナル情報を生成及び／又は処理する。実施例によるシグナル情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナル情報はインターリービングされることもある。
色変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
実施例による色変換処理部１２００８は、特質に含まれた色値を変換する色変換コーディングを行う。色変換処理部１２００８は再構成されたジオメトリに基づいて色変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれか１つ以上を行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ（Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、特質情報コーディングのシグナリングのためのＡＰＳ（Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、タイルレベルのシグナリングのためのＴＰＳ（Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むシグナル情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム（Ｇｅｏｍ００）及び一つ又はそれ以上の特質ビットストリーム（Ａｔｔｒ００、Ａｔｔｒ１０）を含む。
スライス(ｓｌｉｃｅ)とは、コーディングされたポイントクラウドフレームの全体又は一部を示すシンタックスエレメントのシリーズをいう。
実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報（例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など）を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報（ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）、タイル識別子（ｇｅｏｍ_ｔｉｌｅ_ｉｄ）、スライス識別子（ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ）及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナル情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
図１３は実施例による受信装置の一例を示す。
図１３に示した受信装置は、図１の受信装置１０００４（又は図１０及び図１１のポイントクラウドデコーダ）の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算（ａｒｉｔｈｍｅｔｉｃ）デコーダ１３００２、占有コード（Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ）基盤の八分木再構成処理部１３００３、表面モデル処理部（三角形再構成、アップサンプリング、ボクセル化）１３００４、逆（ｉｎｖｅｒｓｅ）量子化処理部１３００５、メタデータ分析１３００６、演算（ａｒｉｔｈｍｅｔｉｃ）デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから（又は復号結果、確保されたジオメトリに関する情報）から占有コードを取得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成（例えば、三角形再構成、アップサンプリング、ボクセル化）を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれか１つ以上を行う。実施例による色逆変換処理部１３０１０は、復号された特質に含まれた色値（又はテクスチャ）を逆変換するための逆変換コーディングを行う。色逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
図１４は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。
図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は実施例によるポイントクラウドデータ（ＰＣＣ）装置に対応するか又はＰＣＣ装置に連動する。
クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。
ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）１４７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパワー供給ユニットなどを含む。
以下、上記技術が適用される装置１４１０～１４５０の様々な実施例について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ（ＡＲ＋ＶＲ）技術が適用されて、ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、車両に備えられたＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどで具現されることもできる。
ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から取得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実客体に関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋ＸＲ＋モバイルフォン＞
ＸＲ／ＰＣＣ装置１４３０は、ＰＣＣ技術が適用されて、モバイルフォン１４４０などで具現される。
モバイルフォン１４４０は、ＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイすることができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動されることができる。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実客体又は画面内の客体に対応するＸＲ／ＰＣＣ客体を提供することができる。
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術及び／又はＰＣＣ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたものがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ（ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ（ＰＣＣ）送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
図１ないし図１４で説明したように、実施例によるポイントクラウド処理装置（例えば、図１、図１２及び図１４で説明した送信装置又はポイントクラウドエンコーダ）は、ポイントクラウドコンテンツによって、ＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングを選択的に使用するか、あるいは１つ又はそれ以上のコーディングの組み合わせを使用して特質符号化を行う。例えば、ＲＡＨＴコーディング及びリフト変換コーディングは、ポイントクラウドコンテンツデータを相当なサイズに圧縮する損失コーディング（ｌｏｓｓｙ ｃｏｄｉｎｇ）に用いたれる。また予測変換コーディングは、無損失コーディング（ｌｏｓｓｌｅｓｓ ｃｏｄｉｎｇ）に用いられる。
上述のように、実施例によるポイントクラウドエンコーダは、ポイントの予測機（ｐｒｅｄｉｃｔｏｒ）を生成し、各ポイントの予測特質（又は、予測特質値）を設定するための予測変換コーディングを行う。実施例による予測変換コーディング及びリフト変換コーディングは、ポイントクラウドの隣接範囲内で格納されたポイント（以下、対象ポイントという）の位置に基づいて、各隣接ポイントまでの距離（又は、位置）を算出する。算出した距離は、対象ポイントの特質（例えば、色、反射率など）を予測するか、隣接ポイントの距離が変更された場合には、対象ポイントの特質（又は、予測された特質）をアップデートするための参照又は基準加重値として使用される。以下の数式は、隣接ポイントに基づいて予測された対象ポイントの特質を示す。
上記数式において、Ｐは、対象ポイントの予測特質を示し、ｄ１、ｄ２、ｄ３は、対象ポイントの３つの隣接ポイントのそれぞれまでの距離を示す。それぞれの距離は組み合わされて基準加重値として使用される。Ｃ１、Ｃ２及びＣ３（数式に示されていない）は、各々の隣接ポイントの特質を示す。Ｓｈｉｆｔは、ポイントの平均エネルギー又はパワーの大きさを調節するパラメータである。Ｓｈｉｆｔ値は、エンコーダ又はデコーダのハードウェア電圧作動範囲によって調節される。
実施例によるポイントクラウドエンコーダは、ポイント（例えば、隣接ポイント）間の相関度を考慮して、上述した基準加重値を変更することができる。特に、ポイントクラウドエンコーダは、対象ポイントの隣接ポイントまでの距離において特性値を明確化するために、相関結合方式によって上記基準加重値を変更して算出された相関加重値を使用する。よって、ポイントクラウドエンコーダは、ポイント間の相関関係に比例する性能利得を確保することができる。またポイントクラウドエンコーダは、図１ないし図１４で説明したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングの構造を変更することなく、相関度を考慮した予測機を生成することができる。
図１５は、ポイントクラウド符号化の一例を示すフローダイヤグラムである。
図１ないし図１４で説明したように、ポイントクラウド送信装置又はポイントクラウドエンコーダ（例えば、図４で説明したポイントクラウドエンコーダ）は、特質を受信する（１５１００）。
ポイントクラウドエンコーダ（例えば、ＬＯＤ生成部４００９）は、予測変換を行うためにＬＯＤを生成する（１５２００）。ポイントクラウドエンコーダは、改良レベル（ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌ）にポイントを再配列してＬＯＤを生成する。よって、ＬＯＤのレベル値が大きいほどポイントクラウドコンテンツがより詳細であることを示す。実施例によるＬＯＤは、ポイント間の距離に基づいてグループ化したポイントを含んでもよい。ポイントクラウドエンコーダは、八分木構造に基づいてポイントを再配列する。グループ化したポイントは、ポイントの位置又はポイントの順序（例えば、モールトンコード順序など）に従って、八分木復号に適用可能な繰り返し的な生成アルゴリズム（ｉｔｅｒａｔｉｏｎ ｇｅｎｅｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を適用する。各々の繰り返し順序において１つのＬＯＤ（例えば、ＬＯＤｉ）に属する１つ又はそれ以上の改良レベル（ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌ）、Ｒ０、Ｒ１、..Ｒｉが生成される。つまり、ＬＯＤのレベルは改良レベルの組み合わせである。
また、図１ないし図１４で説明したポイントクラウドエンコーダは、空間的拡張性復号（ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｄｅｃｏｄｉｎｇ）を支援する。実施例による空間的拡張性復号は、ポイントクラウド受信装置（例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置）の復号性能に応じて様々な解像度（レゾルーション、ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツが提供できるように、ジオメトリ及び/又は特質の一部又は全部に対して行う復号である。空間的拡張性復号は、ジオメトリに対する階層的ジオメトリ復号、特質に対する階層的特質復号のうちの少なくとも１つ以上を含む。階層的特質復号は、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちの少なくとも１つ以上を含む。よって、ポイントクラウドエンコーダは、ポイントクラウド受信装置（図１０ないし図１１で説明したポイントクラウドデコーダ、図１３で説明した受信装置など）において階層的特質復号が行えるように特質符号化を行う。空間的拡張性復号を支援するためのＬＯＤは、八分木構造において最下端に位置したポイントから最上端に位置したポイントへと、近似最近傍探索（ａｐｐｒｏｘｉｍａｔｅ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｓｅａｒｃｈ）を用いて周りの隣接ポイントを探索することで生成できる。現在ＬＯＤ内の該当ポイントの最も近い隣接ポイントは、現在ＬＯＤ（例えば、ＬＯＤｌ）のレベルより低いレベルのＬＯＤ（例えば、ＬＯＤｌ－１）から探索される。また、現在ＬＯＤより低いレベルのＬＯＤは、Ｒ０、Ｒ１、..、Ｒｌ－１の改良レベルの組み合わせである。
また、標準距離に基づいて２つの最も近い直線最短距離（ｎｅａｒｅｓｔ ｓｑｕａｒｅｄ ｄｉｓｔａｎｃｅｓ）間の相関直線距離（ｃｏｒｒｅｌａｔｅｄ ｓｑｕａｒｅｄ ｄｉｓｔａｎｃｅｓ）を算出する。相関直線距離は、以下のように示される。
算出方法は、上述した例示に限られない。
対象ポイントと最後に処理されたポイントとの間の相関直線距離がしきい値（ｔｈｒｅｓｈｏｌｄ）より低い場合、最後に処理されたポイントの隣接ポイントを初期推測及び探索のために使用する。実施例によるしきい値はユーザによって定義されてもよい。実施例によるしきい値より大きい相関直線距離を有するポイントは除外される。
ＬＯＤ生成アルゴリズムは、ポイントクラウド受信装置（例えば、図１０－１１及び図１３で説明したポイントクラウドデコーダ及び受信装置）にも適用される。よって、ポイントクラウド受信装置は、上述したＬＯＤ生成アルゴリズムに基づいてＬＯＤを生成する。
ポイントクラウドエンコーダは、変換コーディングを行う（１５３００）。図１ないし図１４で説明したように、実施例によるポイントクラウドエンコーダは、ポイントクラウドコンテンツに応じて、ＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングを選択的に使用するか、１つ又はそれ以上のコーディングの組み合わせを使用する。
実施例による予測変換コーディングは、補間基盤予測変換コーディング（ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｐｒｅｄｉｃｔｉｏｎ）を含む。ポイントクラウドと連関した特質は、ＬＯＤ生成過程に従って定義された順序に符号化及び復号される。各々のステップにおいて既に符号化又は復号されたポイントのみが予測のために考慮される。ポイントの特質は、該当ポイントの隣接ポイントの特質（又は特質値）の加重平均値に基づいて予測される。しかし、隣接ポイントグループ内のポイントは、該当ポイントと近く分布するか、遠く分布することがある。よって、密室して分布するポイントにさらに大きい加重値を与え、相対的に密室していないか、遠く離れているポイントに小さい加重値を与えることで、実際のポイント間の相関関係が反映できるため、より正確な予測特質を算出することができる。よって、実施例によるポイントの特質（又は、特質値）は、該当ポイントの最も近い隣接ポイントとの距離基盤のみならず、加重値を追加した補間基盤予測変換コーディング（又は、補間予測変換プロセス）を用いて予測することができる。
実施例によるリフト変換コーディングは、各々のポイントの予測特質を算出するためにアップデートオペレーターを用いる。リフト変換コーディングは、最高レベルのＬＯＤ（例えば、ＬＯＤｎ）に属するポイントに対して予測値及び残余値を算出する。リフト変換コーディングは、該当ポイントの加重値を算出することができる。該当ポイントのアップデートオペレーターは、算出した加重値及び残余値に基づいてアップデートされた特質値を算出することができる。算出したアップデート特質値は、次のＬＯＤ（例えば、上記ＬＯＤｎより１つ低いレベルであるＬＯＤ ｎ－１）のポイントの予測特質の算出に使用される。レベルの低いＬＯＤは、他のレベルの高いＬＯＤにも含まれるポイントを含む。即ち、レベルの低いＬＯＤに含まれたポイントは、予測のためにさらに多く使用されるため、ＬＯＤ基盤のリフト変換コーディングは、レベルの低いＬＯＤに属するポイントに対してより多い影響を及ぶ。よって、アップデートオペレーターは、該当ポイントの加重値に該当隣接ポイントの加重値を加算してアップデートされた加重値に基づいてアップデートを行うことができる。
実施例によるリフト変換コーディングは、隣接ポイント間の相関度を反映してアップデートされた加重値を使用する。アップデートオペレーターは、アップデートされた加重値に基づいてアップデート動作を行う。以下、隣接ポイント間の相関度を反映して加重値をアップデートする過程を示す。隣接ポイント間の相関度を反映してアップデートされた加重値は、相関加重値とも呼ばれる。
ＬＯＤ構造において定義された順序の逆方向（ｉｎｖｅｒｓｅ ｏｒｄｅｒ）に従ってポイントを点検（ｔｒａｖｅｒｓｅ）する。
実施例によるアップデートプロセスは、ポイントクラウド送信装置及び受信装置に含まれた１つ又はそれ以上のメモリに格納されたプログラム指示によって行われる。実施例によるプログラム指示は、ポイントクラウドエンコーダ及び／又はデコーダ （又は、プロセッサ）によって行われ、ポイントクラウドエンコーダ及び／又はデコーダが特質値をアップデートする。
実施例によるポイントクラウドエンコーダは、量子化を行う（１５４００）。量子化は、図１ないし図１４に示したものと同様であるため、具体的な説明は省略する。上述したポイント間の相関関係による加重値は量子化にも適用可能である。
実施例によるポイントクラウドエンコーダは、演算符号化を行う（１５５００）。演算符号化は、図１ないし図１４に示したものと同様であるため、具体的な説明は省略する。上述したポイント間の相関関係による加重値は、演算符号化にも適用可能である。
図１６は、ポイントと隣接ポイントの一例を示す。
図１７は、ビットストリーム構造図の一例を示す。
ポイントクラウド処理装置（例えば、図１、図１２及び図１４に示した送信装置）は、符号化されたポイントクラウドデータをビットストリームの形態で送信することができる。ビットストリームは、ポイントクラウドデータ（又は、ポイントクラウドフレーム）の表現を形成するビットのシーケンスである。
ポイントクラウドデータ（又は、ポイントクラウドフレーム）は、タイル及びスライスに分割することができる。
ポイントクラウドデータは、マルチプルスライス（ｍｕｌｔｉｐｌｅ ｓｌｉｃｅｓ）に分割（ｐａｒｔｉｔｉｏｎ）することができ、ビットストリーム内で符号化される。１つのスライスは、ポイントの集合であって、符号化されたポイントクラウドデータの全部又は一部を示す構文要素のシリーズで表現される。１つのスライスは、他のスライスに対して依存性を有してもよく、有さなくてもよい。また、１つのスライスは、１つのジオメトリデータユニット（ｇｅｏｍｅｔｒｙ ｄａｔａ ｕｎｉｔ）を含み、１つ以上の特質データユニット（ａｔｔｒｉｂｕｔｅ ｄａｔａ ｕｎｉｔ）を有してもよく、有さなくてよい（ｚｅｒｏ ａｔｔｒｉｂｕｔｅ ｄａｔａ ｕｎｉｔ）。上述のように、特質符号化は、ジオメトリ符号化に基づいて行われるため、特質データユニットは同一のスライス内のジオメトリデータユニットに基づく。即ち、ポイントクラウドデータ受信装置（例えは、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６）は、復号されたジオメトリデータに基づいて特質データを処理することができる。よって、スライス内においてジオメトリデータユニットは連関した特質データユニットよりも必ず先に現れる。スライス内のデータユニットは必ず連続的であり、スライス間の順序は特定されない。
タイル（ｔｉｌｅ）は、境界ボックス（例えば、図５に示した境界ボックス）内の長方形直方体（３次元）である。境界ボックスは、１つ又はそれ以上のタイルを含むことができる。１つのタイルは、他のタイルと全部又は一部がオーバーラップされてもよい。１つのタイルは、１つ又はそれ以上のスライスを含む。
よって、ポイントクラウドデータ送信装置は、重要度に応じて、タイルに対応するデータを処理し、高品質のポイントクラウドコンテンツを提供することができる。即ち、実施例によるポイントクラウドデータ送信装置は、ユーザにとって重要な領域に対応するデータに対してさらに良い圧縮効率と適宜な遅延でポイントクラウド圧縮コーディング処理を行うことができる。
実施例によるビットストリームは、シグナル情報及び複数のスライス（ｓｌｉｃｅ ０、…、ｓｌｉｃｅ ｎ）を含む。図示したように、シグナル情報は、ビットストリーム内においてスライスよりも先に現れる。よって、ポイントクラウドデータ受信装置は、シグナル情報を先に確保し、シグナル情報に基づいて複数のスライスを順次に又は選択的に処理することができる。図示したように、スライス０（ｓｌｉｃｅ０）は、１つのジオメトリデータユニット（Ｇｅｏｍ００）及び２つの特質データユニット（Ａｔｔｒ００、Ａｔｔｒ１０）を含む。また、ジオメトリデータユニットは、同一のスライス内で特質データユニットよりも先に現れる。よって、ポイントクラウドデータ受信装置は、ジオメトリデータユニット（又は、ジオメトリデータ）を先に処理（復号）して、処理されたジオメトリデータに基づいて特質データユニット（又は、特質データ）を処理する。実施例によるシグナル情報は、シグナリングデータ、メタデータなどとも呼ばれ、例示に限られない。
実施例によるシグナル情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＧＰＳ（Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ ｓｅｔ）及び１つ又はそれ以上のＡＰＳ（Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含む。ＳＰＳは、プロファイル、レベルなどのシーケンス全体に関する符号化情報であって、ピクチャー解像度、ビデオフォーマットなどのシーケンス全体に関する包括的な情報（シーケンスレベル）を含む。ＧＰＳは、シーケンス（ビットストリーム）内に含まれたジオメトリに適用したジオメトリ符号化に関する情報である。ＧＰＳは、八分木（例えば、図６に示した八分木）に関する情報、八分木深さに関する情報などを含む。ＡＰＳは、シーケンス（ビットストリーム）内に含まれた特質の適用した特質符号化に関する情報である。図示したように、ビットストリームは、特質を識別する識別子によって１つ又はそれ以上のＡＰＳ（例えば、図示されたＡＰＳ０、ＡＰＳ１..）を含む。
実施例によるシグナル情報はＴＰＳをさらに含んでもよい。ＴＰＳはタイルに関する情報であって、タイル識別子、タイルサイズなどに関する情報を含む。実施例によるシグナル情報はシーケンス、即ちビットストリームレベルの情報であって、該当ットストリームに適用される。また、シグナル情報は、構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）及びこれを説明する記述子（Ｄｅｓｃｒｉｐｔｏｒ）を含む構文構造を有する。構文を説明するための擬似コード（ｐｓｅｕｄｏ ｃｏｄｅ）が使用される。また、ポイントクラウド受信装置は構文内に示される構文要素を順次に分析して処理することができる。
図示しないが、実施例によるジオメトリデータユニット及び特質データユニットのそれぞれはジオメトリヘッダ及び特質ヘッダを含む。実施例によるジオメトリヘッダ及び特質ヘッダは、該当スライスレベルにおいて適用されるシグナル情報であって、上述した構文構造を有する。
実施例によるジオメトリヘッダは、該当ジオメトリデータユニットを処理するための情報（又は、シグナル情報）を含む。よって、ジオメトリヘッダは該当ジオメトリデータユニット内で一番先に現れる。ポイントクラウド受信装置は、ジオメトリヘッダを先に分析してジオメトリデータユニットを処理することができる。ジオメトリヘッダは、全体のジオメトリに関する情報を含むＧＰＳと連関関係を有する。よって、ジオメトリヘッダは、ＧＰＳに含まれたｇｐｓ＿ｇｅｏｍ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを特定する情報を含む。また、ジオメトリヘッダは、ジオメトリデータユニットが属するスライスと関連したタイル情報（例えば、ｔｉｌｅ＿ｉｄ）、スライス識別子などを含む。
実施例による特質ヘッダは、該当特質データユニットを処理するための情報（又は、シグナル情報）を含む。よって、特質ヘッダは、該当特質データユニット内で一番先に現れる。ポイントクラウド受信装置は、特質ヘッダを先に分析して特質データユニットを処理することができる。特質ヘッダは、全体の特質に関する情報を含むＡＰＳと連関関係を有する。よって、特質ヘッダは、ＡＰＳに含まれたａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを特定する情報を含む。上述のように、特質復号は、ジオメトリ復号に基づくため、特質ヘッダは該当特質データユニットと連関したジオメトリデータユニットを確定するために、ジオメトリヘッダ内に含まれたスライス識別子を特定する情報などを含む。
ポイントクラウドデータ処理装置が、図１５ないし図１６に示した相関加重値に基づいて特質符号化を行った場合、ビットストリーム内のシグナル情報は、相関加重値に関する情報を含む。実施例による相関加重値に関する情報は、シーケンスレベルのシグナル情報（例えば、ＳＰＳ、ＡＰＳなど）に含まれてもよく、スライスレベル（例えば、特質ヘッダなど）に含まれてもよい。
図１８は、実施例によるシグナル情報の一例を示す。
図１８は、図１７に示したＳＰＳの構文構造であって、図１７に示した相関加重値に関する情報がシーケンスレベルのＳＰＳに含まれた一例を示す。
実施例によるＳＰＳの構文は、以下の構文要素を含む。
ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇｓ：ビットストリームが復号のための特定のプロファイル（ｐｒｏｆｉｌｅ）に従うか、又は他のプロファイルにも従うかを示す。プロファイルはビットストリームを復号するための特性（ｃａｐａｂｉｌｉｔｉｅｓ）を特定するためにビットストリームに与えられる制約条件を特定する。各々のプロファイルは、アルゴリズム的な特徴及び制限事項のセブセット（ｓｕｂｓｅｔ）であって、該当プロファイルに従う全てのデコーダによって支持される。復号のためのものであって標準などによって定義できる。
ｌｅｖｅｌ＿ｉｄｃ：ビットストリームに適用されるレベルを示す。レベルは全てのプロファイル内で使用される。一般に、レベルは特定のデコーダ処理負荷及びメモリ特性に対応する。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ：ｓｐｓ内の境界ボックスに関する情報が存在するか否かを示す。ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であると、境界ボックスに関する情報が存在することを示し、ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であると、境界ボックスに関する情報は定義されていないことを示す。
以下、ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であるときにｓｐｓに含まれる境界ボックスに関する情報である。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｏｆｆｓｅｔ＿ｘ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の量子化されたｘ軸オフセットを示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｏｆｆｓｅｔ＿ｙ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の量子化されたｙ軸オフセットを示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｏｆｆｓｅｔ＿ｚ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の量子化されたｚ軸オフセットを示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｃａｌｅ＿ｆａｃｔｏｒ：ソース境界ボックスのサイズを示すために使用されるスケール因子（ｓｃａｌｅ ｆａｃｔｏｒ）を示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｗｉｄｔｈ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の広さを示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｈｅｉｇｈｔ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の高さを示す。
ｓｐｓ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｓｉｚｅ＿ｄｅｐｔｈ：ｘ、ｙ、ｚ軸を含むデカルト座標系内のソース境界ボックス（ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ）の深さを示す。
実施例によるＳＰＳ構文は、以下の要素をさらに含む。
ｓｐｓ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ ｆａｃｔｏｒ：ソースポイントクラウドデータ（ｓｏｕｒｃｅ ｐｏｉｎｔ ｃｌｏｕｄ Ｄａｔａ）のスケール因子を示す。
ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ：他の構文要素（例えば、ＧＰＳ内のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄなど）による参照のためのＳＰＳの識別子である。
ｓｐｓ＿ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｓｅｔｓ：ビットストリーム内において符号化された特質の数を示す。ｓｐｓ＿ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｓｅｔｓの値は０から６３までの範囲内に含まれる。
以下、ｓｐｓ＿ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｓｅｔｓが指示する数だけの特質のそれぞれに関する情報を示す要素を含む。図示されたｉは各々の特質（又は、特質セット）を示し、ｉの値は０より大きいか同一であり、ｓｐｓ＿ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｓｅｔｓが指示する数より小さい。
ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｍｉｎｕｓ１[ ｉ ]：ｉ番目の特質のコンポーネントの数より１の小さい値を示す。特質が色（ｃｏｌｏｕｒ）である場合、特質は対象ポイントの光の特性を示す３次元（３ｄｉｍｅｎｓｉｏｎ）信号に対応する。例えば、特質はＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３つのコンポーネントにシグナルされる。また、特質は、ルマ（ｌｕｍａ、輝度）及び２つのクロマ（ｃｈｏｒｍａ、彩度）であるＹＵＶの３つのコンポーネントにシグナルされる。特質が反射率（ｒｅｆｌｅｃｔａｎｃｅ）である場合、特質は対象ポイントの光の反射率の強度の比率を示す１次元信号に対応する。
ａｔｔｒｉｂｕｔｅ＿ｉｎｓｔａｎｃｅ＿ｉｄ[ ｉ ]：ｉ番目の特質のインスタンスｉｄを示す。ａｔｔｒｉｂｕｔｅ＿ｉｎｓｔａｎｃｅ＿ｉｄは、同一の特質レベルと特質を区分するために使用される。
ａｔｔｒｉｂｕｔｅ＿ｂｉｔｄｅｐｔｈ＿ｍｉｎｕｓ１[ ｉ ]：ｉ番目の特質信号の１番目のコンポーネントのビット深さよりも１の小さい値である。この値に１を加算した値は１番目のコンポーネントのビット深さを特定する。
ａｔｔｒｉｂｕｔｅ＿ｃｉｃｐ＿ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓ[ ｉ ]：ｉ番目の特質の色特質ソース原色（ｐｒｉｍａｒｙ）の色度座標系（ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅｓ）を示す。
ａｔｔｒｉｂｕｔｅ＿ｃｉｃｐ＿ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ ｉ ]：０から１の公称実数値範囲（ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ）を有するソース入力線形光強度（ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ）Ｌｃの関数であって、色特質の基準光電子伝達特性関数（ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ）を示すか、０から１の公称実数値範囲を有する出力線形光強度Ｌｏの関数であって、色特質の基準電気光学伝達特性関数の逆関数を示す。
ａｔｔｒｉｂｕｔｅ＿ｃｉｃｐ＿ｍａｔｒｉｘ＿ｃｏｅｆｆｓ[ ｉ ]：ＲＢＧ又はＹＸＺ原色からルマ及びクロマのシグナルを誘導するのに使用されるマトリックス係数を示す。
ａｔｔｒｉｂｕｔｅ＿ｃｉｃｐ＿ｖｉｄｅｏ＿ｆｕｌｌ＿ｒａｎｇｅ＿ｆｌａｇ[ ｉ ]： Ｅ′Ｅ′及びＥ′又はＥ′Ｅ′′実数値を有するコンポーネントシグナルから派生するルマ及びクロマ信号のブラックレベル及び範囲を示す。
上述のように、ＳＰＳ構文は、相関加重値に関する情報を含む。以下の要素は、図１５ないし図１６に示した相関加重値に関する情報を示す。
ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ＿ｆｌａｇ：算出された距離値が必ず相関しているか否かを示す。ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ＿ｆｌａｇの値が１であると、算出された距離値が相関していることを示し（即ち、相関加重値が使用されている）、ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ＿ｆｌａｇの値が０であると、そうではないことを示す。デフォルト値は０と推論される。
ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ ｍｅｔｈｏｄ： ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ＿ｆｌａｇの値が１である場合の相関加重値を算出する方法を示す。例えば、相関加重値を算出する方法は、図１５に示した数式２ないし４を含む。よって、ポイントクラウド受信装置は、ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ ｍｅｔｈｏｄで指示する方法に従って相関加重値を算出し、補間基盤予測変換コーディング及びリフト変換コーディングを行う。
実施例による相関加重値に関する情報は、上記例示に限られない。よって、相関加重値に関する情報は、相関加重変数に関する情報、相関ポイントセット内の隣接ノード数に関する情報などをさらに含んでもよい。
実施例によるＳＰＳの構文は、以下の構文要素を含む。
ｋｎｏｗｎ＿ａｔｔｒｉｂｕｔｅ＿ｌａｂｅｌ＿ｆｌａｇ[ ｉ ]、ｋｎｏｗｎ＿ａｔｔｒｉｂｕｔｅ＿ｌａｂｅｌ[ ｉ ]、ａｎｄ ａｔｔｒｉｂｕｔｅ＿ｌａｂｅｌ＿ｆｏｕｒｂｙｔｅｓ[ ｉ ]は、ｉ番目の特質内から送信されるデータのタイプを識別するために共に用いられる。ｋｎｏｗｎ＿ａｔｔｒｉｂｕｔｅ＿ｌａｂｅｌ＿ｆｌａｇ[ ｉ]は、特質がｋｎｏｗｎ＿ａｔｔｉｂｕｔｅ＿ｌａｂｅｌ[ ｉ ]の値又は他の客体識別子ａｔｔｒｉｂｕｔｅ＿ｌａｂｅｌ＿ｆｏｕｒｂｙｔｅｓ [ ｉ ]で識別されるか否かを示す。
ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ：ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがＳＰＳ内に示されるか否かを示す。ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ ＿ｆｌａｇの値が０であると、ＳＰＳ構文構造内にｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素が存在しないことを示す。ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値１は、今後の使用のために保存される。デコーダは１の値を有するｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの以後に現れる全てのｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素を無視することができる。
ｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ：今後の使用のためのデータが存在するか否かを示し、いずれの値でも有することができる。
実施例によるＳＰＳ構文は、上記例示に限られず、更なる要素を含んでもよく、シグナリングの効率性のために、図示された一部の要素を含まなくてもよい。一部の要素は、ＳＰＳではなく、他のシグナル情報（例えば、ＡＰＳ、特質ヘッダなど）又は特質データユニットによってシグナルされてもよい。また、構文要素は、第１の情報、第２の情報などとも呼ばれる。
図１９は、実施例によるシグナル情報の一例を示す。
図１９は、図１７に示したＡＰＳの構文構造であって、図１７に示した相関加重値に関する情報がシーケンスレベルのＡＰＳに含まれた一例を示す。
実施例によるＡＰＳの構文は、以下の構文要素を含む。
ａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ：他の構文要素による参照ためのＡＰＳの識別子を示す。ａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは０～１５の範囲内の値を有する。ビットストリーム（例えば、図１７に示したビットストリーム）内には１つ又はそれ以上の特質データユニットが含まれ、各々の特質データユニットは特質ヘッダを含む。特質ヘッダは、ａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄと同一値を有するフィールド（例えば、ａｓｈ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を含む。実施例によるポイントクラウド受信装置は、ＡＰＳを分析して同一のａｐｓ＿ａｔｔｒ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを参照する特質データユニットを分析されたＡＰＳ及び特質ヘッダに基づいて処理する。
ａｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ：アクティブＳＰＳ（ａｃｔｉｖｅ ＳＰＳ）のためのｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示す。ａｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは０～１５の範囲内の値を有する。
ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅ：与えられた値に対する特質コーディングタイプ（ｃｏｄｉｎｇ ｔｙｐｅ）を示す。特質コーディングは特質符号化を意味する。上述のように、特質コーディングは、ＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちの少なくとも１つを使用して、ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅは、上述した３つのコーディングのタイプのうちのいずれか１つを示す。よって、ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅの値はビットストリームにおいて０、１又は２のいずれか１つである。他のａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅの値はＩＳＯ／ＩＥＣによって今後使用されてもよい。よって、実施例によるポイントクラウド受信装置は、０、１及び２ではない値を有するａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅを無視する。値が０であると、特質コーディングタイプは予測変換コーディング、値が１であると、特質コーディングタイプはＲＡＨＴコーディング、値が２であると、特質コーディングタイプはリフト変換コーディングである。ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅの値は変更可能であり、本例示に限られない。例えば、値が０であると、特質コーディングタイプはＲＡＨＴコーディング、値が１であると、特質コーディングタイプはＬＯＤ基盤予測変換（ＬＯＤ ｗｉｔｈ ｐｒｅｄｉｃｔｉｎｇ ｔｒａｎｓｆｏｒｍ）コーディング、値が２であると、特質コーディングタイプはＬＯＤ基盤リフト変換（ＬＯＤ ｗｉｔｈ ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ）コーディングを示す。
ａｐｓ＿ａｔｔｒ＿ｉｎｉｔｉａｌ＿ｑｐ：現在のＡＰＳを参照する各々のスライスのための変数ＳｌｉｃｅＱＰの初期値を示す。
ａｐｓ＿ａｔｔｒ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ：ａｐｓ＿ａｔｔｒ＿ｉｎｉｔｉａｌ＿ｑｐによってシグナルされる初期量子化パラメータに適用されるオフセットを特定する。
ａｐｓ＿ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ：特質データユニットのヘッダ内にａｓｈ＿ａｔｔｒ＿ｑｐ＿ｏｆｆｓｅｔによって指示されるコンポーネントＱＰオフセットが存在するか否かを示す。
上述のようにＡＰＳ構文は、図１５ないし図１６に示した相関加重値に関する情報を含む。図示したように、ＡＰＳ構文は、ａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ＿ｆｌａｇ及びａｔｔｒｉｂｕｔｅ＿ｃｏｒｒｅｌａｔｅｄ＿ｗｅｉｇｈｔ ｍｅｔｈｏｄを含む。各要素に関する説明は、図１８に示したものと同様であるため省略する。
実施例による相関加重値に関する情報は、上記例示に限られない。よって、相関加重値に関する情報は、相関加重変数に関する情報、相関ポイントセット内の隣接ノードの数に関する情報などをさらに含んでもよい。
以下、ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅの値がリフト変換コーディングを示す場合のＡＰＳに示される構文要素を示す。
ｌｉｆｔｉｎｇ＿ｎｕｍ＿ｐｒｅｄ＿ｎｅａｒｅｓｔ＿ｎｅｉｇｈｂｏｕｒｓ：予測のために使用される最も近い隣接ポイントの最大数を特定する。
ｌｉｆｔｉｎｇ＿ｍａｘ＿ｎｕｍ＿ｄｉｒｅｃｔ＿ｐｒｅｄｉｃｔｏｒｓ：ダイレクト予測のために使用される予測機の最大数を示す。
ｌｉｆｔｉｎｇ＿ｓｅａｒｃｈ＿ｒａｎｇｅ：予測のために使用される最も近い隣接ポイントを決定し、距離に基づくＬＯＤ生成のために使用される探索範囲（ｓｅａｒｃｈ ｒａｎｇｅ）を特定する。
ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：ＬＯＤを生成するために使用されたサンプリング戦略を示す。ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であると、ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇはレギュラーサンプリング戦略（ｒｅｇｕｌａｒ ｓａｍｐｌｉｎｇ ｓｔｒａｔｅｇｙ）を用いてＬＯＤを生成したことを示す。ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０であると、ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、距離に基づくサンプリング戦略（ｄｉｓｔａｎｃｅ－ｂａｓｅｄ ｓａｍｐｌｉｎｇ ｓｔｒａｔｅｇｙ）を用いてＬＯＤを生成したことを示す。
ｌｉｆｔｉｎｇ＿ｎｕｍ＿ｄｅｔａｉｌ＿ｌｅｖｅｌｓ＿ｍｉｎｕｓ１：特質コーディングのためのＬＯＤの数を示す。ｌｉｆｔｉｎｇ＿ｎｕｍ＿ｄｅｔａｉｌ＿ｌｅｖｅｌｓ＿ｍｉｎｕｓ１の値は０より大きいか同一である。
以下、ｌｉｆｔｉｎｇ＿ｎｕｍ＿ｄｅｔａｉｌ＿ｌｅｖｅｌｓ＿ｍｉｎｕｓ１が指示する数だけの各々のＬＯＤに関する情報を示す要素を含む。図示されたｉｄｘは、各々のＬＯＤを示し、ｉｄｘの値は０より大きいか同一であり、ｌｉｆｔｉｎｇ＿ｎｕｍ＿ｄｅｔａｉｌ＿ｌｅｖｅｌｓ＿ｍｉｎｕｓ１が指示する数よりは小さい。
ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であると、ｌｉｆｔｉｎｇ＿ｓａｍｐｌｉｎｇ＿ｐｅｒｉｏｄ[ ｉｄｘ ]が含まれる。ｌｉｆｔｉｎｇ＿ｌｏｄ＿ｒｅｇｕｌａｒ＿ｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０であると、ｌｉｆｔｉｎｇ＿ｓａｍｐｌｉｎｇ＿ｄｉｓｔａｎｃｅ＿ｓｑｕａｒｅｄ[ ｉｄｘ ]が含まれる。
ｌｉｆｔｉｎｇ＿ｓａｍｐｌｉｎｇ＿ｐｅｒｉｏｄ[ ｉｄｘ ]： ＬＯＤ ｉｄｘのためのサンプリング周期（ｓａｍｐｌｉｎｇ ｐｅｒｉｏｄ）を特定する。
ｌｉｆｔｉｎｇ＿ｓａｍｐｌｉｎｇ＿ｄｉｓｔａｎｃｅ＿ｓｑｕａｒｅｄ[ ｉｄｘ ]： ＬＯＤ ｉｄｘのためのサンプリング距離の二乗を誘導するための倍率因数（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）を特定する。
ａｔｔｒ＿ｃｏｄｉｎｇ＿ｔｙｐｅが特質コーディングは予測変換コーディングであることを示す場合、ＡＰＳは以下の構文要素を含む。
ｌｉｆｔｉｎｇ＿ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｔｈｒｅｓｈｏｌｄ：適応予測（ａｄａｐｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ）を可能にするしきい値（ｔｈｒｅｓｈｏｌｄ）を示す。
ｌｉｆｔｉｎｇ＿ｉｎｔｒａ＿ｌｏｄ＿ｐｒｅｄｉｃｔｉｏｎ＿ｎｕｍ＿ｌａｙｅｒｓ：同一のＬＯＤレイヤに含まれた復号されたポイントが対象ポイントの予測値を生成するように参照可能なＬＯＤレイヤの数を特定する。
実施例によるＡＰＳの構文は、以下の構文要素を含む。
ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ：ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがＡＰＳ内に存在するか否かを示す。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ ＿ｆｌａｇの値が０であると、ＡＰＳ構文構造内にａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素が存在しないことを示す。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値の１であると、今後の使用のために保存される。デコーダは１の値を有するａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ以後に示される全てのａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素を無視することができる。
ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ：今後の使用のためのデータが存在するか否かを示し、いずれの値でも有することができる。
実施例によるＡＰＳ構文は、上記例示に限られず、さらなる要素を含んでもよく、シグナリングの効率性のために、図示された一部の要素を含まなくてもよい。一部の要素は、ＡＰＳではない他のシグナル情報（例えば、特質ヘッダなど）又は特質データユニットによってシグナルされてもよい。また、構文要素は、第１の情報、第２の情報とも呼ばれる。
図１５ないし図１９に示したように、相関加重値は、２つ以上の隣接ポイントが存在する場合、ポイント間の相関関係に基づいて算出することができる。相関加重値を算出する方法は、従来の特質符号化のためのアルゴリズムを変更せずに算出できるため、システム設計の柔軟性が確保できる。また、予測/リフト変換において使用される加重常数の代わりに相関加重値を使用することで、符号化及び復号の性能が改善できる。実施例による相関加重値を算出する方法及び相関加重値は、量子化などの予測アルゴリズムが必要な全ての関数に適用可能である。
相関度値を算出する方法（例えば、数式２）は、該当ポイントの距離を含んでもよく、含まなくてもよい。また相関度値を算出する方法は、図２に示したマトリックスを用いた加算、乗算、割り算の演算で構成することができる。また相関度値を算出する方法は、相関値を除去するか、相関値を用いて各常数を割り当てて掛ける演算を含む。各常数は、整数だけではなく、複素数を含んでもよく、固定値又は変動値を有してもよい。
相関加重値は、相関度値に基づいて加重値が合計されたものであって、平均又は分散値に対応する（例えば、数式３）。相関度が結合されていない加重値は平均又は分散値として用いられる。
図２０は、実施例による相関加重値をコード化できる方法に対する一例を示す。
図２０は、３つのポイントが存在する場合、様々な方法によって相関加重値を算出する方法（例えば、数式２及び数式３）を示す指示である。
図示されたｗｅｉｇｈｔｅｄ＿ｓｕｍは、各々のポイントと相関度値の合計を示し、相関度の算出方法は、実施例によって変更可能である。ｗ０、ｗ１、ｗ２は、各々のポイント別に算出された相関度値が反映された相関加重値を示す。
１番目のブロックは、相関値に任意の常数であるアルファ、ベータ、ガンマ（ａｌｐｈａ、ｂｅｔａ、ｇａｍｍａ）を掛けて相関度値を算出する過程を示す。２番目のブロックは、単にポイントの距離に基づいて相関度値を算出する過程を示す。３番目のブロックは、ポイント距離の二乗に基づいて相関度値を算出する過程を示す。４番目のブロックは、ポイント距離の合計に基づいて相関度値を算出する過程を示す。各々のブロックは、相関度を算出する過程に従って算出された相関度値が反映された各々のポイントの相関加重値（ｗ０、ｗ１、ｗ２）を示す。相関加重値は相関度の算出方法及び形態によって変更可能である。また相関度値を算出する方法は、上述した例示に限られない。
図１ないし図２０に示したポイントクラウド処理装置は、空間的拡張性復号（ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｄｅｃｏｄｉｎｇ）を支援する。実施例による空間的拡張性復号は、ポイントクラウド受信装置（例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置）の復号性能に応じて様々な解像度（レゾルーション、ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツが提供できるように、ジオメトリ及び／又は特質の一部又は全部に対して行う復号である。実施例によるジオメトリ及び特質の一部は、パーシャルジオメトリ（ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ）及びパーシャル特質（ｐａｒｔｉａｌ ａｔｔｒｉｂｕｔｅ）とも呼ばれる。実施例によるジオメトリに適用される階層的復号は、階層的ジオメトリ復号又はジオメトリ階層的復号とも呼ばれる。実施例による特質に適用される階層的復号は、階層的特質復号又は特質階層的復号とも呼ばれる。図１ないし図１７に示したように、ポイントクラウドコンテンツのポイントは３次元空間に分布されて、分布されたポイントは八分木構造（例えば、図６に示した八分木）で表現される。八分木構造は、８分木構造でって、上位ノードから下位ノードへと深さが増加する。実施例による深さは、レベル及び／又はレイヤと呼ばれる。
ポイントクラウド処理装置（又は、ジオメトリエンコーダ）は、八分木構造に基づいてジオメトリ符号化を行う。またポイントクラウド処理装置（又は、特質エンコーダ）は、八分木構造に基づいてＬＯＤを生成して特質符号化（例えば、ＲＡＨＴ変換、予測変換、リフト変換など）を行う。ＬＯＤは八分木構造に基づいて生成されるため、八分木構造はポイントのグループ化を分割するものとみなされ、ジオメトリ及び特質に対するポイントの数を整列する。ＬＯＤのレベルは八分木の深さに対応する。ＬＯＤ（又は、八分木深さ）は、オリジナル品質が示されるほど大きい必要があるため、空間的拡張性はソースポイントクラウドが局所的領域にも密室した場合に非常に有用である。空間的拡張性からポイントクラウド受信装置（又は、デコーダ）は、デコーダの低い複雑度及び／又は小さい帯域幅の有するサムネイルのような低解像度のポイントクラウドコンテンツを提供することができる。ポイントクラウド処理装置は、空間的拡張性復号を支援する場合、図１７に示したビットストリームに含まれたシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）によって空間的拡張性復号のための情報を送信する。
ポイントクラウド受信装置は、ビットストリームに含まれたシグナル情報から空間的拡張性復号のための情報を確保する。ポイントクラウド受信装置は、八分木構造の上位ノードから下位ノードへと特定の深さ（又は、レベル）に対応する全体ジオメトリ又は一部ジオメトリに対するジオメトリ復号を行う。上述のように、特質復号はジオメトリ復号に基づくため、ポイントクラウド受信装置は、復号されたジオメトリ（又は、復号された八分木構造）に基づいてＬＯＤを生成し、全体特質及び／又は一部特質に対する特質復号（例えば、ＲＡＨＴ変換、予測変換、リフト変換など）を行う。
図２１は、空間的拡張性復号の一例を示す。
図示された矢印１８００は、ＬＯＤのレベルの増加する方向を示す。
図１ないし図１４に示したように、ポイントクラウド処理装置は八分木構造に基づいてＬＯＤを生成する。ＬＯＤは八分木構造を有するポイントの特質を管理するためのものであって、ＬＯＤの値が大きいほどポイントコンテンツの詳細が増加することを示す。１つのＬＯＤは八分木構造の１つ又はそれ以上の深さに対応できる。八分木構造の最上位ノードは、最下位深さ又は最初の深さに対応し、ルート（Ｒｏｏｔ）と呼ばれる。また八分木構造の最下位ノードは、最上位深さ又は最後の深さに対応し、リーフ（Ｌｅａｆ）と呼ばれる。八分木構造の深さはルートからリーフへと増加し、これは図示した矢印方向と同様である。
実施例によるポイントクラウドデコーダは、性能に応じて、フル解像度（ｆｕｌｌ ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツを提供するための復号１８１１、又はロー解像度（ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツを提供するための復号１８１２を行う。ポイントクラウドデコーダは、八分木構造の全体に対応するジオメトリビットストリーム１８１１－１及び特質ビットストリーム１８１２－１を復号１８１１してフル解像度のポイントクラウドコンテンツを提供する。ポイントクラウドデコーダは八分木構造の特定の深さに対応する一部ジオメトリビットストリーム１８１２－１及び一部特質ビットストリーム１８１２－２を復号１８１２し、ロー解像度のポイントクラウドコンテンツを提供する。図２１は、特質復号としてリフト変換を示し、本例示に限られない。
上述のように、ビットストリーム（例えば、図１７のビットストリーム）のシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）は、シーケンスレベル又はスライスレベルにおいて空間的拡張性復号（又は、リフト変換）に関連した拡張性（ｓｃａｌａｂｉｌｉｔｙ）情報（例えば、ｓｃａｌａｂｌｅ＿ｌｉｆｔｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、又はｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含む。上述のように、特質復号は、復号されたジオメトリ八分木構造に基づいて行われる。空間的拡張性復号（又は、リフト変換）に関連した情報は、一部特質を復号するために、全体の八分木構造が必要であるか、又は一部の八分木構造が必要であるかを示す。
ポイントクラウド受信装置は、ビットストリームのシグナル情報を確保し、空間的拡張性復号に関連した情報に従ってジオメトリの復号結果である全体八分木構造又は一部八分木構造に基づいて階層的特質復号を行う。
上述のように、ＬＯＤは八分木構造に基づいて生成される（例えば、図１５のステップ１５２０）。よって、ＬＯＤのレベルは、八分木の深さに基づいて生成され、八分木構造が変更されると、ＬＯＤ構造も変更される。ポイントクラウドエンコーダ（例えば、図１５に示したポイントクラウドエンコーダ）は、ＬＯＤに基づくリフト変換を行う（例えば、図１５のステップ１５３０）。上述のように、ポイントクラウド処理装置は、最高レベルのＬＯＤから最低レベルのＬＯＤへとリフト変換コーディングを行う。実施例によるリフト変換コーディングは、各々のポイントの予測特質を算出するためにアップデートオペレーターを用いる。該当ポイントのアップデートオペレーターは、算出された加重値及び残余値に基づいてアップデートされた特質値を算出する。実施例によるポイントクラウド処理装置は、量子化加重値（ｑｕａｎｔｉｚａｔｉｏｎ ｗｅｉｇｈｔ）を量子化加重値の誘導プロセスに従って決定（又は、算出、誘導）し、決定された量子化加重値に基づいて量子化を行う。
実施例によるポイントクラウド受信装置（又は、ポイントクラウドデコーダ）は、ポイントクラウド処理装置と同様に、アップデートオペレーターを用いて特質値を復元し、量子化加重値を算出して逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）を行う。
各々のレベルのＬＯＤに属したポイントの密室度は異なる。例えば、より高いレベルのＬＯＤに属したポイントの密室度は、より低いレベルのＬＯＤに属したポイントの密室度より小さい。よって、実施例による量子化加重値は、より高いレベルのＬＯＤ内の距離の合計から誘導される。しかし、空間的拡張性復号を行う場合、ポイントクラウド受信装置は、低いＬＯＤ情報が分からないため、正確な量子化加重値が算出できない。よって、実施例による量子化加重値は、該当ＬＯＤのポイント数によって固定される。以下、一部の八分木構造に基づいて行われる特質復号（例えば、リフト変換コーディング）を支援するために、各々のＬＯＤの量子化加重値を算出するプロセスを示す。
ｉは、各々のＬＯＤのレベルを示すパラメータであって、ｉは０より大きいか同一であり、ＬＯＤの数（ＬＯＤｃｏｕｎｔ）より小さい。Ｐｏｉｎｔ ｃｏｕｎｔは、該当ＬＯＤに属するポイントの数であり、ｐｒｅｄｉｃｔｏｒＣｏｕｎｔは、該当ＬＯＤよりも小さいＬＯＤに属するポイントの予測機の数を示す。ｐｒｅｄｉｃｔｏｒＣｏｕｎｔ[ｉ]は、該当ＬＯＤに属するポイントの予測機の数を示す。数式に示したように、加重値は特質の数及び固定された常数（例えば、ｋＦｉｘｅｄＰｏｉｎｔｗｅｉｇｈｔＳｈｉｆｔ）に基づいて算出される。
上述した数式は、各々のＬＯＤの予測値を有するポイントではなく、ポイントが密室しているＬＯＤに関する情報に基づいて量子化加重値を算出する。よって、１つ又はそれ以上のＬＯＤにポイントが均一に分布されているか、ＬＯＤインデックスのギャップが大きく、ポイントの分布が不規則な場合は、量子化加重値によってデコーダの性能劣化が生じることがある。
よって、実施例によるポイントクラウド送信装置及びポイントクラウド受信装置は、リフト変換コーディング（例えば、一部の八分木構造に基づいて行われるリフト変換コーディング）を行うにあたって、数学的に最適に改善された量子化加重値の誘導プロセスを行う。実施例による改善された量子化加重値の誘導プロセスは、固定常数を適用することなく変更可能な改善された量子化加重値を算出することができる。よって、改善された量子化値の誘導プロセスは、ポイントクラウドシステムによる量子化加重値の変化を最小化し、各々のシステムの固定常数を変更しない。また量子化加重値は、数学的に最適値に該当して、従来の量子化加重値に比べてさらに高い性能利得を確保する。また、改善された量子化加重値の誘導プロセスは、各々のポイントごとの演算が求められないため、ポイントクラウド受信装置の複雑度を減らすことができる。
実施例による量子化加重値の誘導プロセスは、ポイントクラウド送信装置及び受信装置に含まれた１つ又はそれ以上のメモリに格納されたプログラム指示によって行われる。実施例によるプログラム指示は、ポイントクラウドエンコーダ及び／又はデコーダ（又は、プロセッサ）によって行われ、ポイントクラウドエンコーダ及び／又はデコーダが量子化加重値を算出/誘導できるようにする。
実施例によるリフト変換は、量子化加重値と特質値との合計を示す線形関数で表される。以下の数式は、リフト変換を示す線形関数であって、全リソースの割り当てられた値に最大の利益を満たすために決定された関数である。実施例によるリソースは、ポイントの特質値（特質値を表現する電圧）と加重値との積和を意味する。
パラメータｊは、各々のポイントのインデックスであり、０より大きいか同一であり、Ｎと同一である。パラメータＮは、予測されるポイントクラウドのポイントの全数を示す。即ち、Ｎは、ポイントクラウド送信装置が送信しようとするポイントの全数に対応する。パラメータｗｊは、量子化加重値（又は、改善された量子化加重値）であって、改善された量子化加重値の誘導プロセスによって決定（又は、算出或いは誘導）される。パラメータａｊは、各々のポイントの特質値を示す。ＳｕｍＡｔｔｒｉｂｕｔｅは、量子化加重値と特質値との合計を示し、Ｎ個の線形関数の乗算及び加算の形態である。
ポイントクラウド受信装置は、ＳｕｍＡｔｔｒｉｂｕｔｅ値によって該当ポイントの明るさ及び色値などを確保することができる。上述したリフト変換を示す関数の最適化条件は、以下の数式のようである。
上記数式に示すように、リフト変換を示す関数の最適化は、パラメータｗｊに対して適用される制約条件（Ｃｏｎｓｔｒａｉｎｔ）によって取得することができる。実施例によるｗｊは、１より大きいか同一である。また、Ｎ個のｗｊ値（ｊは０より大きいか同一であり、Ｎと同一である）の合計（又は、全体加重値）は、全体の予測されるポイントの数（ＴｏｔａｌＰｒｅｄｉｃｔｅｄＣｏｕｎｔ）より小さいか同一である。これは、量子化加重値が無限大に増加することを防止し、演算に必要なメモリのオーバーフローの問題を防止するためである。またリフト変換の誘導式は線形び整数空間（ｉｎｔｅｇｅｒ ｓｐａｃｅ）で構成されるため、関数の凸さ（Ｃｏｎｖｅｘｉｔｙ）を保持する。
上記数式を構成する任意の関数ｆｊは、整数及び小数の乗算及び加算からなる。よって、関数ｆｊは凸関数（Ｃｏｎｖｅｘ ｆｕｎｃｔｉｏｎ）で示され、関数－ｆｊも必要十分条件により凹関数（Ｃｏｎｃａｖｅ ｆｕｎｃｔｉｏｎ）で示される。仮に、ｗ１、ｗ２、..、ｗＮの値が１より大きいか同一である場合、ｗ１の関数ｆ１、ｗ２の関数ｆ２、..、ｆＮもまた凸関数であるため、２つ以上の凸関数の結合は凸関数となる。実施例による加重値（又は、加重常数）ｗｊの値は、修正又は変更されてもよく、最適化した値を有する。またｆｊという関数が凸関数の結合又は群集である場合、ｆｉ、即ち、群集関数内の群集関数であるｇも凸関数となる。よって、ＬＯＤグループ化した加重値の群集の最適値が得られる。実施例による関数ｇは、最大値及び最小値を有する。
図２２は、改善された量子化加重値の誘導プロセスの一例を示す。
図２２は、改善された量子化加重値の誘導プロセスを示すフローダイヤグラムである。フローダイヤグラムは、説明の便宜のために、１つ又はそれ以上のステップを含み、各々のステップは同時に又は順次に行うことができる。
実施例による改善された量子化加重値の誘導プロセスは、初期加重値（又は、初期量子化加重値）を定義する（２２１００）。実施例による初期加重値は、平均送受信機電力（ａｖｅｒａｇｅ ｔｒａｎｓｃｅｉｖｅｒ ｐｏｗｅｒ）に基づいて決定される。即ち、初期加重値は、データメモリサイズ、計算複雑度などを考慮して、３２ビット及び６４ビットの平均エネルギー値又は全体のエネルギー値に基づいて決定される。また、全てのポイントクラウドデータが正規化された場合、初期加重値は１と決定される。
改善された量子化加重値の誘導プロセスは、ＬＯＤ別に予測されるポイントの数（例えば、上述した全体予測されるポイントの数（ＴｏｔａｌＰｒｅｄｉｃｔｅｄＣｏｕｎｔ））を再分類又はカウント（ｒｅｓｏｒｔ／ｃｏｕｎｔ）する（２２２００）。ポイントはジオメトリポイント又は特質ポイントを意味する。ＬＯＤ別に予測されるポイントの数は、復号されたジオメトリから確保することができる。ＬＯＤ別に予測されるポイントの数はパラメータとして格納される。改善された量子化加重値の誘導プロセスは、予測されるポイントの数をカウントせず、実際のポイントの数（例えば、上述した全数（ＴｏｔａｌＣｏｕｎｔ））をパラメータとして格納してもよい。
改善された量子化加重値の誘導プロセスは、全体の制約条件（Ｔｏｔａｌ Ｃｏｎｓｔｒａｉｎｔｓ）を算出する（２２３００）。実施例による制約条件は、加重値又は加重値の合計（例えば、数式８に示したｗｊの合計）に適用される。実施例による制約条件は、各々のＬＯＤの累積された全体のＬＯＤのポイント数、一部のＬＯＤのポイント数、部分集合に属するポイント数、ＬＯＤのグループ化によるポイント数などを含んでもよく、この例示に限られない。
改善された量子化加重値の誘導プロセスは、算出された制約条件に基づいて決定される加重値割り当てを算出する（２２４００）。即ち、改善された量子化加重値の誘導プロセスは、制約条件に基づいて、リソースを各々のＬｏＤレベル及びＬｏＤ内のポイントに合わせて割り当てる。上述のように、リソースは各々のポイントの加重値を掛けた特質の合計であるため、そのリソースはＬｏＤレベル及びＬｏＤ内のポイントに合わせて比例して割り当てられる。
即ち、制約条件に基づいて全体のポイント数を加重値によって各々のＬＯＤレベルに合わせて割り当てる。
改善された量子化加重値の誘導プロセスは、加重値のアップデートを行う（２２５００）。アップデートされた加重値（又はアップデートされた量子化加重値）は、割り当てられた加重値で定義されるか、初期加重値に割り当てられた加重値を累積、又は既存にアップデートされた加重値の一部を修正、結合することで生成することができ、最終にアップデートされた加重値は最適値を有する。
以下、図２２に示した算出された制約条件に基づいて決定される加重値の割り当てを算出するプロセスを説明する。
上述のように、改善された量子化加重値の誘導プロセスは、全体予測されるポイントの数（例えば、上述したＴｏｔａｌＰｒｅｄｉｃｔｅｄＣｏｕｎｔ）に基づく。全体予測されるポイントの数には制限があり、改善された量子化加重値の誘導プロセスは、同一又は類似した最適値を誘導することができる。実施例による最適値は全体リソース（全体のポイント数）における該当リソース（該当ＬＯＤの累積されたポイントの数）の比率に基づいて算出される。
各々のＬＯＤの累積されたポイントの数を算出するプロセスは、ポイントクラウド送信装置及び受信装置に含まれた１つ又はそれ以上のメモリに格納されたプログラム指示によって行われる。実施例によるプログラム指示は、ポイントクラウドエンコーダ及び／又はデコーダ（又はプロセッサ）によって行われ、ポイントクラウドエンコーダ及び／又はデコーダが各々のＬＯＤの累積されたポイントの数を算出する。ｉ番目の最適値（改善された量子化加重値）を算出するプロセスは、以下のようである。
ＯｐｔｉｍａｌＷｅｉｇｈｔ[ｉ]は、ｉ番目のＬＯＤの最適値を示す。ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ＬｏｄＣｏｕｎｔ－１]は、ＬｏＤＣｏｕｎｔが示す値よりも１が小さい値に対応するＬＯＤレベルまでの全てのポイントの数である。即ち、ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ＬｏｄＣｏｕｎｔ－１]は、ｉ値が０であるレベルのＬＯＤからｉ値がＬｏｄＣｏｕｎｔ－１であるレベルのＬＯＤまで、各々のＬＯＤに属するポイントの数の合計を示す（例えば、０番目のＬＯＤのポイントの数１、１番目のＬＯＤのポイントの数７..ＬｏｄＣｏｕｎｔ－１番目のＬＯＤのポイントの数ＸＸまでの合計）。実施例によるｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ＬｏｄＣｏｕｎｔ－１]はインデックスなどの形態で格納され、格納された最大のインデックス値から確保することができる。
上述のように、ｉ番目の最適値は、制約条件びＲａｔｉｏ[ｉ]に基づいて生成される。実施例によるＲａｔｉｏ[ｉ]は、ポイントクラウドノイズエラーのような実際の環境で発生する総エネルギーの不規則性によって変更されることがある。例えば、ｎｕｍｂｅｒＯｆｐｏｉｎｔｓｐｅｒＬＯＤ[ｉ]の代わりに、ｎｕｍｂｅｒＯｆｐｏｉｎｔｓｐｅｒＬＯＤ[ｉ－１]などが使用されるか、ｎｕｍｂｅｒＯｆｐｏｉｎｔｓｐｅｒＬＯＤ[ｉ]の一部をグループ化して変数値として処理してもいよい。実施例によるグループ化された変数は、ｉ＋１、ｉ＋２のような順次変数、又はｉ、ｉ＋４、ｉ＋６のような非順次変数を含むことができる。制約条件であるｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ＬｏｄＣｏｕｎｔ－１]は、ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｋ]で表現され、ｋは、ｉ－１、ｉ－２、…０、又はｉ＋１、ｉ＋２の値を有する。またｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｋ]の一部はグループ化して変数として処理してもよい。例えば、実施例によるグループ化された変数は、ｋ＋１、ｋ＋２のような順次変数、又はｋ、ｋ＋４、ｋ＋６のような非順次変数を含む。ｉ変数とｋ変数で表されるｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｉ]とｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｋ]は、特定の常数によって加減又は結合される。例えば、ｉとｋのための任意の２つの常数であるアルファ、ベータ（ａｌｐｈａ、ｂｅｔａ）によってｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｉ]（＋又は－）アルファ（ａｌｐｈａ）又はｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｉ]（＊又は／）アルファ（ａｌｐｈａ）となり、ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｋ]（＋又は－）ベータ（ｂｅｔａ）又はｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬＯＤ[ｋ]（＊又は ／）ベータ（ｂｅｔａ）となる。
同一の特質の各々のＬＯＤレベルのポイントに対して、互いに異なる改善された量子化加重値の誘導プロセスを適用してもよい。例えば、ｉ＝１の場合、最適値は、ｎｕｍｂｅｒＯｆＰｏｉｎｔＰｅｒＬＯＤ[ＬｏＤＣｏｕｎｔ－１]／ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬｏＤ[ｉ]から類推でき、ｉが１より大きい場合、最適値は、（ｎｕｍｂｅｒＯｆＰｏｉｎｔＰｅｒＬＯＤ[ＬｏＤＣｏｕｎｔ－１]－ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬｏＤ[ｉ]）／ｎｕｍｂｅｒＯｆＰｏｉｎｔｓＰｅｒＬｏＤ[ｉ]から類推できる。
互いに異なる特質のＬｏＤレベルによるポイントに対して、互いに異なる改善された量子化加重値の誘導プロセスを適用してもよい。よって、特質が反射率である場合のＬＯＤレベルによる量子化加重値と、特質が色である場合のＬＯＤレベルによる量子化加重値とは、互いに異なる最適値を有する。
同一の特質内の各々のサブコンポーネント（例えば、輝度（ｌｕｍａ）、彩度（ｃｈｒｏｍａ）など）のＬｏＤレベルによるポイントに対して、互いに異なる改善された量子化加重値の誘導プロセスを適用してもよい。よって、特質が色（ＹＣｂＣｒ）である場合、サブコンポーネントＹ（ｌｕｍａ）の量子化加重値と、サブコンポーネントＣｂ、Ｃｒ（ｃｈｒｏｍａ）の量子化加重値とは互いに異なる最適値を有する。
図２３は、実施例によるポイントクラウドの符号化を示すフローダイヤグラムである。
図１ないし図２２に示したポイントクラウド送信装置又はポイントクラウドエンコーダは、図２１に示した空間的拡張性復号を支援するための特質符号化を行うことができる。実施例による特質符号化は、ＲＡＨＴコーディング、予測変換コーディング、リフト変換コーディングのうちの少なくとも１つ以上を含む。空間的拡張性復号を支援するためのリフト変換コーディングは、図２１ないし図２２に示した改善された量子化加重値の算出プロセスを行う。
図２３に示したように、ポイントクラウドエンコーダは特質が入力される（２３１００）。実施例による特質は、色、反射率などを含む。
実施例によるポイントクラウドエンコーダは、特質の種類に応じて特質符号化を行う（２３２００、２３２１０）。図示したように、ポイントクラウドエンコーダは、特質が色である場合と特質が反射率である場合とでそれぞれ独立して符号化を行う。２つの特質の符号化動作は、同時に又は順次に行うことができる。特質符号化は、ＬＯＤベースのリフト変換を行う（例えば、図１５のステップ１５３０）。上述のように、ポイントクラウド処理装置は、最高レベルのＬＯＤから最低レベルのＬＯＤへとリフト変換コーディングを行う。
上述のように、ポイントクラウド符号化は、空間的拡張性復号（ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｄｅｃｏｄｉｎｇ）を支援することができる（２３３００、２３３１０）。実施例による空間的拡張性復号は、ポイントクラウド受信装置（例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置）の復号性能に応じて様々な解像度（レゾルーション、ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツが適用できるように、ジオメトリ及び／又は特質の一部又は全部に対して行う復号である。空間的拡張性によって、ポイントクラウド受信装置（又はデコーダ）は、デコーダの低複雑度及び／又は小さい帯域幅を有するサムネイルのような低解像度のポイントクラウドコンテンツを提供することができる。ポイントクラウド処理装置は、空間的拡張性復号を支援する場合、図１７に示したビットストリームに含まれたシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）から空間的拡張性復号のための情報を送信する。上述のように、ビットストリーム（例えば、図１７のビットストリーム）のシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）は、シーケンスレベル又はスライスレベルにおいて空間的拡張性復号（又はリフト変換）と関連した拡張性（上述した一部の八分木構造に基づいて上記特質の復号が可能であるか否かを示す拡張性（ｓｃａｌａｂｉｌｉｔｙ）情報（例えば、ｓｃａｌａｂｌｅ＿ｌｉｆｔｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、又はｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含むことができる。上述のように、特質復号は、復号されたジオメトリ八分木構造に基づいて行われる。空間的拡張性復号（又はリフト変換）と関連した情報は、一部の特質を復号するために、全体の八分木構造が必要であるか、又は一部の八分木構造が必要であるかを示す。よって、ポイントクラウド受信装置は、ビットストリームのシグナル情報を確保して、空間的拡張性復号と関連した情報によって、ジオメトリの復号結果である全体の八分木構造又は一部の八分木構造に基づいて階層的特質復号を行う。
仮に、一部の八分木構造に基づいて行われる空間的拡張性復号（例えば、リフト変換コーディング）を支援する場合、実施例によるポイントクラウドエンコーダは、図２１ないし図２３に示した改善された量子化加重値の誘導プロセスによって量子化加重値を算出する（２３４００、２３４１０）。改善された量子化加重値の誘導プロセスは、図２１ないし図２２に示したものと同様であるため、具体的な説明は省略する。実施例によるポイントクラウド受信装置（又は、ポイントクラウドデコーダ）は、ポイントクラウド処理装置と同様に量子化加重値を算出して逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）を行う。
ポイントクラウドエンコーダは、色特質及び反射率特質を圧縮する（２３５００、２３５２０）。
図２３に示したポイントクラウド符号化は、ポイントクラウド送信装置及び受信装置に含まれた１つ又はそれ以上のメモリに格納されたプログラム指示によって行われる。実施例によるプログラム指示は、ポイントクラウドエンコーダ及び／又はデコーダ （又はプロセッサ）によって行われ、ポイントクラウドエンコーダ及び／又はデコーダがポイントクラウド符号化及び／又は復号を行う。また、実施例によるポイントクラウドデコーダは、図２３に示した過程と同様な動作を行う。
図２４は、実施例によるポイントクラウドデータ送信方法を示すフローダイヤグラムである。
図２４のフローダイヤグラム２４００は、図１ないし図２３に示したポイントクラウドデータ送信装置（例えば、図１、図１２及び図１４に示した送信装置又はポイントクラウドエンコーダ）のポイントクラウドデータ送信方法を示す。ポイントクラウドデータ送信装置は、ジオメトリ及び特質を含むポイントクラウドデータを符号化する（２４１０）。ジオメトリは、ポイントクラウドデータのポイントの位置を示す情報であり、特質は、ポイントの色及び反射率のうちの少なくとも１つ以上を含む。ポイントクラウドデータ送信装置は、ジオメトリを符号化する。図１ないし図２３に示したように、特質符号化はジオメトリ符号化に従属する。よって、ポイントクラウドデータ送信装置は、図２１に示したように、符号化されたジオメトリの全体又は一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいて特質を符号化する。特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ）の各々のＬＯＤに含まれるポイントに対する量子化加重値に基づいて符号化される。また量子化加重値は、ポイントの数及び該当ＬＯＤが示すレベル（ｌ）まで属するポイントの数に基づいて決定される。その詳細は、図２０ないし図２３に対する説明と同様であるため省略する。
実施例による量子化加重値は、以下のように示される。
図１５ないし図２３に示したように、ポイントクラウドデータ送信装置は、ポイントを再整列して１つ又はそれ以上のＬＯＤを生成し、１つ又はそれ以上のＬＯＤに基づいて特質に対してリフト変換コーディングを行い、量子化加重値に基づいてリフト変換コードされた特質を量子化する。実施例による量子化加重値は、ジオメトリの一部の八分木構造に基づいて符号化された特質を復号するために使用される。即ち、図１ないし図２３に示したように、ポイントクラウド送信装置は、空間的拡張性復号（ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｄｅｃｏｄｉｎｇ）を支援する。実施例による空間的拡張性復号は、ポイントクラウド受信装置（例えば、図１の受信装置１０００４、図１０及び図１１のポイントクラウドデコーダ、図１３の受信装置）の復号性能に応じて様々な解像度（レゾルーション、ｒｅｓｏｌｕｔｉｏｎ）のポイントクラウドコンテンツが適用できるように、ジオメトリ及び／又は特質の一部又は全部に対して行う復号である。
ポイントクラウドデータ送信装置は、符号化されたポイントクラウドデータを含むビットストリーム（例えば、図１７に示したビットストリーム）を送信する（２４２０）。
よって、実施例によるビットストリーム（例えば、図１７）は、一部の八分木構造に基づいて符号化された特質の復号が可能であるか否かを示す拡張性情報（例えば、ｓｃａｌａｂｌｅ＿ｌｉｆｔｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、又はｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を含む。図２０ないし図２３に示したように、図１７に示したビットストリームに含まれたシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）によって空間的拡張性復号のための情報を送信する。上述のように、ビットストリーム（例えば、図１７のビットストリーム）のシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）は、シーケンスレベル又はスライスレベルにおいて一部の八分木構造に基づいて符号化された特質の復号が可能であるか否かを示すシグナル情報を含む。受信機は、かかる情報を確保し、空間的拡張性復号を行う。ポイントクラウドデータ送信装置の動作は、図１ないし図２３に示したものと同様であるため、具体的な説明は省略する。
図２５は、実施例によるポイントクラウドデータ処理方法のフローダイヤグラムである。
図２５のフローダイヤグラム２５００は、図１ないし図２３に示したポイントクラウドデータ受信装置（例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６）のポイントクラウドデータ処理方法を示す。
ポイントクラウドデータ受信装置（例えば、図１の受信機、図１３の受信部などの受信機）は、ポイントクラウドデータを含むビットストリームを受信する（２５１０）。実施例によるビットストリームは、ポイントクラウドデータを復号するために必要なシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）を含む。図２０ないし図２３に示したように、図１７に示したビットストリームに含まれたシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）によって空間的拡張性復号のための情報を送信する。上述のように、ビットストリームのシグナル情報（例えば、ＳＰＳ、ＡＰＳ、特質ヘッダなど）は、シーケンスレベル又はスライスレベルにおいて空間的拡張性復号（又はリフト変換）と関連した情報を含んでもよい。
ポイントクラウドデータ受信装置（例えば、図１０のデコーダ）は、シグナル情報に基づいてポイントクラウドデータを復号する（２５２０）。ポイントクラウドデータ受信装置（例えば、図１０のジオメトリデコーダ）は、ポイントクラウドデータに含まれたジオメトリを復号する。実施例によるジオメトリは、ポイントクラウドデータのポイントの位置を示す情報である。ポイントクラウドデータ受信装置（例えば、図１０の特質デコーダ）は、復号されたジオメトリの全体又は一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいてポイントの色及び反射率のうちの少なくとも１つ以上を含む特質を復号する。特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ）の各々のＬＯＤに含まれるポイントに対する量子化加重値（又は、改善された量子化加重値）に基づいて復号される。量子化加重値は、ポイントの数と該当ＬＯＤが示すレベル（ｌ）まで属するポイントの数に基づいて決定される。
実施例によるポイントクラウドデータを復号するために必要なシグナル情報は、一部の八分木構造に基づいて特質の復号が可能であるか否かを示す拡張性情報（例えば、ｓｃａｌａｂｌｅ＿ｌｉｆｔｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、又はｌｉｆｔｉｎｇ＿ｓｃａｌａｂｉｌｉｔｙ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をさらに含む。拡張性情報が一部の八分木構造に基づいて特質の復号が可能であると示す場合、量子化加重値は０番目のＬＯＤから最後のＬＯＤまでの各々のＬＯＤに含まれた各ポイント毎に決定される。量子化加重値の算出プロセスは、図２１ないし図２３に示したものと同様であるため、具体的な説明は省略する。
実施例によるポイントクラウドデータ受信装置は、ポイントを再整列して１つ又はそれ以上のＬＯＤを生成し、１つ又はそれ以上のＬＯＤに基づいて特質に対してリフト変換復号を行い、量子化加重値に基づいてリフト変換復号された特質を逆量子化する。図２２に示すように、量子化加重値は、ポイントクラウド受信装置に含まれたメモリに格納された量子化加重値を算出するためのプログラム指示を行って決定される。ポイントクラウドデータ受信装置のポイントクラウドデータ処理動作は、図１ないし図２３に示したものと同様であるため、具体的な説明は省略する。
図１ないし図２５で説明した実施例によるポイントクラウドデータ処理装置の構成要素は、メモリと結合した１つ又はそれ以上のプロセッサを含むハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより具現される。実施例による装置の構成要素は、１つのチップ、例えば、一つのハードウェア回路で具現される。また、実施例によるポイントクラウドデータ処理装置の構成要素はそれぞれ個々のチップで具現される。また、実施例によるポイントクラウドデータ処理装置の構成要素のうちの少なくとも１つ以上は、１つ又はそれ以上のプログラムを実行できる１つ又はそれ以上のプロセッサで構成され、１つ又はそれ以上のプログラムは、図１ないし図２５に示したポイントクラウドデータ処理装置の動作／方法のうちのいずれか１つ又はそれ以上の動作を行わせるか、行うための指示を含む。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限られて適用されるのではなく、実施例は様々な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置及び方法に対する説明は、互いに補完して適用できる。例えば、実施例によるポイントクラウドデータ送信方法は、実施例によるポイントクラウドデータ送信装置又はポイントクラウドデータ送信装置に含まれた構成要素によって実行される。また、実施例によるポイントクラウドデータ受信方法は、実施例によるポイントクラウドデータ受信装置又はポイントクラウドデータ受信装置に含まれた構成要素によって実行される。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ（例えば、ＲＡＭなど）だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、「／」と「、」は「及び／又は」に解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」に解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」に解釈される。さらに、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／又はＣのうちのいずれか」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣのうちのいずれか」を意味する。さらに、この文書において、「又は」は「及び／又は」に解釈される。例えば、「Ａ又はＢ」は、１)「Ａ」のみを意味するか、２)「Ｂ」のみを意味するか、又は３)「Ａ及びＢ」を意味する。言い換えれば、この明細書において「又は」は「さらに（ａｄｄｉｔｉｏｎａｌｌｙ）又は代わりに（ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限するものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」という表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～とき」などの条件表現は選択的な場合のみに制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
（発明の実施のための形態）
発明を実施するための最善の形態について具体的に説明する。
（産業上の利用可能性）
本発明の思想や範囲を逸脱することなく、本発明で様々な変更及び変形が可能であることは当業者にとって自明である。したがって、本発明は、添付の特許請求の範囲及びその同等範囲内で提供される本発明の変更及び変形を含むものとして意図される。

Claims (13)

  1. ジオメトリ及び特質を含むポイントクラウドデータを符号化するステップであって、前記ジオメトリは、前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質は、前記ポイントの色及び反射率のうちの少なくとも１つ以上を含む、ステップ；及び
    前記符号化されたポイントクラウドデータを含むビットストリームを送信するステップを含み、
    前記ポイントクラウドデータを符号化するステップは、
    前記ジオメトリを符号化するステップ； 及び
    前記ジオメトリの一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいて前記特質を符号化するステップを含み、
    前記特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）のうちのあるＬＯＤに関連する加重値に基づいて符号化され、
    前記加重値は、前記ポイントの数と前記あるＬＯＤが示すレベルまで属するポイントの数とに基づいて導出され、
    前記加重値は、以下のように示され、

    ここで、

    は、ＬＯＤ ｌ に関連する前記加重値を示し、前記ｔｏｔａｌ ｐｏｉｎｔ ｎｕｍｂｅｒは、前記ポイントの数を示し、前記ｐｏｉｎｔ ｎｕｍｂｅｒ ｉｎ ＬＯＤ ｌ は、該当ＬＯＤ ｌ が示すレベルｌまで属するポイントの数を示す、ポイントクラウドデータ送信方法。
  2. 前記特質を符号化するステップは、
    前記ポイントを再整列して、前記１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するステップ；
    前記１つ又はそれ以上のＬＯＤに基づいて前記特質に対してリフト変換コーディングを行うステップ；及び
    前記リフト変換コーディングされた特質に対して前記加重値に基づいて量子化を行うステップを含む、請求項１に記載のポイントクラウドデータ送信方法。
  3. 前記加重値は、前記一部の八分木構造に基づいて前記符号化された特質を復号するために使用される、請求項２に記載のポイントクラウドデータ送信方法。
  4. 前記ビットストリームは、前記符号化された特質が前記一部の八分木構造に基づいて復号されるか否かを示すシグナル情報を含む、請求項３に記載のポイントクラウドデータ送信方法。
  5. ジオメトリ及び特質を含むポイントクラウドデータを符号化するエンコーダであって、前記ジオメトリは、前記ポイントクラウドデータのポイントの位置を示す情報であり、前記特質は、前記ポイントの色及び反射率のうちの少なくとも１つ以上を含む、エンコーダ；及び
    前記符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含み、
    前記エンコーダは、
    前記ジオメトリを符号化するジオメトリエンコーダ；及び
    前記ジオメトリの一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいて前記特質を符号化する特質エンコーダを含み、
    前記特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）のうちのあるＬＯＤに関連する加重値に基づいて符号化され、
    前記加重値は、前記ポイントの数と前記あるＬＯＤが示すレベルまで属するポイントの数とに基づいて導出され、
    前記加重値は、以下のように示され、

    ここで、

    は、ＬＯＤ ｌ に関連する前記加重値を示し、前記ｔｏｔａｌ ｐｏｉｎｔ ｎｕｍｂｅｒは、前記ポイントの数を示し、前記ｐｏｉｎｔ ｎｕｍｂｅｒ ｉｎ ＬＯＤ ｌ は、該当ＬＯＤ ｌ が示すレベルｌまで属するポイントの数を示す、ポイントクラウドデータ送信装置。
  6. 前記特質エンコーダは、
    前記ポイントを再整列して、前記１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成し、前記１つ又はそれ以上のＬＯＤに基づいて前記特質に対してリフト変換コーディングを行い、前記リフト変換コーディングが行われた特質に対して量子化を行う、ように構成されている、請求項５に記載のポイントクラウドデータ送信装置。
  7. ポイントクラウドデータを含むビットストリームを受信するステップであって、前記ビットストリームは、シグナル情報を含む、ステップ；及び
    前記シグナル情報に基づいて前記ポイントクラウドデータを復号するステップを含み、
    前記ポイントクラウドデータを復号するステップは、
    前記ポイントクラウドデータに含まれたジオメトリを復号するステップであって、前記ジオメトリは、前記ポイントクラウドデータのポイントの位置を示す情報であり；及び
    前記ジオメトリの一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいて、前記ポイントの色及び反射率のうちの少なくとも１つ以上を含む特質を復号するステップを含み、
    前記特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）のうちのあるＬＯＤに関連する加重値に基づいて復号され、
    前記加重値は、前記ポイントの数と前記あるＬＯＤが示すレベルまで属するポイントの数とに基づいて導出され、
    前記加重値は、以下のように示され、

    ここで、

    は、ＬＯＤ ｌ に関連する前記加重値を示し、前記ｔｏｔａｌ ｐｏｉｎｔ ｎｕｍｂｅｒは、前記ポイントの数を示し、前記ｐｏｉｎｔ ｎｕｍｂｅｒ ｉｎ ＬＯＤ ｌ は、該当ＬＯＤ ｌ が示すレベルｌまで属するポイントの数を示す、ポイントクラウドデータ処理方法。
  8. 前記シグナル情報は、前記一部の八分木構造に基づいて前記特質に対してリフト変換復号が可能であるか否かを示す拡張性情報を含む、請求項７に記載のポイントクラウドデータ処理方法。
  9. 前記特質を復号するステップは、
    前記ポイントを再整列して、前記１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するステップ；
    前記１つ又はそれ以上のＬＯＤに基づいて前記特質をリフト変換復号するステップ；及び
    前記リフト変換復号された特質を逆量子化するステップを含む、請求項８に記載のポイントクラウドデータ処理方法。
  10. 前記加重値は、０番目のＬＯＤから最後のＬＯＤまでの各ＬＯＤの各ポイントに対して計算される、請求項９に記載のポイントクラウドデータ処理方法。
  11. ポイントクラウドデータを含むビットストリームを受信する受信機であって、前記ビットストリームはシグナル情報を含む、受信機；及び
    前記シグナル情報に基づいて前記ポイントクラウドデータを復号するデコーダを含み、
    前記デコーダは、
    前記ポイントクラウドデータに含まれたジオメトリを復号するジオメトリデコーダであって、前記ジオメトリは、前記ポイントクラウドデータのポイントの位置を示す情報である、ジオメトリデコーダ；及び
    前記ジオメトリの一部（パーシャル、ｐａｒｔｉａｌ）の八分木構造に基づいて前記ポイントの色及び反射率のうちの少なくとも１つ以上を含む特質を復号する特質デコーダを含み、
    前記特質は、１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）のうちのあるＬＯＤに関連する加重値に基づいて復号され、
    前記加重値は、前記１つ又はそれ以上のＬＯＤのポイントの数と前記あるＬＯＤが示すレベルまで属するポイントの数とに基づいて導出され、
    前記加重値は、以下のように示され、

    ここで、

    は、ＬＯＤ ｌ に関連する前記加重値を示し、前記ｔｏｔａｌ ｐｏｉｎｔ ｎｕｍｂｅｒは、前記ポイントの数を示し、前記ｐｏｉｎｔ ｎｕｍｂｅｒ ｉｎ ＬＯＤ ｌ は、該当ＬＯＤ ｌ が示すレベルｌまで属するポイントの数を示す、ポイントクラウドデータ処理装置。
  12. 前記シグナル情報は、前記一部の八分木構造に基づいて前記特質に対してリフト変換復号が可能であるか否かを示す拡張性情報を含み、前記加重値は、０番目のＬＯＤから最後のＬＯＤまでの各ＬＯＤの各ポイントに対して計算される、請求項１１に記載のポイントクラウドデータ処理装置。
  13. 前記特質デコーダは、
    前記ポイントを再整列し、
    前記１つ又はそれ以上のＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成し、
    前記１つ又はそれ以上のＬＯＤに基づいて前記特質をリフト変換復号し、
    前記リフト変換復号された特質を逆量子化する、ように構成されている、請求項１２に記載のポイントクラウドデータ処理装置。
JP2022540365A 2020-01-07 2021-01-05 ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法 Active JP7433442B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062958266P 2020-01-07 2020-01-07
US62/958,266 2020-01-07
KR20200034941 2020-03-23
KR10-2020-0034941 2020-03-23
PCT/KR2021/000063 WO2021141346A1 (ko) 2020-01-07 2021-01-05 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법

Publications (2)

Publication Number Publication Date
JP2023510179A JP2023510179A (ja) 2023-03-13
JP7433442B2 true JP7433442B2 (ja) 2024-02-19

Family

ID=76654133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540365A Active JP7433442B2 (ja) 2020-01-07 2021-01-05 ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法

Country Status (6)

Country Link
US (1) US11282239B2 (ja)
EP (1) EP4075804A4 (ja)
JP (1) JP7433442B2 (ja)
KR (1) KR102386712B1 (ja)
CN (1) CN114930853A (ja)
WO (1) WO2021141346A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7268598B2 (ja) * 2017-09-29 2023-05-08 ソニーグループ株式会社 情報処理装置および方法
EP3595179B1 (en) * 2018-07-10 2023-07-05 BlackBerry Limited Methods and devices for lossy coding of point cloud occupancy
CN111242997B (zh) * 2020-01-13 2023-11-10 北京大学深圳研究生院 一种基于滤波器的点云属性预测方法及设备
US11710259B2 (en) * 2020-02-10 2023-07-25 Tencent America LLC Predictive tree coding for point cloud coding
EP4124032A4 (en) * 2020-04-12 2023-05-31 LG Electronics, Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE, AND POINT CLOUD DATA RECEIVING METHOD
US20230206510A1 (en) * 2020-06-05 2023-06-29 Lg Electronics Inc. Point cloud data processing device and processing method
US11770562B2 (en) * 2020-06-23 2023-09-26 Qualcomm Incorporated High-level syntax for geometry-based point cloud compression
EP4221207A4 (en) * 2020-09-25 2024-03-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. POINT CLOUD ENCODING AND DECODING METHOD AND SYSTEM, AND POINT CLOUD ENCODER AND DECODER
KR20230124673A (ko) * 2020-12-22 2023-08-25 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더
US20220210480A1 (en) * 2020-12-29 2022-06-30 Qualcomm Incorporated Hybrid-tree coding for inter and intra prediction for geometry coding
US11695938B2 (en) * 2021-01-05 2023-07-04 Dish Network Technologies India Private Limited Method and apparatus for thumbnail generation for a video device
CN112802179B (zh) * 2021-01-18 2021-12-07 南京航空航天大学 一种基于法向的大规模点云可视化方法
WO2023028177A1 (en) * 2021-08-25 2023-03-02 Innopeak Technology, Inc. Attribute coding in geometry point cloud coding
CN118743218A (zh) * 2022-03-12 2024-10-01 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
EP4250235A1 (en) * 2022-03-25 2023-09-27 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume
WO2024082153A1 (zh) * 2022-10-18 2024-04-25 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2024085653A1 (ko) * 2022-10-19 2024-04-25 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190081638A1 (en) 2017-09-14 2019-03-14 Apple Inc. Hierarchical point cloud compression
WO2019069711A1 (ja) 2017-10-05 2019-04-11 ソニー株式会社 情報処理装置および方法
WO2019070952A1 (en) 2017-10-06 2019-04-11 Interdigital Vc Holdings, Inc. METHOD AND APPARATUS FOR ENCODING / DECODING THE GEOMETRY OF A POINT CLOUD REPRESENTING A 3D OBJECT
WO2019078000A1 (ja) 2017-10-16 2019-04-25 ソニー株式会社 情報処理装置および方法
WO2019140508A1 (en) 2018-01-18 2019-07-25 Blackberry Limited Methods and devices using direct coding in point cloud compression
WO2019240167A1 (ja) 2018-06-12 2019-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063967B (zh) * 2006-04-28 2010-11-10 鸿富锦精密工业（深圳）有限公司 点云自动修剪系统及方法
US8731313B2 (en) * 2009-03-23 2014-05-20 Level Set Systems, Inc. Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
US8199977B2 (en) * 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
US9369732B2 (en) * 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US20190387212A1 (en) * 2017-05-26 2019-12-19 Lg Electronics Inc. 360 video processing method and apparatus therefor
CN107403456B (zh) * 2017-07-28 2019-06-18 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
JPWO2019065297A1 (ja) * 2017-09-29 2020-11-05 ソニー株式会社 情報処理装置および方法
CN108460791A (zh) * 2017-12-29 2018-08-28 百度在线网络技术（北京）有限公司 用于处理点云数据的方法和装置
US11588871B2 (en) * 2019-07-16 2023-02-21 Apple Inc. Streaming of volumetric point cloud content based on session description protocols and real time protocols
EP4006839B1 (en) * 2019-10-03 2024-10-16 LG Electronics Inc. Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190081638A1 (en) 2017-09-14 2019-03-14 Apple Inc. Hierarchical point cloud compression
WO2019069711A1 (ja) 2017-10-05 2019-04-11 ソニー株式会社 情報処理装置および方法
WO2019070952A1 (en) 2017-10-06 2019-04-11 Interdigital Vc Holdings, Inc. METHOD AND APPARATUS FOR ENCODING / DECODING THE GEOMETRY OF A POINT CLOUD REPRESENTING A 3D OBJECT
WO2019078000A1 (ja) 2017-10-16 2019-04-25 ソニー株式会社 情報処理装置および方法
WO2019140508A1 (en) 2018-01-18 2019-07-25 Blackberry Limited Methods and devices using direct coding in point cloud compression
WO2019240167A1 (ja) 2018-06-12 2019-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Also Published As

Publication number Publication date
JP2023510179A (ja) 2023-03-13
WO2021141346A1 (ko) 2021-07-15
EP4075804A1 (en) 2022-10-19
KR102386712B1 (ko) 2022-04-15
US20210209812A1 (en) 2021-07-08
KR20210089092A (ko) 2021-07-15
US11282239B2 (en) 2022-03-22
CN114930853A (zh) 2022-08-19
EP4075804A4 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
US11568514B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11158107B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11217037B2 (en) Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data
JP7422883B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法
JP7451576B2 (ja) ポイントクラウドデータ処理方法及び装置
KR20210040253A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7307260B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
US20220360797A1 (en) Apparatus and method for processing point cloud data
US20220383552A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102548048B1 (ko) 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
KR20210128442A (ko) 포인트 클라우드 데이터 처리 장치 및 방법
US20220368751A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7440546B2 (ja) ポイントクラウドデータ処理装置及び方法
JP7448660B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US20230186527A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2023548393A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
CN114402624B (zh) 点云数据处理设备和方法
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20240029313A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7433442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150