JP7307260B2

JP7307260B2 - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。

Info

Publication number: JP7307260B2
Application number: JP2022500120A
Authority: JP
Inventors: ユソンパク; ソチンオ
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2019-07-03
Filing date: 2020-02-13
Publication date: 2023-07-11
Anticipated expiration: 2040-02-13
Also published as: EP3992911A1; WO2021002558A1; JP2022538680A; CN114041169A; US20220377327A1; EP3992911A4

Description

実施例はユーザにＶＲ(ＶｉｒｔｕａｌＲｅａｌｉｔｙ、仮想現実)、ＡＲ(ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、拡張現実)、ＭＲ(ＭｉｘｅｄＲｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(ＰｏｉｎｔＣｌｏｕｄ)コンテンツを提供する方案を提供する。

ポイントクラウドデータは３Ｄ空間上のポイントの集合である。３Ｄ空間上のポイントの量が多くてポイントクラウドデータの生成が難しいという問題がある。

ポイントクラウドデータは、送信、符号化、復号化及びレンダリング処理の過程がリアルタイム、低遅延で行われるという要求に合わせるために、ポイントクラウドフレーム又はポイントクラウドデータをタイル(ｔｉｌｅ)又はスライス(ｓｌｉｃｅ)単位に分けることができる。

実施例による技術的課題は、上記問題などを解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び／又は受信方法を提供することにある。

実施例による技術的課題は、遅延(ｌａｔｅｎｃｙ)及び符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。

実施例による技術的課題は、ポイントクラウドデータの符号化及び復号化のためにポイントクラウドデータを分割する方法を提供することにある。

実施例による技術的課題は、ジオメトリ－ポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｐｏｉｎｔｃｌｏｕｄｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ)の属性情報(ａｔｔｒｉｂｕｔｅ)の符号化技術を改善してポイントクラウドの圧縮性能を向上させることにある。

但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。

技術的課題を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階及びポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階を含む。

実施例によれば、ポイントクラウドデータ送信方法は、獲得したポイントクラウドデータを一つ又はそれ以上のブリック(ｂｒｉｃｋ)に分割する段階と、一つ又はそれ以上のブリックに基づいてポイントクラウドデータのジオメトリ情報を符号化する段階及び一つ又はそれ以上のブリック及び／又は復元されたジオメトリ情報に基づいてポイントクラウドデータの特質情報を符号化する段階を含む。

実施例によれば、シグナリング情報は、ブリック単位に分割する段階の実行有無を示す情報及び／又はブリック単位に分割する段階を行う場合、シグナリング情報は分割を行う方法を示す情報を含む。

実施例によれば、分割を行う方法は、ポイントクラウドデータ内のポイントの密度に基づいて分割する第１方法、中心点情報及び半径情報に基づいて決定される一つ又はそれ以上のセクターに分割する第２方法、一つ又はそれ以上のレイヤに分割する第３方法、一つ又はそれ以上の球形領域に分割する第４方法、ポイントクラウドデータ内のポイントの特質情報に基づいて分割する第５方法又はポイントクラウドデータを含む３次元空間の軸長さに基づいて分割する第６方法を含む。

実施例によれば、ポイントクラウドデータ送信方法は、一つ又はそれ以上のブリックのそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する段階をさらに含み、シグナリング情報は一つ又はそれ以上のブリックのそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する方法に関する情報を含む。

実施例によれば、第６方法によりブリックを分割する段階は、３次元空間の第１軸を３次元空間の第２軸の長さ単位に第１分割する段階及び／又は３次元空間の第３軸を第２軸の長さ単位に第２分割する段階を含む。実施例によれば、シグナリング情報は、第１分割するブリックの単位を示す情報、第２分割する段階が行われたか否かを示す情報及び第２分割する段階が行われる場合、第２分割するブリックの単位を示す情報をさらに含む。

技術的課題を達成するために、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータ及びシグナリング情報を含むビットストリームを受信する段階、ポイントクラウドデータを復号する段階及び／又はポイントクラウドデータをレンダリングする段階を含む。

実施例によれば、受信したポイントクラウドデータはジオメトリビットストリーム及び特質ビットストリームを含み、復号する段階はポイントクラウドデータのジオメトリビットストリームをジオメトリ復号する段階及び／又はポイントクラウドデータの特質ビットストリームを復元されたジオメトリ情報に基づいて特質復号する段階を含む。

実施例によれば、シグナリング情報は受信したポイントクラウドデータが一つ又はそれ以上のブリック(ｂｒｉｃｋ)の単位に分割されているか否かを示す情報を含み、受信したポイントクラウドデータが一つ又はそれ以上のブリックの単位に分割されている場合、復号する段階はブリックを独立的に復号する。

実施例によれば、受信したポイントクラウドデータが一つ又はそれ以上のブリックの単位に分割されている場合、ポイントクラウドデータ受信方法は、独立的に復号されたブリック内のポイントのジオメトリ情報及びポイントの特質情報を結合する段階をさらに含む。実施例によれば、シグナリング情報は一つ又はそれ以上のブリックの分割タイプを示す情報、一つ又はそれ以上のブリックのサイズに関連する情報をさらに含む。

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、良質のポイントクラウドサービスを提供することができる。

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、様々なビデオコーデック方式を達成することができる。

実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、自立走行うサービスなどの汎用的なポイントクラウドコンテンツを提供することができる。

実施例によるポイントクラウドデータ送受信方法及び装置は、ブリックタイリング分割方法を行い、そのために必要なデータをシグナリングすることによりポイントクラウドのコーディング性能を向上させる効果を提供する。

実施例によるポイントクラウドデータ送受信方法及び装置は、実施例はポイントクラウドデータの独立的な符号化、復号化のための空間適応的分割を行うことにより、並列処理の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を提供することができる。

実施例によるポイントクラウドデータ送受信方法及び装置は、実施例は独立的なデータ分割を行うとき、空間上近い点同士に再分割が行われる効果を提供することができる。

添付図面は実施例をより明確に理解するためのものであり、実施例に関連する説明と共に実施例を示している。以下に説明する様々な実施例のより明確な理解のために、以下の図面において類似参照番号に対応する部分を含む図面に関連しては、必ず以下の実施例の説明を参照する。

実施例によるポイントクラウドコンテンツ提供システムの一例を示す。実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。実施例によるポイントクラウドエンコーダ(ＰｏｉｎｔＣｌｏｕｄＥｎｃｏｄｅｒ)の一例を示す。実施例によるボクセルの一例を示す。実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙｃｏｄｅ)の一例を示す。実施例による隣接ノードパターンの一例を示す。実施例によるＬＯＤごとのポイント構成の一例を示す。実施例によるＬＯＤごとのポイント構成の一例を示す。実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す。実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す。実施例による送信装置の一例を示す。実施例による受信装置の一例を示す。実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングのためのアーキテクチャを示す。実施例による送信装置の一例を示す。実施例による受信装置の一例を示す。実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。実施例によるポイントクラウドエンコーダを示す。実施例によるポイントクラウドエンコーダを示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。実施例によるポイントクラウドデータ送信装置のビットストリーム結合部を示す。実施例によるポイントクラウドデコーダを示す。実施例によるポイントクラウドデコーダを示す。実施例によるポイントクラウドデコーダのポイント結合部を示す。実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。実施例によるビットストリームのＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)を示す。実施例によるビットストリームのＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を示す。実施例によるビットストリームのＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)を示す。実施例によるビットストリームのジオメトリスライスヘッダ(ＧＳＨ、ＧｅｏｍｅｔｒｙｓｌｉｃｅＨｅａｄｅｒ)を示す。実施例によるビットストリームの特質スライスヘッダ(ＡＳＨ、ＡｔｔｒｉｂｕｔｅｓｌｉｃｅＨｅａｄｅｒ)を示す。実施例によるポイントクラウドデータ送信方法を示すフローチャートである。実施例によるポイントクラウドデータ受信方法を示すフローチャートである。

添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。

実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。

図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。

図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。

実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅｔｒａｎｓｃｅｉｖｅｒｓｙｓｔｅｍ)、ネットワーク、ＡＩ(ＡｒｉｔｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５ＧＮＲ(ＮｅｗＲＡＴ)、ＬＴＥ(ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(ＰｏｉｎｔＣｌｏｕｄＶｉｄｅｏＡｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(ＰｏｉｎｔＣｌｏｕｄＶｉｄｅｏＥｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。

実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。

実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(ＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(ＶｉｄｅｏｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。

実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(ＯｎＤｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。

実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５ＧＮＲ(ＮｅｗＲＡＴ)、ＬＴＥ(ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(ＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。

実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。

ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。

レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。

図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。

実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(ＦｉｅｌｄＯｆＶｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(ＧａｚｅＡｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。

実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。

実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。

図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。

図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。

図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(ＰｏｌｙｇｏｎＦｉｌｅｆｏｒｍａｔｏｒｔｈｅＳｔａｎｆｏｒｄＴｒｉａｎｇｌｅｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。

実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。

ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。

実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。

図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。

図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。

ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。

図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。

図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。

図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌｈｏｌｅ)がある場合、それを埋める動作を行うことができる。

またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。

図４は実施例によるポイントクラウドエンコーダ(ＰｏｉｎｔＣｌｏｕｄＥｎｃｏｄｅｒ)の一例を示す図である。

図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。

図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。

実施例によるポイントクラウドエンコーダは、座標系変換部(ＴｒａｎｓｆｏｒｍａｔｉｏｎＣｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(ＱｕａｎｔｉｚｅａｎｄＲｅｍｏｖｅＰｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(ＡｎａｌｙｚｅＯｃｔｒｅｅ)４０００２、表面近似分析部(ＡｎａｌｙｚｅＳｕｒｆａｃｅＡｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(ＡｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅ)４０００４、ジオメトリ再構成部(ＲｅｃｏｎｓｔｒｕｃｔＧｅｏｍｅｔｒｙ)４０００５、色変換部(ＴｒａｎｓｆｏｒｍＣｏｌｏｒｓ)４０００６、特質変換部(ＴｒａｎｓｆｅｒＡｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(ＧｅｎｅｒａｔｅｄＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(ＱｕａｎｔｉｚｅＣｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(ＡｒｉｔｈｍｅｔｉｃＥｎｃｏｄｅ)４００１２を含む。

座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。

図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。

実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。

実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。

実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。

実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。

色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、（各）要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉａｌＴｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎ－ＰｒｅｄｉｃｔｉｏｎＴｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎｗｉｔｈａｎｕｐｄａｔｅ／ｌｉｆｔｉｎｇｓｔｅｐ（ＬｉｆｔｉｎｇＴｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。

実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。

実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。

実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。

特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。

特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙｓｅａｒｃｈｔｒｅｅ)で迅速に最短隣接点探索(ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒＳｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。

図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。

実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。

実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(ＬｅｖｅｌｏｆＤｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。

実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。

実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。

実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。

図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅｍｅｍｏｒｙｄｅｖｉｃｅｓ)など)を含む。

図５は実施例によるボクセルの一例を示す図である。

図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌａｘｉｓ－ａｌｉｇｎｅｄｂｏｕｎｄｉｎｇｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。

図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙｃｏｄｅ)の一例を示す図である。

図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。

図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌａｘｉｓ－ａｌｉｇｎｅｄｂｏｕｎｄｉｎｇｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘintn、ｙintn、ｚintn)は量子化されたポイントの位置(又は位置値)を示す。

図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆｎｏｄｅ)がボクセルになるまで適用される。

図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。

実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。

従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(ＤｉｒｅｃｔＣｏｄｉｎｇＭｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。

ダイレクトコーディング(Ｄｉｒｅｃｔｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。

実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。

一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅａｖｅｒａｇｅｐｏｓｉｔｉｏｎａｌｏｎｇｔｈｅｅｄｇｅｏｆａｌｌｖｏｘｅｌｓ)。

バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。

加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。

表．Ｔｒｉａｎｇｌｅｓｆｏｒｍｅｄｆｒｏｍｖｅｒｔｉｃｅｓｏｒｄｅｒｅｄ１

アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。

図７は実施例による隣接ノードパターンの一例を示す図である。

ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔａｄａｐｔｉｖｅａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。

図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。

図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。

図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。

図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。

ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。

図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。

図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(ＥｕｃｌｉｄｅａｎＤｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。

図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤｂａｓｅｄｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。

図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。

実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。

実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。

Ａｔｔｒｉｂｕｔｅｐｒｅｄｉｃｔｉｏｎｒｅｓｉｄｕａｌｓｑｕａｎｔｉｚａｔｉｏｎｐｓｅｕｄｏｃｏｄｅ

ＡｔｔｒｉｂｕｔｅｐｒｅｄｉｃｔｉｏｎｒｅｓｉｄｕａｌｓｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎｐｓｅｕｄｏＣｏｄｅ

実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。

実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。

１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。

２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。

３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。

４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。

５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。

６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。

実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。

以下の式はＲＡＨＴ変換行列を示す。

はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。

は

と

から計算される。

と

の加重値は

と

である。

はローパス(ｌｏｗ－ｐａｓｓ)値であって、次の上位レベルでの併合過程で使用される。

はハイパス係数(ｈｉｇｈ－ｐａｓｓｃｏｅｆｆｉｃｉｅｎｔｓ)であって、各ステップでのハイパス係数は量子化されてエントロピーコーディングされる(例えば、計算エンコーダ４０００１２の符号化)。加重値は

により計算される。ルートノードは最後の

と

により以下のように生成される。

ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。

図１０は実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す図である。

図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄＡｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄｐｏｉｎｔｃｌｏｕｄ)するために使用される。

図１１は実施例によるポイントクラウドデコーダ(ＰｏｉｎｔＣｌｏｕｄＤｅｃｏｄｅｒ)の一例を示す図である。

図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。

図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。

実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅｓｕｒｆａｃｅａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅｔｒａｎｓｆｏｒｍｃｏｌｏｒｓ)１１０１０を含む。

演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐｇｅｏｍｅｔｒｙｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。

実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。

実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。

実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。

実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。

実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。

演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉａｌＴｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎ－ＰｒｅｄｉｃｔｉｏｎＴｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒｐｒｅｄｉｃｔｉｏｎｗｉｔｈａｎｕｐｄａｔｅ／ｌｉｆｔｉｎｇｓｔｅｐ (ＬｉｆｔｉｎｇＴｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。

実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。

実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。

実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。

実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。

図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。

図１２は実施例による送信装置の一例を示す。

図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。

実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。

データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。

実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。

実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。

実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。

実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。

色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。

実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。

実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。

実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。

実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。

図１３は実施例による受信装置の一例を示す。

図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。

実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。

実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。

実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。

演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。

実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。

実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。

実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。

演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。

実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。

実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。

実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。

図１４は実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングためのアーキテクチャを示す図である。

図１４の上側は図１ないし図１３で説明した送信装置(例えば、送信装置１００００、図１２の送信装置など)がポイントクラウドコンテンツを処理及び送信する過程を示す。

図１ないし図１３で説明したように、送信装置はポイントクラウドコンテンツのオディオ(Ｂａ)を得(ＡｕｄｉｏＡｃｑｕｉｓｉｔｉｏｎ)、得られたオディオを符号化(Ａｕｄｉｏｅｎｃｏｄｉｎｇ)してオディオビットストリーム(Ｅａ)を出力する。また送信装置はポイントクラウドコンテンツのポイントクラウド(Ｂｖ)(又はポイントクラウドビデオ)を確保し(ＰｏｉｎｔＡｃｑｕｓｉｔｉｏｎ)、確保したポイントクラウドについてポイントクラウド符号化(Ｐｏｉｎｔｃｌｏｕｄｅｎｃｏｄｉｎｇ)を行ってポイントクラウドビデオビットストリーム(Ｅｂを出力する。送信装置のポイントクラウド符号化は、図１ないし図１３で説明したポイントクラウド符号化(例えば、図４のポイントクラウドエンコーダの符号化など)と同一又は類似するので具体的な説明は省略する。

送信装置は生成されたオディオビットストリーム及びビデオビットストリームをファイル及び／又はセグメントにカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔｅｎｃａｐｓｕｌａｔｉｏｎ)する。カプセル化されたファイル及び／又はセグメント(Ｆｓ、Ｆｉｌｅ)は、ＩＳＯＢＭＦＦなどのファイルフォーマットのファイル又はＤＡＳＨセグメントを含む。実施例によるポイントクラウド関連メタデータ(ｍｅｔａｄａｔａ)は、カプセル化されたファイルフォーマット及び／又はセグメントに含まれる。メタデータはＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、又はファイル内で別のトラックに含まれる。実施例において、送信装置はメタデータ自体を別のファイルにカプセル化することができる。実施例による送信装置は、カプセル化されたファイルフォーマット及び／又はセグメントをネットワークにより送信する。送信装置のカプセル化及び送信処理方法は図１ないし図１３で説明した通りであるので(例えば、送信機１０００３、図２の送信段階２０００２など)、具体的な説明は省略する。

図１４の下側は図１ないし図１３で説明した受信装置(例えば、受信装置１０００４、図１３の受信装置など)がポイントクラウドコンテンツを処理及び出力する過程を示している。

実施例において、受信装置は最終オディオデータ及び最終ビデオデータを出力するデバイス(例えば、スピーカー(Ｌｏｕｄｓｐｅａｋｅｒｓ)、ヘッドホン(ｈｅａｄｐｈｏｎｅｓ)、ディスプレイ(Ｄｉｓｐｌａｙ)及びポイントクラウドコンテンツを処理するポイントクラウドプレーヤー(ＰｏｉｎｔＣｌｏｕｄＰｌａｙｅｒ)を含む。最終データ出力デバイス及びポイントクラウドプレーヤーは別の物理的なデバイスで構成される。実施例によるポイントクラウドプレーヤーは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(ＶｉｄｅｏｂａｓｅｄＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又は次世代コーディングを行う。

実施例による受信装置は受信したデータ(例えば、放送信号、ネットワークにより送信される信号など)に含まれたファイル及び／又はセグメント(Ｆ',Ｆｓ')を確保し、デカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔｄｅｃａｐｓｕｌａｔｉｏｎ)する。受信装置の受信及びデカプセル化方法は図１ないし図１３で説明した通りであるので(例えば、受信機１０００５、受信部１３０００、受信処理部１３００１など)、具体的な説明は省略する。

実施例による受信装置は、ファイル及び／又はセグメントに含まれたオディオビットストリーム(Ｅ'ａ)及びビデオビットストリーム(Ｅ'ｖ)を確保する。図示したように、受信装置はオディオビットストリームに対してオディオ復号(ａｕｄｉｏｄｅｃｏｄｉｎｇ)を行って復号されたオディオデータ(Ｂ'ａ)を出力し、復号されたオディオデータをレンダリングして(ａｕｄｉｏｒｅｎｄｅｒｉｎｇ)最終オディオデータ(Ａ'ａ)をスピーカー又はヘッドホンなどで出力する。

また受信装置は、ビデオビットストリーム(Ｅ'ｖ)に対してポイントクラウド復号(ｐｏｉｎｔｃｌｏｕｄｄｅｃｏｄｉｎｇ)を行って復号されたビデオデータ(Ｂ'ｖ)を出力する。実施例によるポイントクラウド復号は、図１ないし図１３で説明したポイントクラウド復号と同一又は類似するので(例えば、図１１のポイントクラウドデコーダの復号など)、具体的な説明は省略する。受信装置は復号されたビデオデータをレンダリングして(ｒｅｎｄｅｒｉｎｇ)最終ビデオデータをディスプレイに出力する。

実施例による受信装置は、共に送信されたメタデータに基づいてデカプセル化、オディオ復号、オディオレンダリング、ポイントクラウド復号及びレンダリング動作のうちのいずれかを行う。メタデータに関する説明は図１２及び図１３で説明した通りであるので省略する。

図示した点線のように、実施例による受信装置(例えば、ポイントクラウドプレーヤー又はポイントクラウドプレーヤー内のセンシング／トラッキング部(ｓｅｎｓｉｎｇ／ｔｒａｃｋｉｎｇ)は、フィードバック情報(ｏｒｉｅｎｔａｔｉｏｎ、ｖｉｅｗｐｏｒｔ)を生成する。実施例によるフィードバック情報は受信装置のデカプセル化、ポイントクラウド復号過程及び／又はレンダリング過程で使用され、送信装置に伝達されることもできる。フィードバック情報に関する説明は図１ないし図１３で説明した通りであるので省略する。

図１５は実施例による送信装置の一例を示す図である。

図１５の送信装置はポイントクラウドコンテンツを送信する装置であり、図１ないし図１４で説明した送信装置(例えば、図１の送信装置１００００、図４のポイントクラウドエンコーダ、図１２の送信装置、図１４の送信装置など)の例示に該当する。従って、図１５の送信装置は図１ないし図１４で説明した送信装置の動作と同一又は類似する動作を行う。

実施例による送信装置は、ポイントクラウド獲得(ｐｏｉｎｔｃｌｏｕｄａｃｑｕｉｓｉｔｉｏｎ)、ポイントクラウド符号化(ｐｏｉｎｔｃｌｏｕｄｅｎｃｏｄｉｎｇ)、ファイル／セグメントカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔｅｎｃａｐｓｕｌａｔｉｏｎ)及び送信(ｄｅｌｉｖｅｒｙ)のうちのいずれか又はそれ以上を行うことができる。

図示したポイントクラウド獲得及び送信動作は図１ないし図１４で説明した通りであるので具体的な説明は省略する。

図１ないし図１４で説明したように、実施例による送信装置はジオメトリ符号化及び特質符号化を行う。実施例によるジオメトリ符号化はジオメトリ圧縮(ｇｅｏｍｅｔｒｙｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質符号化は特質圧縮(Ａｔｔｒｉｂｕｔｅｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有する。従って、送信装置はそれぞれの特質に対して特質符号化を行う。図面では送信装置が一つ又はそれ以上の特質圧縮(Ａｔｔｒｉｂｕｔｅ＃１ｃｏｍｐｒｅｓｓｉｏｎ、… Ａｔｔｒｉｂｕｔｅ＃Ｎｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による送信装置は追加圧縮(ａｕｘｉｌｉａｒｙｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加圧縮はメタデータ(ｍｅｔａｄａｔａ)に対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また送信装置はメッシュデータ圧縮(Ｍｅｓｈｄａｔａｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。実施例によるメッシュデータ圧縮は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ符号化を含む。

実施例による送信装置はポイントクラウド符号化により出力されたビットストリーム(例えば、ポイントクラウドストリーム)をファイル及び／又はセグメントにカプセル化する。実施例において、送信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックカプセル化(ｍｅｄｉａｔｒａｃｋｅｎｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックカプセル化(ｍｅｔａｄａｔａｔｒａｃａｋｅｎｃａｐｓｕｌａｔｉｏｎ)を行う。実施例においてメタデータはメディアトラックにカプセル化される。

図１ないし図１４に説明したように、送信装置は受信装置からフィードバック情報(オリエンテーション／ビューポートメタデータ)を受信し、受信したフィードバック情報に基づいてポイントクラウド符号化、ファイル／セグメントカプセル化及び送信動作のうちのいずれかを行う。具体的な説明は図１ないし図１４に説明した通りであるので省略する。

図１６は実施例による受信装置の一例を示す図である。

図１６の受信装置はポイントクラウドコンテンツを受信する装置であり、図１ないし図１４で説明した受信装置(例えば、図１の受信装置１０００４、図１１のポイントクラウドデコーダ、図１３の受信装置、図１４の受信装置など)の例示に該当する。従って、図１６の受信装置は図１ないし図１４で説明した受信装置の動作と同一又は類似する動作を行う。また図１６の受信装置は図１５の送信装置で送信した信号などを受け、図１５の送信装置の動作の逆過程を行うことができる。

実施例による受信装置は受信(ｄｅｌｉｖｅｒｙ)、ファイル／セグメントデカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔｄｅｃａｐｓｕｌａｔｉｏｎ)、ポイントクラウド復号(ｐｏｉｎｔｃｌｏｕｄｄｅｃｏｄｉｎｇ)及びポイントクラウドレンダリング(ｐｏｉｎｔｃｌｏｕｄｒｅｎｄｅｒｉｎｇ)のうちのいずれか又はそれ以上を行う。

図示されたポイントクラウド受信及びポイントクラウドレンダリング動作は図１ないし図１４に説明した通りであるので具体的な説明は省略する。

図１ないし図１４に説明したように、実施例による受信装置はネットワーク又は格納装置から得たファイル及び／又はセグメントに対してデカプセル化を行う。実施例において、受信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックデカプセル化(ｍｅｄｉａｔｒａｃｋｄｅｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックデカプセル化(ｍｅｔａｄａｔａｔｒａｃａｋｄｅｃａｐｓｕｌａｔｉｏｎ)を行うことができる。実施例において、メタデータがメディアトラックにカプセル化された場合、メタデータトラックデカプセル化は省略される。

図１ないし図１４に説明したように、受信装置はデカプセル化により確保したビットストリーム(例えば、ポイントクラウドストリーム)に対してジオメトリ復号及び特質復号を行う。実施例によるジオメトリ復号はジオメトリ復元(ｇｅｏｍｅｔｒｙ deｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質復号は特質復元(Ａｔｔｒｉｂｕｔｅｄｅｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有し、それぞれ符号化される。従って、受信装置は各特質に対して特質復号を行う。図面では受信装置が一つ又はそれ以上の特質復元(Ａｔｔｒｉｂｕｔｅ＃１ｄｅｃｏｍｐｒｅｓｓｉｏｎ、…ｕｔｅ＃Ｎｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による受信装置は追加復元(ａｕｘｉｌｉａｒｙｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加復元はメタデータに対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また受信装置はメッシュデータ復元(Ｍｅｓｈｄａｔａｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行う。実施例によるメッシュデータ復元は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ復号を含む。実施例による受信装置はポイントクラウド復号によって出力されたポイントクラウドデータをレンダリングする。

図１ないし図１４に説明したように、受信装置は別のセンシング／トラッキングエレメントなどを用いてオリエンテーション／ビューポートメタデータを確保し、それを含むフィードバック情報を送信装置(例えば、図１５の送信装置)に送信することができる。また受信装置はフィードバック情報に基づいて受信動作、ファイル／セグメントデカプセル化及びポイントクラウド復号のうちのいずれかを行うことができる。具体的な説明は図１ないし図１４に説明した通りであるので省略する。

図１７は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。

図１７の構造はサーバー１７６０、ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のうちのいずれかがクラウドネットワーク１７１０に連結された構成を示している。ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０又は家電１７５０などは装置とも呼ばれる。またＸＲ装置１７３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。

クラウドネットワーク１７００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１７００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。

サーバー１７６０はロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のいずれかにクラウドネットワーク１７００により連結され、連結された装置１７１０～１７７０のプロセシングの少なくとも一部を助けることができる。

ＨＭＤ(Ｈｅａｄ－ＭｏｕｎｔＤｉｓｐｌａｙ)１７７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。

以下、上記技術が適用される装置１７１０～１７５０の様々な実施例について説明する。ここで、図１７に示した装置１７１０～１７５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。

＜ＰＣＣ＋ＸＲ＞

ＸＲ／ＰＣＣ装置１７３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－ＭｏｕｎｔＤｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－ＵｐＤｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。

ＸＲ／ＰＣＣ装置１７３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１７３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。

＜ＰＣＣ＋自立走行＋ＸＲ＞

自律走行車両１７２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。

ＸＲ／ＰＣＣ技術が適用された自律走行車両１７２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１７２０はＸＲ装置１７３０とは区分されて互いに連動されることができる。

ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１７２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１７２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。

この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。

実施例によるＶＲ(ＶｉｒｔｕａｌＲｅａｌｉｔｙ)技術、ＡＲ(ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ)技術、ＭＲ(ＭｉｘｅｄＲｅａｌｉｔｙ)技術及び／又はＰＣＣ(ＰｏｉｎｔＣｌｏｕｄＣｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。

即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。

但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄＲｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。

実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。

自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。

実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。

図１８は実施例によるポイントクラウドデータエンコーダを示す図である。

実施例によるポイントクラウドエンコーダ１８０００は、ポイントクラウドデータ(ＰＣＣデータ、１８０００ａ)を受信して、これらを符号化する。実施例によるポイントクラウドエンコーダは幾何情報ビットストリーム１８０００ｂ及び属性情報ビットストリーム１８０００ｃを出力する。実施例によるポイントクラウドエンコーダ１８０００は空間分割部１８００１、幾何情報符号化部１８００２及び／又は属性情報符号化部１８００３を含む。

空間分割部１８００１は、ポイントクラウドエンコーダはポイントクラウドデータ(ＰＣＣデータ、１８０００ａ)を受信し、ポイントクラウドデータを一つ又はそれ以上の３次元空間に分割する。空間分割部１８００１はポイントクラウドデータを受信し、ポイントクラウドデータを３次元ブロックに空間分割する。ポイントクラウドデータはポイント(又は複数のポイント)の幾何情報及び／又は属性情報を含む。空間分割部１８００１は境界ボックス(ｂｏｕｎｄｉｎｇｂｏｘ)及び／又は副境界ボックスなどにに基づいてポイントクラウドデータ(ＰＣＣデータ)を空間分割する。実施例による方法／装置は分割された単位(ボックス)に基づいて符号化／復号を行う。

空間分割部１８００１は図１のクラウド獲得(ＰｏｉｎｔＣｌｏｕｄＡｃｑｕｉｓｉｔｉｏｎ)１０００１、図２の獲得２００００の動作、図３ないし図５による動作、図１２のデータ入力部１２０００動作の一部／全部を行うことができる。

幾何情報符号化部１８００２は、実施例によるポイントクラウドデータ(ＰＣＣデータ)のジオメトリ情報を受信してそれを符号化する。ジオメトリ情報はポイントクラウドデータに含まれたポイントの位置情報を意味する。幾何情報符号化部１８００２はジオメトリ情報を符号化して幾何情報ビットストリームを出力する。幾何情報符号化部１８００２はポイントの位置情報を再構成して復元された幾何情報１８００２ａを出力することができる。幾何情報符号化部１８００２は復元さえた幾何情報を属性情報符号化部１８００２に伝達する。

幾何情報符号化部１８００２は、図１のポイントクラウドビデオエンコーダ(ＰｏｉｎｔＣｌｏｕｄＶｉｄｅｏＥｎｃｏｄｅｒ)１０００２、図２の符号化２０００１、図４の座標系変換部４００００、量子化４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４、ジオメトリ再構成部４０００５、図１２の量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び／又は演算コーダー１２００６の動作の一部／全部を行う。

属性情報符号化部１８００３は実施例によるポイントクラウドデータの属性情報を受信し、幾何情報符号化部１８００３から受信した復元された幾何情報を用いて属性情報を符号化する。属性情報符号化部１８００３は属性情報を符号化して属性情報ビットストリーム１８０００ｃを出力する。属性情報符号化部１８００３は例えば、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＴｒａｎｓｆｏｒｍ)変換を行う。属性情報符号化部１８００３は、例えば、予測リフト(ｐｒｅｄｉｃｔｉｏｎｌｉｆｔｉｎｇ、又は予測リフト)変換を行う。予測リフト変換は実施例による予測変換及び／又はリフト変換の各々の詳しい動作の一部又は全部を組み合わせたことを意味する。

実施例によるポイントクラウドエンコーダは、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(ＲｅｇｉｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＴｒａｎｓｆｏｒｍ)変換の一部、全部及び／又はそれぞれの組み合わせにより符号化を行う。

属性情報符号化部１８００３は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４の色変換部４０００６、属性変換部４０００７、ＲＡＴＨ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算符号化部４００１２の動作、図１２の色相変換処理部１２００８、属性変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１の動作の全部／一部を行う。

ここで、復元された幾何情報１８００２ｃは、図４で説明したジオメトリ再構成部(ＲｅｃｏｎｓｔｒｕｃｔＧｅｏｍｅｔｒｙ)４０００５により再構成された八分木及び／又は近似化された八分木を意味する。復元された幾何情報は図６で説明した占有コードを意味するか又は八分木構造を意味する。復元された幾何情報は図１２で説明した八分木占有コード生成部１２００３により生成された八分木占有コードを意味することもできる。

属性情報符号化部１８００３は、実施例によるポイントクラウドデータの属性情報を符号化する。ここで、実施例による符号化部１８００３は実施例による復元された幾何情報(又は復元されたジオメトリ情報)を用いて属性情報を符号化する。属性情報符号化部１８００３は受信されたデータを符号化して特質情報(又は属性情報)を含むビットストリームを生成することができる。

実施例による属性情報符号化部１８００３は、図４の色相変換部４０００６、属性送信部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト部４００１０、量子化部４００１１及び／又は演算符号化部４０００１２を含む。

実施例によるポイントクラウドデータは、データの特性によってカテゴリー１とカテゴリー３に分類される。カテゴリー１のデータは静的データであって、１枚のフレーム(ｆｒａｍｅ)で構成されたデータである。カテゴリー３のデータは動的データであって、Ｎ枚のフレームで構成されたデータである。ポイントクラウドデータのファイルフォーマットであるｐｌｙファイルは、データの獲得方法によって複数のポイントで構成される。

実施例によるポイントは、該当ポイントの位置情報(ジオメトリ情報)及び色相情報、反射度情報、時間情報、法線ベクトル(Ｎｏｒｍａｌｖｅｃｔｏｒ)情報などを含む属性情報(特質情報)を含む。実施例によるポイントは表現しようとする条件によって様々な情報を含む。ポイントからなるカテゴリー１とカテゴリー３のデータは大容量の点を含むフレームを含む。しかし、実施例によるポイントクラウドデータ送信装置は、かかるポイントを含むフレームを受信して符号化する場合、遅延時間と不要なリソースが多く使われるという問題がある。

従って、実施例によるポイントクラウドデータ送信装置では、ポイントクラウドデータの送信動作、符号化動作、受信装置の復号化動作、及び受信装置のレンダリング処理動作がリアルタイムで行われると共に、低遅延で処理するために、ポイントクラウドデータを複数の領域に分割する。実施例によるポイントクラウドデータ送信装置では、ポイントクラウドデータのフレームをタイル(ｔｉｌｅ)、スライス(ｓｌｉｃｅ)及び／又はブリック(ｂｒｉｃｋ)単位に分割する。

従って、実施例によるポイントクラウドデータ送信装置では、３次元ポイントクラウド(ＰｏｉｎｔＣｌｏｕｄ)データの並列処理能力の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を向上させるための独立的なデータ分割方法によってポイントクラウドデータを分割することができる。独立的なデータ分割を行うとき、空間上近い点同士に再分割が行われる方法を支援することで空間適応的分割方法を含むことができる。

実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階、及びポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階を含む。実施例によるポイントクラウドデータ送信方法は、獲得したポイントクラウドデータを一つ又はそれ以上のブリックに分割する段階、一つ又はそれ以上のブリックに基づいてポイントクラウドデータのジオメトリ情報を符号化する段階、及び／又は一つ又はそれ以上のブリック及び復元されたジオメトリ情報に基づいてポイントクラウドデータの特質情報を符号化する段階を含む。

実施例によるポイントクラウドデータ送信装置はポイントクラウドデータを分割して、それらをそれぞれ独立的に符号化することにより、ポイントクラウドデータが占有する３次元空間上の任意接続(ｒａｎｄｏｍａｃｃｅｓｓ)と並列符号化を可能にするという効果を提供する。

図１９は実施例によるポイントクラウドエンコーダを示す。

実施例によるポイントクラウドエンコーダは、データ特性調査部１９０００、ブリックタイリング部１９００１、分割されたデータ入力部１９００２、座標変換部１９００３、量子化／ボクセル化処理部１９００４、八分木占有コード生成部１９００５、表面モデル処理部１９００６、第１演算コーダー１９００７、ジオメトリ再構成部１９００８、色相変換処理部１９００９、属性変換処理部１９０１０、予測／リフト／ＲＡＨＴ変換処理部１９０１１、係数量子化処理部１９０１２、第２演算コーダー１９０１３及び／又はビットストリーム結合部１９０１４を含む。

実施例によるポイントクラウドデータエンコーダは、図１８の実施例によるポイントクラウドデータエンコーダ１８０００の一例を示す。実施例によるエンコーダ、符号化器は符号化器に、デコーダ、復号化器は復号化器と呼ばれる。

データ特性調査部１９０００は、実施例によるポイントクラウドデータを受信し、受信したポイントクラウドデータの特性を調査する。例えば、データ特性調査部１９０００は、ポイントクラウドデータのポイントが特定の領域には密に分布して特定の領域には疎らに(ｓｐａｒｓｅ)分布するか否かを調査する。データ特性調査部１９０００は、ポイントクラウドデータがＬｉＤＡＲデータや自立走行のためのデータのように複数のフレームを含むポイントクラウドシーケンスで構成されているか否かを調査する。データ特性調査部１９０００は、一つのフレーム内のポイントクラウドデータが特定の領域に集まっているか否か(例えば、左側、右側、上側、下側、前側又は後側に連続する属性情報値が集まっている場合)を調査する。データ特性調査部１９０００は、ポイントクラウドデータが表現するオブジェクトが互いに疎らに存在するか否かを調査する。データ特性調査部１９０００は、ポイントクラウドデータが占有する３次元空間が一方向に延びているかどうか(例えば、特定の軸の長さが他の軸の長さより長すぎる場合)を調査する。

タイリング部１９００１は実施例によるポイントクラウドデータを受信し、受信したポイントクラウドデータで一つ又はそれ以上のタイル、一つ又はそれ以上のスライス、又は一つ又はそれ以上のブリックを生成する。即ち、ブリックタイリング部１９００１ではポイントクラウドデータをタイル、スライス又はブリック単位に分割する。ブリックタイリング部１９００１はタイル、スライス又はブリック単位に分割されたポイントクラウドデータを出力する。

タイル(ｔｉｌｅ)とは、実施例によるポイントクラウドデータが占有する３次元空間の一部領域を意味する。実施例によるタイルは一つ又はそれ以上のスライスを含む。実施例によるタイルは一つ又はそれ以上のスライスに分割されることにより、ポイントクラウドデータエンコーダはポイントクラウドデータを並列的に符号化することができる。実施例によるタイルは一つ又はそれ以上のスライスごとにポイントクラウドデータエンコーダがデータの特性によって異なる量子化及び／又は変換を行う。

スライス(ｓｌｉｃｅ)とは、実施例によるポイントクラウドデータ送信装置及び受信装置が符号化及び復号化を行うデータの単位を意味する。スライスはポイントクラウドデータが占有する３次元空間上のデータの集合を意味するか、又はポイントクラウドデータのうち、一部のデータの集合を意味する。スライスは実施例によるタイル内に含まれたポイントの領域又はポイントの集合を意味する。実施例によるタイルは一つのタイル内に含まれたポイントの個数に基づいて一つ又はそれ以上のスライスに分割される。例えば、一つのタイルはポイントの個数ごとに分割されたポイントの集合を意味する。実施例によるタイルはポイントの個数に基づいてスライスを分割され、分割過程において一部のデータが分離(ｓｐｌｉｔ)又は併合(ｍｅｒｇｅ)される。

ブロック(ｂｌｏｃｋ)とは、スライス内に含まれたポイントクラウドデータをポイントごとに分割する単位を意味する。例えば、ブロックとは、一つのスライス内のクラウドデータが占有する３次元空間の一部領域を意味し、実施例によるポイントクラウドデータ送信装置及び受信装置が符号化及び復号化を行う細部単位を意味する。

ブリック(ｂｒｉｃｋ)とは、実施例によるブロック又はスライスを意味する。即ち、ブリックはスライス又はポイントクラウドデータを分割するポイントの集合又は領域を意味することもできる。実施例においては、ブリックを領域とも呼ぶ。

実施例によるブリックタイリング部１９００１では、点密度基盤のブリックタイリング、円形セクターブリックタイリング、レイヤブリックタイリング、球形／楕円形領域タイリング、属性基盤のブリックタイリング及び軸基盤の適応型分割方法のように、データの特性によって分ける方法の色々変形した方法に基づいて分割を行う。分割を行う方法は、以下の図２１ないし図２６で後述する。

例えば、データ特性調査部１９０００によりポイントクラウドデータのポイントが特定の領域に密に分布し、特定の領域に疎らに(ｓｐａｒｓｅ)分布していることが確認された場合、それに基づいてブリックタイリング部１９００１は点密度基盤のブリックタイリング方法で分割を行う。

例えば、ブリックタイリング部１９００１は、データ特性調査部１９０００によりポイントクラウドデータがＬｉＤＡＲデータや自立走行のためのデータのように複数のフレームを含むポイントクラウドシーケンスで構成されていることが確認された場合は、円形のセクターブリックタイリング方法で分割を行う。ブリックタイリング部１９００１は、データ特性調査部１９０００により一つのフレーム内のポイントクラウドデータが特定の領域に集まっていることが確認された場合は、レイヤブリックタイリング方法で分割を行う。ブリックタイリング部１９００１は、データ特性調査部１９０００によりポイントクラウドデータが表現するオブジェクトが互いに疎らに存在することが確認された場合は、球形／楕円形領域タイリングに基づいて分割を行う。データ特性調査部１９０００は、ポイントクラウドデータが占有する３次元空間が一方向に延びている場合は、軸基盤の適応型分割方法で分割を行う。

実施例によれば、ポイントクラウドデータは複数のスライスに分割することができる。ポイントクラウドデータを複数のスライスに分割する方法は色々ある。実施例によるスライス内に含まれたポイントクラウドデータは独立的に符号化が行われる。実施例によるポイントクラウドデータ送信装置及び受信装置は、スライス単位で独立的に符号化及び復号化を行うことにより、符号化及び復号化の過程で反復されるエラーを防止することができる。

スライスは、ポイントクラウドデータ内のポイントクラウドフレームを符号化のために分割する単位を意味する。ポイントクラウドデータはスライス分配構成(ｓｌｉｃｅｐａｒｔｉｔｉｏｎｉｎｇｓｃｈｅｍｅ)によって複数のスライスに分割される。

ポイントクラウドデータを複数のスライスに分割する方法の実施例によれば、色連続性(ｃｏｌｏｒｃｏｎｔｉｎｕｉｔｙ)を保障するために、色情報の分散(ｖａｒｉａｎｃｅ)情報に基づいて分割する方法がある。例えば、特定のポイントクラウド又はポイントクラウドデータの領域内の色情報の分散情報が第１閾値より大きければ、該当データ又は領域を非平滑(ｎｏｎ－ｓｍｏｏｔｈ)ブロックと見なし、全体ポイントクラウドデータにおいて非平滑ブロックの比重が第２閾値より大きければ、非平滑ブロックに該当するブロック(又は非平滑ブロック内に含まれた一部のポイント)を抽出して第１スライスとして分離し、残りの分離されていないクラウドデータは第２スライスとして分離する。実施例によれば、第１スライスと第２スライスを分離するために色情報の分散情報を計算し、色情報の分散情報はｋｄ－ｔｒｅｅを用いることができる。

実施例によるｋ－ｄｔｒｅｅ(ｋｄツリー)は、二分木(ｂｉｎａｒｙｔｒｅｅ)の一種であって、ｋ次元の空間の分割のための階層を示す。Ｋｄ－ｔｒｅｅスキームはポイントクラウドデータのスライスへの分割をジオメトリ－適応的に行う方法を意味する。

実施例によれば、スライスはブリック、ブロック、マクロブロック(ｍａｃｒｏｂｌｏｃｋ)及び／又はタイルなどの色々な用語に呼ばれる。

分割されたデータ入力部１９００２はブリックタイリング部１９００１により出力された分割されたポイントクラウドデータを受信する。分割されたデータ入力部１９００２は、それぞれのブリック(又はスライス又はタイル)内のポイントの位置情報(ジオメトリ情報)及びポイントの属性情報(特質情報)を出力する。分割されたデータ入力部１９００２はブリック単位に(又はスライス又はタイル単位に)ポイントの位置情報を座標変換部１９００３に伝達し、ポイントの属性情報を色相変換処理部１９００９に伝達する。

実施例によるデータ特性調査部１９０００、ブリックタイリング部１９００１及び／又は分割されたデータ入力部１９００２は、図１８の空間分割部１８００１内に含まれる。

座標系変換部１９００３は実施例によるポイントの位置情報(ジオメトリ情報)を受信し、それらの座標情報を変換する。座標系変換部１９００３は変換された座標情報を量子化／ボクセル化処理部１９００４に伝達する。座標系変換部１９００３は図４の座標系変換部４００００の動作を行う。

量子化／ボクセル化処理部１９００４は座標変換部１９００３によりポイントの位置情報に対して量子化及び／又はボクセル化を行う。量子化／ボクセル化処理部１９００４は量子化及び／又はボクセル化が行われたポイントの位置情報(ジオメトリ情報)を八分木占有コード生成部１９００５に送信する。量子化／ボクセル化処理部１９００４は図４の量子化及びボクセル化処理部４０００１、図１２のボクセル化処理部１２００２の動作を行う。

八分木占有コード生成部１９００５は量子化及び／又はボクセル化されたジオメトリ情報を受信し、それらに基づいて八分木占有コード(Ｏｃｔｒｅｅｏｃｃｕｐａｎｃｙｃｏｄｅ)を生成する。八分木占有コードは実施例によるポイントの位置情報を表現するデータ構造を含む。八分木占有コード生成部１９００５は八分木占有コードを第１演算コーダー１９００７、表面モデル処理部１９００６及び／又はジオメトリ再構成部１９００８に伝達する。八分木占有コード生成部１９００５は図４の八分木分析部４０００２、図１２の八分木占有コード生成部１２００３の動作を行う。

表面モデル処理部１９００６は実施例による八分木占有コードを受信して表面モデルを処理する。表面モデル処理部１９００６は表面モデル処理されたジオメトリ情報を出力して、第１演算コーダー１９００７に送信する。表面モデル処理部１９００６は、図４の表面近似分析部４０００３、図１２の表面モデル処理部１２００４の動作を行う。

第１演算コーダー１９００７は実施例による八分木占有コード及び／又は表面モデル処理が行われた八分木占有コードを受信して、それらを符号化する。第１演算コーダー１９００７はジオメトリビットストリームを出力する。第１演算コーダー１９００７はジオメトリビットストリームをビットストリーム結合部に送信する。第１演算コーダー１９００７は図４の演算符号化４０００４、図１２の演算コーダー１２００６の動作を行う。

第１演算コーダー１９００７は分割されたデータ入力部１９００２に該当ブリック(又はスライス又はタイル)に関するジオメトリ情報の符号化実行有無に関連する情報を送信する。

ジオメトリ再構成部１９００８は実施例による八分木占有コード及び／又は表面モデル処理が行われた八分木占有コードを受信し、それらに基づいてジオメトリ情報を再構成する。ジオメトリ再構成部１９００８は実施例によるモールトンコードを生成し、それらに基づいてジオメトリ情報を再構成する。ジオメトリ再構成部１９００８は図４のジオメトリ再構成部４０００５の動作を行う。

色相変換処理部１９００９は実施例によるポイントの属性情報を受信し、属性情報の色相情報の変換を行う。色相変換処理部は変換処理された属性情報を出力し、これらを属性変換処理部１９０１０に送信する。色相変換処理部１９００９は図４の色相変換部４０００６、図１２の色相変換処理部１２００８の動作を行う。

属性変換処理部１９０１０は実施例によるポイントの位置情報、実施例による色相変換処理部１９００９により色相変換が処理された属性情報及び／又はジオメトリ再構成部１９００８により再構成されたジオメトリ情報をマッピングして属性変換処理を行う。属性変換処理部１９０１０は、図４の属性伝達部４０００７、１２の属性変換処理部１２００９の動作を行う。

予測／リフト／ＲＡＨＴ変換処理部１９０１１は属性変換処理部１９０１０により変換処理された属性情報を予測(Ｐｒｅｄｉｃｔｉｏｎ)、リフト(ｌｉｆｔｉｎｇ)及び／又はＲＡＨＴ方法によって変換を行う。予測／リフト／ＲＡＨＴ変換処理部１９０１１は予測、リフト及び／又はＲＡＨＴ方法によって変換された属性情報を出力し、それらを係数量子化処理部１９０１２に送信する。予測／リフト／ＲＡＨＴ変換処理部１９０１１は図４のＲＡＨＴ４０００８、ＬＯＤ生成部４０００９及び／又はリフト４００１０、図１２の予測／リフト／ＲＡＨＴ変換処理部１２０１０の動作を行う。

係数量子化処理部１９０１２は予測／リフト／ＲＡＨＴ変換処理部１９０１１により変換された属性情報を受信して、それらを量子化する。係数量子化処理部１９０１２は量子化された属性情報を第２演算コーダー１９０１３に送信する。係数量子化処理部１９０１２は図４の係数量子化部４００１１の動作を行う。

第２演算コーダー１９０１３は係数量子化処理部１９０１２により量子化された属性情報を受信し、それらを符号化する。第２演算コーダー１９０１３は符号化された属性情報を含む属性ビットストリームを出力する。第２演算コーダー１９０１３は属性ビットストリームを出力し、それらをビットストリーム結合部１９０１４に送信する。

第２演算コーダー１９０１３は分割されたデータ入力部１９００２に該当ブリック(又はスライス又はタイル)に関する特質情報の符号化実行有無に関連する情報を送信する。第２演算コーダー１９０１３は図４の演算符号化部４００１２、図１２の演算コーダー１２０１１の動作を行う。

ビットストリーム結合部１９０１４は実施例によるジオメトリビットストリーム及び／又は属性情報ビットストリームを結合する。ビットストリーム結合部１９０１４は実施例によるブリック(又はスライス又はタイル)単位にジオメトリビットストリーム及び属性ビットストリームを結合する。

実施例によるポイントクラウドデータ送信装置は、データ特性調査部１９０００、ブリックタイリング部１９００１、分割されたデータ入力部１９００２、及びビットストリーム結合部１９０１４を含む。実施例によるポイントクラウドデータ送信装置は、例えば、ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｆｉｌｔｅｒ情報に対応して、ブリックタイリング部でポイントクラウドデータを一つ又はそれ以上のブリックに分割する。実施例によるポイントクラウドデータはブリックタイリング部１９００１によりＮ個の領域に分割されて、分割されたデータ入力部１９００２に入力される。分割されたＮ個のブリックのそれぞれに対して、それぞれのブリック内のポイントクラウドデータがポイントの位置情報及びポイントの属性情報に分かれて符号化される。Ｎ個のブリックのそれぞれに対して符号化過程が行われると、実施例によるビットストリーム結合部１９０１４において符号化されたポイントの位置情報及びポイントの属性情報が一つのビットストリームに結合される。

実施例によるポイントクラウドデータ送信装置は、ブリックタイリング部１９００１を用いてポイントクラウドデータを一つ又はそれ以上のブリック単位に分割し、分割されたブリック単位で符号化を行うことにより、領域ごとに符号化を行うことができ、この場合、実施例によるポイントクラウドデータ受信装置に必要な領域のデータとより重要ではない領域を区分して効率的に符号化を行うことができる。かかる構成によりポイントクラウドデータ送信装置は符号化効率を高めることができる。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータを一つ又はそれ以上のタイル、スライス、ブロック及び／又はブリックに分割し、分割されたそれぞれの単位に対して互いに異なる量子化(ｑｕａｎｔｉｚａｔｉｏｎ)を設定することができる。かかる方法によりポイントクラウドデータを分割することにより、ポイントクラウドデータエンコーダは重要度が異なるポイントを差等して符号化することができる。また、ポイントクラウドデータ受信装置は差等して符号化されたデータを効率的に復号化してユーザに重要な情報を迅速に提供することができる。

ポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のブリック単位に分割し、分割されたブリック単位で符号化を行うことにより、データの特性に最適化した符号化方法を提供する。例えば、特定の領域に密に分布するポイントを含むポイントクラウドデータである場合、ポイントが密に分布する領域を細かく分割して符号化することにより、符号化の時に発生し得るエラーを抑えることができる。例えば、ＬｉＤＡＲデータや自立走行のような複数のフレームで構成されたデータのシーケンスでは、後述する円形セクターブリックタイリング方法でポイントクラウドデータを分割して符号化することにより、フレームごとの符号化エラーを軽減することができる。

実施例によるポイントクラウドデータ送信装置及び受信装置は、スライス単位で独立的に符号化及び復号化を行うことにより、符号化及び復号化の過程で繰り返されるエラーを防止することができる。

実施例によるポイントクラウドデータの送信装置では、ポイントクラウドデータの送信、符号化／復号化、レンダリングなどの様々な処理状況で発生し得る要求事項ごとに適応的に行われる分割方法に基づく分割動作を行うことにより、リアルタイム処理、低遅延及び並列処理が可能なポイントクラウドコンテンツを提供する。

図２０は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

実施例によるポイントクラウドデータはポイントクラウドデータを受信し、ポイントクラウドデータを一つ又はそれ以上のブリックに分割する。例えば、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１は、ポイントクラウドデータを一つ又はそれ以上のブリック又は領域に分割することができる。

図２０の左側イメージ２００００は実施例によるポイントクラウドデータを示す。ポイントクラウドデータは複数のタイプのポイントクラウドデータ(例えば、ＬｉＤＡＲデータなど)に区分される。ポイントクラウドデータのタイプはポイントクラウドデータのポイントが密に分布するか或いは疎らに分布するかによって分類される。

図２０の右側イメージ２０００１は図２０の左側イメージ２００００のポイントクラウドデータを３つのブリックに分割する動作を示す。実施例によるポイントクラウドデータを３つのブリックに分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。

図２０の右側イメージ２０００１を参照すると、実施例によるブリックタイリング部１９００１は図２０の左側イメージ２００００のポイントクラウドデータを第１ブリック２０００１ａ、第２ブリック２０００１ｂ及び第３ブリック２０００１ｃに分割する。実施例によるブリックタイリング部１９００１はポイントクラウドデータのタイプに基づいてポイントクラウドデータを分割する。実施例によるブリックは同等な意味の範囲内で他の名称に呼ばれることもできる。

実施例による分割を行う方法は、ポイントクラウドデータ内のポイントの密度に基づいて分割する第１方法、中心点情報及び半径情報に基づいて決定される一つ又はそれ以上のセクターに分割する第２方法、一つ又はそれ以上のレイヤに分割する第３方法、一つ又はそれ以上の球形領域に分割する第４方法、ポイントクラウドデータ内のポイントの特質情報に基づいて分割する第５方法、及びポイントクラウドデータを含む３次元空間の軸の長さに基づいて分割する第６方法を含む。

実施例によるポイントクラウドデータ送信装置は、図１８及び図１９で説明したように、ポイントクラウドデータをタイル、スライス及び／又はブリック単位に分割することにより、ポイントクラウドデータが占有する３次元空間上の任意接続(ｒａｎｄｏｍａｃｃｅｓｓ)と並列符号化を可能にする効果を提供する。

図２１は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２１(ａ)はポイントクラウドデータが占有する３次元空間２１Ａ００を示す。実施例によるポイントクラウドデータエンコーダは実施例によるポイントクラウドデータを符号化する。実施例によるポイントクラウドデータエンコーダは、実施例によるポイント２１Ａ０１又は３次元空間２１Ａ００を一つ又はそれ以上の分割された領域２１Ａ０２に分割し、分割された領域に含まれたポイントに対して独立的に実施例による符号化を行う。

ポイントクラウドデータが占有する３次元空間２１Ａ００は実施例によるポイントクラウドデータを含む。３次元空間２１Ａ００はポイントクラウドデータを示す複数のポイント２１Ａ０１を含む。

複数のポイント２１Ａ０１は実施例によるポイントクラウドデータを構成する単位である。実施例によるポイントクラウドデータエンコーダはそれぞれの複数のポイント２１Ａ０１の位置情報及び属性情報を符号化する。

分割された領域２１Ａ０２は実施例によるポイントクラウドデータのポイント２１Ａ０１の一部を含む。実施例によるポイントクラウドデータエンコーダはポイントクラウドデータの特性に基づいてポイントクラウドデータを一つ又はそれ以上の分割された領域２１Ａ０２に分割する。実施例による分割された領域２１Ａ０２はタイルに対応するか、スライスに対応するか、ブリックに対応するか、又はブロックに対応する。

ポイントクラウドデータの特性はポイント２１Ａ０１の密度に関連する特性である。例えば、実施例によるポイントクラウドデータは矢印２１Ａ０３の方向にポイントが密に分布したデータである。従って、実施例によるポイントクラウドデータエンコーダはポイントの密度に基づいてポイントクラウドデータを一つ又はそれ以上の分割された領域２１Ａ０２に分割することができる。

例えば、実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータを第１ブリック２１Ａ０２－１及び第２ブリック２１Ａ０２－２を含む分割された領域２１Ａ０２に分割することができる。第１ブリック２１Ａ０２－１は複数のポイントのうち、相対的に疎らに分布したポイントを含む領域である。第２ブリック２１Ａ０２－２は複数のポイントが相対的に密に分布するポイントを含む領域である。実施例によれば、ポイントが密に分布する第２ブリック２１Ａ０２－２は、ポイントが疎らに分布する第１ブリック２１Ａ０２－１よりもブリックのサイズが大きい。

図２１(ｂ)はポイントクラウドデータが占有する３次元空間２１Ａ００を一つ又はそれ以上の領域に分割する方法及び各ブリックに対して符号化を行う過程を示す。具体的には、図２１(ｂ)はポイントクラウドデータのポイントの密度に基づいてポイントクラウドデータを一つ又はそれ以上のブリックに分割することを示す。かかるポイントクラウドデータの分割方法を点密度基盤のブリックタイリングと呼ぶ。

実施例による点密度基盤のブリックタイリングは、実施例によるポイントの密度又はポイントの距離によって、実施例によるポイントクラウドデータを一つ又はそれ以上のブリックに分割することを意味する。実施例によれば、分割されたブリックは一つの３次元ブロック或いは２つ以上のブロックの束で構成される。

図２１(ｂ)の動作は図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。図２１(ｂ)に示す過程は、ポイントクラウドデータを受信する段階(２１Ｂ００)、ブリック分割実行有無を判断する段階(２１Ｂ０１)、ブリック個数を決定する段階(２１Ｂ０２)、ポイントの密度を計算する段階(２１Ｂ０３)、各ブリックに対してポイントの密度による量子化係数を決定する段階(２１Ｂ０４)、（各）ブリックごとに符号化を行う段階(２１Ｂ０５)及び／又はブリックごとにビットストリームを出力する段階(２１Ｂ０６)を含む。

ポイントクラウドデータを受信する段階(２１Ｂ００)では実施例によるポイントクラウドデータを受信する。

ブリック分割実行有無を判断する段階(２１Ｂ０１)は受信ポイントクラウドデータを一つ又はそれ以上のブリック(又はスライス又はタイル)に分割するか否かを決定する段階である。

ブリック分割実行有無を判断する段階(２１Ｂ０１)は受信ポイントクラウドデータ内のポイントのｘ座標値、ｙ座標値及び／又はｚ座標値に基づいてブリック分割実行有無を判断する段階である。

ブリック分割実行有無を判断する段階(２１Ｂ０１)では、受信ポイントクラウドデータのタイプに基づいてブリック分割を行うか否かを決定する。ブリック分割実行有無を判断する段階(２１Ｂ０１)はブリック分割実行有無を示すｂｒｉｃｋ_ｔｉｌｉｎｇ_ｆｉｌｔｅｒ情報を生成する段階である。

ブリック個数を決定する段階(２１Ｂ０２)では、ブリック分割実行有無を判断する段階でブリック分割を決定した場合、ポイントクラウドデータをいくつのブリックに分割するかを決定する。ブリック個数を決定する段階(２１Ｂ０２)において、分割するブリックの個数は受信ポイントクラウドデータのタイプに基づいて決定される。

ポイントの密度を計算する段階(２１Ｂ０３)は、実施例によるポイントの密度を計算し、計算した密度に基づいてポイントクラウドデータを一つ又はそれ以上のブリックに分割する段階である。実施例によれば、ポイントの密度はポイントが占有する体積ごとのポイントの個数、又はポイント間の距離の平均などに基づいて定義される。実施例によれば、（各）ブリックごとのポイントの密度は可変的に決定される。

各ブリックに対してポイントの密度による量子化係数を決定する段階(２１Ｂ０４)では、実施例によるポイントクラウドデータエンコーダがポイントの密度によって可変的に復号化を行うために密度による量子化係数を決定する。

（各）ブリックごとに符号化を行う段階(２１Ｂ０５)は、実施例によるポイントクラウドデータエンコーダが（各）ブリックごとにポイントクラウドデータを符号化する動作を意味する。実施例によれば、分割されたそれぞれのブリックはポイントクラウドデータエンコーダの設定によって流動的に変更される。ポイントクラウドデータエンコーダは分割情報を知らせるための情報(例えば、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ)などの情報を生成する。

ブリックごとのビットストリームを出力する段階(２１Ｂ０６)は、ポイントクラウドデータエンコーダが、ポイントクラウドデータが各ブリック単位で符号化が行われて出力されたビットストリームを出力する動作を意味する。

実施例によるポイントクラウドデータ送信装置は、実施例による点密度基盤のタイリングを行うことにより、一つのフレーム内の領域ごとにポイントの密度が異なるように分布するシーケンスを効果的に符号化することができる。

実施例によるポイントクラウドデータ送信装置は、実施例による点密度基盤のタイリングを行うことにより、ポイントの密度によって低密度のブリックに対して倍率(ＳｃａｌｉｎｇＦａｃｔｏｒ)を下げることができ、ジオメトリ情報の圧縮率を上げることができる。また、高密度のポイントを含むブリックは倍率を上げて、位置情報を精密に表現する効果を提供することができる。

図２２は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２２はポイントクラウドデータエンコーダが、ポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２２Ａ００を一つ又はそれ以上の円形セクター２２Ａ０２に分割することを示す。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータを分割された円形セクター２２Ａ０２ごとに符号化する。図２２に示すポイントクラウドデータを分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。

実施例によるセクター２２Ａ０２は、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、又はブロックに対応する。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータ２２Ａ００を、基準軸２２Ａ０１を基準として一つ又はそれ以上の円形セクター２２Ａ０２に分割する。ポイントクラウドデータを一つ又はそれ以上の円形セクター形態のブリックに分割する動作を円形セクターブリックタイリングとも呼ぶ。

ポイントクラウドデータ２２Ａ００はポイントクラウドデータ送信装置が獲得したポイントクラウドデータを意味する。ポイントクラウドデータ２２Ａ００は複数のポイントを含む。

基準軸２２Ａ０１はポイントクラウドデータを一つ又はそれ以上の円形セクター２２Ａ０２に分割するために基準となる軸を意味する。基準軸２２Ａ０１はポイントクラウドデータが占有する３次元空間(例えば、境界ボックス)の中心を示す。例えば、基準軸は３次元空間のｘ軸及びｙ軸の中心であり、ｘ－ｙ平面において鉛直方向である軸である。例えば、基準軸は３次元空間のｙ軸及びｚ軸の中心であり、ｙ－ｚ平面において鉛直方向である軸である。例えば、基準軸は３次元空間のｘ軸及びｚ軸の中心であり、ｘ－ｚ平面において鉛直方向である軸である。

実施例によれば、ポイントクラウドデータは円形セクターの原点を含む基準軸２２Ａ０１を基準としてポイントクラウドデータを一つ又はそれ以上の円形セクターに分割する。実施例によれば、一つ又はそれ以上の円形セクターが決定されると、（各）単位ごとに位置情報或いは属性情報を含むポイントを含むことができる。

実施例による基準軸２２Ａ０１は中心点情報を示す情報に基づいて決定される。実施例による中心点情報は、例えば、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚである。実施例による基準軸２２Ａ０１は中心点情報を経、３次元空間のｘ軸、ｙ軸及びｚ軸のうち、軸の長さが最も短い軸方向に決定される。

円形セクター２２Ａ０２は実施例によるポイントクラウドデータを分割するブリックを意味する。円形セクター２２Ａ０２はポイントを含む。円形セクター２２Ａ００は基準軸と中心として中心角２２Ａ０２－１だけ放射する形態で弧状に構成された領域を意味する。

実施例によれば、分割されたそれぞれの円形セクター２２Ａ０２は互いに同一又は異なる半径２２Ａ０２－１を有する。円形セクター２２Ａ０２の半径２２Ａ０２－１はポイントクラウドデータの密度に基づいて決定される。実施例による半径２２Ａ０２－１はｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓで示される。

実施例によるポイントクラウドデータエンコーダは様々な中心角２２Ａ０２－２を有する円形セクター２２Ａ０２に分割される。実施例によるポイントクラウドデータエンコーダは各円形セクターの中心角を決定する。円形セクターの中心角はポイントクラウドデータの密度に基づいて決定される。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータが複数のフレームで構成される場合、ポイントクラウドデータに含まれた客体の移動方向２２Ａ０３に基づいて分割領域の模様を決定する。ポイントクラウドのデータが複数のフレームで構成される場合、ポイントクラウドデータに含まれた客体の移動方向(例えば、青色矢印の方向)を定義することができる。実施例による客体の移動方向はｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒで示される。

実施例による境界ボックス(ポイントクラウドデータが占有する３次元空間)の情報は１フレームごとに定義され、各フレームの座標情報(例えば、ｘ、ｙ、ｚ情報)により決定される。実施例によれば、全フレームに同じ境界ボックスの情報を適用する時、境界ボックス情報フラグ(ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ)が送信される。

実施例によれば、ポイントクラウドデータエンコーダは、それぞれのフレームに対して量子化係数、ジオメトリ圧縮方法、属性圧縮方法、単一の属性／多重の属性を異なるようにして符号化を行う。

実施例によるポイントクラウドデータエンコーダは、円形セクターブリックタイリングを行うことにより、ＬｉＤＡＲデータや自立走行のためのデータのような複数のフレームを含むデータシーケンスで効果的に符号化を行うことができる。

実施例によるポイントクラウドデータエンコーダは、円形セクターブリックタイリングを行うことにより、ブリックの半径情報と角度のみでブリックをシグナリングすることができるので、受信装置の複雑度を減少できる。また、円形セクターブリックタイリングを行うことにより、同じ円形セクター内の点の分布が同一であるとき、位置情報予測による符号化を向上させることができる。

図２３は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２３はポイントクラウドデータエンコーダが、ポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２３Ａ００を一つ又はそれ以上のレイヤ２３Ａ０１又は２３Ａ０２に分割することを示す。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータを分割されたレイヤ２３Ａ０２ごとに符号化する。図２３に示したポイントクラウドデータを分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータ２３Ａ００を一つ又はそれ以上のレイヤ２３Ａ０１に分割する。実施例によるポイントクラウドデータを一つ又はそれ以上のレイヤ２３Ａ０１に分割する方法はレイヤブリックタイリングとも呼ばれる。

実施例によるレイヤ２３Ａ０１は、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、又はブロックに対応する。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割する前、ポイントクラウドデータを整列する。ポイントクラウドデータエンコーダは、ポイントクラウドデータを昇順、降順又はモールトンコードの順に整列する。実施例によるポイントクラウドデータ整列動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１又はデータ特性調査部１９０００で行われる。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータの整列方法を示す情報(例えば、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ)を生成し、それをビットストリーム形態で送信する。

レイヤ２３Ａ０１、２３Ａ０２はポイントクラウドデータが占有する３次元空間のｘ軸、ｙ軸又はｚ軸の一定の範囲に含まれたポイントクラウドデータの集合を意味する。即ち、レイヤ２３Ａ０１、２３Ａ０２は点の集合で構成される。

図２３の左側イメージに示したレイヤ２３Ａ０１は、図２３の左側イメージのように、一定の範囲のｙ座標情報を有する全てのポイントクラウドデータのポイントの集合を意味する。従って、実施例によれば、ポイントクラウドデータはポイントのｙ座標情報の範囲において複数のレイヤで構成される。かかる図２３の左側イメージに示したレイヤはｘ－ｚレイヤ(又はｙ方向レイヤ)とも呼ばれる。

図２３の右側イメージに示したレイヤ２３Ａ０２は、図２３の右側イメージのように、一定の範囲のｘ座標情報を有する全てのポイントクラウドデータのポイントの集合を意味する。従って、実施例によれば、ポイントクラウドデータはポイントのｘ座標情報の範囲において複数のレイヤで構成される。かかる図２３の右側イメージに示したレイヤはｙ－ｚレイヤ(又はｘ方向レイヤ)とも呼ばれる。

同様にポイントクラウドデータはポイントのｚ座標情報の範囲において複数のレイヤで構成される。かかる図２３の左側イメージに示したレイヤはｘ－ｙレイヤ(又はｚ方向レイヤ)とも呼ばれる。実施例によれば、ポイントクラウドデータは一つ又はそれ以上のｘ方向レイヤ、ｙ方向レイヤ又はｚ方向レイヤに分割される。

実施例によるポイントクラウドデータはポイントの時間順の移動側に基づいて形成された複数のレイヤで構成されることもできる。

実施例によるポイントクラウドデータエンコーダは、一つ又はそれ以上のレイヤに対して漸進的コーディングを行うことができる。実施例による漸進的コーディングは、整列されたレイヤ単位で漸進的に符号化を行うことを意味する。

実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割することにより、１フレーム内のポイントクラウドデータが特定の領域に集まっている場合(例えば、左側、右側、上側、下側、前側又は後側に連続する属性情報値が集まっている場合)のデータ特性において圧縮が効果的に適用される。

実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割することにより、ブリック内の位置情報の連関度を向上させて符号化効率を高めることができる。

図２４は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２４はポイントクラウドデータエンコーダが、ポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２４Ａ００を一つ又はそれ以上の球形／楕円形領域２４００１ａないし２４００１ｆに分割すことを示す。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータを一つ又はそれ以上の球形／楕円形領域２４００１ａないし２４００１ｆごとに符号化する。図２４に示したポイントクラウドデータを分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。

実施例において球形／楕円形領域２４００１a－２４００１ｆは、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、又はブロックに対応する。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータ２４０００内において重要な領域に位置するポイントを正確に符号化し、重要ではない部分の符号化は適切に行う。例えば、ポイントクラウドデータ２４０００が、図２４に示したように、特定の都市を示すデータ２４０００である場合、ポイントクラウドデータエンコーダの符号化過程において正確な符号化が必要な部分があり得る。例えば、図２４の円形又は楕円形で表示された領域２４００１ａないし２４００１ｆは符号化過程において正確な符号化が必要な部分である可能性がある。特に、ポイントクラウドデータは膨大な反面、正確な符号化が必要な領域が特定の領域に特定されている場合、全てのポイントクラウドデータに対して符号化を行うと、送受信過程で遅延が発生し得る。

従って、実施例によるポイントクラウドデータエンコーダでは、ポイントクラウドデータの効率的な符号化のために、ポイントクラウドデータ２４００を一つ又はそれ以上の球形領域(又は楕円形領域)２４００１ａないし２４００１ｆに分割し、分割された球形領域２４００１ａないし２４００１ｆに対して符号化を行う。

ポイントクラウドデータ２４０００は一つ又はそれ以上のポイントを含むデータである。ポイントクラウドデータ２４０００は特定の方法の符号化が必要な領域(又は符号化において正確な符号化が必要な領域など)を一つ又はそれ以上含む。特定の方法の符号化が必要な領域は、図２４の２４００１ａ及び２４００１ｂで示したように円形(又は球形)に形成されるか、又は図２４の２４００１ｃないし２４００１ｆで示したように楕円形(又は潰れた球形)に形成される。前者のように円形(又は球形)に形成された領域は球形領域(又は円形ブリック)とも呼ばれる。後者のように楕円形(又は潰れた球形)に形成された領域は楕円形領域(又は長球形領域)とも呼ばれる。

ポイントクラウドデータが一つ又はそれ以上の球形領域又は楕円形領域に分割される方法は球形／楕円形領域タイリングとも呼ばれる。

実施例によれば、ポイントクラウドデータが球面座標系又は地理座標系に基づいて表現される場合、ポイントクラウドデータは球形領域に分割できる。実施例によれば、ブリックの形態によって様々な座標系(円筒座標系など)が使用される。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータを一つ又はそれ以上の球形領域２４００１ａ、２４００１ｂ又は楕円形領域２４００１ｃないし２４００１ｆに分割することができる。実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータのブリックが球形領域又は楕円形領域であるか否かを示す球形／楕円形領域の利用フラグ(ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ)を生成し、それをビットストリーム内に含めて送信する。

実施例によるポイントクラウドデータエンコーダは、球形領域及び／又は楕円形領域のそれぞれに関する情報を生成してそれをビットストリーム内に含めて送信する。例えば、ポイントクラウドデータは球形領域又は楕円形領域のそれぞれの模様に関連する情報を含む。

球形領域２４００１ａ、２４００１ｂは球形状(Ｓｐｈｅｒｅ)に構成されたブリックを意味する。球形領域２４００１ａ、２４００１ｂは境界ボックス内の円形又は球形領域内のポイントクラウドデータのポイントの集合を意味する。ポイントクラウドデータエンコーダは、球形領域２４００１ａ、２４００１ｂのそれぞれに関する中心点情報(例えば、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ)、半径情報(ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ)を生成し、それらをブリックのそれぞれに対してビットストリーム形態で送信する。

楕円形領域２４００１ｃないし２４００１ｆは楕円形又は長球形(Ｐｒｏｌａｔｅ)に構成されたブリックを意味する。楕円形領域２４００１ｃないし２４００１ｆは境界ボックス内の円形又は球形領域内のポイントクラウドデータのポイントの集合を意味する。ポイントクラウドデータエンコーダは、楕円形領域２４００１ｃないし２４００１ｆのそれぞれに関する中心点情報(例えば、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ)、半径情報(ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ)、方位角情報(ａｚｉｍｕｔｈ_ａｎｇｌｅ)を生成し、それらをブリックのそれぞれに対してビットストリーム形態で送信する。

実施例によるポイントクラウドデータ送信装置は、球形／楕円形領域タイリングを用いることにより、ＬｉＤＡＲデータの中でも事物が疎らに存在し、空間上においてデータに客体が存在する部分と存在しない部分が明らかなシーケンスで効果的に符号化を行うことができる。

実施例によるポイントクラウドデータ送信装置は、球形／楕円形領域タイリングを用いることにより、ＶＰ－ｔｒｅｅなどのように位置情報が円形に分散されているデータに対して高い圧縮率を提供することができる。

図２５は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２５はポイントクラウドデータエンコーダが、ポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２５０００を属性基盤の領域２５００１ないし２５００３に分割することを示す。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータを一つ又はそれ以上の属性基盤の領域２５００１ないし２５００３ごとに符号化することができる。図２５に示したポイントクラウドデータを分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。

実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータ２５０００内のポイントの属性情報に基づいて分割する。例えば、ポイントクラウドデータエンコーダは、ポイントクラウドデータを構成する属性(色相、反射度、透明度、時間情報、客体インデックスなど)によって一つ又はそれ以上の領域を構成する。実施例による属性情報に基づく領域の分割方法は、属性基盤の領域タイリング(例えば、属性基盤のブリックタイリング)とも呼ばれる。

図２５の左側イメージは境界ボックス内の複数のポイント２５０００ａないし２５０００ｃを示す。複数のポイントは、例えば、赤色系の色相を有するポイント(Ｐ０、Ｐ２、Ｐ４、Ｐ５)、青色系の色相を有するポイント(Ｐ７、Ｐ８、Ｐ９)及び緑色系の色相を有するポイント(Ｐ１、Ｐ３、Ｐ６)を含む。実施例によるポイントクラウドデータエンコーダは、例えば、ポイントの色相によって一つ又はそれ以上の領域(例えば、ブリック)に分割することができる。

図２５の右側イメージは複数のポイント２５０００ａないし２５０００ｃが３つのブリック２５００１、２５００２、２５００３に分割されたことを示す。例えば、赤色系の色相を有するポイント(Ｐ０、Ｐ２、Ｐ４、Ｐ５)は第１ブリック２５００１に、青色系の色相を有するポイント(Ｐ７、Ｐ８、Ｐ９)は第２ブリック２５００２に、及び緑色系の色相を有するポイント(Ｐ１、Ｐ３、Ｐ６)は第３ブリック２５００３に分割される。

実施例によるポイントクラウドデータは、複数のポイントを属性情報に基づいて一つ又はそれ以上の領域に分割する前に、複数のポイントの属性情報を調査する。複数のポイントの属性情報を調査する動作は、図１９のデータ特性調査部１９０００により行われる。例えば、実施例によるポイントクラウドデータは、ポイントのうち、赤色系のポイントを調査することができる。例えば、赤色系のポイントを調査する動作はポイントのＲＧＢ情報の値に基づいて行われる。

実施例によるポイントクラウドデータ送信装置(エンコーダ)は、ポイントクラウドデータに対して実施例による属性基盤の領域タイリングを行ったか否かを示す情報をビットストリーム形態で送信することができる。また実施例によるポイントクラウドデータ送信装置(エンコーダ)は、属性基盤の領域タイリングが行われた場合、分割する基準となる属性タイプ(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ)をビットストリーム形態で送信することができる。実施例による分割の基準は複数の属性タイプを含み、この基準は属性情報値の範囲(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ)或いは属性情報値(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ)である。

実施例によるポイントクラウドデータ送信装置は、実施例による属性基盤の領域タイリングを用いることにより、属性情報値が一つであるか又は類似する値に対応する複数のジオメトリ情報が多く含まれたシーケンスで効果的な符号化を行うことができる。

図２６は実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。

図２６はポイントクラウドデータエンコーダが、ポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２６０００を境界ボックスの軸の長さに基づいて分割された領域２６００１、２６００２に分割することを示す。実施例によるポイントクラウドデータエンコーダは、実施例によるポイントクラウドデータを一つ又はそれ以上の境界ボックスの軸の長さに基づいて分割された領域２６００１、２６００２ごとに符号化することができる。図２６に示したポイントクラウドデータを分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１により行われる。実施例によれば、境界ボックスの軸の長さに基づいて分割された領域２６００１、２６００２(例えば、ブリック)に分割する動作は、適応的軸長さ基盤の領域タイリング(又は適応的軸長さ基盤のブリックタイリング)とも呼ばれる。

ポイントクラウドデータ２６０００は一つ又はそれ以上のポイントを含む。ポイントクラウドデータは３次元空間(例えば、境界ボックス)内に含まれる。実施例による３次元空間(例えば、境界ボックスはｘ軸、ｙ軸及びｚ軸で表現される。

ポイントクラウドデータ２６０００は、例えば、ｘ軸、ｙ軸及びｚ軸のうちのいずれかの長さが残りの２つの長さより短いか又は顕著に短い。例えば、１つの軸を除いた２つの軸に広く分散されている形態の地形を表現するポイントクラウドデータが存在する。ポイントクラウドデータの送信装置が軸の長さとは関係なく境界ボックス内のポイントに対して符号化を行う場合、符号化の効率が落ちる。従って、ポイントクラウドデータ送信装置は、３次元空間の軸の長さに適応して一つ又はそれ以上の領域に分割する必要がある。従って、実施例によるポイントクラウドデータ送信装置は、ｘ軸、ｙ軸及びｚ軸の互いの相対的な長さを計算し、計算した相対的な長さに基づいてポイントクラウドデータを一つ又はそれ以上の領域に分割することができる。

実施例によるポイントクラウドデータ送信装置(例えば、図１８のタイル分割部１８０００、又は図１９のタイリング部１９００１)は、３次元空間のｘ軸の長さ２６０００ｘ、ｙ軸の長さ２６０００ｙ及びｚ軸の長さ２６０００ｚのうち、最長長さの軸(例、Ｘ軸)の長さを最短長さの軸(例えば、Ｚ軸)の長さ単位に分割して一つ又はそれ以上のスライス(又は第１ブリック、２６００１)を構成することができる。１つ又はそれ以上のスライス(又は第１ブリック)に分かれたデータは並列的に符号化及び復号可能な単位である。

実施例によるポイントクラウドデータ送信装置(例えば、図１８のタイル分割部１８０００、又は図１９のタイリング部１９００１)は、第１ブリックのうちの一部のブリック２６００１に対して再分割を行うことができる。実施例による再分割では、第１ブリックのうちの一部のブリックに対して、最長長さの軸(即ち、図２６の２６００１ブリックではｙ軸、２６０００ｙ)を最短長さの軸(例えば、ｘ軸又はｚ軸)の長さ単位に分割して一つ又はそれ以上の細部スライス(又は第２ブリック、２６００２)を構成する。一つ又はそれ以上の細部スライス(又は第２ブリック)に分かれたデータは並列的に符号化及び復号可能な単位である。

実施例によるポイントクラウドデータ送信装置は、第１ブリック内のポイントの最大個数と最小個数(ｍａｘＰｏｉｎｔＮｕｍ、ｍｉｎＰｏｉｎｔＮｕｍ)により、空間上のデータ分布によらず、点のｍｉｎ／ｍａｘ情報に基づいて分割を行うこともできる。

実施例によるポイントクラウドデータ送信装置は、第１ブリック又は第２ブリックを領域内のポイントの個数、領域のそれぞれが割り当てる空間のサイズ、領域内に含まれたポイントの密度に基づいて、再び再分割を行うか否かを決定する。実施例によれば、空間上に再分割を行う場合、空間適応的に行うことができ、単純に特定の軸で分ける方法以外にも中間軸を基準として再分割するなどの方法でスライスを分割することができる。

従って、実施例によるポイントクラウドデータ送信方法は、３次元空間の第１軸を３次元空間の第２軸の長さ単位に第１分割する段階、及び／又は３次元空間の第３軸を第２軸の長さ単位に第２分割する段階に基づいて、ポイントクラウドデータの分割を行うことができる。

実施例によるポイントクラウドデータ送信装置は、実施例による適応的軸長さ基盤の領域タイリングを用いることにより、大きい地形地物を含むポイントクラウドデータの一つのフレーム内で空間単位に連関関係があるシーケンスで効果的に符号化を行うことができる。実施例によるポイントクラウドデータ受信装置は、大きい地形地物を含むポイントクラウドデータに対して効果的に復号化を行うことができる。

図２７は実施例によるポイントクラウドデータ送信装置のビットストリーム結合部を示す。

ビットストリーム結合部２７０００を示す。ビットストリーム結合部２７０００はジオメトリビットストリーム２７０００ａ及び／又は特質ビットストリーム２７０００ｂを受信する。ビットストリーム結合部２７０００は受信したジオメトリビットストリーム２７０００ａ及び特質ビットストリーム２７０００ｂを結合してビットストリーム２７０００ｃを出力する。

ビットストリーム結合部２７０００は領域単位で符号化が行われたジオメトリビットストリーム２７０００ａ及び領域単位で符号化が行われた特質ビットストリーム２７０００ｂを受信してこれらを結合する。ビットストリーム結合部２７０００は領域単位のビットストリーム２７０００ｃを出力する。実施例によれば、ビットストリーム結合部２７０００は、図１９ないし図２６により分割された一つ又はそれ以上の領域に該当するポイントクラウドデータが符号化されたビットストリーム２７０００a、２７０００ｂを受信してこれらを結合する。従って、ビットストリーム結合部２７０００は図１９ないし図２６による領域単位にビットストリーム２７０００ｃを出力することができる。

ビットストリーム結合部２７０００は図１９のビットストリーム結合部１９０１４を意味する。ジオメトリビットストリーム２７０００ａと特質ビットストリーム２７０００ｂは図１９のジオメトリビットストリーム及び属性ビットストリームを意味する。ジオメトリビットストリーム２７０００ａと特質ビットストリーム２７０００ｂは図１８のジオメトリビットストリーム１８００ｂ及び属性情報ビットストリーム１８０００ｃを意味する。

ビットストリーム結合部２７０００は実施例によるジオメトリビットストリーム２７０００ａ及び特質ビットストリーム２７０００ｂを結合する結合実行部２７００１を含む。結合実行部２７００１は上述したジオメトリビットストリーム２７０００ａ及び特質ビットストリーム２７０００ｂを受信してこれらを領域別に結合してビットストリーム２７０００ｃを出力する。

ビットストリーム結合部２７０００はジオメトリビットストリーム２７０００ａと特質ビットストリーム２７０００ｂをどのような順に結合するか、どのように結合を行うかを決定する。結合を行う方法は、多重化(Ｍｕｌｔｉｐｌｅｘｉｎｇ)、ＭＶＣビット列結合、順次結合、重要度基盤の結合などの方法がある。実施例による結合を行う方法は、受信したジオメトリビットストリーム２７０００ａ及び／又は特質ビットストリーム２７０００ｂの特定(例えば、色々な属性のビットストリーム、属性ビットストリームの存在有無、ジオメトリと特質ビットストリームの量子化程度、ビットストリームの長さ、タイリングの有無など)によって決定又は選択される。ポイントクラウドデータエンコーダは、結合されたジオメトリビットストリームと特質ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報(ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ)を生成し、これらをビットストリーム形態で送信する。実施例によれば、ビットストリームの送信特性によって特定の結合方法が固定的に使用されることができる。

よって、実施例によるポイントクラウドデータ送信方法は、一つ又はそれ以上の領域のそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する段階をさらに含む。

実施例によるポイントクラウドデータ送信装置は、ビットストリーム結合部２７０００を構成することにより、図１９ないし図２６により分割された領域が符号化されて生成されたビットストリームを領域ごとに送信することができる。従って、実施例によるポイントクラウドデータ受信装置は、領域ごとに受信したポイントクラウドデータをシグナリング情報と共に効率的に復号を行うことができる。

図２８は実施例によるポイントクラウドデコーダを示す。

実施例によるポイントクラウドデコーダ２８０００は幾何情報復号化部２８００１及び／又は属性情報復号化部２８００２を含む。実施例によれば、ポイントクラウドデコーダはＰＣＣ復号化器、ＰＣＣ復号化部、ポイントクラウド復号化器、ポイントクラウド復号化部、ＰＣＣデコーダなどとも呼ばれる。

幾何情報復号化部２８００１はポイントクラウドデータの幾何情報ビットストリーム２８０００ａを受信する。幾何情報復号化部２８００１はポイントクラウドデータの幾何情報ビットストリーム２８０００ａを復号化(復号)して復元されたポイントクラウドデータ２８０００ｃの特質情報を出力する。幾何情報復号化部２８００１は幾何情報ビットストリームをジオメトリ情報で再構成して復元された幾何情報２８００１を出力する。幾何情報ビットストリーム２８０００ａは図１８ないし図２６の幾何情報ビットストリーム、ジオメトリビットストリームを意味する。属性情報ビットストリーム２８０００ｂは図１８ないし図２６の属性情報ビットストリーム、特質ビットストリームを意味する。

幾何情報復号化部２８００１は入力された幾何情報ビットストリームを復号化して幾何情報を復元する。復元された幾何情報は属性情報復号化部に入力される。属性情報復号化部２８００２は入力された属性情報ビットストリームと幾何情報復号化部から入力された復元された幾何情報が入力された属性情報を復元する。復元された幾何情報は図１１で説明したジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔｇｅｏｍｅｔｒｙ)１１００３により再構成されたジオメトリを意味する。復元された幾何情報は図１３で説明した占有コード基盤の八分木再構成処理部１３００３により再構成された八分木占有コードを意味することもできる。

幾何情報復号化部２８００１は実施例による受信装置が受信した幾何情報ビットストリームを受信する。幾何情報復号化部２８００１は幾何情報ビットストリームを復号化することができる。

幾何情報復号化部２８００１は図１のポイントクラウドビデオデコーダの動作、図２の復号２０００３、図１０のジオメトリデコーダの動作、図１１で説明した演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び／又は座標系逆変換部１１００４の動作の全部／一部を行う。

属性情報復号化部２８００２はポイントクラウドデータの属性情報ビットストリーム２８０００ｂを受信する。属性情報復号化部２８００２はポイントクラウドデータの属性情報ビットストリーム２８０００ｂを復号化(復号)して復元されたポイントクラウドデータ２８０００ｃの特質情報を出力する。属性情報復号化部２８００２は幾何情報復号化部２８００１により生成された復元された幾何情報２８００１ａに基づいて属性情報ビットストリームを復号化(復号)する。

属性情報復号化部２８００２は実施例による受信装置が受信した属性情報ビットストリームを受信する。属性情報復号化部は復元された幾何情報に基づいて属性情報ビットストリームの属性情報を復号化する。ポイントクラウドデータに含まれた幾何情報及び／又は属性情報は復号化されて復元されたＰＣＣデータであり得る。

属性情報復号化部２８００２は図１のポイントクラウドビデオデコーダ、図２の復号２０００３の動作、図１０で説明した特質デコーダ(ａｔｔｒｉｂｕｔｅｄｅｃｏｄｅｒ)の動作、図１１の逆量子化部１１００６、ＲＡＨＴ１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色相逆変換部１１０１０の動作、図１３で説明した演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１の動作の一部又は全部を行う。

よって、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータ及びシグナリング情報を含むビットストリームを受信する段階、ポイントクラウドデータを復号する段階及び／又はポイントクラウドデータをレンダリングする段階を含む。受信したポイントクラウドデータはジオメトリビットストリーム及び特質ビットストリームを含む。実施例によるポイントクラウドデータを復号する段階は、ポイントクラウドデータのジオメトリビットストリームをジオメトリ復号する段階及び／又はポイントクラウドデータの特質ビットストリームを復元されたジオメトリ情報に基づいて特質復号する段階を含む。受信したポイントクラウドデータが一つ又はそれ以上の領域の単位に分割されている場合、復号する段階は領域を独立的に復号することができる。

図２９は実施例によるポイントクラウドデコーダを示す。

図２９の実施例によるポイントクラウドデコーダは図２８の実施例によるポイントクラウドデータデコーダ２８０００を意味する。実施例によるポイントクラウドデコーダは受信部２９０００、分割されたデータ入力部２９００１、第１演算デコーダ２９００２、占有コード基盤の八分木再構成処理部２９００３、表面モデル処理部２９００４、ジオメトリ再構成部２９００５、座標逆変換部２９００６、第２演算デコーダ２９００７、逆量子化処理部２９００８、予測／リフト／ＲＡＨＴ逆変換処理部２９００９、属性再構成部２９０１０、色相逆変換部２９０１１及び／又はポイント結合部２９０１２を含む。

図２９に示した実施例によるポイントクラウドデータデコーダの構成要素はブリック単位で行われ、ブリック単位で独立的に行われることもできる。

受信部２９０００は実施例によるポイントクラウドデータを含むビットストリームを受信する。受信部２９０００は受信したビットストリームを分割されたデータ入力部２９００１に送信する。受信部２９０００は図１の受信１０００７、図２の送信２０００２、図１３の受信部１３０００の動作を行う。

分割されたデータ入力部２９００１は実施例によるポイントクラウドデータを含むビットストリームをブリック単位で受信し、ブリック単位で復号を行うために、ブリック単位でポイントクラウドデータのジオメトリビットストリームと属性ビットストリームを出力する。分割されたデータ入力部２９００１はブリック単位のジオメトリビットストリームを第１演算デコーダ２９００２に送信し、ブリック単位の属性ビットストリームを第２演算デコーダ２９００２に送信する。

分割されたデータ入力部２９００１は、受信部２９０００により受信したビットストリームに含まれた、ブリック単位に符号化されたことを示すシグナリング情報(例えば、ｂｉｓｔｒｅａｍ_ｂｒｉｃｋ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ)が存在する場合(又はブリック単位に符号化されたことを指示する場合)、実施例によるポイントクラウドデータ受信装置は受信ビットストリームに対してＮ回の復号動作が行われる。分割されたデータ入力部２９００１は図１の受信１０００７、図２の送信２０００２、図１３の受信処理部１３００１の動作を行う。

第１演算デコーダ２９００２はブリック単位にジオメトリビットストリームを受信する。第１演算デコーダ２９００２はジオメトリビットストリームを復号化する。第１演算デコーダ２９００２は復号化されたジオメトリ情報を出力する。

第１演算デコーダ２９００２は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の演算復号部１１０００、図１３の演算デコーダ１３００２の動作を行う。

占有コード基盤の八分木再構成処理部２９００３は復号化されたジオメトリ情報を受信する。占有コード基盤の八分木再構成処理部２９００３はブリック単位のジオメトリビットストリームに基づいて占有(ｏｃｃｕｐａｎｃｙ)基盤の八分木(ｏｃｔｒｅｅ)を再構成する。占有コード基盤の八分木再構成処理部２９００３は再構成された八分木を表面モデル処理部２９００４に送信する。

占有コード基盤の八分木再構成処理部２９００３は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の八分木分析部１１００１、図１３の占有コード基盤の八分木再構成処理部１３００３の動作を行う。

表面モデル処理部２９００４は第１演算デコーダ２９００２により復号されたジオメトリ情報及び／又は占有コード基盤の八分木再構成処理部２９００３により再構成された八分木に基づいてジオメトリ情報の表面モデル処理を行う。ジオメトリ情報の表面モデル処理は、例えば、三角形再構成動作、アップ－サンプリング動作、ボクセル化動作を含む。

表面モデル処理部２９００４は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の表面近似分析部１１００２、図１３の表面モデル処理部１３００４の動作を行う。

ジオメトリ再構成部２９００５は、表面モデル処理部２９００４により表面モデル処理されたジオメトリ情報を受信する。ジオメトリ再構成部は表面モデル処理されたジオメトリ情報を再構成する。ジオメトリ再構成部２９００５は再構成されたジオメトリ情報を予測／リフト／ＲＡＨＴ逆変換処理部２９００９及び／又は座標逆変換部２９００６に送信する。

ジオメトリ再構成部２９００５は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のジオメトリ再構成部１１００３の動作を行う。

座標逆変換部２９００６はジオメトリ再構成部２９００５により生成されたジオメトリ情報の座標情報を逆変換する。座標逆変換部２９００６はジオメトリ情報を逆変換してポイントクラウドデータのポイントの位置情報を出力する。座標逆変換部２９００６はポイントの位置情報をポイント結合部２９０１２に送信する。

座標逆変換部２９００６は該当ポイントに対応するブリックに対してジオメトリ復号が行われたことを示す情報を分割されたデータ入力部２９００１に送信する。

座標逆変換部２９００６は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の座標逆変換部１１００４の動作を行う。

第２演算デコーダ２９００７はブリック単位にジオメトリビットストリームを受信する。第２演算デコーダ２９００７は属性ビットストリーム(特質ビットストリーム)を復号化する。第２演算デコーダ２９００７は復号化された特質情報を出力する。

第２演算デコーダ２９００７は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の演算復号１１００５、図１３の演算デコーダ１３００７の動作を行う。

逆量子化処理部２９００８は第２演算デコーダ２９００７により生成された復号化された特質情報を受信する。逆量子化処理部２９００８は受信した復号化された特質情報を逆量子化する。逆量子化処理部２９００８は逆量子化された特質情報を出力し、逆量子化された特質情報を予測／リフト／ＲＡＨＴ逆変換処理部２９００９に送信する。

逆量子化処理部２９００８は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の逆量子化部１１００６、図１３の演算デコーダ１３００７の動作を行う。

予測／リフト／ＲＡＨＴ逆変換処理部２９００９は、逆量子化処理部２９００８により逆量子化されたジオメトリ情報を受信して、それらを逆変換する。予測／リフト／ＲＡＨＴ逆変換処理部２９００９は逆量子化された特質情報を予測方法(Ｐｒｅｄｉｃｔｉｏｎ)、リフト方法(ｌｉｆｔｉｎｇ)、ＲＡＨＴ方法のうちのいずれかに基づいて逆変換する。予測／リフト／ＲＡＨＴ逆変換処理部２９００９はジオメトリ再構成部２９００５により再構成されたジオメトリ情報(又は復元されたジオメトリ情報)に基づいて特質情報を逆変換する。

予測／リフト／ＲＡＨＴ逆変換処理部２９００９は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のＲＡＨＴ１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９の動作を行う。

属性再構成部２９０１０は予測／リフト／ＲＡＨＴ逆変換処理部２９００９により逆変換された特質情報に基づいて属性情報を再構成する。属性再構成部は再構成された属性情報を出力し、それを色相逆変換処理部２９０１１に送信する。

属性再構成部２９０１０は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の色相逆変換部１１０１０、図１３の色相逆変換処理部１３０１０の動作を行う。

色相逆変換部２９０１１は属性再構成部２９０１０により再構成されたジオメトリ情報を受信する。色相逆変換部２９０１１は再構成されたジオメトリ情報を色相逆変換する。色相逆変換部２９０１１はポイントクラウドデータのポイントの属性情報を出力する。

色相逆変換部２９００６は該当ポイントに対応するブリックに対して特質復号が行われたことを示す情報を分割されたデータ入力部２９００１に送信する。属性再構成部２９０１０は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の色相逆変換部１１０１０、図１３の色相逆変換処理部１３０１０の動作を行う。

ポイント結合部２９０１２は実施例によるポイントクラウドデータのポイントのジオメトリ情報(位置情報)及び／又はポイントの特質情報(属性情報)を受信する。ポイント結合部２９０１２はブリック単位のポイントクラウドデータのポイントのジオメトリ情報(位置情報)及び／又はポイントの特質情報(属性情報)を受信し、これらをブリック単位に結合する。ポイント結合部２９０１２はポイントの位置情報と属性情報を含むブリック単位のポイントクラウドデータを出力する。

実施例によるポイントクラウドデータ受信方法は、受信したポイントクラウドデータが一つ又はそれ以上のブリックの単位に分割されている場合、復号する段階では、独立的に復号されたブリック内のポイントのジオメトリ情報及びポイントの情報を結合する段階をさらに含む。

図３０は実施例によるポイントクラウドデコーダのポイント結合部を示す。

ポイント結合部３０００を示す。ポイント結合部３００００はポイントのジオメトリ情報３００００ａ及び／又はポイントの特質情報３００００ｂを受信する。ポイント結合部３００００は受信したポイントのジオメトリ情報３００００ａ及びポイントの特質情報３００００ｂを結合してポイントクラウドデータ３００００ｃを出力する。ポイント結合部３００００は結合実行部３０００１を含む。

結合実行部３０００１はブリック又はタイルごとにポイントのジオメトリ情報及びポイントの特質情報を受信する。ポイント結合部３００００はブリック又はタイルごとにポイントのジオメトリ情報及びポイントの特質情報を受信して、それらを結合方法に基づいて結合する。

実施例による結合方法は、多重化、ＭＶＣビット列結合、順次結合、重要度基盤の結合などの方法のうちのいずれかの逆過程に基づく動作を意味する。実施例によるポイントクラウドデコーダはポイントの位置値(ジオメトリ情報)とポイントの属性値(特質情報)がそれぞれ復号化されると、どの結合方法を使用して位置値と属性値の結合を行うかを決定する。

実施例による結合実行部３０００１は、一つの位置値(ジオメトリ情報)に一つの属性値(特質情報)を１：１マッピングすることができる。実施例による結合実行部３０００１は、一つの位置値(ジオメトリ情報)に一つの属性値(特質情報)を１：１マッピングできない場合は、損失結合方法を使用する。例えば、特定の位置値(ジオメトリ情報)に存在した属性値(特質情報)は存在せず、一つの位置値に複数の属性値が存在することができる。実施例による損失結合方法は、複数の特質情報がマッピングされる場合には、重複属性値表示(ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ)によりポイントの情報を構成することができる。

実施例によるポイントクラウドデコーダ(例えば、ポイント結合部３００００、結合実行部３０００１)は、ポイントクラウドデータ受信装置が受信するビットストリーム内に含まれた、結合方法を示す情報(例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ)に基づいてポイントのジオメトリ情報とポイントの特質情報を結合することができる。

ポイントのジオメトリ情報３００００ａは実施例によるポイントクラウドデコーダが復号化したジオメトリビットストリームを意味する。ポイントジオメトリ情報３００００ａは図２９の座標逆変換部２９００６で出力されるポイントのジオメトリ情報、図２８の幾何情報復号化部２８００１で出力された復号化されたジオメトリ情報を意味する。

ポイントの特質情報３００００ｂは実施例によるポイントクラウドデコーダが復号化した特質ビットストリームを意味する。ポイント特質情報３００００ｂは図２９の色相逆変換処理部２９０１１で出力されるポイントの特質情報、図２８の属性情報復号化部２８００１で出力された復号化された特質情報を意味する。

図３１は実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。

実施例によるポイントクラウドデータ送信装置は、図３１に示すようなビットストリーム構造を有するビットストリーム３１０００を送信する。ポイントクラウドデータのビットストリーム３１０００は、ＳＰＳ(ＳｅｑｕｅｎｔｉａｌＰａｒａｍｅｔｅｒＳｅｔ)３１００１、ＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)３１００２、ＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)３１００３、ＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)３１００４及び一つ又はそれ以上のスライス(ｓｌｉｃｅ０、ｓｌｉｃｅ１ …ｓｌｉｃｅｎ)３１００４を含む。ポイントクラウドデータのビットストリーム３１０００は一つ又はそれ以上のタイルを含む。実施例によるタイルは一つ又はそれ以上のスライスを含むスライスのグループである。実施例によるビットストリーム３１０００はポイントクラウドデータを領域ごとに分けて処理できるようにタイル又はスライスを提供する。実施例によるビットストリーム３１０００のそれぞれの領域は互いに異なる重要度を有する。従って、ポイントクラウドデータはタイルに分かれる場合、（各）タイルごとに異なるフィルタ(符号化方法)、異なるフィルタユニットを適用することができる。ポイントクラウドはスライスに分かれる場合、（各）スライスごとに異なるフィルタ、異なるフィルタユニットを適用することができる。

実施例によるポイントクラウドデータ送信装置は、図３１のようなビットストリーム３１０００の構造によってポイントクラウドデータを送信することにより、重要度によって異なる符号化動作を適用し、高品質の符号化方法を重要な領域に使用する方案を提供することができる。

実施例によるポイントクラウドデータ受信装置は、受信装置の処理能力(ｃａｐａｃｉｔｙ)によってポイントクラウドデータの全体に複雑な復号化(フィルタリング)方法を使用する代わりに、領域ごとに(タイルに分かれたか又はスライスに分かれた領域)互いに異なるフィルタリング(復号化方法)を適用することにより、ユーザに重要な領域により良質の画質とシステム上適切な遅延(ｌａｔｅｎｃｙ)を保障することができる。

ＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)３１００１は、それぞれのスライスセグメントヘッダ(ｓｌｉｃｅｓｅｇｍｅｎｔｈｅａｄｅｒ)内のシンタックスエレメント(ｓｙｎｔａｘｅｌｅｍｅｎｔ)により参照されるＰＰＳ内のシンタックスエレメントのコンテンツにより決定される０個又はそれ以上の全体ＣＶＳに適用されるシンタックスエレメントを含むシンタックス構造である(ＡｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｃｏｎｔａｉｎｉｎｇｓｙｎｔａｘｅｌｅｍｅｎｔｓｔｈａｔａｐｐｌｙｔｏｚｅｒｏｏｒｍｏｒｅｅｎｔｉｒｅＣＶＳｓａｓｄｅｔｅｒｍｉｎｅｄｂｙｔｈｅｃｏｎｔｅｎｔｏｆａｓｙｎｔａｘｅｌｅｍｅｎｔｆｏｕｎｄｉｎｔｈｅＰＰＳｒｅｆｅｒｒｅｄｔｏｂｙａｓｙｎｔａｘｅｌｅｍｅｎｔｆｏｕｎｄｉｎｅａｃｈｓｌｉｃe ｓｅｇｍｅｎｔｈｅａｄｅｒ)。ＳＰＳは実施例によるポイントクラウドデータビットストリームのシーケンス情報を含む。

ＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)３１００２は、０個又はそれ以上の全体ジオメトリ(又は符号化されたジオメトリ)が適用されるシンタックスエレメント(ｓｙｎｔａｘｅｌｅｍｅｎｔｓ)を含むシンタックス構造(ｓｙｎｔａｘｓｔｒｕｃｔｕｒｅ)を意味する。実施例によるＧＰＳ３１００２は、一つ又はそれ以上のスライス３１００４に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＧＰＳ３１００２は実施例によるどのＳＰＳ３１００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＧＰＳを識別するＧＰＳ識別子情報を含む。

ＡＰＳ(ＡｔｔｒｉｂｕｔｅＰａｒａｍｅｔｅｒＳｅｔ)３１００３は、０個又はそれ以上の全体特質(又は符号化された特質)が適用されるシンタックスエレメントを含むシンタックス構造を意味する。実施例によるＡＰＳ３１００３は、一つ又はそれ以上のスライス３１００４に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＡＰＳ３１００３は実施例によるどのＳＰＳ３１００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＡＰＳを識別するＧＰＳ識別子情報を含む。

ＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)３１００４は、０個又はそれ以上の全体タイル(又は符号化されたタイル)が適用されるシンタックスエレメントを含むシンタックス構造を意味する。タイルインベントリーは実施例によるポイントクラウドデータビットストリームに含まれた０個又はそれ以上のタイルに関する情報を含む。タイルインベントリーは実施例によってＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)とも呼ばれる。

ＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)３１００４は、一つ又はそれ以上のタイルを識別する識別子情報及び一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報を含む。一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報は、該当タイルが示す境界ボックスの基準となる点の座標情報(例えば、Ｔｉｌｅ(ｎ).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０)及び該当境界ボックスの幅、高さ及び深さに関する情報(例えば、Ｔｉｌｅ(ｎ).ｔｉｌｅ_ｂｏｕｄｎｉｎｇ_ｂｏｘ_ｗｈｄ)を含む。複数のタイルが存在する場合、タイルインベントリー(ＴｉｌｅＩｎｖｅｎｔｏｒｙ)３３００４はタイルのそれぞれに対する境界ボックスを示す情報を含む。例えば、各タイルがタイルの識別子情報によって０ないしｎで表現される場合、各タイルの境界ボックスを示す情報は、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ…などのように表現される。

スライス３１００４は実施例によるポイントクラウドデータの送信装置がポイントクラウドデータを符号化するための単位を意味する。実施例によるスライス３１００４は一つのジオメトリビットストリーム(Ｇｅｏｍ００)３１００４ａ及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)３１００４ｂ、３１００４ｂを含む単位を意味する。

スライス３１００４は該当スライス内に含まれたポイントクラウドデータのジオメトリ情報を示すジオメトリスライス(Ｇｅｏｍｅｔｒｙｓｌｉｃｅ、Ｇｅｏｍ)３１００４ａ及び該当スライス内に含まれたポイントクラウドデータの特質情報を示す一つ又はそれ以上の特質スライス(Ａｔｔｒｉｂｕｔｅｓｌｉｃｅ、Ａｔｔｒ)３１００４ｂ、３１００４ｃを含む。

ジオメトリスライス(Ｇｅｏｍｅｔｒｙｓｌｉｃｅ、Ｇｅｏｍ)３１００４ａはポイントクラウドデータのジオメトリ情報を含むジオメトリスライスデータ(ＧｅｏｍｅｔｒｙｓｌｉｃｅＤａｔａ、Ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)３１００４ａ－２及びジオメトリスライスデータに関する情報を含むジオメトリスライスヘッダ(ＧｅｏｍｅｔｒｙｓｌｉｃｅＨｅａｄｅｒ、Ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＧＳＨ)３１００４ａ－１を含む。

ジオメトリスライスヘッダ３１００４ａ－１は該当スライス内のジオメトリスライスデータ３１００４ａ－２に関する情報を含む。例えば、ジオメトリスライスヘッダ３１００４ａ－１はどのＧＰＳ３１００２が該当スライスのジオメトリ情報を示すかを識別するためのジオメトリパラメータセット識別子(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、該当ジオメトリスライスを識別するためのジオメトリスライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)、該当ジオメトリスライスデータのボックス原点を示すジオメトリボックスオリジン情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ)、ジオメトリスライスのログスケールを示す情報(ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)、及び該当ジオメトリスライスのポイントの個数に関連する情報(ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓ)などを含む。

実施例によるポイントクラウドデータビットストリームが一つ又はそれ以上のタイルを含む場合、実施例によるジオメトリビットストリームのヘッダは該当ジオメトリビットストリームを含むタイルを識別するための情報(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)をさらに含む。

特質スライス(Ａｔｔｒｉｂｕｔｅｓｌｉｃｅ、Ａｔｔｒ)３１００４ｂ、３１００４ｃはポイントクラウドデータの特質情報を含む特質スライスデータ(ＡｔｔｒｉｂｕｔｅｓｌｉｃｅＤａｔａ、Ａｔｔｒ_ｓｌｉｃｅ_ｄａｔａ)及び特質スライスデータに関する情報を含む特質スライスヘッダ(ＡｔｔｒｉｂｕｔｅｓｌｉｃｅＨｅａｄｅｒ、Ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＡＳＨ)３３００５ｃを含む。

実施例によれば、ポイントクラウド符号化に必要なパラメータは、ポイントクラウドのパラメータセット及びヘッダ情報として新しく定義される。例えば、属性情報符号化を行う時は、ａｔｔｒｉｂｕｔｅｐａｒａｍｅｔｅｒｓｅｔＲＢＳＰｓｙｎｔａｘに、タイル基盤の符号化を行う時には、ｔｉｌｅ_ｈｅａｄｅｒｓｙｎｔａｘなどに追加することができる。

実施例によるポイントクラウドデータ送受信方法では、かかるビットストリーム構造を提供することにより、受信機をしてポイントクラウドデータの属性情報の復号化性能を上げることができる。

図３２は実施例によるビットストリームのＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)を示す。

図３２に示すパラメータは図３１で説明したＳＰＳ(ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ)内に含まれる。実施例によるＳＰＳは図１８ないし図３０で説明したブリックの分割、ブリックタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。

ｐｒｏｆｉｌｅ_ｉｄｃは、Ｈ.２６４標準文書のＡｎｎｅｘＡを満たすビットストリームのプロファイルを示す情報を意味する。ｐｒｏｆｉｌｅ_ｉｄｃの他の値はＩＳＯ／ＩＥＣにより追って使用できる(ｉｎｄｉｃａｔｅｓａｐｒｏｆｉｌｅｔｏｗｈｉｃｈｔｈｅｂｉｔｓｔｒｅａｍｃｏｎｆｏｒｍｓａｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. Ｂｉｔｓｔｒｅａｍｓｓｈａｌｌｎｏｔｃｏｎｔａｉｎｖａｌｕｅｓｏｆｐｒｏｆｉｌｅ_ｉｄｃｏｔｈｅｒｔｈａｎｔｈｏｓｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. Ｏｔｈｅｒｖａｌｕｅｓｏｆｐｒｏｆｉｌｅ_ｉｄｃａｒｅｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ.)。

ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓが１であると、該当ビットストリームが、ｐｒｏｆｉｌｅ_ｉｄｃがＡｎｎｅｘＡによってｊであるプロファイルを満たすことを示す。ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇ[ｊ]の値はＡｎｎｅｘＡによって定義された値ではなくｊを有する場合、０である(ｅｑｕａｌｔｏ１、ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｂｉｔｓｔｒｅａｍｃｏｎｆｏｒｍｓｔｏｔｈｅｐｒｏｆｉｌｅｉｎｄｉｃａｔｅｄｂｙｐｒｏｆｉｌｅ_ｉｄｃｅｑｕａｌｔｏｊａｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. Ｔｈｅｖａｌｕｅｏｆｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇ[ｊ] ｓｈａｌｌｂｅｅｑｕａｌｔｏ０ｆｏｒａｎｙｖａｌｕｅｏｆｊｔｈａｔｉｓｎｏｔｓｐｅｃｉｆｉｅｄａｓａｎａｌｌｏｗｅｄｖａｌｕｅｏｆｐｒｏｆｉｌｅ_ｉｄｃｉｎＡｎｎｅｘＡ.)。

ｌｅｖｅｌ_ｉｄｃは、Ｈ.２６４標準文書のＡｎｎｅｘＡを満たすビットストリームのレベルを示す。ビットストリームはＨ.２６４標準文書のＡｎｎｅｘＡに定義された情報とは異なる情報であって、ｌｅｖｅｌ_ｉｄｃの値を有さない。Ｌｅｖｅｌ_ｉｄｃの他の値はＩＳＯ／ＩＥＣにより今後のために残す(ｉｎｄｉｃａｔｅｓａｌｅｖｅｌｔｏｗｈｉｃｈｔｈｅｂｉｔｓｔｒｅａｍｃｏｎｆｏｒｍｓａｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. Ｂｉｔｓｔｒｅａｍｓｍａｙｎｏｔｃｏｎｔａｉｎｖａｌｕｅｓｏｆｌｅｖｅｌ_ｉｄｃｏｔｈｅｒｔｈａｎｔｈｏｓｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. Ｏｔｈｅｒｖａｌｕｅｓｏｆｌｅｖｅｌ_ｉｄｃａｒｅｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇは、境界ボックスオフセットとサイズ情報がシグナリングされる場合、１である(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｔｈｅｂｏｕｎｄｉｎｇｂｏｘｏｆｆｓｅｔａｎｄｓｉｚｅｉｎｆｏｒｍａｔｉｏｎｉｓｓｉｇｎａｌｌｅｄ. ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓ)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘは、直交座標系の原本境界ボックスのｘオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓｔｈｅｘｏｆｆｓｅｔｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙは、直交座標系の原本境界ボックスのｙオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓｉｎｄｉｃａｔｅｓｔｈｅｙｏｆｆｓｅｔｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚは、直交座標系の原本境界ボックスのｚオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓｉｎｄｉｃａｔｅｓｔｈｅｚｏｆｆｓｅｔｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒは、直交座標系内の原本境界ボックスの倍率を示す。該当情報が存在しない場合、このパラメータの値は１又は０である(ｉｎｄｉｃａｔｅｓｔｈｅｓｃａｌｅｆａｃｔｏｒｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒｉｓｉｎｆｅｒｒｅｄｔｏｂｅ１. Ｉｎｄｉｃａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈは、直交座標系内の原本境界ボックスの幅を示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈの値は１０などの特定の値である(ｉｎｄｉｃａｔｅｓｔｈｅｗｉｄｔｈｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. … Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈｉｓｉｎｆｅｒｒｅｄｔｏｂｅａｓｐｅｃｉｆｉｃｖａｌｕｅ (ｓｕｃｈａｓ１０).)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔは、直交座標系内の原本境界ボックスの高さを示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値は１又は０である(ｉｎｄｉｃａｔｅｓｔｈｅｈｅｉｇｈｔｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔｉｓｉｎｆｅｒｒｅｄｔｏｂｅ１. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｉｅｇｈｔｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈは、直交座標系内の原本境界ボックスの深さを示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値は１又は０である(ｉｎｄｉｃａｔｅｓｔｈｅｄｅｐｔｈｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈｉｓｉｎｆｅｒｒｅｄｔｏｂｅ１. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０.)。

ｓｐｓ_ｓｏｕｒｃｅ_ｓｃａｌｅ_ｆａｃｔｏｒは、原本ポイントクラウドの倍率を示す(ｉｎｄｉｃａｔｅｓｔｈｅｓｃａｌｅｆａｃｔｏｒｏｆｔｈｅｓｏｕｒｃｅｐｏｉｎｔｃｌｏｕｄ.)。

ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、他のシンタックスエレメントにより参照されるＳＰＳに関するｉｄ情報を示す。ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは該当バージョンの明細書内の条件を満たす範囲内で０から１５の値に定められる。０ではない他の情報であってｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはＩＳＯ／ＩＥＣにより追って使用できる(ＰｒｏｖｉｄｅｓａｎｉｄｅｎｔｉｆｉｅｒｆｏｒｔｈｅＳＰＳｆｏｒｒｅｆｅｒｅｎｃｅｂｙｏｔｈｅｒｓｙｎｔａｘｅｌｅｍｅｎｔｓ. ＩｎＴｈｅｖａｌｕｅｏｆＳＰＳ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｍａｙｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅｉｎｂｉｔｓｔｒｅａｍｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎ. Ｔｈｅｖａｌｕｅｏｔｈｅｒｔｈａｎ０ｆｏｒｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｉｓｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ.)。

ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓは、ビットストリーム内のコーディングされた属性の数を示す。ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０から６４の範囲を有する(ｉｎｄｉｃａｔｅｓｔｈｅｎｕｍｂｅｒｏｆｃｏｄｅｄａｔｔｒｉｂｕｔｅｓｉｎｔｈｅｂｉｔｓｔｒｅａｍ. Ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓｍａｙｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ６４.)。

ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]は、ｉ番目の属性のコンポーネントの数を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｃｏｍｐｏｎｅｎｔｓｏｆｔｈｅｉ－ｔｈａｔｔｒｉｂｕｔｅ.)。

ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]は、属性インスタンスｉｄを示す(ｓｐｅｃｉｆｉｅｓａｔｔｒｉｂｕｔｅｉｎｓｔａｎｃｅｉｄ.)。

ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]は、ｉ番目の属性信号のビット深さ(ｂｉｔｄｅｐｔｈ)情報を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｂｉｔｄｅｐｔｈｏｆｔｈｅｉ－ｔｈａｔｔｒｉｂｕｔｅｓｉｇｎａｌ(ｓ).)。

ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]は、色相属性ソースプライマリの色度を示す(ｉｎｄｉｃａｔｅｓｔｈｅｃｈｒｏｍａｔｉｃｉｔｙｃｏｏｒｄｉｎａｔｅｓｏｆｔｈｅｃｏｌｏｕｒａｔｔｒｉｂｕｔｅｓｏｕｒｃｅｐｒｉｍａｒｉｅｓ.)。

ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]は、原本入力線形視覚的強度(ｉｎｐｕｔｌｉｎｅａｒｏｐｔｉｃａｌｉｎｔｅｎｓｉｔｙ)であるＬｃと０から１の間の名目実際値とで構成された、色属性の参照光電子的伝達特性関数を示す。又はこのパラメータは出力線形視覚的強度(ｏｕｔｐｕｔｌｉｎｅａｒｏｐｔｉｃａｌｉｎｔｅｎｓｉｔｙ)であるＬｏと０から１の範囲を有する名目実際値とで構成された、参照光電子的伝達特性関数の逆を示す(ｅｉｔｈｅｒｉｎｄｉｃａｔｅｓｔｈｅｒｅｆｅｒｅｎｃｅｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃｔｒａｎｓｆｅｒｃｈａｒａｃｔｅｒｉｓｔｉｃｆｕｎｃｔｉｏｎｏｆｔｈｅｃｏｌｏｕｒａｔｔｒｉｂｕｔｅａｓａｆｕｎｃｔｉｏｎｏｆａｓｏｕｒｃｅｉｎｐｕｔｌｉｎｅａｒｏｐｔｉｃａｌｉｎｔｅｎｓｉｔｙＬｃｗｉｔｈａｎｏｍｉｎａｌｒｅａｌ－ｖａｌｕｅｄｒａｎｇｅｏｆ０ｔｏ１ｏｒｉｎｄｉｃａｔｅｓｔｈｅｉｎｖｅｒｓｅｏｆｔｈｅｒｅｆｅｒｅｎｃｅｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌｔｒａｎｓｆｅｒｃｈａｒａｃｔｅｒｉｓｔｉｃｆｕｎｃｔｉｏｎａｓａｆｕｎｃｔｉｏｎｏｆａｎｏｕｔｐｕｔｌｉｎｅａｒｏｐｔｉｃａｌｉｎｔｅｎｓｉｔｙＬｏｗｉｔｈａｎｏｍｉｎａｌｒｅａｌ－ｖａｌｕｅｄｒａｎｇｅｏｆ０ｔｏ１)。

ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]は、緑色、青色及び赤色(又はＹ、Ｚ、Ｘの三原色)のルマ(ｌｕｍａ)と彩度(ｃｈｒｏｍａ)信号の行列係数を示す(ｄｅｓｃｒｉｂｅｓｔｈｅｍａｔｒｉｘｃｏｅｆｆｉｃｉｅｎｔｓｕｓｅｄｉｎｄｅｒｉｖｉｎｇｌｕｍａａｎｄｃｈｒｏｍａｓｉｇｎａｌｓｆｒｏｍｔｈｅｇｒｅｅｎ、ｂｌｕｅ、ａｎｄｒｅｄ、ｏｒＹ、Ｚ、ａｎｄＸｐｒｉｍａｒｉｅｓ.)。

ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]は、Ｅ’Ｙ、Ｅ’ＰＢ及びＥ’ＰＲ又はＥ’Ｒ、Ｅ’Ｇ及びＥ’Ｂ実際値コンポーネント信号から導き出されるブラックレベルとルマ及び彩度信号の範囲を示す(ｓｐｅｃｉｆｉｅｓｉｎｄｉｃａｔｅｓｔｈｅｂｌａｃｋｌｅｖｅｌａｎｄｒａｎｇｅｏｆｔｈｅｌｕｍａａｎｄｃｈｒｏｍａｓｉｇｎａｌｓａｓｄｅｒｉｖｅｄｆｒｏｍＥ’Ｙ、Ｅ’ＰＢ、ａｎｄＥ’ＰＲｏｒＥ’Ｒ、Ｅ’Ｇ、ａｎｄＥ’Ｂｒｅａｌ－ｖａｌｕｅｄｃｏｍｐｏｎｅｎｔｓｉｇｎａｌｓ.)。

ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]が１である場合、ｉ番目の属性に対してｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌがシグナリングされることをを示す。該当パラメータが０である場合は、ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓがｉ番目の属性に対してシグナリングされることを示す(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌｉｓｓｉｇｎａｌｌｅｄｆｏｒｔｈｅｉ－ｔｈａｔｔｒｉｂｕｔｅ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ] ｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓｉｓｓｉｇｎａｌｌｅｄｆｏｒｔｈｅｉ－ｔｈａｔｔｒｉｂｕｔｅ.)。

ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]が０である場合、属性が色であることを示す。該当パラメータが１である場合、属性は反射率であることを示す。該当パラメータが２である場合は、属性はフレームインデックスであることを示す(ｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈｅａｔｔｒｉｂｕｔｅｉｓｃｏｌｏｕｒ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ] ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｔｈｅａｔｔｒｉｂｕｔｅｉｓｒｅｆｌｅｃｔａｎｃｅ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ] ｅｑｕａｌｔｏ２ｓｐｅｃｉｆｉｅｓｔｈｅａｔｔｒｉｂｕｔｅｉｓｆａｒｍｅｉｎｄｅｘ.)。

実施例によるＳＰＳは、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇ、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、Ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔ、Ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘをさらに含む。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇは、実施例によるポイントクラウドエンコーダがポイントクラウドデータをブリック単位に分割を行うか否かを示す情報(又はフラグ)を示す。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいて、受信したビットストリームのポイントクラウドデータがブリック単位に分割されているか否かを判断し、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいてビットストリーム内のポイントクラウドデータをブリック単位で受信する。

ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇは、実施例によるポイントクラウドエンコーダが分割されたブリックを再分割したか否かを示す情報(又はフラグ)を示す。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいて、受信したビットストリームのポイントクラウドデータのブリックが細部分割単位に分割されているか否かを判断する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅは、実施例によるポイントクラウドエンコーダが分割したブリックの分割単位を示す情報である。例えば、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅは実施例によるブリックの単位サイズを示す。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅに基づいて、受信したビットストリームのポイントクラウドデータのブリックの分割単位を判断し、分割単位に該当するビットストリームだけ復号化を行うことができる。

ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔは、実施例によるポイントクラウドエンコーダがブリックに対して再分割を行う場合、再分割されたブリックの分割単位を示す情報である。例えば、ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔは実施例による再分割されたブリックの単位サイズを示す。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇに対応して受信したビットストリームのポイントクラウドデータのブリックが細部分割単位に分割されていることを確認した場合、ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔに基づいて再分割されたブリックの分割単位を判断することができる。

ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇは、実施例によるポイントクラウドデータを複数のブリック分割方法に基づいて分割を行うか否かを示す情報(又はフラグ)である。即ち、このパラメータはブリック分割に使用するｐａｒｔｉｔｉｏｎｉｎｇｔｙｐｅを色々な分割方法を使用するかどうかについて知らせる情報である。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇに基づいてポイントクラウドデータを一つ又はそれ以上のブリック分割方法に基づいて分割されているか否かを判断する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘは、実施例によるポイントクラウドデータをブリック単位に分割する方法を示す。実施例によるブリック単位に分割する方法は、実施例による点密度基盤のブリックタイリング、実施例による円形セクターブリックタイリング、実施例によるレイヤブリックタイリング、実施例による球形／楕円形領域タイリング、実施例による属性基盤のブリックタイリング、実施例による適応的軸長さ基盤のブリックタイリングを含む。ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘは、例えば、以下のように決定される。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝１は点密度基盤のブリックタイリングを行ったことを示す。点密度基盤のブリックタイリングは図２１に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝２は円形セクターブリックタイリングを行ったことを示す。円形セクターブリックタイリングは図２２に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝３はレイヤブリックタイリングを行ったことを示す。レイヤブリックタイリングは図２３に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝４は球形／楕円形領域タイリングを行ったことを示す。球形／楕円形領域タイリングは図２４に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝５は属性基盤のブリックタイリングを行ったことを示す。属性基盤のブリックタイリングは図２５に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝６は適応的軸長さ基盤のブリックタイリングを行ったことを示す。適応的軸長さ基盤のブリックタイリングは図２６に示した方法によるブリックの分割を意味する。

ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝７は上述した方法以外のユーザ定義のブリックタイリング方法を行ったことを示す。実施例によれば、境界ボックスの座標軸の短い軸を基準として長い軸を分割した後、分割されたブリックを再度分割することができる。この時、短い軸を基準として中間軸を再分割する過程を行うことができる。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘに基づいてポイントクラウドデータをブリック単位で復号化することができる。

ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは、結合されたジオメトリビットストリームと属性ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報を示す。実施例によれば、ビットストリームの送信環境及び特性によって結合方法がシグナリングされて圧縮率が向上することができる。

ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝０である場合、多重化方法に基づく結合方法が使用されたことを示す。実施例によれば、多重化方法は個別ビットストリームをビット又はバイトグループにシーケンスすることができる。

ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝１である場合、順次的結合方法に基づく結合方法が使用されたことを示す。実施例によれば、順次的結合方法は幾何ビットストリームと属性ビットストリームを順に結合する。

ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝２である場合、重要度基盤の結合に基づく結合方法が使用されたことを示す。実施例によれば、重要度基盤の結合は重要度の高いビットストリームに対して優先して結合することができる。

実施例によるポイントクラウドデータ受信装置(例えば、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００)は、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘに基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出することができる。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが０である場合、実施例によるポイントクラウドデータ受信装置は多重化方法の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが１である場合は、順次的結合方法の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが２である場合は、重要度基盤結合の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。

ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは、複数の特質情報が一つのジオメトリ情報にマッピングされる場合、該当ジオメトリが重複する属性情報を含むことを示す。重複するポイントの属性情報は重複属性を適用することができる。

ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ＝０である場合、色相重複を意味する。一つの幾何情報に複数の色相値が重複してマッピングされる時、重複属性を使用することができる。

ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ＝１である場合、反射度重複を意味する。一つの幾何情報に複数の反射度値が重複してマッピングされる時、重複属性を使用することができる。

実施例によるポイントクラウドデータ受信装置は、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘに基づいてジオメトリが重複する属性情報を決定することができる。

ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇが１である場合、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａがＳＰＳＲＢＳＰシンタックス構造内に存在することを示す。該当パラメータが０である場合、該当シンタックス構造が存在しないことを示す。存在しない場合、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈe ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｐｒｅｓｅｎｔｉｎｔｈｅＳＰＳＲＢＳＰｓｙｎｔａｘｓｔｒｕｃｔｕｒｅ. ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｉｓｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｎｏｔｐｒｅｓｅｎt. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｉｓｉｎｆｅｒｒｅｄｔｏｂｅｅｑｕａｌｔｏ０)。

ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇはどの値であってもよい。該当パラメータの存在はデコーダの該当標準文書のＡｎｎｅｘＡに提示されたプロファイルの動作に影響を及ぼさない(ｍａｙｈａｖｅａｎｙｖａｌｕｅ. ＩｔｓｐｒｅｓｅｎｃｅａｎｄｖａｌｕｅｄｏｎｏｔａｆｆｅｃｔｄｅｃｏｄｅｒｃｏｎｆｏｒｍａｎｃｅｔｏｐｒｏｆｉｌｅｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏａｐｒｏｆｉｌｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ.)。

図３３は実施例によるビットストリームのＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)を示す。

図３３に示したパラメータは、図３１で説明したＴＰＳ(ＴｉｌｅＰａｒａｍｅｔｅｒＳｅｔ)内に含まれる。実施例によるＴＰＳは、図１８ないし図３０で説明したブリックの分割、ブリックタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。

ｎｕｍ_ｔｉｌｅｓは該当ビットストリーム内に存在するタイルの個数を示す(Ｒｅｐｒｅｓｅｎｔｓｔｈｅｎｕｍｂｅｒｏｆｔｉｌｅｓｓｉｇｎａｌｌｅｄｆｏｒｔｈｅｂｉｔｓｔｒｅａｍ)。もし該当ビットストリーム内に存在するタイルがなければ、ｎｕｍ_ｔｉｌｅｓは０にシグナリングされる(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｎｕｍ_ｔｉｌｅｓｉｓｉｎｆｅｒｒｅｄｔｏｂｅ０)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ]は、直交座標系内のi－番目のタイルのｘオフセットを示す(ｉｎｄｉｃａｔｅｓｔｈｅｘｏｆｆｓｅｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ)。もし該当ｘオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ]は、直交座標系内のi－番目のタイルのｙオフセットを示す(ｉｎｄｉｃａｔｅｓｔｈｅｙｏｆｆｓｅｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ)。もし該当ｙオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ]は、直交座標系内のｉ－番目のタイルのｚオフセットを示す(ｉｎｄｉｃａｔｅｓｉｎｄｉｃａｔｅｓｔｈｅｚｏｆｆｓｅｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。もし該当ｚオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[ｉ]は、直交座標系内のｉ－番目のタイルに関連する倍率を示す(ｉｎｄｉｃａｔｅｓｔｈｅｓｃａｌｅｆａｃｔｏｒｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。もし該当倍率が存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０]がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ]は、直交座標系内のｉ－番目のタイルの幅を示す(ｉｎｄｉｃａｔｅｓｔｈｅｗｉｄｔｈｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。もし幅値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ]は、直交座標系内のｉ－番目のタイルの高さを示す(ｉｎｄｉｃａｔｅｓｔｈｅｈｅｉｇｈｔｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。もし高さ値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ.)。

ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ]は、直交座標系内のｉ－番目のタイルの深さを示す(ｉｎｄｉｃａｔｅｓｔｈｅｄｅｐｔｈｏｆｔｈｅｉ－ｔｈｔｉｌｅｉｎｔｈｅＣａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。もし深さ値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈである(Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０] ｉｓｉｎｆｅｒｒｅｄｔｏｂｅｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ.)。

実施例によるＴＰＳは、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓをさらに含む。

ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎは一つのブリックに関するユニット情報及び／又は分割方法に関する情報を示す。

ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐは分割されるブリックに対して、該当ブリックで使用する量子化係数を指定してサンプリング可能な程度を示す。

ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓはポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリングを行った場合、該当ブリックの半径を示す情報である。このパラメータは図２２のｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓパラメータを意味する。該当パラメータは各ブリックに存在する。

ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚはポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリングを行った場合、該当ブリックの中心点情報のｘ座標、ｙ座標及びｚ座標を示す情報である。このパラメータは図２２のｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚパラメータを意味する。

ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒはポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリングを行った場合、ポイントクラウドデータが表現する客体の移動方向を示す。ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒはベクトル形態で表現される。図２２のｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒパラメータを意味する。

ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリングを行った場合、全フレームに同一の境界ボックスを定義するか否かを示す情報(又はフラグ)である。実施例によれば、境界ボックスの情報は１つのフレームごとに定義され、各フレームのｘ、ｙ、ｚ値により決定される。図２２のｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇパラメータを意味する。

ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例によるレイヤブリックタイリングを行った場合、ポイントクラウドデータを整列(例えば、昇順、降順、モールトンなど)したか否か示す情報(又はフラグ)である。図２３のｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇパラメータを意味する。該当パラメータは各ブリックに存在し得る。

ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、ポイントクラウドデータを球形或いは楕円形領域に分割するか否かを示す。図２４のｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇパラメータを意味する。該当パラメータは各ブリックに存在し得る。

ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、実施例による球形／楕円形領域の中心点情報の座標情報(例えば、(ｘ、ｙ、ｚ)情報)を含む。図２４のｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚパラメータを意味する。該当パラメータは各ブリックに存在し得る。

ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、実施例による球形／楕円形のブリックの半径情報(又は距離情報)を示す。図２４のｒａｄｉｕｓ_ｄｉｓｔａｎｃｅパラメータを意味する。該当パラメータは各ブリックに存在し得る。

ａｚｉｍｕｔｈ_ａｎｇｌｅは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、球面座標系での角度であり、原点からの距離を基準ベクトルとなす角度を意味する。該当パラメータは各ブリックに存在し得る。図２４のａｚｉｍｕｔｈ_ａｎｇｌｅパラメータを意味する。

ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅは、ポイントクラウドデータ送信装置が実施例による属性基盤のブリックタイリングを行った場合、ブリック分割の基準となる属性情報を示す。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅパラメータを意味する。

ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅは、ポイントクラウドデータ送信装置が実施例による属性基盤のブリックタイリングを行った場合、属性情報の属性値の範囲でブリックを構成するか否かを示す。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅパラメータを意味する。

ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅは、属性情報の属性値それ自体でブリックを構成するか否かを示す情報である。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅパラメータを意味する。

ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは、結合されたジオメトリビットストリームと属性ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報を示す。実施例によれば、ビットストリームの送信環境及び特性によって結合方法がシグナリングされ、圧縮率が向上することができる。ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは図３２のｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘを意味する。

ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは、複数の特質情報が一つのジオメトリ情報にマッピングされる場合、該当ジオメトリが重複する属性情報を含むことを示す。重複するポイントの属性情報は重複属性を適用することができる。ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは図３２のｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘを意味する。

ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓは、ポイントクラウドデータ送信装置が実施例による図２６の適応的軸長さ基盤のタイリングを行う場合、中間軸に関する情報を示す。例えば、０であると、Ｘ軸が中間軸、１であると、Ｙ軸が中間軸、２であると、Ｚ軸が中間軸を示す。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００)は、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓパラメータなどを用いて実施例によるブリックの形態を判断することができ、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。

図３４は実施例によるビットストリームのＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)を示す。

図３４に示したパラメータは図３１で説明したＧＰＳ(ＧｅｏｍｅｔｒｙＰａｒａｍｅｔｅｒＳｅｔ)内に含まれる。実施例によるＧＰＳは、図１８ないし図３０で説明したブリックの分割、ブリックタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。

ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、他のシンタックスエレメントにより参照されるＧＰＳの識別子を示す。このパラメータの値は０ないし１５である(ＰｒｏｖｉｄｅｓａｎｉｄｅｎｔｉｆｉｅｒｆｏｒｔｈｅＧＰＳｆｏｒｒｅｆｅｒｅｎｃｅｂｙｏｔｈｅｒｓｙｎｔａｘｅｌｅｍｅｎｔｓ. Ｔｈｅｖａｌｕｅｏｆｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｍａｙｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ.)。

ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、該当アクティブＳＰＳに対するＳｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。該当値は０ないし１５である(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｆｏｒｔｈｅａｃｔｉｖｅＳＰＳ. Ｔｈｅｖａｌｕｅｏｆｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｓｈａｌｌｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏ１５、ｉｎｃｌｕｓｉｖｅ.)。

ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅは、ジオメトリ情報に対するコーディングタイプを意味する。該当パラメータの値は０ないし１であり、他の値はＩＳＯ／ＩＥＣにより追って使用できる。デコーダは該当パラメータが他の値を有する場合、無視できる。該当パラメータは、例えば、０であると、八分木を、１であると、ｔｒｉｓｏｕｐ(ｔｒｉａｎｇｌｅｓｏｕｐ)を示す(ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｃｏｄｉｎｇｔｙｐｅｆｏｒｔｈｅｇｅｏｍｅｔｒｙｉｎＴａｂｌｅ７１Ｔａｂｌｅ７１ｆｏｒｔｈｅｇｉｖｅｎｖａｌｕｅｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ. Ｔｈｅｖａｌｕｅｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅｓｈａｌｌｂｅｅｑｕａｌｔｏ０ｏｒ１ｉｎｂｉｔｓｔｒｅａｍｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎ. Ｏｔｈｅｒｖａｌｕｅｓｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅａｒｅｒｅｓｅｒｖｅｄｆｏｒｆｕｔｕｒｅｕｓｅｂｙＩＳＯ／ＩＥＣ。ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏｔｈｉｓｖｅｒｓｉｏｎｏｆｔｈｉｓＳｐｅｃｉｆｉｃａｔｉｏｎｍａｙｉｇｎｏｒｅｒｅｓｅｒｖｅｄｖａｌｕｅｓｏｆｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ。０＝Ｏｃｔｒｅｅ、１＝ＴｒｉａｎｇｌｅＳｏｕｐ(Ｔｒｉｓｏｕｐ))。

ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇは、追加境界ボックス情報が該当ＧＰＳ内でジオメトリヘッダ(ｇｅｏｍｅｔｒｙｈｅａｄｅｒ)内に提供される場合、１である。該当パラメータは追加境界ボックス情報がジオメトリヘッダ内に提供されない場合は、０を示す(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓａｎａｄｄｉｔｉｏｎａｌｂｏｕｎｄｉｎｇｂｏｘｉｎｆｏｒｍａｔｉｏｎｉｓｐｒｏｖｉｄｅｄｉｎａｇｅｏｍｅｔｒｙｈｅａｄｅｒｔｈａｔｒｅｆｅｒｅｎｃｅｓｔｈｅｃｕｒｒｅｎｔＧＰＳ. ｇｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔａｄｄｉｔｉｏｎａｌｂｏｕｎｄｉｎｇｂｏｘｉｎｆｏｒｍａｔｉｏｎｉｓｎｏｔｓｉｇｎａｌｌｅｄｉｎｔｈｅｇｅｏｍｅｔｒｙｈｅａｄｅｒ.)。

ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇは、全ての出力されたポイントが固有の位置を有する場合、１である。該当パラメータは出力ポイントが同じ位置に存在する場合、０である(ｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔａｌｌｏｕｔｐｕｔｐｏｉｎｔｓｈａｖｅｕｎｉｑｕｅｐｏｓｉｔｉｏｎＳ.ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｔｈｅｏｕｔｐｕｔｐｏｉｎｔｓｍａｙｈａｖｅｓａｍｅｐｏｓｉｔｉｏｎｓ.)。

ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが０である場合、八分木占有コーディングが６つの隣接ノードに基づいて決定されたコンテンツを使用することを示す。１である場合、八分木占有コーディングが兄弟ノードのみに基づいて決定されたコンテキストを使用することを示す(ｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈａｔｏｃｔｒｅｅｏｃｃｕｐａｎｃｙｃｏｄｉｎｇｕｓｅｓｃｏｎｔｅｘｔｓｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｘｎｅｉｇｈｂｏｕｒｉｎｇｐａｒｅｎｔｎｏｄｅｓ. ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈａｔｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｃｏｎｔｅｘｔｓｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｂｌｉｎｇｎｏｄｅｓｏｎｌｙ.)。

ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合、八分木コーディングがｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅを使用したことを示す。１である場合、兄弟隣接ノードから決定された複数のコンテキストを使用して八分木コーディングを行ったことを示す(ｅｑｕａｌｔｏ０ｉｎｄｉｃａｔｅｓｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ. ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇｅｑｕａｌｔｏ１ｉｎｄｉｃａｔｅｓｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｕｓｅｓｍｕｌｔｉｐｌｅｃｏｎｔｅｘｔｄｅｔｅｒｍｉｎｅｄｆｒｏｍｓｉｂｌｉｎｇｎｅｉｇｈｂｏｕｒｉｎｇｎｏｄｅｓ.)。

ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙは復号プロセスが以下のように利用されるＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙの値を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｔｈｅｖａｒｉａｂｌｅＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙｔｈａｔｉｓｕｓｅｄｉｎｔｈｅｄｅｃｏｄｉｎｇｐｒｏｃｅｓｓａｓｆｏｌｌｏｗｓ：)。

ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ＝２ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ

ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが１である場合、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇは１３である(Ｗｈｅｎｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｉｓｅｑｕａｌｔｏ１、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋｉｓｓｅｔｅｑｕａｌｔｏ１３.)。ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが０である場合は、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋは以下のように決定される(Ｏｔｈｅｒｗｉｓｅ、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇｅｑｕａｌｔｏ０、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋｉｓｓｅｔｅｑｕａｌｔｏ)。

(１＜＜ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ)

ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅは以下のように決定される三角形ノードのサイズであってＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅを示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｒｉａｂｌｅＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅａｓｔｈｅｓｉｚｅｏｆｔｈｅｔｒｉａｎｇｌｅｎｏｄｅｓａｓｆｏｌｌｏｗｓ.)。

ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ＝２ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ

ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの値は０より大きい。ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅのサイズが０である場合、ジオメトリビットストリームはひたすら八分木コーディングシンタックスのみを含むことを示す(Ｔｈｅｖａｌｕｅｏｆｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅｍａｙｂｅｅｑｕａｌｔｏｏｒｇｒｅａｔｅｒｔｈａｎ０. Ｗｈｅｎｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅｉｓｅｑｕａｌｔｏ０、ｔｈｅｇｅｏｍｅｔｒｙｂｉｔｓｔｒｅａｍｉｎｃｌｕｄｅｓｏｎｌｙｔｈｅｏｃｔｒｅｅｃｏｄｉｎｇｓｙｎｔａｘ.)。

ｔｒｉｓｏｕｐ_ｄｅｐｔｈはポイント座標のそれぞれのコンポーネントを示すために使用されるビット数を示す。ｔｒｉｓｏｕｐ_ｄｅｐｔｈは２から２１の値を有する(ｓｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｂｉｔｓｕｓｅｄｔｏｒｅｐｒｅｓｅｎｔｅａｃｈｃｏｍｐｏｎｅｎｔｏｆａｐｏｉｎｔｃｏｏｒｄｉｎａｔｅ. Ｔｈｅｖａｌｕｅｏｆｔｒｉｓｏｕｐ_ｄｅｐｔｈｍａｙｂｅＩｎｔｈｅｒａｎｇｅｏｆ２ｔｏ２１. [Ｅｄ（ｄｆ)：２１ｓｈｏｕｌｄｐｅｒｈａｐｓｂｅａｌｅｖｅｌｌｉｍｉｔ].)。

ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌは八分木が切り取られたレベルを示す。ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌは１からｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１の値を有する(ｓｐｅｃｉｆｉｅｓｔｈｅｌｅｖｅｌａｔｗｈｉｃｈｔｈｅｏｃｔｒｅｅｉｓｐｒｕｎｅｄ. Ｔｈｅｖａｌｕｅｏｆｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌｍａｙｂｅｉｎｔｈｅｒａｎｇｅｏｆ１ｔｏｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１.)。

ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇが１であると、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造がＧＰＳＲＢＳＰシンタックス構造内に存在することを示す。０である場合、該当シンタックス構造が存在しないことを示す(ｅｑｕａｌｔｏ１ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｅｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｐｒｅｓｅｎｔｉｎｔｈｅＧＰＳＲＢＳＰｓｙｎｔａｘｓｔｒｕｃｔｕｒｅ. ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｅｑｕａｌｔｏ０ｓｐｅｃｉｆｉｅｓｔｈａｔｔｈｉｓｓｙｎｔａｘｓｔｒｕｃｔｕｒｅｉｓｎｏｔｐｒｅｓｅｎｔ. Ｗｈｅｎｎｏｔｐｒｅｓｅｎｔ、ｔｈｅｖａｌｕｅｏｆｇｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇｉｓｉｎｆｅｒｒｅｄｔｏｂｅｅｑｕａｌｔｏ０.)。

ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇはどの値であってもよい。該当値が存在する場合、値はデコーダに影響を及ぼさない(ｍａｙｈａｖｅａｎｙｖａｌｕｅ. ＩｔｓｐｒｅｓｅｎｃｅａｎｄｖａｌｕｅｄｏｎｏｔａｆｆｅｃｔｄｅｃｏｄｅｒｃｏｎｆｏｒｍａｎｃｅｔｏｐｒｏｆｉｌｅｓｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ. ＤｅｃｏｄｅｒｓｃｏｎｆｏｒｍｉｎｇｔｏａｐｒｏｆｉｌｅｓｐｅｃｉｆｉｅｄｉｎＡｎｎｅｘＡ.)。

実施例によるＧＰＳは、図３１ないし図３３で上述した、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎをさらに含む。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００)は、ＧＰＳ内の上述したパラメータなどを用いて実施例によるブリックの形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。

図３５は実施例によるビットストリームのジオメトリスライスヘッダ(ＧＳＨ、ＧｅｏｍｅｔｒｙｓｌｉｃｅＨｅａｄｅｒ)を示す。

図３５に示したパラメータは図３１で説明したジオメトリスライスヘッダ(ＧＳＨ、ＧｅｏｍｅｔｒｙｓｌｉｃｅＨｅａｄｅｒ)内に含まれる。実施例によるＧＳＨは図１８ないし図３０で説明したブリックの分割、ブリックタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。

ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｔｈｅｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｏｆｔｈｅａｃｔｉｖe ＧＰＳ.)。

ｇｓｈ_ｔｉｌｅ_ｉｄはタイルのｉｄを示す(ｓｐｅｃｉｆｉｅｓｉｄｏｆｔｉｌｅ.)。

ｇｓｈ_ｓｌｉｃｅ_ｉｄはスライスのｉｄを示す(ｓｐｅｃｉｆｉｅｓｉｄｏｆｓｌｉｃｅ.)。

ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅはスケール値を示す(ｓｐｅｃｉｆｉｅｓｓｃａｌｅｖａｌｕｅ.)。

ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘは直交座標系内のソース境界ボックスのｘ座標情報を示す。(ｓｐｅｃｉｆｉｅｓｔｈｅｘｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。

ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙは直交座標系内のソース境界ボックスのｙ座標情報を示す。(ｓｐｅｃｉｆｉｅｓｔｈｅｙｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。

ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚは直交座標系内のソース境界ボックスのｚ座標情報を示す。(ｓｐｅｃｉｆｉｅｓｔｈｅｚｏｆｔｈｅｓｏｕｒｃｅｂｏｕｎｄｉｎｇｂｏｘｉｎｔｈｅｃａｒｔｅｓｉａｎｃｏｏｒｄｉｎａｔｅｓ.)。

ｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅは復号プロセスが以下のように行われるＭａｘＮｏｄｅＳｉｚｅの値を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｔｈｅｖａｒｉａｂｌｅＭａｘＮｏｄｅＳｉｚｅｔｈａｔｉｓｕｓｅｄｉｎｔｈｅｄｅｃｏｄｉｎｇｐｒｏｃｅｓｓａｓｆｏｌｌｏｗｓ:)。

ＭａｘＮｏｄｅＳｉｚｅ＝２(ｇｂｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ)

ｇｂｈ_ｐｏｉｎｔｓ_ｎｕｍｂｅｒはスライス内のコーディングされたポイントの個数を示す。(ｓｐｅｃｉｆｉｅｓｔｈｅｎｕｍｂｅｒｏｆｃｏｄｅｄｐｏｉｎｔｓｉｎｔｈｅｓｌｉｃｅ.)。

実施例によるＧＳＨは、図３１ないし図３４で上述したｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎをさらに含む。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００)は、ＧＳＨ内の上述したパラメータなどを用いて実施例によるブリックの形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。

図３６は実施例によるビットストリームの特質スライスヘッダ(ＡＳＨ、ＡｔｔｒｉｂｕｔｅｓｌｉｃｅＨｅａｄｅｒ)を示す。

図３６に示したパラメータは図３１で説明した特質スライスヘッダ(ＡＳＨ、ＡｔｔｒｉｂｕｔｅｓｌｉｃｅＨｅａｄｅｒ)内に含まれる。実施例によるＡＳＨは図１８ないし図３０で説明したブリックの分割、ブリックタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。

ａｂｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、現在アクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｔｈｅａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄｏｆｔｈｅａｃｔｉｖｅＡＰＳ.)。

ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘは、現在アクティブＳＰＳ内の特質セットを示す。ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘの値は０ないし現在アクティブＳＰＳのｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓｄの値の範囲内である(ｓｐｅｃｉｆｉｅｓｔｈｅａｔｔｒｉｂｕｔｅｓｅｔｉｎｔｈｅａｃｔｉｖｅＳＰＳ. Ｔｈｅｖａｌｕｅｏｆａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘｍａｙｂｅｉｎｔｈｅｒａｎｇｅｏｆ０ｔｏｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓｉｎｔｈｅａｃｔｉｖｅＳＰＳ.)。

ａｂｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄは、ジオメトリスライスｉｄの値を示す(ｓｐｅｃｉｆｉｅｓｔｈｅｖａｌｕｅｏｆｇｅｏｍｓｌｉｃｅｉｄ.)。

実施例によるＡＳＨは、図３１ないし図３４で上述したｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎをさらに含む。

実施例によるポイントクラウドデータ受信装置(例えば、図２９の受信部２９０００、分割されたデータ入力部２９００１、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００)は、ＡＳＨ内の上述したパラメータなどを用いて実施例によるブリックの形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。

従って、実施例によるポイントクラウドデータが送信するビットストリームはシグナリング情報を含む。実施例によるシグナリング情報は、ブリック単位に分割する段階の実行有無を示す情報、及びブリック単位に分割する段階を行う場合、シグナリング情報は分割を行う方法を示す情報を含む。シグナリング情報は一つ又はそれ以上のブリックのそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する方法に関する情報をさらに含む。シグナリング情報は第１分割するブリックの単位を示す情報、第２分割する段階が行われたか否かを示す情報及び第２分割する段階が行われる場合、第２分割するブリックの単位を示す情報をさらに含む。

図３７は実施例によるポイントクラウドデータ送信方法を示すフローチャートである。

実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを獲得する段階(３７０００)、獲得したポイントクラウドデータを符号化する段階(３７００１)及び／又は符号化されたポイントクラウドデータ及びシグナリング情報を含むビットストリームを送信する段階(３７００２)を含む。

ポイントクラウドデータを獲得する段階(３７０００)では、実施例によるポイントクラウドデータを得ることができる。ポイントクラウドデータを獲得する段階(３７０００)は、図１のポイントクラウドビデオ獲得部１０００１、図２の獲得２００００、図３の動作によって獲得されたデータである。

獲得したポイントクラウドデータを符号化する段階(３７００１)では、ポイントクラウドデータを獲得する段階(３７０００)で獲得したポイントクラウドデータを一つ又はそれ以上のブリックに分割する。獲得したポイントクラウドデータを符号化する段階(３７００１)は、一つ又はそれ以上のブリックに基づいてポイントクラウドデータのジオメトリ情報を符号化する。獲得したポイントクラウドデータを符号化する段階(３７００１)は、一つ又はそれ以上のブリック及び復元されたジオメトリ情報に基づいてポイントクラウドデータの特質情報を符号化する。

一つ又はそれ以上のブリックに分割する動作は、図１８の空間分割部１８００１、図１９のブリックタイリング部１９００１で行われる。一つ又はそれ以上のブリックに分割する動作は、例えば、図２６で説明した動作により行われる。

ポイントクラウドデータのジオメトリ情報及び特質情報を符号化する動作は、図１８の幾何情報符号化部１８００２及び／又は属性情報符号化部１８００３で行われる。ポイントクラウドデータのジオメトリ情報を符号化する動作は、図１９に示したように行われる。

実施例による分割を行う方法は、第１方法ないし第６方法のうちのいずれかである。第１方法はポイントクラウドデータ内のポイントの密度に基づいて分割する方法である(例えば、図２１に示した点密度基盤のブリックタイリング)で。第２方法は中心点情報及び半径情報に基づいて決定される一つ又はそれ以上のセクターに分割する方法である(例えば、図２２に示した円形セクターブリックタイリング)。第３方法は一つ又はそれ以上のレイヤに分割する方法である(例えば、図２３のレイヤブリックタイリング)。第４方法は一つ又はそれ以上の球形領域に分割する方法である(例えば、図２４の球形／楕円形領域タイリング)。第５方法はポイントクラウドデータ内のポイントの特質情報に基づいて分割する方法である(例えば、図２５の属性基盤のブリックタイリング)。第６方法はポイントクラウドデータを含む３次元空間の軸の長さに基づいて分割する方法である(例えば、図２６の適応型軸長さ基盤のブリックタイリング)。

実施例によれば、第６方法は３次元空間の第１軸を３次元空間の第２軸の長さ単位に第１分割する段階、及び／又は３次元空間の第３軸を第２軸の長さ単位に第２分割する段階に基づいて行われる。

獲得したポイントクラウドデータを符号化する段階(３７００１)は、一つ又はそれ以上のブリックのそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する。実施例による符号化されたジオメトリ情報及び符号化された特質情報を結合する動作は、図１９のビットストリーム結合部１９０１４、図２７のビットストリーム結合部２７０００又は結合実行部２７００１で行われる。

符号化されたポイントクラウドデータ及びシグナリング情報を含むビットストリームを送信する段階(３７００２)では、符号化されたポイントクラウドデータをビットストリーム形態で送信する。符号化されたポイントクラウドデータ及びシグナリング情報を含むビットストリームを送信する段階(３７００２)は、図１８ないし図３６で説明したシグナリング情報をビットストリームに含めて、ビットストリームを実施例によるポイントクラウドデータ受信装置に送信する。

実施例によるシグナリング情報は、ブリック単位に分割する段階の実行有無を示す情報を含む(例えば、図３２ないし図３６のｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇ)。実施例によるポイントクラウドデータ送信方法がブリック単位に分割する段階を行う場合、実施例によるシグナリング情報は分割を行う方法を示す情報をさらに含む(例えば、図３２ないし図３６のｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ)。

実施例によるシグナリング情報は一つ又はそれ以上のブリックのそれぞれに対する符号化されたジオメトリ情報及び符号化された特質情報を結合する方法に関する情報をさらに含む(例えば、図３２ないし図３６のｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ)。

実施例によるシグナリング情報は、第６方法に基づく分割方法の実行に関連して、第６方法による分割の第１分割するブリックの単位を示す情報(例えば、図３２ないし図３６のｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ)、第２分割(再分割)する段階が行われるか否かを示す情報(例えば、図３２ないし図３６のｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔ)、ブリック分割に使用するｐａｒｔｉｔｉｏｎｉｎｇｔｙｐｅを色々な分割方法を使用するか否かを示す情報(例えば、図３２ないし図３６のｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ)及び／又は第１分割されたブリックに対して第２分割(再分割)を行うか否かを示す情報(例えば、図３２ないし図３６のｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇ)をさらに含む。

図３８は実施例によるポイントクラウドデータ受信方法を示すフローチャートである。

実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータ及びシグナリング情報を含むビットストリームを受信する段階(３８０００)、ポイントクラウドデータを復号する段階(３８００１)及び／又は復号されたポイントクラウドデータをレンダリングする段階(３８００２)を含む。

ポイントクラウドデータ及びシグナリング情報を含むビットストリームを受信する段階(３８０００)で受信したポイントクラウドデータはジオメトリビットストリーム及び特質ビットストリームを含む。

実施例によるシグナリング情報は受信したポイントクラウドデータが一つ又はそれ以上のブリックの単位に分割されているか否かを示す情報を含む(例えば、図３２ないし図３６のｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇ)。実施例によるシグナリング情報は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを分割したブリック分割方法を示す情報をさらに含む(例えば、図３２ないし図３６によるｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ)。

実施例によるシグナリング情報は一つ又はそれ以上のブリックの分割タイプを示す情報、一つ又はそれ以上のブリックのサイズに関連する情報などをさらに含む(例えば、図３２ないし図３６によるｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇ、Ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、Ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔ及び／又はｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ)。

ポイントクラウドデータを復号する段階(３８００１)では、ポイントクラウドデータのジオメトリビットストリームを受信し、それをジオメトリ復号してジオメトリ情報を出力する。ポイントクラウドデータを復号する段階(３８００１)では、ポイントクラウドデータの特質ビットストリームを復元されたジオメトリ情報に基づいて特質復号する。ポイントクラウドデータを復号する段階(３８００１)は特質情報を出力する。

実施例によれば、ポイントクラウドデータが一つ又はそれ以上のブリックの単位に分割されている場合、ポイントクラウドデータを復号する段階(３８００１)はブリックを独立的に復号することができる。

また、この場合、ポイントクラウドデータを復号する段階(３８００１)では、独立的に復号されたブリック内のポイントのジオメトリ情報及びポイントの特質情報を結合することができる。ポイントのジオメトリ情報及びポイントの特質情報を結合する動作は、図２９のポイント結合部２９０１２、図３０のポイント結合部３００００又は結合実行部３０００１により行われる。

復号されたポイントクラウドデータをレンダリングする段階(３８００２)では、復号されたポイントクラウドデータをディスプレイにレンダリングする。

説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。

実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。

この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。

第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。

実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
発明の実施のための最善の形態で具体的に説明する。

本発明の思想や範囲内で本発明を様々な変更及び変形が可能であることは当業者にとって明らかである。よって、本発明は添付する請求範囲及びその同等な範囲内で提供される本発明の変更及び変形を含む。

Claims

ポイントクラウドデータを分割する段階と、
前記分割されたポイントクラウドデータを符号化する段階であって、
前記ポイントクラウドデータのポイントは、ブロックに基づいて分割され、
前記ポイントの数に関連する特定のサイズを有する前記ブロックは、ポイントを含む、段階と、
前記符号化されたポイントクラウドデータを含むビットストリームを送信する段階と、を含む、ポイントクラウドデータを処理するための方法。
スライスに基づいて前記ポイントクラウドデータのジオメトリ情報を符号化する段階と、
前記スライス及び復元されたジオメトリ情報に基づいて前記ポイントクラウドデータの特質情報を符号化する段階と、を含み、
前記ビットストリームは、前記ポイントクラウドデータのシグナリング情報をさらに含む、請求項１に記載の方法。
前記シグナリング情報は、前記ポイントクラウドデータが一つ又はそれ以上のブロックに分割されているかどうかを示す情報を含み、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されていることを示す前記情報に対応して、前記シグナリング情報は、分割のための方法を示す情報を含む、請求項２に記載の方法。
分割のための前記方法は、
前記ポイントクラウドデータのポイントの密度に基づいて分割するための第１方法、
中心点情報及び半径情報に基づいて一つ又はそれ以上のセクターに分割するための第２方法、
一つ又はそれ以上のレイヤに分割するための第３方法、
一つ又はそれ以上の球形領域に分割するための第４方法、
前記ポイントクラウドデータ内の前記特質情報に基づいて分割するための第５方法、又は、
前記ポイントクラウドデータを含む３次元空間の軸長さに基づいて分割するための第６方法を含む、請求項３に記載の方法。
前記一つ又はそれ以上のブロックのそれぞれに対する前記符号化されたジオメトリ情報と前記符号化された特質情報を結合する段階であって、前記シグナリング情報は、前記一つ又はそれ以上のブロックのそれぞれに対する前記符号化されたジオメトリ情報と、前記符号化された特質情報を結合するための方法の情報とを含む、段階を含む、請求項３に記載の方法。
前記第６方法にしたがってブロックを分割するための方法は、
前記３次元空間の第１軸を第２軸の長さ単位によって分割するための第１分割ステップと、
前記３次元空間の第３軸を前記第２軸の前記長さ単位によって分割するための第２分割ステップと、を含み、
前記シグナリング情報は、前記第１分割ステップのブロックの単位を示す情報と、前記第２分割ステップのブロックの単位を示す情報とを含む、請求項４に記載の方法。
ポイントクラウドデータを分割し、前記分割されたポイントクラウドデータを符号化する、ように構成されたエンコーダであって、
前記ポイントクラウドデータのポイントは、ブロックに基づいて分割され、
前記ポイントの数に関連する特定のサイズを有する前記ブロックは、ポイントを含む、エンコーダと、
前記符号化されたポイントクラウドデータを含むビットストリームを送信するように構成された送信機と、を含む、ポイントクラウドデータを処理するための装置。
前記エンコーダは、
前記ブロック又はスライスに基づいて前記ポイントクラウドデータのジオメトリ情報を符号化するように構成されたジオメトリエンコーダと、
前記ブロック又は前記スライス、及び復元されたジオメトリ情報に基づいて前記ポイントクラウドデータの特質情報を符号化するように構成された特質エンコーダと、を含み、
前記ビットストリームは、前記ポイントクラウドデータのシグナリング情報をさらに含む、請求項７に記載の装置。
前記シグナリング情報は、前記ポイントクラウドデータが一つ又はそれ以上のブロックに分割されているかどうかを示す情報を含み、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されていることを示す前記情報に対応して、前記シグナリング情報は、分割のための方法を示す情報を含む、請求項８に記載の装置。
分割のための前記方法は、
前記ポイントクラウドデータのポイントの密度に基づいて分割するための第１方法、
中心点情報及び半径情報に基づいて一つ又はそれ以上のセクターに分割するための第２方法、
一つ又はそれ以上のレイヤに分割するための第３方法、
一つ又はそれ以上の球形領域に分割するための第４方法、
前記ポイントクラウドデータ内の前記特質情報に基づいて分割するための第５方法、又は、
前記ポイントクラウドデータを含む３次元空間の軸長さに基づいて分割するための第６方法を含み、
前記エンコーダが前記第６方法にしたがってブロックを分割する場合、前記エンコーダは、
前記３次元空間の第１軸を第２軸の長さ単位によって分割するための第１分割ステップと、
前記３次元空間の第３軸を前記第２軸の前記長さ単位によって分割するための第２分割ステップと、を実行し、
前記シグナリング情報は、前記第１分割ステップのブロックの単位を示す情報と、前記第２分割ステップのブロックの単位を示す情報とを含み、
前記装置は、前記一つ又はそれ以上のブロックのそれぞれに対する前記符号化されたジオメトリ情報と前記符号化された特質情報を結合するように構成された結合部であって、前記シグナリング情報は、前記一つ又はそれ以上のブロックのそれぞれに対する前記符号化されたジオメトリ情報と、前記符号化された特質情報を結合するための方法の情報とを含む、結合部を含む、請求項９に記載の装置。
ポイントクラウドデータを含むビットストリームを受信する段階であって、
前記ビットストリームは、ブロックに基づいて分割された前記ポイントクラウドデータのポイントを含み、
前記ポイントの数に関連する特定のサイズを有する前記ブロックは、ポイントを含む、段階と、
前記ビットストリームを復号する段階と、を含む、ポイントクラウドデータを受信する方法。
前記受信されたポイントクラウドデータは、ジオメトリビットストリーム及び特質ビットストリームを含み、
前記ポイントクラウドデータを復号する段階は、
前記ポイントクラウドデータの前記ジオメトリビットストリームをジオメトリ復号する段階と、
前記ポイントクラウドデータの前記特質ビットストリームを復元されたジオメトリ情報に基づいて特質復号する段階と、を含み、
前記ビットストリームは、前記ポイントクラウドデータのシグナリング情報をさらに含む、請求項１１に記載の方法。
前記シグナリング情報は、前記ポイントクラウドデータが一つ又はそれ以上のブロックに分割されているかどうかを示す情報を含み、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されていることを示す前記情報に対応して、前記ブロックは、独立に復号され、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されている場合、前記方法は、前記独立に復号されたブロックにおいてポイントのジオメトリ情報と特質情報を結合する段階であって、前記シグナリング情報は、前記一つ又はそれ以上のブロックの分割タイプを示す情報と、前記一つ又はそれ以上のブロックのサイズに関連する情報とを含む、段階を含む、請求項１２に記載の方法。
ポイントクラウドデータを含むビットストリームを受信するように構成された受信部であって、
前記ビットストリームは、ブロックに基づいて分割されている前記ポイントクラウドデータのポイントを含み、
前記ポイントの数に関連する特定のサイズを有する前記ブロックは、ポイントを含む、受信部と、
前記ポイントクラウドデータを復号するように構成されたデコーダと、を含む、ポイントクラウドデータを受信する装置。
前記受信されたポイントクラウドデータは、ジオメトリビットストリーム及び特質ビットストリームを含み、
前記デコーダは、
前記ポイントクラウドデータの前記ジオメトリビットストリームを復号するように構成されたジオメトリデコーダと、
前記ポイントクラウドデータの前記特質ビットストリームを復元されたジオメトリ情報に基づいて復号するように構成された特質デコーダと、を含み、
前記ビットストリームは、前記ポイントクラウドデータのシグナリング情報をさらに含み、
前記シグナリング情報は、前記ポイントクラウドデータが一つ又はそれ以上のブロックに分割されているかどうかを示す情報を含み、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されていることを示す前記情報に対応して、前記デコーダは、前記ブロックを独立に復号するように構成され、
前記ポイントクラウドデータが前記一つ又はそれ以上のブロックに分割されている場合、前記装置は、前記独立に復号されたブロックにおいてポイントのジオメトリ情報と特質情報を結合するように構成されたポイント結合部であって、前記シグナリング情報は、前記一つ又はそれ以上のブロックの分割タイプを示す情報と、前記一つ又はそれ以上のブロックのサイズに関連する情報とを含む、ポイント結合部を含む、請求項１４に記載の装置。