JP2023509730A - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 - Google Patents

ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 Download PDF

Info

Publication number
JP2023509730A
JP2023509730A JP2022541851A JP2022541851A JP2023509730A JP 2023509730 A JP2023509730 A JP 2023509730A JP 2022541851 A JP2022541851 A JP 2022541851A JP 2022541851 A JP2022541851 A JP 2022541851A JP 2023509730 A JP2023509730 A JP 2023509730A
Authority
JP
Japan
Prior art keywords
geometry
point cloud
location
cloud data
octree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022541851A
Other languages
English (en)
Other versions
JP7425207B2 (ja
Inventor
ユル，ヒジュン
オ，セジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023509730A publication Critical patent/JP2023509730A/ja
Application granted granted Critical
Publication of JP7425207B2 publication Critical patent/JP7425207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；及びポイントクラウドデータを含むビットストリームを送信する段階；を含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階；及びポイントクラウドデータを復号する段階；を含む。

Description

実施例はポイントクラウドコンテンツ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
（技術的課題）
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
（技術的解決方法）
上記技術的課題を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；及びポイントクラウドデータを含むビットストリームを送信する段階；を含む。また実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階；及びポイントクラウドデータを復号する段階；を含む。
（発明の効果）
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
添付図面は実施例の理解を助けるためのものであり、実施例に関連する説明と共に実施例を示す。後述する様々な実施例に対するより適切な理解のために、添付図面において類似する参照番号に対応する部分を含む次の図面に関連して以下の実施例の説明を必ず参照すべきである。
図１は、実施例によるポイントクラウドコンテンツ提供システムの一例を示す。 図２は、実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。 図３は、実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。 図４は、実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。 図５は、実施例によるボクセルの一例を示す。 図６は、実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。 図７は、実施例による隣接ノードパターンの一例を示す。 図８は、実施例によるＬＯＤごとのポイント構成の一例を示す。 図９は、実施例によるＬＯＤごとのポイント構成の一例を示す。 図１０は、実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 図１１は、実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 図１２は、実施例による送信装置の一例を示す。 図１３は、実施例による受信装置の一例を示す。 図１４は、実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。 図１５は、実施例によるジオメトリの八分木及び八分木に基づいて生成された特質のＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を示す。 図１６は、実施例によるＬＯＤに基づいてビットストリームを処理する方案を示す。 図１７は、実施例によるジオメトリ及び特質の空間拡張構造を示す。 図１８は、実施例によるジオメトリ符号化の動作を示す。 図１９は、実施例による切り捨て量子化(Ｔｒｕｎｃａｔｉｏｎ ｑｕａｎｔｉｚａｔｉｏｎ)及び丸め量子化(Ｒｏｕｎｄｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ)を示す。 図２０は、実施例による八分木の中間ノード上のジオメトリ(位置)を再構成する動作を示す。 図２１は、実施例による部分ジオメトリ復号動作を示す。 図２２は、実施例によるポイントクラウドデータエンコーダの構造を示す。 図２３は、実施例によるポイントクラウドデータデコーダの構造を示す。 図２４は、実施例によるポイントクラウドデータに関するビットストリームの構造を示す。 図２５は、実施例によるシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ, ＳＰＳ)を示す。 図２６は、実施例によるジオメトリパラメータセット(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ, ＧＰＳ)を示す。 図２７は、実施例によるタイルパラメータセット(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ, ＴＰＳ)を示す。 図２８は、実施例によるジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す。 図２９は、実施例によるジオメトリノードを示す。 図３０は、実施例によるシーケンスパラメータセットを示す。 図３１は、実施例によるジオメトリパラメータセットを示す。 図３２は、実施例によるタイルパラメータセットを示す。 図３３は、実施例によるジオメトリスライスヘッダを示す。 図３４は、実施例によるポイントクラウドデータ送信方法を示す。 図３５は、実施例によるポイントクラウドデータ受信方法を示す。
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解すべきである。
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力する。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行う。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特にポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信する。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行う。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などと呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などと呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用される。
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力する。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力する。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行う。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはさらにジオメトリ符号化及び特質符号化に関連するシグナリング情報を含む。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化する。
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行う。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングする。実施例において、一つのボクセルは一つのポイントのみを含む。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換する。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換する。
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことを示す。ポイントをＬＯＤによって分類できる。
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
図５は実施例によるボクセルの一例を示す図である。
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので省略する。
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘint n、ｙint n、ｚint n)は量子化されたポイントの位置(又は位置値)を示す。
Figure 2023509730000002
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示す。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化する。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングする。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングする。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は、三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成する。
ブロックのエッジに位置するバーテックスはブロックを通過する表面を決定する。実施例による表面は非平面多角形である。三角形再構成の過程ではエッジの開始点、エッジの方向ベクトルとバーテックスの位置値に基づいて三角形で示される表面を再構成する。三角形再構成の過程は以下の通りである。(1)各バーテックスの中心(ｃｅｎｔｒｏｉｄ)値を計算し、(2)各バーテックスの値から中心値を引いた値に(3)自乗を行って、その値を全て併せた値を得る。
Figure 2023509730000003
加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
表２－１．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １，…，ｎ
ｎ ｔｒｉａｎｇｌｅｓ
3 (1,2,3)
4 (1,2,3), (3,4,1)
5 (1,2,3), (3,4,5), (5,1,3)
6 (1,2,3), (3,4,5), (5,6,1), (1,3,5)
7 (1,2,3), (3,4,5), (5,6,7), (7,1,3), (3,5,7)
8 (1,2,3), (3,4,5), (5,6,7), (7,8,1), (1,3,5), (5,7,1)
9 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,1,3), (3,5,7), (7,9,3)
10 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,1), (1,3,5), (5,7,9), (9,1,5)
11 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,1,3), (3,5,7), (7,9,11), (11,3,7)
12 (1,2,3), (3,4,5), (5,6,7), (7,8,9), (9,10,11), (11,12,1), (1,3,5), (5,7,9), (9,11,1), (1,5,9)
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
図７は実施例による隣接ノードパターンの一例を示す図である。
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングする。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行う。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
ｉｎｔ ＰＣＣＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｖａｌｕｅ >=０) {
ｒｅｔｕｒｎ ｆｌｏｏｒ(ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
} ｅｌｓｅ {
ｒｅｔｕｒｎ -ｆｌｏｏｒ(-ｖａｌｕｅ / ｑｕａｎｔＳｔｅｐ + １．０ / ３．０);
｝
｝
表．Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
ｉｎｔ ＰＣＣＩｎｖｅｒｓｅＱｕａｎｔｉｚａｔｉｏｎ(ｉｎＴ ｖａｌｕｅ, ｉｎＴ ｑｕａｎｔＳｔｅｐ) {
ｉｆ( ｑｕａｎｔＳｔｅｐ ==０) {
ｒｅｔｕｒｎ ｖａｌｕｅ;
} ｅｌｓｅ {
ｒｅｔｕｒｎ ｖａｌｕｅ＊ｑｕａｎｔＳｔｅｐ;
｝
｝
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップにおいてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
Figure 2023509730000004
Figure 2023509730000005
Figure 2023509730000006
Figure 2023509730000007
ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。
図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。
図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
図１２は実施例による送信装置の一例を示す。
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。
スライス(ｓｌｉｃｅ)とは、コーディングされたポイントクラウドフレームの全体又は一部を示すシンタックスエレメントのシリーズをいう。
実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
図１３は実施例による受信装置の一例を示す。
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
図１４は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。
図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１４７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパワー供給ユニットなどを含む。
以下、上記技術が適用される装置１４１０～１４５０の様々な実施例について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋ＸＲ＋モバイルフォン＞
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ技術が適用されてモバイルフォン１４４０などで具現される。
モバイルフォン１４４０はＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイする。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動される。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
この明細書において、実施例によるポイントクラウドデータ送受信方法／装置を簡単に実施例による方法／装置とも称する。
この明細書において、ジオメトリはジオメトリデータ、ジオメトリ情報、ポイントの位置値などとも称される。
この明細書において、特質は特質データ、特質情報、ポイントの属性値(カラー、反射度など)なととも称される。
図１５は実施例によるジオメトリの八分木及び八分木に基づいて生成された特質のＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を示す。
図１５は図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のエンコーダ、図１２の送信装置のポイントの符号化過程により生成されるジオメトリの八分木１５０００及び特質のＬＯＤ１５０１０を示す。
また図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図４のデコーダ、図１１のデコーダ、図１３の受信装置のポイントクラウドデータを含むビットストリームの復号過程により生成されるジオメトリの八分木１５０００及び特質のＬＯＤ１５０１０を示す。
実施例は３次元ポイントクラウドデータ圧縮のためのジオメトリ基盤のポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、Ｇ－ＰＣＣ)の空間拡張(ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ)機能を提供するために、八分木に基づいてポイントの位置を再構成してジオメトリ圧縮効率を向上させる方案に関する。
ジオメトリの八分木１５０００は実施例によるエンコーダの八分木分析部４０００２により生成されるポイントの位置値に対する八分木(Ｏｃｔｒｅｅ)である(図５及び図６を参照)。
特質のＬＯＤ１５０１０は実施例によるエンコーダのＬＯＤ生成部４０００９により生成される八分木基盤の特質に対するＬＯＤの集合である(図８及び図９を参照)。
ジオメトリの八分木１５０００及び特質のＬＯＤ１５０１０は特定のレベル１５０３０を含む。レベルによって、ＬＯＤのインデックスが低いと、最大解像度のポイントクラウドオリジナルであり、ＬＯＤのインデックスが高いと、最大解像度のポイントクラウドビットストリームを意味する(図８を参照)。
特定のレベル１５０３０に基づいて、実施例による方法／装置は拡張可能な符号化及び／又は復号を行うことができる。
即ち、実施例は八分木の特定の深さ(ｄｅｐｔｈ、１５０３０)で拡張可能な(ｓｃａｌａｂｌｅ)ジオメトリ符号化／復号により生成されたポイントの八分木１５０００を生成する。また拡張可能な(ｓｃａｌａｂｌｅ)属性符号化／復号(リフト方式)により特質ＬＯＤ１５０１０を生成する。
このとき、ポイントの八分木１５０００の八分木上の位置１５０４０のリーフノード(ｌｅａｆ ｎｏｄｅ)及び特質ＬＯＤ１５０１０の八分木上の位置１５０５０の位置が最大限一致１５０６０するほどポイントクラウドデータの圧縮効率が増加することを意味する。
よって、実施例はジオメトリ八分木１５０４０と属性八分木のポイントの位置１５０５０が類似するようにポイントクラウドデータを処理するエンコーダ／デコーダの動作及びそのためのシグナリング情報のシンタックスを提案する。
実施例による方法／装置は、空間拡張(Ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ)のためにジオメトリ位置再構成(ｇｅｏｍｅｔｒｙ ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を行うことができ、このような方法を支援するためのシグナリング情報を生成して送受信することができる。
図１６は実施例によるＬＯＤに基づいてビットストリームを処理する方案を示す。
エンコーダ１６０２０は図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２のエンコーダ２０００１、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０に対応する。
デコーダ１６０３０は図１の受信装置１０００４、ポイントクラウドビデオデコーダ１０００６、図２のデコーダ２０００３、図１０及び図１１のデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０、図１７のデコーダ１７０００,１７０１０に対応する。
実施例は３次元ポイントクラウドデータ圧縮のためのＧｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ(Ｇ－ＰＣＣ)の空間拡張(Ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ)支援のためのジオメトリ位置(ｐｏｓｉｔｉｏｎ)の符号化／復号を行う。
実施例による方法／装置は、ポイントクラウドデータが高密度(ｄｅｎｓｅ)でかつ帯域幅は低いとき、低解像度のポイントクラウドを送って処理する機能を提供する。実施例による方法／装置は、受信装置の機能に合わせて受信装置がポイントクラウドデータをレンダリングするようにデータ処理を行う。
また実施例による方法／装置は、ポイントクラウドデータが高密度でかつデコーダ性能が低いとき、デコーダ側の計算量を減らすように一部のみを復号して低解像度のポイントクラウドを提供する機能を提供する。
動作１６０００のように、エンコーダ１６０２０は最大解像度のポイントクラウドオリジナルデータを受信する。エンコーダ１６０２０はポイントクラウドデータのジオメトリを八分木で構成する。エンコーダ１６０２０はＬＯＤに基づいて特定のレベルまでのジオメトリ１６０４０までのみ符号化する。ＬＯＤのレベルによって、エンコーダ１６０２０は低解像度のポイントクラウドｉ番目のＬＯＤ或いは高解像度のポイントクラウドビットストリームを生成する。デコーダ１６０３０はエンコーダに送信された低解像度のポイントクラウドｉ番目のＬＯＤ又は高解像度のポイントクラウドビットストリームを受信する。デコーダ１６０３０は特定のレベル１６０５０に該当するポイントクラウドデータを復号して復元してレンダリングする。デコーダ１６０３０は低解像度の復号されたポイントクラウド或いは高解像度の復号されたポイントクラウドを生成する。
動作１６０１０のように、エンコーダ１６０２０は最大解像度のポイントクラウドオリジナルデータを受信する。エンコーダ１６０２０は特定のレベルではない全てのレベルのジオメトリ八分木を符号化する。エンコーダ１６０２０は最大解像度のポイントクラウドビットストリームを生成する。デコーダ１６０３０は最大解像度のポイントクラウドビットストリームを受信する。デコーダ１６０３０は特定のレベル１６０６０までポイントクラウドデータを復号して復元する。デコーダ１６０３０は低解像度のポイントクラウドデータを生成する。
図１６のようなデータ処理は、ポイントクラウドデータの空間拡大性(ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ)に対する効果を提供する。
動作１６０００のように、実施例による送信装置又はエンコーダがポイントクラウドデータの一部のみを符号化して送信し、動作１６００１０のように、実施例による送信装置又はエンコーダがポイントクラウドデータを全て符号化して送信することができる。実施例による受信装置又はデコーダは受信したポイントクラウドデータを八分木の特定のレベルに基づいて拡張できるようにポイントクラウドデータを部分的に復号して復元する。
実施例による空間拡張機能は、送信環境、受信装置の特性、性能などによってポイントクラウドデータを効率的に処理する効果がある。
図１７は実施例によるジオメトリ及び特質の空間拡張構造を示す。
デコーダ１７０００,１７０１０は図１の受信装置１０００４のポイントクラウドビデオデコーダ１０００６、図２の復号を行うデコーダ２０００３、図１１のジオメトリビットストリーム及び特質ビットストリームを復号するデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０、図１６のデコーダ１６０３０に対応するか又は結合される。
実施例によるデコーダ１７０００は特質を有する低解像度のポイントクラウドデータを復元する。デコーダ１７０００はＬＯＤ(ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ)により表現されるジオメトリビットストリーム及び特質ビットストリームから八分木の特定のレベル１７０２０に該当する部分ジオメトリデータ及び部分特質データを受信して特質を有する低解像度のポイントクラウドデータを復元する。
実施例によるデコーダ１７０１０は最大解像度のポイントクラウドデータを復元する。デコーダ１７０１０はＬＯＤ(ｌｅｖｅｌ ｏｆ ｄｅｔａｉｌ)により表現されるジオメトリビットストリーム及び特質ビットストリームから八分木の終わりのレベルまでを全て含むジオメトリデータ及び特質データを受信して最大解像度のポイントクラウドデータを復元する。
実施例によるジオメトリ符号化及びジオメトリ復号は八分木の深さレベルを調節して選択された深さレベル(例えば、１５０３０,１６０４０,１６０５０,１６０６０)までのみ占有ビット(ｏｃｃｕｐａｎｃｙ ｂｉｔｓ)を符号化又は復号する過程により空間拡張機能を提供する。
実施例による空間拡張機能を提供するために、エンコーダ及び／又はデコーダはジオメトリ位置値を再配置する必要がある。
実施例による送受信装置のエンコーダ及び／又はデコーダは空間拡張機能のために八分木基盤にポイントの位置(例えば、ジオメトリ)を再構成してジオメトリ圧縮効率を高めることができる。
さらに実施例による空間拡張機能は他の実施例と結合可能である。即ち、この明細書で使用する用語は、該当分野において広く使用される範囲内で、用語が意図する意味に基づいて理解されるべきである。
実施例による方法／装置は、符号化及び／又は復号時、空間拡張機能を提供するように、ジオメトリに同じ八分木構造を提供する(図１７を参照)。実施例による方法／装置は、全体ジオメトリビットストリームから八分木の選択された深さレベル１７０２０まで該当する部分ジオメトリを構成する方式を提案する。ＬＯＤごとにジオメトリを再構成する方法は実施例によるＰＣＣデコーダ／エンコーダで行われる。
図１８は実施例によるジオメトリ符号化の動作を示す。
図１８は図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２のエンコーダ２０００１、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などがジオメトリを符号化するとき、図１５及び図１６などのように空間拡張性を支援するための動作を示す。
Ｓ１８０００、損失ジオメトリ(ｌｏｓｓｙ ｇｅｏｍｅｔｒｙ)コーディングのための量子化
実施例によるエンコーダは損失ジオメトリコーディングを行う。損失ジオメトリコーディングのために、実施例によるエンコーダはジオメトリを量子化する。実施例による量子化の具体的な動作について図１９を参照しながら説明する。
Ｓ１８０１０、部分ジオメトリ(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ)符号化
実施例によるエンコーダはジオメトリを部分的に符号化する。実施例による部分ジオメトリ符号化については図２０を参照しながら説明する。
図１９は実施例による切り捨て量子化及び丸め量子化を示す。
図１９は図１８のＳ１８０００の詳しいい動作を示す。
図１９は実施例によるエンコーダがジオメトリを量子化する動作を示す。例えば、図４の量子化器又はボクセル化器４０００１、図１２のボクセル化処理機１２００２などが図１９のような量子化を行うことができる。
実施例によるエンコーダは損失ジオメトリコーディングのために、ジオメトリ位置値にスケール値を掛けることにより量子化(ｑｕａｎｔｉｚａｔｉｏｎ)を行う。ジオメトリが量子化されると、ジオメトリデータが示す位置値が変更される。
実施例による量子化は、切り上げ(ｃｅｉｌ)、切り捨て(ｆｌｏｏｒ)、丸め(ｒｏｕｎｄ)などを含む。
実施例によるエンコーダは、空間拡張のための様々な量子化タイプに基づいてジオメトリを量子化する。エンコーダはジオメトリに適用された量子化タイプ情報をポイントクラウドビットストリームに含ませて送信する。実施例によるデコーダはビットストリームに含まれた量子化タイプ情報に基づいてジオメトリの位置を復元する。
実施例による切り捨て量子化１９０００は、ジオメトリのポイント位置値を切り捨てることにより変更することができる。ポイント１９０２０はボクセル１９０３０内の座標系上の位置値(１.２，１.１，１.４)を有する。エンコーダがポイント１９０２０を切り捨て量子化すると、各位置値の小数点値が除去される。例えば、位置値(１.２，１.１，１.４)は位置値(１，１，１)に量子化される。ポイント１９０５０はボクセル１９０６０内の座標系上の位置値(０.６，０.５，０.６)を有する。エンコーダがポイント１９０５０を切り捨て量子化すると、位置値(０.６，０.５，０.６)は(０，０，０)に量子化される。
実施例による丸め量子化１９０１０は、ジオメトリのポイント位置値を近接する整数値に変換することができる。ポイント１９０８０はボクセル１９０９０内の位置値(１.２，１.１，１.４)を有する。１.２，１.１，１.４は１と２の間に位置する。丸め量子化は各座標値を１と２のうち近い値に設定する。即ち、(１.２，１.１，１.４)は(１，１，１)に量子化される。ポイント１９１００はボクセル１９１１０内の位置値(０.６，０.５，０.６)を有する。位置値(０.６，０.５，０.６)は位置値(１，１，１)に量子化される。実施例によって、０.５は１に丸め量子化される。実施例によって０.５のように中間に位置するポイントは実施例による設定によって０又は１に量子化される。
実施例による方法／装置は八分木のノードの代表位置を量子化技法(例えば、切り上げ、切り捨て、丸めなど)に基づいて設定する。
図１９のように、実施例によるエンコーダはジオメトリが有する位置値を量子化することにより損失コーディングを行う。
実施例によるエンコーダは符号化オーダーによる方向１９１４０,１９１５０によってポイントを量子化する。
実施例による量子化は損失ジオメトリコーディングのために使用され、損失コーディングではない無損失コーディングが適用される場合、量子化動作は選択的(ｏｐｔｉｏｎａｌ)である。
図２０は実施例による八分木の中間ノード上のジオメトリ(位置)を再構成する動作を示す。
図２０は図１８のＳ１８０１０の詳細動作を示す。
実施例によるエンコーダは、空間拡張のために全体八分木(八分木のリーフノードまで)を符号化せず、八分木の特定の深さレベルまでのみ符号化して部分ジオメトリビットストリームを生成して送信する。
実施例によるエンコーダは、図１５及び図１６のように、八分木の特定の深さレベルまで占有ビットが生成され、属性を符号化するために符号化されたジオメトリ情報に基づいてジオメトリ位置情報を再構成(ｒｅｃｏｎｓｔｒｕｃｔ)する。
実施例によるエンコーダは、図１８乃至図２０のようにジオメトリ位置を再構成するとき、リーフノード(ｌｅａｆ ｎｏｄｅ)ではない八分木の中間ノード(図２０のＬＯＤ Ｎ)の代表位置を設定して該当位置をポイントとして再構成する。
代表位置はノード領域(又はバウンディングボックス、ボクセルなど)２００２０,２００７０,２００９０,２０１００)の左、下、前(ｌｅｆｔ、ｂｏｔｔｏｍ、ｆｒｏｎｔ)のポイント(２００００)、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置(２００１０)、又は分布によって中心点(Ｃｅｎｔｒｏｉｄ)にすることができる(２００１０)。また様々な他のコーナー位置に設定することもできる。
実施例による中央位置はＬＯＤ Ｎにおいて各ノード領域の中央位置(ノード内のポイント位置とは関係なく、バウンディングボックスの中央値)を意味する。
実施例による中心点はＬＯＤ Ｎにおいて各ノード領域に含まれたポイントの実際中心値であって、ポイントを含む下位ノードの左／下／前側であるか、或いは下位ノードの中央であるかを確認した後、その位置に対するタイプとその下位ノードのインデックス(０～７)をシグナリングする情報でデコーダに知らせる。
実施例による方法／装置は、ジオメトリ位置を復元するとき、ジオメトリ値自体を代表位置として復元する。そうすると、属性コーディングからの結果とよくマッチングする効果がある。その理由は、属性コーディングにおいてウェイト(ｗｅｉｇｈｔ)(距離)を代表中央位置に移して計算するためである。また部分復号(ｐａｒｔｉａｌ ｄｅｃｏｄｉｎｇ)において中間レベルでの位置復元を底／左／前(ｂｏｔｔｏｍ／ｌｅｆｔ／ｆｒｏｎｔ)とするとき、その値は実際値ではないこともある。即ち、仮想の値である。該当領域内のどこに実際ポイントがあるかはリーフレベルまで復号しないと知らないためである。従って、代表位置を中央とする方がもっと符号化／復号効率が増加する。
実施例による部分復号(ｐａｒｔｉａｌ ｄｅｃｏｄｉｎｇ)では、デコーダがフルレベル(ｆｕｌｌ ｌｅｖｅｌ)を復号したくないか、復号できないか、復号する必要がないなどの特定の理由により、複数のレベルのうち、特定のレベルであるＬレベルまでのデータを復元する。従って、０からＮレベルまでの全ノードの代表位置が復元されることではなく、デコーダが望むＬレベルでの八分木ノードごとに占有ビットに合わせて代表位置に復元される。該当八分木ノードの占有ビットが０であると、復元されない。
実施例によるエンコーダはポイントクラウドデータ、例えば、ジオメトリを八分木構造で表すことができる。八分木は八分木レベルによるノード領域２００２０及びノード領域２００２０に含まれたポイントで構成される。
八分木レベルはＬＯＤ２００３０で表現される。ＬＯＤ ０ないしＬＯＤ Ｎに、インデックスＮに行くほどノード領域のサイズが小さくなり、リーフノードに該当するレベルの場合、ノード領域がボクセルに対応する。
動作２００００のように、実施例によるエンコーダはＬＯＤのようなポイント距離に基づいて空間上に位置するジオメトリのポイントを八分木構造で表すことができる。
例えば、ＬＯＤ Ｎ－１レベルの場合、ノード領域２００２０は１つ又は１つ以上のポイントを含む。実施例によるエンコーダはノード領域２００２０のポイントの代表位置を左、下、前の位置２００４０に設定することができる。ノード領域２００２０のポイントは代表位置２００４０のポイントとして見なされる。八分木構造上、ＬＯＤ Ｎ－１レベルのノードは下位ノード(又は子ノード)として最大８つのノードを含む。ＬＯＤ Ｎレベルに含まれた１つ又は１つ以上のノードも各ノード領域の代表位置を各ノード領域の左、下、前の位置２００５０に設定することができる。
動作２００１０は動作２００００と比較して、実施例によるエンコーダは各ノード領域の代表位置をノード領域の中央位置２００６０に設定することができる。
例えば、ＬＯＤ Ｎ－１のレベルにおいて、ノード領域２００７０の代表位置は中央になる。八分木構造上のノード領域２００７０は最大８個の下位ノード(又は子ノード)を含む。ＬＯＤ Ｎレベルにおいて、１つ又は１つ以上のノードは各ノードの中央位置がノードが含む１つ又は１つ以上のポイントの代表位置２００８０になる。
実施例による八分木ノードの代表位置タイプはシグナリングされる。実施例によるエンコーダは実施例による八分木ノードの代表位置タイプ(２００００,２００１０などを示す)を示す情報をポイントクラウドビットストリームにメタデータ、シグナリング情報又はパラメータなどにより含めて送信する。実施例による受信装置はビットストリームに含まれた代表位置タイプ関連情報に基づいてポイントクラウドビットストリームに含まれたジオメトリの位置を復元する。
一方、実施例によるエンコーダが特質をＬＯＤに基づいて符号化する場合、特質の代表位置を中央と見なして隣接ポイントをサーチすることができる。
例えば、特質コーディングにおいてウェイト計算方法を使用する場合、中央移動に基づいて基準距離を計算することができる。
特質符号化と比較するとき、図２０は空間拡大可能なジオメトリ符号化方法を示す。
実施例によるエンコーダが空間上のポイントの分布によってポイントの中心点を設定する場合、現在八分木の深さレベル(０～Ｎ)において下位子レベル位置の中心点がどこに属するかを計算することができる。下位レベルの左、下、前の位置にポイント、又は中央位置、又は各コーナーに設定することができる。
実施例によるエンコーダ又はメタデータ処理機は、下位レベルの位置インデックス値と下位レベルでの代表位置タイプをポイントクラウドビットストリームにシグナリング情報又はパラメータにより追加することができる。シグナリング情報に基づいて実施例によるデコーダは部分ジオメトリ位置復元を行うことができる。
部分ジオメトリ符号化の時に適用される代表位置タイプは、損失ジオメトリの量子化段階で適用した量子化タイプに合わせて代表値を設定することもできる。
例えば、量子化タイプが丸めである場合、代表位置タイプを中央に設定し、量子化タイプが切り上げ方式である場合は、代表位置タイプを右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。実施例による量子化タイプ及び／又は代表位置タイプはビットストリームのパラメータ、シグナリング情報により含まれて送信される。デコーダはパラメータ又はシグナリング情報に基づいて、部分ジオメトリポイントの位置を再構成する。
上述した実施例による方式は、エンコーダ及び／又はデコーダにも同じ方式で適用できる。特質符号化及び／又は特質復号時、同一のポイントに基づいて特質符号化／復号が行われる。
部分ジオメトリに符号化された場合、全体八分木の深さだけではなく、符号化に使用された八分木の深さレベルもシグナリング情報としてビットストリームに含めて送信される。
実施例によるシグナリング情報については図２４にポイントクラウドビットストリームの構造と共に具体的に説明する。
図２０のジオメトリ位置の再構成動作は以下に基づいて動作する。
ｆｏｒ(ｃｈｉｌｄ＝０；ｃｈｉｌｄ＜ＧｅｏｍｅｔｒｙＮｏｄｅＣｈｉｌｄｒｅｎＣｎｔ；ｃｈｉｌｄ＋＋) {
ｃｈｉｌｄＩｄｘ＝ＧｅｏｍｅｔｒｙＮｏｄｅＣｈｉｌｄｒｅｎ[ｃｈｉｌｄ]；
ｘ＝２×ｘＮ＋(ｃｈｉｌｄＩｄｘ＆４)＝＝１；
ｙ＝２×ｙＮ＋(ｃｈｉｌｄＩｄｘ＆２)＝＝１；
ｚ＝２×ｚＮ＋(ｃｈｉｌｄＩｄｘ＆１)＝＝１；
ｆｏｒ(ｉ＝０；ｉ＜ＧｅｏｍｅｔｒｙＮｏｄｅＤｕｐＰｏｉｎｔｓ[ｃｈｉｌｄ]＋１；ｉ＋＋, ＰｏｉｎｔＣｏｕｎｔ＋＋) {
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][０]＝ｇｅｏｍＳｃａｌｅ(ｘ, ０)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][１]＝ｇｅｏｍＳｃａｌｅ(ｙ, １)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][２]＝ｇｅｏｍＳｃａｌｅ(ｚ, ２)；
}
ｉｆ(ｄｉｒｅｃｔ_ｍｏｄｅ_ｆｌａｇ) {
ｉｆ(!ｄｕｐｌｉｃａｔｅｄＰｏｉｎｔＦｌａｇ) {
ｆｏｒ(ｉ＝０；ｉ＜＝ｎｕｍ_ｄｉｒｅｃｔ_ｐｏｉｎｔｓ_ｍｉｎｕｓ１；ｉ＋＋, ＰｏｉｎｔＣｏｕｎｔ＋＋ ) {
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][０]＝ｇｅｏｍＳｃａｌｅ((ｘ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２ )＋ＰｏｉｎｔＯｆｆｓｅｔＸ[ｉ], ０)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][１]＝ｇｅｏｍＳｃａｌｅ((ｙ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２ )＋ＰｏｉｎｔＯｆｆｓｅｔＹ[ｉ], １)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][２]＝ｇｅｏｍＳｃａｌｅ((ｚ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２)＋ＰｏｉｎｔＯｆｆｓｅｔＺ[ｉ], ２)；
}
}
ｅｌｓｅ {
ｆｏｒ(ｉ＝０；ｉ＜＝ｎｕｍ_ｄｉｒｅｃｔ_ｐｏｉｎｔｓ_ｍｉｎｕｓ１；ｉ＋＋, ＰｏｉｎｔＣｏｕｎｔ＋＋ ) {
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][０]＝ｇｅｏｍＳｃａｌｅ((ｘ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２ )＋ＰｏｉｎｔＯｆｆｓｅｔＸ[０], ０)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][１]＝ｇｅｏｍＳｃａｌｅ((ｙ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２ )＋ＰｏｉｎｔＯｆｆｓｅｔＹ[０], １)；
ＰｏｉｎｔＰｏｓ[ＰｏｉｎｔＣｏｕｎｔ][２]＝ｇｅｏｍＳｃａｌｅ((ｚ＜＜ＥｆｆｅｃｔｉｖｅＣｈｉｌｄＮｏｄｅＳｉｚｅＬｏｇ２ )＋ＰｏｉｎｔＯｆｆｓｅｔＺ[０], ２)；
}
}
}
}
ｉｆ(ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２＞１) {
ｍａｓｋ＝(－１)＜＜ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２；
ｆｏｒ(ｉ＝０；ｉ＜ＰｏｉｎｔＣｏｕｎｔ；ｉ＋＋) {
ＰｏｉｎｔＰｏｓ[ｉ][０]＝(ＰｏｉｎｔＰｏｓ[ｉ][０]＆ｍａｓｋ)＋(１＜＜(ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２－１))
ＰｏｉｎｔＰｏｓ[ｉ][１]＝(ＰｏｉｎｔＰｏｓ[ｉ][１]＆ｍａｓｋ)＋(１＜＜(ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２－１))
ＰｏｉｎｔＰｏｓ[ｉ][２]＝(ＰｏｉｎｔＰｏｓ[ｉ][２]＆ｍａｓｋ)＋(１＜＜(ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２－１))
}
}
実施例による方法／装置はビット演算により特定の八分木レベル(例えば、ＬＯＤ ０ないしＮ)の各ノードの位置を中央値(例えば、２００６０,２００８０)として設定する。即ち、＆と＜＜演算が０／１ビットを残すか又は削除して、位置を中央に移動させることができる。
八分木のレベルはｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２に設定される。
Ｍａｓｋ＝(－１)＜＜ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２動作は、特定の八分木レベルを適用するために、右側の末位を０ｓと＆演算に基づいて削除するためのビットを生成する。
ＰｏｉｎｔＰｏｓ[ｉ][０]＆ｍａｓｋ動作は、位置値から右側の位を削除する。そうすると、該当レベルの八分木の左、底、前(ｌｅｆｔ,ｂｏｔｔｏｍ,ｆｒｏｎｔ)の位置値が生成される。
＋(１＜＜(ｍｉｎＧｅｏｍＮｏｄｅＳｉｚｅＬｏｇ２－１))動作は、１つのサブ八分木ノード(ｓｕｂ－Ｏｃｔｒｅｅ ｎｏｄｅ)のサイズ値を求める。該当値を加えると、該当八分木レベルの中央位置が導き出される。
図２０のジオメトリ位置再構成動作はジオメトリエンコーダにより実行され、又はポイントクラウドエンコーダにより実行される。さらにジオメトリ位置再構成は特質符号化及び／又は特質復号に連関して実行される。即ち、ジオメトリ位置を再構成すると、ポイントクラウドデータをよく復元できるという効果がある。
ポイントクラウドデータの復元時、全レベルを全て復元することではない場合、中間レベルまで復元する場合(部分復号ｐａｒｔｉａｌ ｄｅｃｏｄｉｎｇ、１６０３０)、復元された位置値の左／底／前(ｌｅｆｔ／ｂｏｔｔｏｍ／ｆｒｏｎｔ)値をデフォルト(ｄｅｆａｕｌｔ)として設定することができる(即ち、仮想の値)。中間ノードにおいてどのサブ八分木ノード(ｓｕｂ－Ｏｃｔｒｅｅ ｎｏｄｅ)が占有されているかを知らない。左／底／前(ｌｅｆｔ／ｂｏｔｔｏｍ／ｆｒｏｎｔ)も仮想の値であるが、特質を符号化及び／又は復号するとき、各ポイントのＮＮ(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｕｒ、最も近い隣接)とのウェイト値を計算する必要がある。従って、ノード値を中央位置値にシフト(ｓｈｉｆｔｉｎｇ)した後、ウェイト(ｗｅｉｇｈｔ（ｄｉｓｔａｎｃｅ))値を計算する。
従って、ジオメトリも全体レベルの復元ではない中間レベルでのジオメトリの復元時１７０２０、特質のウェイト(ｗｅｉｇｈｔ)計算方法に合わせてジオメトリの位置を中央値に復元すると、復元されたポイントと復元された色相とのマッチングが成立してＰＳＮＲが非常に高くなる効果がある。
ジオメトリは左／底／前(ｌｅｆｔ／ｂｏｔｔｏｍ／ｆｒｏｎｔ)ポイントに復元し、特質は中央にあると仮定してＮＮのウェイトを計算したときの不一致が出るエラーを減少させる効果がある。部分復号時、ジオメトリ／特質を全て中央２００６０，２００８０に復元して一致させることによりＰＳＮＲが向上する。
代表位置を再構成することは、特定のレベルまでのみ復号するためのことである。即ち、部分復号を可能にする。実施例によって符号化はフルレベルで進行される１６０１０。特質符号化において、特質コーディングＮＮウェイトを中央に移動させることとは別に、ジオメトリ位置の再構成は上記のような効果を提供することができる。
属性コーディング時、ＮＮとの距離計算によりウェイト(ｗｅｉｇｈｔ)を求めるとき、自分のポイントＮＮのポイントを全て中央に位置変更して、距離(ｄｉｓｔａｎｃｅ)を計算することができる。即ち、拡張コーディングが可能である。これは部分復号又はフルレベルの復号時、全て同じウェイトが適用される。
図２１は実施例による部分ジオメトリ復号動作を示す。
デコーダ１７０００,１７０１０は図１の受信装置１０００４のポイントクラウドビデオデコーダ１０００６、図２の復号を行うデコーダ２０００３、図１１のジオメトリビットストリーム及び特質ビットストリームを復号するデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０、図１６のデコーダ１６０３０、図１７のデコーダ１７０００,１７０１０により行われる部分ジオメトリ復号動作である。
動作２１０００は実施例による部分ジオメトリ復号動作を示す。
空間拡張機能を提供するために全体八分木(ツリーのリーフノードまで)を符号化せず、特定の深さレベルまでのみ符号化して部分ジオメトリビットストリームを生成してデコーダに送信してもよい。例えば、サムネイルを支援するために部分ジオメトリ符号化が用いられる。
また全体八分木ビットストリームを符号化したが、デコーダでデコーダの性能又はリソースの不足、又はシナリオ上、サムネイル(ｔｈｕｍｂｎａｉｌ)を優先して迅速に必要とする場合があり得る。このとき、デコーダが受信した全体八分木基盤のビットストリームを全部復号せず、八分木の特定の深さレベルまでのみ復号することもできる。
ジオメトリ復号は以下の３つの場合を含む。実施例による受信装置及び／又はデコーダは以下の３つの場合を実施例によってそれぞれ実行することができる。
第１の場合(Ｓ２１０００)：全体ジオメトリビットストリームを受信し(ｆｕｌｌ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)、八分木全体によりジオメトリ位置情報を再構成(ｆｕｌｌ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)。
実施例による受信装置又はデコーダは、送信装置又はエンコーダから最大解像度の全体ジオメトリを含むビットストリームを受信する。受信装置は八分木に基づく全体ジオメトリからジオメトリ全体の位置情報を復元する。
第２の場合(Ｓ２１０１０)：全体ジオメトリビットストリームを受信し(ｆｕｌｌ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)、部分八分木によりジオメトリ位置情報を再構成(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)。
受信装置は送信装置から最大解像度の全体ジオメトリを含むビットストリームを受信する。受信装置は八分木に基づくジオメトリから部分的に(ｐａｒｔｉａｌ)特定のレベルまでジオメトリ部分の位置情報を復元する(ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ)。
第３の場合(Ｓ２１０２０)：部分ジオメトリビットストリームを受信し(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)、受信された八分木全体を再構成(ｐａｒｔｉａｌ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)。
受信装置は送信装置から部分ジオメトリビットストリームを受信する。受信装置は部分ジオメトリに該当する八分木全体を復元する。
第２の場合(Ｓ２１０１０)及び／又は第３の場合(Ｓ２１０２０)が部分ジオメトリ復号に該当する。第２の場合(Ｓ２１０１０)が図１６の動作１６０１０に対応し、第３の場合(Ｓ２１０２０)が図１６の動作１６０００に対応する。
部分ジオメトリ復号のために、実施例による受信装置は、以下の情報を使用して以下の動作(Ｓ２１０３０、Ｓ２１０４０)を行う。
Ｓ２１０３０、量子化タイプ情報に基づいてジオメトリを復号し、ジオメトリの位置を再構成。
エンコーダから受信したビットストリームに含まれた量子化タイプ情報に基づいて、デコーダはジオメトリを復号し、ジオメトリの位置値を再構成する。
Ｓ２１０４０、代表位置情報に基づいてジオメトリを復号し、ジオメトリの位置を再構成。
エンコーダから受信したビットストリームに含まれた代表位置情報に基づいて、デコーダはジオメトリを復号し、ジオメトリの位置値を再構成する。
受信装置は実施例による部分ジオメトリの位置を以下のように復号する(Ｓ２１０５０、Ｓ２１０６０)。
Ｓ２１０５０、特定のレベルの八分木まで占有ビットを分析し、八分木構成(ｐａｒｔｉａｌ ｄｅｃｏｄｉｎｇ)。
デコーダは受信したジオメトリに含まれた占有ビットを分析する。このとき、部分復号のために特定のレベルに八分木まで該当する占有ビットが分析される。分析された占有ビットに基づいて八分木を構成する。
即ち、ジオメトリビットストリームから部分復号のための特定のレベルの八分木まで占有ビット(ｏｃｃｕｐａｎｃｙ ｂｉｔｓ)を分析して八分木を構成する。特定のレベルの占有ビットの有無によってノードが構成される。
Ｓ２１０６０、ノードの位置を再構成。
デコーダは構成されたノードの位置値を再構成する。位置値を構成する過程は量子化タイプと同じ位置にノード内の位置を計算する。例えば、図１９のように、ポイント１９１２０に量子化されたポイント１９０８０の位置が再構成されて計算される。
図２２は実施例によるポイントクラウドデータエンコーダの構造を示す。
図２２は図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２のエンコーダ２０００１、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０、図１６のエンコーダ１６０２０に対応する実施例によるエンコーダの詳細構造図である。各構成要素はハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
図２２の各構成要素は実施例によるエンコーダ内に常に含まれるか、又は構成要素ごとに選択的に含まれる。エンコーダの符号化構成要素の動作に関するシグナリング情報はビットストリームに含まれて送信される。
実施例による送信装置又は送信装置に含まれたエンコーダはポイントクラウドデータを符号化し、幾何情報ビットストリーム及び／又は属性情報ビットストリームを生成する。
データ入力機２２０００はジオメトリデータ、特質データ及び／又はそれに関連するパラメータを受信する。
座標系変換器２２０１０はジオメトリデータの位置(座標)情報に関する座標系を変換する。座標系変換部１７０１０は図４の座標系変換部４００００に対応する。
幾何情報変換量子化処理機２２０２０は幾何情報変換量子化器などとも称される。幾何情報変換量子化処理部２００２０は図４の量子化器４０００１に対応する。幾何情報変換量子化処理部２２０２０には１つの全体スケール値(量子化値)が入力され、コンテンツの分布によってスケール調節が可能である。
空間分割機２２０３０はポイントクラウドデータを実施例による空間分割単位に分割する。空間分割部２２０３０はポイントクラウドデータのデータ特性によって空間適応的にタイル、ブロック、密度基盤、軸基盤、特質基盤、ジオメトリ基盤などの方法を使用してデータの空間を分割する。空間分割部２２０３０はデータ分割(ｐａｒｔｉｔｉｏｎｉｎｇ)を行う。フレームがタイル及びスライスに分割される。ソースポイントクラウドデータは複数のスライスに分割され、ビットストリーム内で符号化される。スライスは独立して符号化又は復号されるポイントの集合である。スライスは１つのジオメトリデータユニット及びゼロ又は１つ以上の特質データユニットを含む。特質データユニットは同一のスライス内に対応するジオメトリデータに依存的である。スライス内においてジオメトリデータユニットは関連する特質ユニットの前に示される。スライスのデータユニットは隣接している。スライスのグループは共通のタイル識別子により識別される。各タイルのためのバウンディングボックスを記述するタイル情報がビットストリーム内にあり得る。タイルはバウンディングボックス内の他のタイルをオーバーラップする。各スライスはタイルが属することを識別するインデックスを含んでもよい。
幾何情報符号化器２２０４０はポイントクラウドデータのジオメトリデータを符号化することができる。ジオメトリ符号化の詳細過程は以下の構成要素により行われる。幾何情報符号化器２２０４０は八分木生成部で量子化されたポイントクラウドを基準として八分木を生成し、色相再調整部で使用可能にする。
ジオメトリエンコーダ２２０４０(例えば、八分木生成器２２０６０)は空間拡張を提供するために、八分木の深さレベルを設定し、設定された八分木深さレベルから符号化するポイントを設定する。
部分ジオメトリに適用された八分木深さレベルをビットストリームにパラメータとして含めて送信することによりデコーダにシグナリングすることができ、使用用途又はデコーダのコンピューティング性能によって八分木深さレベル設定環境が変更される。
ボクセル化処理機２２０５０はジオメトリデータをボクセル化する。ボクセル化処理部２２０５０は図４のボクセル化器４０００１に対応する。
ボクセル化タイプは実施例による量子化タイプ設定によってジオメトリを量子化することができる(図１８及び図１９を参照)。
実施例によるエンコーダがジオメトリに適用した量子化タイプはパラメータ(シグナリング情報)としてビットストリームに含めて実施例による受信装置に送信される。
このようにボクセル化処理機２２０５０は損失ジオメトリのコーディング時に使用された量子化タイプをデコーダにシグナリングし、エンコーダ及び／又はデコーダのジオメトリ位置復元機２２０９０、２３０３０で使用することができる。量子化タイプは切り上げ(ｃｅｉｌ)、切り捨て(ｆｌｏｏｒ)、丸め(ｒｏｕｎｄ)方式がある。
八分木生成器２２０６０は図４の八分木分析部４０００２に対応する。八分木生成部２２０６０はジオメトリデータを八分木構造で生成する。
ジオメトリ八分木が使用される場合、ジオメトリ符号化が以下のように行われる：１)２つのポイントにより定義されるバウンディングボックスが定義される。バウンディングボックスを再帰的に分割(ｒｅｃｕｒｓｉｖｅｌｙ ｓｕｂｄｉｖｉｄｉｎｇ)しながら八分木構造が設けられる。それぞれのキューブは８つのサブキューブに分割される。８ビットコードは占有コードとも称される。それぞれのサブ－キューブごとに１ビットのポイントが満たされていると１、ポイントが空いていると０のように表現される。１よりサイズが大きいサブキューブはさらに分割される。サイズ１のサブキューブがボクセルである。複数のポイントが重複可能であり、同一のサブキューブ(ボクセル)にマッピングされる。それぞれのサブキューブのポイントは演算的に符号化される。
一方、復号プロセスはビットストリームからバウンディングボックスの次元を読み取ることにより開始される。占有コードによってバウンディングボックスを分割することにより同一の八分木構造が生成される。次元１のサブキューブに到達すると、サブキューブのポイントが演算的に復号される。
八分木生成器２２０６０はジオメトリに対する八分木を生成する。ジオメトリ全体に対する八分木を生成するか、又はジオメトリ部分に対する八分木を生成する。
実施例による深さレベルのインデックスによって、八分木生成器２２０６０は全てのレベルを含むリーフノードを含む八分木を生成するか１６０００、又は特定のレベルまでのノードを含む部分八分木を生成する１６０１０。送信装置は八分木の深さレベルをビットストリームにパラメータ(シグナリング情報)として含めて受信装置に送信する。
幾何情報予測器２２０７０はジオメトリデータに対する予測を行う。幾何情報予測部２２０７０は八分木構造において親ノード及び子ノードの間のジオメトリデータの予測値を生成する。予測値により残差値を生成して残差値をエントロピーコーディングしてジオメトリビットストリームを構成する。予測値との残差値のみをコーディングして効率的なビットストリーム送信が可能であるという効果がある。幾何情報予測部２２０７０は特質コーディングのためにジオメトリ八分木からジオメトリデータを復元(再構成)する。再構成されたジオメトリデータに基づいて特質コーディングが行われるためである。
幾何情報予測器２２０７０が常に動作することではない。動作に対するオプションがある。オプション値によって幾何情報予測が行われる。例えば、Ａｄｊａｃｅｎｔ Ｃｈｉｌｄ Ｎｅｉｂｈｇｏｕｒ ｆｌａｇにより動作有無がシグナリングされる。
幾何情報予測器２２０７０により生成された値から現在八分木ノードが占有されているか否かを把握できる。その値が伝達されてジオメトリ位置再構成部２２０９０に入力される。
ジオメトリ位置再構成部２２０９０の入力値が幾何情報予測器２２０７０により予測されて得られた占有されたビットであるか否かはジオメトリ位置再構成部２２０９０では関係ない。即ち、ジオメトリ位置再構成部２２０９０では該当ノードが占有されているか否かのみが重要である。
幾何情報エントロピーエンコーダ２２０８０はジオメトリデータをエントロピーコーディングして、ジオメトリビットストリームを生成する。
ジオメトリ位置再構成器２２０９０はジオメトリを復元する。即ち、ジオメトリエンコーダ２２０４０により符号化されたジオメトリを再度復元することができる。ジオメトリ位置値が再構成される。復元されたジオメトリ位置値は特質エンコーダ２２１００に提供される。
ジオメトリ位置再構成器２２０９０はそれぞれの八分木ノードの代表位置タイプを受けて代表位置タイプによってジオメトリ位置値を再構成する(図２０を参照)。エンコーダで使用された代表位置タイプは、ビットストリームのパラメータに含まれてデコーダに提供される。代表位置タイプは量子化タイプのようなタイプを使用する方式(図１９を参照)、左－下－前(Ｌｅｆｔ、Ｂｏｔｔｏｍ、Ｆｒｏｎｔ)／右－下－前などの全てのコーナー位置選択(図２０の２００００を参照)、中央位置選択(図２０の２００１０を参照)、中心点(Ｃｅｎｔｒｏｉｄ)位置選択方式などを含む。
中央位置とは、ノード領域であるバウンディングボックスの中心を意味する。
ジオメトリ位置再構成器２２０９０は中心点(ｃｅｎｔｒｏｉｄ)の位置を選択するとき、ポイントの分布を分析して計算された中心値が属する八分木深さレベルの下位レベルのノードのインデックスをデコーダにシグナリング情報(パラメータ)としてビットストリームに含めて送信することができる。例えば、下位レベルのノードインデックス０ないし７の値が送信される。
ジオメトリ位置再構成器２２０９０は中心点(ｃｅｎｔｒｏｉｄ)位置の選択する時、中心点が位置する下位レベルのノードインデックスを基準として再構成される位置の代表位置タイプによってジオメトリ位置値を再構成する。代表位置タイプはビットストリームのパラメータ情報として含まれてデコーダに送信される。代表位置タイプは量子化タイプのようなタイプを使用する方式、左－下－前(Ｌｅｆｔ、Ｂｏｔｔｏｍ、Ｆｒｏｎｔ)／右－下－前などの全てのコーナー位置選択、中央(Ｍｉｄｄｌｅ)位置選択の方式がある。
実施例によって、エンコーダでデータをフル(ｆｕｌｌ)送信し、デコーダで部分的(ｐａｒｔｉａｌ)に復号を行う。また実施例によって、エンコーダがデータを部分的に(ｐａｒｔｉａｌ)符号化して送信してもよい。エンコーダで部分的にデータを符号化して送信したとき、中心点位置選択により復元する動作は子ノードに関する追加情報がないので、さらに下位レベルのノードのインデックスを必要とする。従って、下位レベルのノードのインデックスをデコーダに送信することができる。下位ノードは８つが最大であるので、そのうち、中心位置値に該当する下位ノードのインデックス値をエンコーダがデコーダに送信する。
復号時に伝達されたノードインデックスが中心点になる。エンコーダで最大解像度にデータを符号化して伝達する場合は、下位レベルのノードのインデックスをデコーダに伝達する必要がない。デコーダで下位レベルを探して中心点を得ることができるためである。しかし、エンコーダで最大解像度ではない部分符号化する場合は、中心点インデックスをデコーダに伝達して代表位置値として設定することができる。
属性情報エンコーダ２２１００は特質データを符号化する。
属性情報エンコーダ２２１００は代表位置タイプによって再構成されたジオメトリに基づいて特質を符号化する。
部分符号化する場合、特定のレベルまで含む八分木に基づいて八分木のノードの代表位置に基づいて特質を符号化する。
属性情報エンコーダ２２１００は以下のエレメントを含む。
色相変換処理機２２１１０は特質データの色相をデータ特性に合わせて変換する。
色相再調整器(図示せず)は、実施例によって、再構成されたジオメトリ八分木構造上の重畳ポイントが併合されている場合、色相再調整を行うか、それともＲＡＨＴ特質コーディングするか、又は予測／リフト変換特質コーディングによってＬＯＤを構成する。
ＬＯＤ構成器(図示せず)はポイントクラウドデータからＬＯＤを構成する。ＬＯＤ構成器は復元された幾何情報(ジオメトリデータ)に基づいて色相再調整された特質データからＬＯＤを生成する。特質コーディングのうち、ＲＡＨＴではない予測(Ｐｒｅｄｉｃｔｉｏｎ)／リフト変換(Ｌｉｆｔ Ｔｒａｎｓｆｏｒｍ)が適用される場合、ＬＯＤを生成することができる。
隣接ポイント集合構成器(図示せず)はＬＯＤに基づいてＬＯＤに属するポイントの隣接ポイント集合を該当ＬＯＤ及び上位ＬＯＤ内で構成する。
ＬＯＤＬ集合を生成した後、ＬＯＤＬ集合に基づいてＬＯＤが等しいか又は小さい(ノード間の距離が遠い)グループでＸ(＞０)個の一番近い隣接ポイント(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)を探して予測器(ｐｒｅｄｉｃｔｏｒ)に隣接ポイント集合として登録する。
全てのポイントは１つの予測器を有する。予測器に登録され隣接ポイントから属性を予測する。
予測器により属性を予測することができる。登録された隣接ポイントの属性に加重値を掛けた値の平均を予測された結果として使用し、特定のポイントを予測された結果として使用することができる。どの方法を使用するかは圧縮された結果値を予め計算した後、一番小さいストリームを生成する方法を選択する。
ポイントの属性値とポイントの予測器が予測した属性値の残差は予測器で選択した方法と共に符号化して受信機にシグナルされる。
復号機では段階送信された予測方法を復号化してその方法によって属性値を予測することができる。送信された残差値を復号化して予測された値を加えて属性値を復元することができる。
属性情報予測器(図示せず)は、隣接ポイント集合からポイントの属性値を予測する。例えば、Ｐｘを符号化するとき、Ｐｘの隣接ポイント集合が構成されると、集合内の隣接ポイントの属性値に基づいてＰｘの属性値を予測し、予測された属性値とＰｘ属性値の残差を求め、残差値を符号化してデコーダに送信する。一方、デコーダではＬＯＤ生成と送信された追加情報によりＰｘの隣接ポイント集合を構成し、隣接集合内の隣接ポイントの属性値に基づいてＰｘの属性値を予測し、送信された残差値を加えてＰｘの属性値を復元する。
残差属性情報量子化処理機(図示せず)は、特質データに対する予測値を生成し、予測値及び属性値間の残差値を生成して、残差値を量子化する。
属性情報エントロピーエンコーダ２２１２０は、特質データをエントロピーコーディングして特質ビットストリームを生成する。例えば、残差値がコーディングされて特質ビットストリームが生成される。
実施例による送信装置は、ジオメトリ符号化及び／又は特質符号化に関する動作を示すシグナリング情報(メタデータ)又はパラメータを生成する。実施例による送信装置は、符号化されたジオメトリデータ、符号化された特質データ、関連するメタデータなどを含むビットストリームを生成して送信する(図２４ないし図３１を参照)。
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階；及びポイントクラウドデータを含むビットストリームを送信する段階；を含む。
実施例によるポイントクラウドデータを符号化する段階は、ポイントクラウドデータのジオメトリ データを符号化する段階、及びポイントクラウドデータの特質データを符号化する段階を含む。
実施例による特質データを符号化する段階は、ポイントクラウドデータに基づいてＬＯＤを生成する段階、ＬＯＤから現在ポイントに対する一番近い隣接ポイントを検索する段階、一番近い隣接ポイントに基づいて現在ポイントの特質値に対する予測値を生成する段階、及び現在ポイントの特質値及び予測値間の残差値を符号化する段階を含む。
実施例によるジオメトリを符号化する段階は、ジオメトリをボクセル化する段階又はジオメトリを八分木に基づいて表現する段階を含む。
実施例による符号化する段階はさらにジオメトリの位置を再構成する段階を含み、ジオメトリの位置を再構成する段階ではジオメトリに対する八分木に基づいて八分木の特定のレベルまでジオメトリの位置を再構成する。
実施例によるジオメトリの位置を再構成する段階では、特定のレベルの各々の八分木ノードの中央位置に基づいてジオメトリの位置を再構成する。
図２３は実施例によるポイントクラウドデータデコーダの構造を示す。
図２３は図１の受信装置１０００４のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１０及び図１１のデコーダ、図１３のジオメトリビットストリーム及び特質ビットストリームを復号する受信装置、図１４のポイントクラウドデータを処理するＸＲデバイス１４３０などに対応するか又は結合される。各構成要素はハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
図２３の各構成要素は実施例によるデコーダ内に常に含まれるか、又は構成要素ごとに選択敵に含まれる。エンコーダの符号化構成要素の動作に関するシグナリング情報に基づいてデコーダの各構成要素ごとの動作が行われる。
実施例による受信装置又は受信装置に含まれたデコーダはビットストリームを受信する。ビットストリームは符号化されたジオメトリデータ、符号化された特質データ、関連するメタデータなどを含む。実施例による受信装置はビットストリーム及び／又はビットストリームに含まれたジオメトリ符号化に関するメタデータ(パラメータ)、特質符号化に関するメタデータ(パラメータ)に基づいてポイントクラウドデータを復号して復元する。
幾何情報デコーダ２３０００は幾何情報ビットストリームを受信して幾何情報を復号する。幾何情報復号化部２３０００は送信側の幾何情報符号化部２２０４０に対応する受信側のデコーダに該当し、幾何情報復号化部２３０００は幾何情報符号化部２２０４０の動作の逆過程を行う。
幾何情報エントロピーデコーダ２３０１０は幾何情報ビットストリームを受信して幾何情報をエントロピー方式に基づいて復号する。幾何情報エントロピー復号化部２３０１０は幾何情報エントロピー符号化部２２０８０の動作の逆の過程を行う。
八分木再構成器２３０２０は幾何情報から八分木を再構成する。八分木再構成部２３０２０は八分木生成部２２０６０の動作の逆の過程を行う。
八分木再構成器２３０２０は部分ジオメトリ復号のために復元された八分木深さレベルから属性復号するポイントを構成して復号する。
八分木再構成器２３０２０は受信したビットストリームに含まれた部分八分木レベルに関連する情報に基づいて全体又は部分八分木を生成する。
ジオメトリ位置再構成器２３０３０は復元された量子化タイプ又は復元された代表位置タイプにより部分的に復号された八分木で占有ビットによって復元されたノードの位置値を再構成する。
ジオメトリ位置再構成器２３０３０は受信したビットストリームに含まれた量子化タイプ、代表位置タイプなどに関連する情報に基づいてジオメトリ位置を再構成する。
幾何情報予測器２３０４０は幾何情報の予測値を生成する。例えば、八分木構造においてノード間の予測値を生成、予測値に関する残差値を用いて幾何情報を効率的に復号する。幾何情報予測部２３０４０は幾何情報予測部２２０７０の動作の逆の過程を行う。
幾何情報変換逆量子化処理機２３０５０はジオメトリデータを逆に量子化する。例えば、幾何情報変換逆量子化処理部２３０５０はスケール値(量子化値)をビットストリーム内に含まれたシグナリング情報(パラメータ)から得て、スケール値に基づいて再構成された幾何情報に逆量子化を適用する。
座標系逆変換器２３０６０は幾何情報の座標系情報を逆に変換する。座標系逆変換部２３０６０は座標系変換部２２０１０の動作の逆の過程を行う。
属性情報デコーダ２３０７０は属性情報ビットストリームを受信して属性情報を復号する。属性情報復号化部２３０７０は属性情報符号化部２２１００の動作の逆の過程を行う。
属性残差情報エントロピーデコーダ２３０８０は属性情報ビットストリーム内に含まれた属性残差情報(例えば、属性情報に対する残差値)をエントロピー方式に基づいて復号する。属性残差情報エントロピー復号化部２３０８０は属性情報エントロピー符号化部２１１６０の動作の逆の過程を行う。
属性情報デコーダ２３０７０はさらに以下のエレメントを含む。
ＬＯＤ構成器(図示せず)はポイントクラウドデータからＬＯＤを構成する。ＬＯＤ構成部２２０８０は復元された幾何情報(ジオメトリデータ)に基づいて色相再調整された特質データからＬＯＤを生成する。特質コーディングのうち、ＲＡＨＴではない予測(Ｐｒｅｄｉｃｔｉｏｎ)／リフト変換(Ｌｉｆｔ Ｔｒａｎｓｆｏｒｍ)が適用される場合、ＬＯＤを生成することができる。ＬＯＤ構成部は図２２の属性情報エンコーダに含まれるＬＯＤ構成部に対応する。
隣接ポイント集合構成器(図示せず)は属性情報ビットストリームから生成されたＬＯＤに基づいてＬＯＤ内に含まれたポイントの隣接ポイントを検索し、隣接ポイント集合として登録する。隣接ポイント集合構成部は図２２の属性情報エンコーダに含まれる隣接ポイント集合構成部に対応する。
属性情報予測器(図示せず)は属性情報に対する予測値を生成する。例えば、ＬＯＤ及び隣接ポイント集合からポイントに対する予測値を生成し、予測値に対する残差値を生成する。属性情報予測部は図２２の属性情報エンコーダに含まれる属性情報予測部の動作の逆過程を行う。
残差属性情報逆量子化処理機２３０９０は残差属性情報、例えば、属性情報に対する残差値を逆に量子化する。残差属性情報逆量子化処理部２３０９０は図２２の属性情報エンコーダに含まれる残差属性情報量子化処理部の動作の逆の過程を行う。
色相逆変換処理機２３１００は属性情報である色相情報を逆に変換する。色相逆変換処理部２３１００は色相変換処理部２２１００の動作の逆の過程を行う。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータを含むビットストリームを受信する受信機；及びポイントクラウドデータを復号するデコーダ；を含む。
実施例によるポイントクラウドデータを復号するデコーダは、ポイントクラウドデータのジオメトリデータを復号するジオメトリデコーダ、及びポイントクラウドデータの特質データを復号する特質デコーダを含む。
実施例による特質データを復号する特質デコーダは、ポイントクラウドデータに基づいてＬＯＤを生成し、ＬＯＤから現在ポイントに対する一番近い隣接ポイントを検索して、一番近い隣接ポイントに基づいて前記現在ポイントの特質値に対する予測値を生成し、予測値及び前記ポイントクラウドデータの残差値に基づいてポイントクラウドデータを復元し、予測値は予測モードに基づいて生成される。
実施例によるジオメトリを復号するジオメトリデコーダはジオメトリを八分木に基づいて表現することができる。
実施例によるデコーダはジオメトリに対する八分木に基づいて、八分木の特定のレベルまでジオメトリの位置を再構成する。
実施例によるデコーダは特定のレベルの各々の八分木ノードの中央位置に基づいてジオメトリの位置を再構成する。
図２４は実施例によるポイントクラウドデータに関するビットストリームの構造を示す。
図２４は図１の送信装置１００００のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス、図２２のエンコーダなどにより符号化されて生成されるビットストリームの構造を示す。
図２４のビットストリームは図１の受信装置１０００４のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１０及び図１１のデコーダ、図１３の受信装置、図１４のＸＲデバイス、図２３のデコーダなどにより受信されて復号される。
実施例による方法／装置はポイントクラウドデータを符号化し、関連情報を生成してビットストリームに含ませて送受信することができる。例えば、ジオメトリ符号化及び／又は特質符号化を行うポイントクラウドデータエンコーダは、以下のような符号化されたポイントクラウド(又はポイントクラウドを含むビットストリーム)を生成する。またポイントクラウドデータに関するシグナリング情報は、ポイントクラウドデータ送信装置のメタデータ処理部により生成され処理されて、以下のようにポイントクラウドに含まれる。
実施例によるシグナリング情報は、実施例による送受信装置、例えば、送信装置のメタデータ処理機１２００７(メタデータ生成器などとも称される)で生成されて送信されて受信装置のメタデータ分析１３００６で受信されて獲得される。実施例による受信装置の各動作はシグナリング情報に基づいて各動作を行うことができる。
各略語の意味は以下の通りである。ＳＰＳ：シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＧＰＳ：ジオメトリパラメータセット(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＡＰＳ：特質パラメータセット(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＴＰＳ：タイルパラメータセット(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、Ｇｅｏｍ：ジオメトリビットストリーム(Ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)＝ジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｈｅａｄｅｒ)＋ジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｄａｔａ)、Ａｔｔｒ：特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)＝特質ブリックヘッダ(Ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｈｅａｄｅｒ)＋特質ブリックデータ(Ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｄａｔａ)。ここで、ブリックはブロック、スライスなどの用語とも称される。
実施例によるポイントクラウドデータは、図２４のようなビットストリームの形態を有する。ポイントクラウドデータは実施例によるシグナリング情報などを含むＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含む。ポイントクラウドデータは一つ又はそれ以上のジオメトリ及び／又は特質を含む。ポイントクラウドデータのジオメトリ及び／又は特質は一つ又はそれ以上のスライス単位(又はブリック／ブロック単位)で区分される。ジオメトリはジオメトリスライスヘッダ及びジオメトリスライスデータの構造を有する。例えば、シグナリング情報を含むＴＰＳはＴｉｌｅ(０)。Ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(０)_Ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄなどを含む。ジオメトリはＧｅｏｍ_Ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ、Ｇｅｏｍ_Ｔｉｌｅ_ｉｄ、Ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ、ＧｅｏｍＢｏｘＯｒｉｇｉｎ、Ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ、Ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２、Ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓなどを含む。
実施例によるシグナリング情報はＳＰＳ、ＧＰＳ、ＡＰＳ、ＴＰＳなどに追加されてシグナリングされる。
実施例によって、シグナリング情報はＴＰＳ又は各スライスごとのジオメトリ(Ｇｅｏｍ)又はスライスごとの特質(Ａｔｔｒ)に追加されてシグナリングされる。
実施例によるポイントクラウドデータの構造はシグナリング情報を含むパラメータセット、ジオメトリ、特質を符号化／復号／データアクセスの観点で効率的な効果を提供する。
実施例によるポイントクラウドデータ送信／受信装置に関連するポイントクラウドデータは、シーケンスパラメータ、ジオメトリパラメータ、特質パラメータ、タイルパラメータ、ジオメトリビットストリーム及び特質ビットストリームのうちのいずれかを含む。
以下、図面を参照しながら、具体的なシグナリング情報のシンタックスについて説明する。参考として、実施例によるシグナリング情報の名称はシグナリング情報が意図する意味／機能範囲内で変形／拡張して理解することができる。シグナリング情報のフィールドは第１シグナリング情報、第２シグナリング情報などに区別して呼ばれる。
上述したように、ポイントクラウドデータ送信装置は、符号化されたポイントクラウドデータをビットストリーム形態で送信する。実施例によるビットストリームは一つ又はそれ以上のサブビットストリームを含む。
ポイントクラウドデータ送信装置は、送信チャネルのエラーを考慮して、ポイントクラウドデータの映像を一つ又はそれ以上のパケットに分けてネットワークを介して送信する。実施例によるビットストリームは一つ又はそれ以上のパケット(例えば、ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニット)を含む。従って、劣悪なネットワーク環境で一部パケットが損失されてもポイントクラウドデータ受信装置は残りのパケットを用いて該当映像を復元することができる。ポイントクラウドデータを一つ又はそれ以上のスライス又は一つ又はそれ以上のタイルに分割して処理することができる。実施例によるタイル及びスライスはポイントクラウドデータのピクチャを分割(ｐａｒｔｉｔｉｏｎｉｎｇ)してポイントクラウド圧縮符号化処理するための領域である。ポイントクラウドデータ送信装置はポイントクラウドデータの分けられた領域ごとの重要度によって各領域に対応するデータを処理して高品質のポイントクラウドコンテンツを提供する。即ち、実施例によるポイントクラウドデータ送信装置は、ユーザに重要な領域に対応するデータをより良好な圧縮効率と適切な遅延(ｌａｔｅｎｃｙ)を有してポイントクラウド圧縮符号化処理することができる。
実施例によるポイントクラウドコンテンツの映像(又はピクチャ)は、ポイントクラウド圧縮符号化のための基本プロセシングユニット単位に分割される。実施例によるポイントクラウド圧縮符号化のための基本プロセシングユニットは、ＣＴＵ(Ｃｏｄｉｎｇ Ｔｒｅｅ ｕｎｉｔ)、ブリック(ｂｒｉｃｋ＝スライス)などを含み、この例示に限られない。
実施例によるスライスは、一つ又はそれ以上の整数個のポイントクラウド圧縮符号化のための基本プロセシングユニットを含む領域であり、直方体形態ではない。実施例によるスライスは、パケットにより送信されるデータを含む。実施例によるタイルは、映像内に矩形状形態に分割された領域であり、一つ又はそれ以上のポイントクラウド圧縮符号化のための基本プロセシングユニットを含む。実施例による一つのスライスは、一つ又はそれ以上のタイルに含まれる。また実施例による一つのタイルは一つ又はそれ以上のスライスに含まれる。
実施例によるビットストリームは、シーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、及びタイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及び一つ又はそれ以上のスライスを含む。
実施例によるＳＰＳはプロファイル、レベルなどのシーケンス全体に関する符号化情報であって、ピクチャ解像度、ビデオフォーマットなどのファイル全体に関する包括的な情報を含む。
実施例による一つのスライス(例えば、ｓｌｉｃｅ ０)は、スライスヘッダ及びスライスデータを含む。スライスデータは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。ジオメトリビットストリームはヘッダ(例えば、ジオメトリスライスヘッダ)及びペイロード(例えば、ジオメトリスライスデータ)を含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)、ジオメトリボックスの原点情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ)、ジオメトリボックススケール(ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)、ジオメトリノードマックスサイズ(ｇｅｏｍ_ｍａｘ_ｎｏｄｅ_ｓｉｚｅ_ｌｏｇ２)、ジオメトリポイント数(ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｓ)及びペイロードに含まれたデータに関する情報などを含む。特質ビットストリームはヘッダ(例えば、特質スライスヘッダ又は特質ブリックヘッダ)及びペイロード(例えば、特質スライスデータ又は特質ブリックデータ)を含む。
実施例を行うために関連情報をシグナリングすることができる。実施例によるシグナリング情報は送信端又は受信端などで使用される。
ジオメトリデータ(Ｇｅｏｍ)：ジオメトリビットストリーム(Ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)＝ジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｈｅａｄｅｒ)＋ジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ ｄａｔａ)
特質データ(Ａｔｔｒ)：特質ビットストリーム(ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)＝特質ブリックヘッダ(ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｈｅａｄｅｒ)＋特質ブリックデータ(ａｔｔｒｉｂｕｔｅ ｂｒｉｃｋ ｄａｔａ)。実施例によってブリックはスライスとも称される(ｂｒｉｃｋ＝ｓｌｉｃｅ)。
実施例による方法／装置は実施例による予測器選択関連オプション情報をＳＰＳ又はＡＰＳに追加して送信することができる。
実施例による方法／装置は予測器選択関連オプション情報をＴＰＳ、又は各スライスごとの特質ヘッダに追加して送信することができる。
実施例による方法／装置はポイントクラウドを領域ごとに分けて処理するように、タイル、又はスライスにデータを分割し、タイル／スライスごとにシグナリング情報を生成して送信することができる。
領域ごとに分けるとき、各々の領域ごとに異なる隣接ポイント集合生成オプションを設定して、複雑度(ｃｏｍｐｌｅｘｉｔｙ)は低く、結果の信頼度は多少落ちるか、逆に複雑度は高く、信頼度が高い選択方案を提供することができる。受信機の処理能力によって異なるように設定される。
実施例による方法／装置においては、ジオメトリを符号化及び／又は復号する過程で使用される空間拡張機能のためのジオメトリポイント再構成関連情報はＳＰＳ及び／又はＧＰＳに追加してシグナリングすることができる。
実施例による方法／装置においては、ジオメトリを符号化及び／又は復号する過程で使用される空間拡張機能のためのジオメトリポイントの再構成関連情報をＴＰＳ及び／又は各スライスごとにＧｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒに追加してシグナリングすることができる。
３次元空間上の特定の領域によって互いに異なるジオメトリ符号化が可能であるので、実施例による方法／装置がポイントクラウドデータを領域ごとに分けるとき、互いに異なるジオメトリ位置再構成方法を使用してもよい。
従って実施例による方法／装置がポイントクラウドをタイルに分ける場合、各タイルごとに異なるジオメトリ位置再構成方法を適用することができる。
実施例による方法／装置がポイントクラウドをスライスに分ける場合、各スライスごとに異なるジオメトリ位置再構成方法を提供することができる。
実施例による方法／装置がジオメトリ(Ｇｅｏｍ)の部分符号化されたノードに対して分布分析による中心点位置情報をジオメトリノード(Ｇｅｏｍｅｔｒｙ Ｎｏｄｅ)に追加してシグナリングすることができる。
以下、ビットストリームに含まれる具体的な情報(エレメント)のシンタックス又は定義について説明する。
図２５は実施例によるシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ)を示す。
図２５は図２４に含まれたＳＰＳである。
実施例によるＳＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
プロファイル(ｐｒｏｆｉｌｅ_ｉｄｃ)：実施例によるビットストリームが従うプロファイルを示す。実施例による値以外に、他の値をビットストリームが含まず、プロファイルの他の値はＩＳＯ／ＩＥＣの今後の使用のために予約される(ｉｎｄｉｃａｔｅｓ ａ ｐｒｏｆｉｌｅ ｔｏ ｗｈｉｃｈ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｂｉｔｓｔｒｅａｍｓ ｓｈａｌｌ ｎｏｔ ｃｏｎｔａｉｎ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ｏｔｈｅｒ ｔｈａｎ ｔｈｏｓｅ ｓｐｅｃｉｆｉｅｄｉｎ Ａｎｎｅｘ Ａ. Ｏｔｈｅｒ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ａｒｅ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ)。
プロファイル互換性フラグ(ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓ)：この値が１であると、ｊと同一のプロファイル(ｐｒｏｆｉｌｅ_ｉｄｃ)により指示されるプロファイルをビットストリームが従うことを示す(ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ｔｏ ｔｈｅ ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｅｄ ｂｙ ｐｒｏｆｉｌｅ_ｉｄｃ ｅｑｕａｌ ｔｏ ｊ)。
ＳＰＳ特質セット数(ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ)：ビットストリーム内にコーディングされた特質の数を示す。この値は０～６３の範囲内である(ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅｓ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ６３)。
ＳＰＳ特質セット数だけ特質に対する以下のエレメントがＳＰＳに含まれる。
特質次元(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ])：ｉ番目の特質のコンポーネントの数を示す(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ] ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｏｎｅｎｔｓ ｏｆ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ)。
特質インスタンス識別子(ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ])：ｉ番目の特質のためのインスタンス識別子を示す(ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ] ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｓｔａｎｃｅ ｉｄ ｆｏｒ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ)。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のための符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：ジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。各々の指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｉｔｉｏｎ_ｔｙｐｅ)：ノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＳＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
図２６は実施例によるジオメトリパラメータセット(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＧＰＳ)を示す。
図２６は図２４のＧＰＳを示す。
実施例によるＧＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のための符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：ジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：ノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＧＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
空間拡張タイル基盤のジオメトリ再構成フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｔｉｌｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇ)：タイル単位で互いに異なるジオメトリ再構成方案が適用されたかを示すフラグである。
ＧＰＳジオメトリパラメータセットＩＤ(ＧＰＳ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_いｄ)：他のシンタックスエレメントによる参照のためのＧＰＳに対する識別子を提供する。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０～１５(含み)の範囲である(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＧＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。
ＧＰＳシーケンスパラメータセットＩＤ(ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブＳＰＳに対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０～１５(含み)の範囲である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。
図２７は実施例によるタイルパラメータセット(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＴＰＳ)を示す。
図２７は図２４のＴＰＳに該当する。
実施例によるＴＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｔｉｌｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｇ_ｆｌａｇがｔｒｕｅであると、以下のエレメントがＴＰＳに含まれる。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のためのタイルに適用された符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：タイルに適用されたジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｉｔｉｏｎ_ｔｙｐｅ)：タイルに適用されたノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＴＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
空間拡張スライス基盤のジオメトリ再構成フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｓｌｉｃｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｕｃｔｉｏｎ_ｆｌａｇ)：スライス単位で互いに異なるジオメトリ再構成方案が適用されたかどうかを示すフラグである。
タイル数(ｎｕｍ_ｔｉｌｅｓ)：ビットストリームに対してシグナリングされるタイルの数を示す。存在しない場合、タイルの数は０に推論される。
タイル数によって、タイルバウンディングボックスオフセットエレメントが以下のようにＴＰＳに伝達される。
タイルバウンディングボックスオフセットＸ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ])：座標系内のｉ番目のタイルのＸオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘと推論される。
タイルバウンディングボックスオフセットＹ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ])：座標系内のｉ番目のタイルのＹオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙと推論される。
タイルバウンディングボックスオフセットＺ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ])：座標系内のｉ番目のタイルのＺオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚと推論される。
図２８は実施例によるジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す。
図２８は図２４のＧＳＨを示す。
実施例によるＧＳＨはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｓｌｉｃｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇがｔｒｕｅであると、以下のエレメントがＧＳＨに含まれる。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のためのスライスに適用された符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：スライスに適用されたジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：スライスに適用されたノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＧＳＨに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
ＧＳＨジオメトリパラメータセットＩＤ(ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。
ＧＳＨタイルＩＤ(ｇｓｈ_ｔｉｌｅ_ｉｄ)：ＧＳＨにより参照できるタイルＩＤの値を示す。ｇｓｈ_ｔｉｌｅ_ｉｄの値は０ないしＸＸ(含み)の範囲である。
ＧＳＨスライスＩＤ(ｇｓｈ_ｓｌｉｃｅ_ｉｄ)：他のシンタックスエレメントによる参照のためのスライスヘッダを識別する。ｇｓｈ_ｓｌｉｃｅ_ｉｄの値は０ないしＸＸ(含み)の範囲である。
図２９は実施例によるジオメトリノードを示す。
図２９は図２４のビットストリームに含まれたジオメトリのノード情報を示す。
実施例による方法／装置は、ジオメトリ符号化及び／又は復号時の空間拡張のためのジオメトリのポイントを再構成する過程において、代表位置タイプが中心点(ｃｅｎｔｒｏｉｄ)である場合、中心点関連情報をジオメトリノードに含めることができる。
子占有インデックス(ｃｈｉｌｄ_ｏｃｃｕｐａｎｃｙ_ｉｄｘ)：分布により計算された中心点に基づいてジオメトリ位置を再構成するとき、中心点が属するノードの位置を示す。ノード位置は下位子ノードのインデックスに対応する。例えば、０～７の値を有する。
シングル占有フラグ(ｓｉｎｇｌｅ_ｏｃｃｕｐａｎｃｙ_ｆｌａｇ)：この値が１であると、現在ノードがシングル子ノードを含むことを示す。この値が０であると、現在ノードがマルチ子ノードを含むことを示す。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０(中心点)である場合、ジオメトリノードが子占有インデックスを含む。
実施例による方法／装置は、実施例による動作及びシグナリング情報に基づいて空間拡張のような効果を提供する。
空間拡張はポイントクラウドデータが高密度(ｄｅｎｓｅ)で、かつ帯域幅が低いとき、低解像度のポイントクラウドを送って処理する機能である。またポイントクラウドデータが高密度(ｄｅｎｓｅ)で、かつ全体八分木ビットストリームが送信されたが、デコーダでデコーダの性能又はリソースの不足、又はシナリオ上、サムネイル(ｔｈｕｍｂｎａｉｌ)を優先して迅速に必要とする場合、送信された全体八分木基盤のビットストリームを全部復号せず、八分木の特定の深さレベルまでのみ復号して低解像度のポイントクラウドを提供する機能である。
実施例のＧ－ＰＣＣジオメトリ符号化／復号過程において、空間拡張効果を提供するために、部分八分木構成と構成された最後のレベルの八分木ノードから位置を再構成する動作を提供する。
提案した八分木ノードのポイント再構成方法はジオメトリの位置をどこに再構成するかによって空間拡張のために部分符号化／復号されたジオメトリ圧縮効率を高めることができる。
これにより、この実施例では、３次元ポイントクラウドデータ圧縮のためのジオメトリ基盤のポイントクラウド圧縮(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)(Ｇ－ＰＣＣ)のエンコーダ／デコーダの空間拡張機能提供のためのジオメトリ圧縮方法を提供し、ジオメトリ圧縮効率を高めて提供することができる。
実施例による方法／装置(送信方法／装置及び／又は受信方法／装置)は、空間拡張のための様々なジオメトリ位置再構成(ｇｅｏｍｅｔｒｙ ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)方法を提供することにより、様々なタイプのポイントクラウドデータを効率的に符号化／復号できる効果を提供する。
図２０を参照して、実施例による方法／装置は、ジオメトリを再構成する場合、ＬＯＤレベルごとに異なるように中心点を設定することができる。即ち、図２０の場合、１つのタイプの中心点設定方法に基づいてＬＯＤ ０から特定のレベル(ＬＯＤ Ｎ)までノードの代表位置に基づいてジオメトリを再構成すると、追加実施例として、ＬＯＤレベルごとに互いに異なるタイプの中心点設定方式を様々に適用することができる。即ち、Ｓ２１０４０の動作をＬＯＤレベルごとに様々に行うことができる。実施例による送信装置及び／又はエンコーダは各ＬＯＤごとに中心点を分析して実施例による受信装置及び／又はデコーダにＬＯＤごとに中心点分析方法を示す情報を送信することができる。
実施例による代表位置タイプに関する全ての方式は各ＬＯＤごとに適用され、デコーダにシグナリングされる。
実施例による動作２１０２０(ジオメトリ位置再構成)は八分木のＬＯＤごとに行われる。
図３０は実施例によるシーケンスパラメータセットを示す。
図３０は図２５のＳＰＳに対応する。
図３０に含まれたエレメントの定義は図２５に対応するエレメントの説明を参照できる。
実施例によるＳＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
プロファイル(ｐｒｏｆｉｌｅ_ｉｄｃ)：実施例によるビットストリームが従うプロファイルを示す。実施例による値以外に他の値をビットストリームが含まず、プロファイルの他の値はＩＳＯ／ＩＥＣの今後の使用のために予約される(ｉｎｄｉｃａｔｅｓ ａ ｐｒｏｆｉｌｅ ｔｏ ｗｈｉｃｈ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｂｉｔｓｔｒｅａｍｓ ｓｈａｌｌ ｎｏｔ ｃｏｎｔａｉｎ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ｏｔｈｅｒ ｔｈａｎ ｔｈｏｓｅ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｏｔｈｅｒ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ａｒｅ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ)。
プロファイル交換性フラグ(ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓ)：この値が１であると、ｊと同一のプロファイル(ｐｒｏｆｉｌｅ_ｉｄｃ)により指示されるプロファイルをビットストリームが従うことを示す(ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ｔｏ ｔｈｅ ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｅｄ ｂｙ ｐｒｏｆｉｌｅ_ｉｄｃ ｅｑｕａｌ ｔｏ ｊ)。
ＳＰＳ特質セット数(ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ)：ビットストリーム内にコーディングされた特質の数を示す。この値は０ないし６３の範囲を有する(ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅｓ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ６３)。
ＳＰＳ特質セット数だけ特質に対する以下のエレメントがＳＰＳに含まれる。
特質次元(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ])：ｉ番目の特質のコンポーネントの数を示す(ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ] ｓｐｅｃｉｆｉｅＳ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｏｎｅｎｔｓ ｏｆ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ)。
特質インスタンス識別子(ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ])：ｉ番目の特質のためのインスタンス識別子を示す(ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ] ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｓｔａｎｃｅ ｉｄ ｆｏｒ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ)。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のための符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：ジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：ノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＳＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
八分木高さ深さ(ｏｃｔｒｅｅ_ｈｅｉｇｈｔ_ｄｅｐｔｈ)：八分木の高さを示す。
深さに対する分析された分布(ａｎａｌｙｚｅｄ_ｄｉｓｔｒｉｂｕｔｉｏｎ_ａｔ_ｄｅｐｔｈ)：各々の八分木深さにおいてポイントの分布を分析した中心点位置結果値を示す。具体的には、八分木子ノード基盤のインデックスを示す。
例えば、深さに対して分析された分布が１であると、中心点位置は左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置である。深さに対して分析された分布が２であると、中心点位置は左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置である。深さに対して分析された分布が３であると、中心点位置は左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置である。深さに対して分析された分布が４であると、中心点位置は左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置である。深さに対して分析された分布が５であると、中心点位置は右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置である。深さに対して分析された分布が６であると、中心点位置は左－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置である。深さに対して分析された分布が７であると、中心点位置は右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置である。深さに対して分析された分布が８であると、中心点位置は右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置である。
図３１は実施例によるジオメトリパラメータセットを示す。
図３１は図２６のジオメトリパラメータセットに対応する。
図３１に含まれたエレメントの定義は図２６に対応するエレメントの説明を参照できる。
実施例によるＧＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のための符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：ジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：ノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＧＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
空間拡張タイル基盤のジオメトリ再構成フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｔｉｌｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇ)：タイル単位で互いに異なるジオメトリ再構成方案が適用されたかどうを示すフラグである。
ＬＯＤごとの空間拡張フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｐｅｒ_ｌｏｄ_ｆｌａｇ)：八分木深さごとに異なるジオメトリ再構成方案を適用するか否かに対するフラグである。
八分木高さ深さ(ｏｃｔｒｅｅ_ｈｅｉｇｈｔ_ｄｅｐｔｈ)：八分木の高さを示す。
ＧＰＳジオメトリパラメータセットＩＤ(ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：他のシンタックスエレメントによる参照のためのＧＰＳに対する識別子を提供する。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０ないし１５(含み)の範囲である(ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＧＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。
ＧＰＳシーケンスパラメータセットＩＤ(ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブＳＰＳに対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値は０ないし１５(含み)の範囲である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ)。
図３２は実施例によるタイルパラメータセットを示す。
図３２は図２７のＴＰＳに該当する。
図３２に含まれたエレメントの定義は図２７に対応するエレメントの説明を参照できる。
実施例によるＴＰＳはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｔｉｌｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇがｔｒｕｅであると、以下のエレメントがＴＰＳに含まれる。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のためのタイルに適用された符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：タイルに適用されたジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：タイルに適用されたノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＴＰＳに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
空間拡張スライス基盤のジオメトリ再構成フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｓｌｉｃｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｕｃｔｉｏｎ_ｆｌａｇ)：スライス単位で互いに異なるジオメトリ再構成方案が適用されたか否かを示すフラグである。
ＬＯＤごとの空間拡張フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｐｅｒ_ｌｏｄ_ｆｌａｇ)：八分木深さごとに異なるジオメトリ再構成方案を適用するか否かに関するフラグである。
八分木高さ深さ(ｏｃｔｒｅｅ_ｈｅｉｇｈｔ_ｄｅｐｔｈ)：八分木の高さを示す。
タイル数(ｎｕｍ_ｔｉｌｅｓ)：ビットストリームに対してシグナリングされるタイルの数を示す。存在しない場合、タイル数は０と推論される。
タイル数によって、タイルバウンディングボックスオフセットエレメントが以下のようにＴＰＳに伝達される。
タイルバウンディングボックスオフセットＸ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ])：座標系内のｉ番目のタイルのＸオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘと推論される。
タイルバウンディングボックスオフセットＹ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ])：座標系内のｉ番目のタイルのＹオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙと推論される。
タイルバウンディングボックスオフセットＺ(ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ])：座標系内のｉ番目のタイルのＺオフセットを示す。存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚと推論される。
図３３は実施例によるジオメトリスライスヘッダを示す。
図３３は図２８のジオメトリスライスヘッダに該当する。
図３２に含まれたエレメントの定義は図２８に対応するエレメントの説明を参照できる。
実施例によるＧＳＨはジオメトリの空間拡張のための符号化及び／又は復号のためのジオメトリのポイント再構成に用いられる情報を含む。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｓｌｉｃｅ_ｂａｓｅｄ_ｇｅｏｍ_ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ_ｆｌａｇがｔｒｕｅであると、以下のエレメントがＧＳＨに含まれる。
空間拡張ＬＯＤ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｌｏｄ)：空間拡張支援のためのスライスに適用された符号化された八分木深さレベルを示す。
空間拡張ジオメトリ量子化タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｑｕａｎｔｉｚａｔｉｏｎ_ｔｙｐｅ)：スライスに適用されたジオメトリ量子化タイプを示す。
例えば、空間拡張ジオメトリ量子化タイプが０であると、丸め(ｒｏｕｎｄｉｎｇ)方式を示し、空間拡張ジオメトリ量子化タイプが１であると、切り上げ(ｃｅｉｌ)方式を示し、空間拡張ジオメトリ量子化タイプが２であると、切り下げ(ｆｌｏｏｒ)方式を示す。それぞれの指示情報に対する整数値は実施例によって様々に変更される。
空間拡張ジオメトリ位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：スライスに適用されたノードに属するジオメトリ位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ位置タイプが０であると、ジオメトリ位置再構成方法は量子化タイプのような方式で、丸めの場合は中央、切り上げ方式の場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置にジオメトリを再構成する。空間拡張ジオメトリ位置タイプが１であると、ジオメトリ位置を左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが２であると、ジオメトリ位置を左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが３であると、ジオメトリ位置を左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが４であると、ジオメトリ位置を左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが５であると、ジオメトリ位置を右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが６であると、ジオメトリ位置を右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが７であると、ジオメトリ位置を左－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に構成する。空間拡張ジオメトリ位置タイプが８であると、ジオメトリ位置を右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する。空間拡張ジオメトリ位置タイプが９であると、ジオメトリ位置を中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に構成する。空間拡張ジオメトリ位置タイプが１０であると、ジオメトリ位置を分布により計算された中心点のある下位ノード位置に構成する。
ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅが１０であると、空間拡張ジオメトリ重心位置タイプがＧＳＨに含まれる。
空間拡張ジオメトリ重心位置タイプ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｇｅｏｍ_ｃｅｎｔｒｏｉｄ_ｐｏｓｈｉｔｉｏｎ_ｔｙｐｅ)：分布により計算された中心点をジオメトリ位置を再構成するとき、中心点が属するノードの位置を再構成する方法を示す。
例えば、空間拡張ジオメトリ重心位置タイプが０であると、中心点が属するノードの位置を量子化タイプのような方式で再構成することができる。量子化タイプが丸めである場合は中央方式、量子化タイプが切り上げ方式である場合には右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に構成する方式でノードの位置を再構成する。空間拡張ジオメトリ重心位置タイプが１であると、左－底－前(ｌｅｆｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノード上の位置を構成する。空間拡張ジオメトリ重心位置タイプが２であると、左－底－後(ｌｅｆｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが３であると、左－上－前(ｌｅｆｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが４であると、左－上－後(ｌｅｆｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが５であると、右－底－前(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが６であると、右－底－後(ｒｉｇｈｔ－ｂｏｔｔｏｍ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが７であると、右－上－前(ｒｉｇｈｔ－ｔｏｐ－ｆｒｏｎｔ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが８であると、右－上－後(ｒｉｇｈｔ－ｔｏｐ－ｂａｃｋ)の位置に中心点が属するノードの位置を構成する。空間拡張ジオメトリ重心位置タイプが９であると、中央(ｍｉｄｄｌｅ／ｃｅｎｔｅｒ)の位置に中心点が属するノードの位置を構成する。
ＬＯＤごとの空間拡張フラグ(ｓｐａｔｉａｌ_ｓｃａｌａｂｉｌｉｔｙ_ｐｅｒ_ｌｏｄ_ｆｌａｇ)：八分木深さごとに異なるジオメトリ再構成方案を適用するか否かに対するフラグである。
八分木高さ深さ(ｏｃｔｒｅｅ_ｈｅｉｇｈｔ_ｄｅｐｔｈ)：八分木の高さを示す。
ＧＳＨジオメトリパラメータセットＩＤ(ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)：アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。
ＧＳＨタイルＩＤ(ｇｓｈ_ｔｉｌｅ_ｉｄ)：ＧＳＨにより参照されるタイルＩＤの値を示す。ｇｓｈ_ｔｉｌｅ_ｉｄの値は０ないしＸＸ(含み)の範囲である。
ＧＳＨスライスＩＤ(ｇｓｈ_ｓｌｉｃｅ_ｉｄ)：他のシンタックスエレメントによる参照のためのスライスヘッダを識別する。ｇｓｈ_ｓｌｉｃｅ_ｉｄの値は０ないしＸＸ(含み)の範囲を有する。
図３４は実施例によるポイントクラウドデータ送信方法を示す。
Ｓ４３０００、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階を含む。実施例による符号化動作は、図１の送信装置１００００、ポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４のエンコーダ、図１２の送信装置のポイントクラウドデータ処理、図１４のＸＲデバイス１４３０、図１５及び図１６のポイントクラウドデータ符号化、図１８乃至図２０のジオメトリ符号化、図２２のエンコーダ、図２４ないし図３３のビットストリーム生成及び符号化などの動作を含む。
Ｓ３４０１０、実施例によるポイントクラウドデータ送信方法は、さらにポイントクラウドデータを含むビットストリームを送信する段階を含む。実施例による送信動作は、図１の送信機１０００３、図２の送信２０００２などの動作を含む。
図３５は実施例によるポイントクラウドデータ受信方法を示す。
Ｓ３５０００、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームを受信する段階を含む。実施例による受信動作は、図１の受信装置１０００４、受信機１０００５、図２の送信による受信２００２、図２４ないし図３３のビットストリーム受信などの動作を含む。
Ｓ３５０１０、実施例によるポイントクラウドデータ受信方法は、さらにポイントクラウドデータを復号する段階を含む。実施例による復号動作は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、レンダリング２０００４、図１０及び図１１のデコーダ、図１３の受信装置のポイントクラウドデータ処理、図１４のＸＲデバイス１４３０、図１６及び図１７のポイントクラウドデータ復号、図２１のジオメトリ復号、図２３のデコーダ、図２４ないし図３３のビットストリーム復号などの動作を含む。
空間拡張はポイントクラウドデータが高密度(ｄｅｎｓｅ)で、かつ帯域幅が低いとき、低解像度のポイントクラウドを送って処理する機能である。またポイントクラウドデータが高密度(ｄｅｎｓｅ)で、かつ全体八分木ビットストリームが送信されたが、デコーダでデコーダの性能又はリソースの不足、又はシナリオ上、サムネイルを優先して迅速に必要とする場合には、送信された全体八分木基盤のビットストリームを全部復号せず、八分木の特定の深さレベルまでのみ復号して低解像度のポイントクラウドを提供する機能である。
実施例のＧ－ＰＣＣジオメトリ符号化／復号の過程において、空間拡張機能を提供するために、部分八分木の構成と構成された最後のレベルの八分木ノードから位置を再構成する方案を提供する。
実施例による八分木ノードのポイント再構成方法は、ジオメトリの位置をどこに再構成するかによって空間拡張のために部分符号化／復号されたジオメトリ圧縮効率を高めることができる。
これにより、この実施例では、３次元ポイントクラウドデータ圧縮のためのＧｅｏｍｅｔｒｙ－ｂａｓｅｄ ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ(Ｇ－ＰＣＣ)のエンコーダ／デコーダの空間拡張機能提供のためのジオメトリ圧縮方法を提供し、ジオメトリ圧縮効率を高めて提供することができる。
実施例による方法／装置(送信方法／装置及び／又は受信方法／装置)は、空間拡張のための様々なジオメトリ位置再構成(ｇｅｏｍｅｔｒｙ ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)方法を提供することにより、様々なタイプのポイントクラウドデータを効率的に符号化／復号する効果を提供する。
実施例によるポイントクラウドデータ送受信方法／装置は、上述した実施例による空間拡張のためにジオメトリ位置再構成(ｇｅｏｍｅｔｒｙ ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)方案及びシグナル方案によって、空間拡張機能を提供するために八分木基盤にポイントの位置を再構成して、ジオメトリ圧縮効率を向上させる効果を提供することができる。
実施例は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
また、この明細で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プロセッサはコントローラなどとも称される。実施例の動作はファームウェア、ソフトウェア及び／又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
一方、上述した実施例による動作は、実施例による送信装置及び/又は受信装置により行われる。送受信装置はメディアデータを送受信する送受信部、実施例によるプロセスに対する指示(プログラムコード、アルゴリズム、フローチャート及び/又はデータ)を格納するメモリ、及び送受信装置の動作を制御するプロセッサを含む。
プロセッサはコントローラなどとも称され、例えば、ハードウェア、ソフトウェア及び/又はそれらの組み合わせに対応する。上述した実施例による動作はプロセッサにより行われる。またプロセッサは上述した実施例の動作のためのエンコーダ/デコーダなどで具現される。
（発明の実施のための形態）
上述したように、実施例を実施するための最善の形態について関連内容を説明する。
（産業上の利用可能性）
上述したように、実施例はポイントクラウドデータ送受信装置及びシステムに全体又は部分的に適用することができる。
当業者であれば、実施例の範囲内で実施例を様々に変更及び変形することができる。
実施例は変更／変形を含み、変更／変形は請求項及びそれと同一のものの範囲内である。

Claims (20)

  1. ポイントクラウドデータを符号化する段階；及び
    前記ポイントクラウドデータを含むビットストリームを送信する段階；を含む、ポイントクラウドデータ送信方法。
  2. 前記ポイントクラウドデータを符号化する段階は、
    前記ポイントクラウドデータのジオメトリを符号化する段階、及び
    前記ポイントクラウドデータの特質を符号化する段階を含む、請求項１に記載のポイントクラウドデータ送信方法。
  3. 前記ジオメトリを符号化する段階は、
    前記ジオメトリをボクセル化する段階、又は
    前記ジオメトリを八分木に基づいて表現する段階を含む、請求項２に記載のポイントクラウドデータ送信方法。
  4. 前記符号化する段階は、
    さらに前記ジオメトリの位置を再構成する段階を含み、
    前記ジオメトリの位置を再構成する段階は、
    前記ジオメトリに対する八分木に基づいて、前記八分木の特定のレベルまで前記ジオメトリの位置を再構成する、請求項１に記載のポイントクラウドデータ送信方法。
  5. 前記ジオメトリの位置を再構成する段階は、
    前記特定のレベルの各々の八分木ノードの中央位置に基づいて前記ジオメトリの位置を再構成する、請求項４に記載のポイントクラウドデータ送信方法。
  6. ポイントクラウドデータを符号化するエンコーダ；及び
    前記ポイントクラウドデータを含むビットストリームを送信する送信機；を含む、ポイントクラウドデータ送信装置。
  7. 前記ポイントクラウドデータを符号化するエンコーダは、
    前記ポイントクラウドデータのジオメトリを符号化するジオメトリエンコーダ、及び
    前記ポイントクラウドデータの特質を符号化する特質エンコーダを含む、請求項６に記載のポイントクラウドデータ送信装置。
  8. 前記ジオメトリを符号化するジオメトリエンコーダは、
    前記ジオメトリをボクセル化するか、又は
    前記ジオメトリを八分木に基づいて表現する、請求項７に記載のポイントクラウドデータ送信装置。
  9. 前記エンコーダは、
    前記ジオメトリに対する八分木に基づいて、前記八分木の特定のレベルまで前記ジオメトリの位置を再構成する、請求項６に記載のポイントクラウドデータ送信装置。
  10. 前記エンコーダは、
    前記特定のレベルの各々の八分木ノードの中央位置に基づいて前記ジオメトリの位置を再構成する、請求項９に記載のポイントクラウドデータ送信装置。
  11. ポイントクラウドデータを含むビットストリームを受信する段階；及び
    前記ポイントクラウドデータを復号する段階；を含む、ポイントクラウドデータ受信方法。
  12. 前記ポイントクラウドデータを復号する段階は、
    前記ポイントクラウドデータのジオメトリを復号する段階、及び
    前記ポイントクラウドデータの特質を復号する段階を含む、請求項１１に記載のポイントクラウドデータ受信方法。
  13. 前記ジオメトリを復号する段階は、
    前記ジオメトリを八分木に基づいて表現する段階を含む、請求項１２に記載のポイントクラウドデータ受信方法。
  14. 前記復号する段階は、
    前記ジオメトリに対する八分木に基づいて、前記八分木の特定のレベルまで前記ジオメトリの位置を再構成する段階を含む、請求項１１に記載のポイントクラウドデータ受信方法。
  15. 前記復号する段階は、
    さらに前記特定のレベルの各々の八分木ノードの中央位置に基づいて前記ジオメトリの位置を再構成する段階を含む、請求項１４に記載のポイントクラウドデータ受信方法。
  16. ポイントクラウドデータを含むビットストリームを受信する受信機；及び
    前記ポイントクラウドデータを復号するデコーダ；を含む、ポイントクラウドデータ受信装置。
  17. 前記ポイントクラウドデータを復号するデコーダは、
    前記ポイントクラウドデータのジオメトリを復号するジオメトリデコーダ、及び
    前記ポイントクラウドデータの特質を復号する特質デコーダを含む、請求項１６に記載のポイントクラウドデータ受信装置。
  18. 前記ジオメトリを復号するジオメトリデコーダは、
    前記ジオメトリを八分木に基づいて表現する、請求項１７に記載のポイントクラウドデータ受信装置。
  19. 前記デコーダは、
    前記ジオメトリに対する八分木に基づいて、前記八分木の特定のレベルまで前記ジオメトリの位置を再構成する、請求項１６に記載のポイントクラウドデータ受信装置。
  20. 前記デコーダは、
    前記特定のレベルの各々の八分木ノードの中央位置に基づいて前記ジオメトリの位置を再構成する、請求項１９に記載のポイントクラウドデータ受信装置。

JP2022541851A 2020-01-07 2020-11-02 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 Active JP7425207B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062958259P 2020-01-07 2020-01-07
US62/958,259 2020-01-07
US202062961659P 2020-01-15 2020-01-15
US62/961,659 2020-01-15
PCT/KR2020/015138 WO2021141221A1 (ko) 2020-01-07 2020-11-02 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Publications (2)

Publication Number Publication Date
JP2023509730A true JP2023509730A (ja) 2023-03-09
JP7425207B2 JP7425207B2 (ja) 2024-01-30

Family

ID=76654723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541851A Active JP7425207B2 (ja) 2020-01-07 2020-11-02 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Country Status (6)

Country Link
US (1) US11395004B2 (ja)
EP (1) EP4068789A4 (ja)
JP (1) JP7425207B2 (ja)
KR (1) KR102294613B1 (ja)
CN (1) CN114930860A (ja)
WO (1) WO2021141221A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
US7940279B2 (en) * 2007-03-27 2011-05-10 Utah State University System and method for rendering of texel imagery
US8731313B2 (en) * 2009-03-23 2014-05-20 Level Set Systems, Inc. Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
FR2961930B1 (fr) * 2010-06-29 2013-01-04 Fittingbox Procede de compression / decompression de maillage tridimensionnel
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
EP3293702B1 (en) * 2016-09-13 2020-04-29 Dassault Systèmes Compressing a signal that represents a physical attribute
EP3429211A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the colors of a colored point cloud whose geometry is represented by an octree-based structure
EP3429206A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
CN107403456B (zh) * 2017-07-28 2019-06-18 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11087501B2 (en) * 2017-09-29 2021-08-10 Sony Corporation Voxel correlation information processing apparatus and method
EP3467777A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding/decoding the colors of a point cloud representing a 3d object
US10692249B2 (en) * 2017-10-12 2020-06-23 Sony Corporation Octree traversal for anchor point cloud compression
US10424083B2 (en) * 2017-10-21 2019-09-24 Samsung Electronics Co., Ltd. Point cloud compression using hybrid transforms
CN108335335B (zh) * 2018-02-11 2019-06-21 北京大学深圳研究生院 一种基于增强图变换的点云属性压缩方法
US10867414B2 (en) * 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909727B2 (en) * 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
AU2019256021B2 (en) * 2018-04-19 2024-05-16 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
EP3804320A4 (en) * 2018-06-26 2021-06-30 Huawei Technologies Co., Ltd. HIGH LEVEL SYNTAX VERSIONS FOR POINT CLOUD CODING
BR112021000044A2 (pt) * 2018-07-11 2021-03-30 Sony Corporation Aparelho e método de processamento de imagem
US11076152B2 (en) * 2019-03-18 2021-07-27 Sony Group Corporation Quantization step parameter for point cloud compression
CN112634181A (zh) * 2019-09-24 2021-04-09 北京百度网讯科技有限公司 用于检测地面点云点的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANTOINE DRICOT, ET AL.: ""Hybrid Octree-Plane Point Cloud Geometry Coding"", PROCEEDINGS OF 2019 27TH EUROPEAN SIGNAL PROCESSING CONFERENCE (EUSIPCO), JPN6023027633, 6 September 2019 (2019-09-06), pages 1 - 5, XP033660319, ISSN: 0005100997, DOI: 10.23919/EUSIPCO.2019.8902800 *
KHALED MAMMOU, ET AL., "G-PCC CODEC DESCRIPTION V2", vol. N18189, JPN6023027632, 18 January 2019 (2019-01-18), pages 1 - 39, ISSN: 0005100996 *

Also Published As

Publication number Publication date
WO2021141221A1 (ko) 2021-07-15
US20220321914A1 (en) 2022-10-06
JP7425207B2 (ja) 2024-01-30
US20210211722A1 (en) 2021-07-08
CN114930860A (zh) 2022-08-19
KR102294613B1 (ko) 2021-08-27
EP4068789A1 (en) 2022-10-05
KR20210089071A (ko) 2021-07-15
US11395004B2 (en) 2022-07-19
EP4068789A4 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
KR102340238B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7328447B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2022550877A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
KR102609776B1 (ko) 포인트 클라우드 데이터 처리 방법 및 장치
KR102634079B1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
JP2023510179A (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
JP7451576B2 (ja) ポイントクラウドデータ処理方法及び装置
KR102300045B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7307260B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP2022539762A (ja) ポイントクラウドデータ処理装置及び方法
US20230334703A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2022538857A (ja) ポイントクラウドデータ処理装置及び方法
JP7425207B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US20230377203A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230154052A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
EP4161074A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
CN114009046A (zh) 用于处理点云数据的装置和方法
US12003769B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230334719A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230281878A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
JP2023507879A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
KR20240047385A (ko) 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
JP2024515203A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240118

R150 Certificate of patent or registration of utility model

Ref document number: 7425207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150