JP7451576B2 - ポイントクラウドデータ処理方法及び装置 - Google Patents

ポイントクラウドデータ処理方法及び装置 Download PDF

Info

Publication number
JP7451576B2
JP7451576B2 JP2021577665A JP2021577665A JP7451576B2 JP 7451576 B2 JP7451576 B2 JP 7451576B2 JP 2021577665 A JP2021577665 A JP 2021577665A JP 2021577665 A JP2021577665 A JP 2021577665A JP 7451576 B2 JP7451576 B2 JP 7451576B2
Authority
JP
Japan
Prior art keywords
point cloud
lod
sampling
information
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021577665A
Other languages
English (en)
Other versions
JP2022539188A (ja
Inventor
へチョン ホ
セチン オ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022539188A publication Critical patent/JP2022539188A/ja
Priority to JP2024033719A priority Critical patent/JP2024053014A/ja
Application granted granted Critical
Publication of JP7451576B2 publication Critical patent/JP7451576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供する方案を提供する。
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
よって、効率的にポイントクラウドデータを処理するために、実施例によるポイントクラウドデータ処理方法では、ジオメトリ(ｇｅｏｍｅｔｒｙ)情報及び特質(ａｔｔｒｉｂｕｔｅ)情報を含むポイントクラウドデータ(ｐｏｉｎｔ ｃｌｏｕｄ ｄａｔａ)を符号化する段階及び符号化されたポイントクラウドデータを含むビットストリームを送信する段階を含む。実施例による、ジオメトリ情報はポイントクラウドデータのポイントの位置(ｐｏｓｉｔｉｏｎ)を示す情報であり、実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウドデータ処理装置は、ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化するエンコーダ及び符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含む。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウドデータ処理方法は、ポイントクラウドデータを含むビットストリームを受信する段階及びポイントクラウドデータを復号する段階を含む。実施例によるポイントクラウドデータはジオメトリ情報及び特質情報を含む。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質情報はポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報である。
実施例によるポイントクラウドデータ処理装置は、ポイントクラウドデータを含むビットストリームを受信する受信機及びポイントクラウドデータを復号するデコーダを含む。実施例によるポイントクラウドデータはジオメトリ情報及び特質情報を含む。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報であり、実施例による特質情報はポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す情報である。
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
添付図面は本発明の実施例を示し、説明と共に本発明の原理を説明する。
図面は実施例をより理解するために添付し、実施例に関連する説明と共に実施例を示す。
実施例によるポイントクラウドコンテンツ提供システムの一例を示す。 実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。 実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。 実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。 実施例によるボクセルの一例を示す。 実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。 実施例による隣接ノードパターンの一例を示す。 実施例によるＬＯＤごとのポイント構成の一例を示す。 実施例によるＬＯＤごとのポイント構成の一例を示す。 実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 実施例による送信装置の一例を示す。 実施例による受信装置の一例を示す。 実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングのためのアーキテクチャを示す。 実施例による送信装置の一例を示す。 実施例による受信装置の一例を示す。 実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。 ポイントクラウドエンコーダの一例を示すブロック図である。 ジオメトリ情報エンコーダの一例を示すブロック図である。 実施例による特質情報エンコーダの一例を示す。 実施例による特質情報エンコーダの一例を示す。 実施例による特質情報予測部の一例を示す。 ＬＯＤ生成過程の一例を示す。 実施例によるモールトンコード基盤のサンプリング過程の一例を示す。 実施例によるＬＯＤ生成過程の一例を示す。 実施例による孤立ポイント処理方法の一例を示す。 実施例による孤立ポイント処理方法の一例を示す。 ポイントクラウド圧縮(ＰＣＣ)ビットストリームの構造図の一例を示す。 実施例によるＡＰＳのためのシンタックスの一例を示す。 実施例によるＡＰＳのためのシンタックスの一例を示す。 実施例によるＴＰＳのためのシンタックスの一例を示す。 実施例によるＴＰＳのためのシンタックスの一例を示す。 実施例による特質ヘッダーのためのシンタックスの一例を示す。 実施例による特質ヘッダーのためのシンタックスの一例を示す。 ポイントクラウドデコーダの一例を示すブロック図である。 ジオメトリ情報デコーダの一例を示すブロック図である。 特質情報デコーダの一例を示すブロック図である。 実施例によるポイントクラウドデータ処理方法のフローチャートの一例を示す。 実施例によるポイントクラウドデータ処理方法のフローチャートの一例を示す。
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、各要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細(ｄｅｔａｉｌ)を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
図５は実施例によるボクセルの一例を示す図である。
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘint n、ｙint n、ｚint n)は量子化されたポイントの位置(又は位置値)を示す。
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木の葉節点(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木の葉節点を除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードは葉節点ではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
一つのブロックは１２つのエッジを有するので、一つのブロック内に少なくとも１２つの交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。
加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
表．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １
Figure 0007451576000004
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
図７は実施例による隣接ノードパターンの一例を示す図である。
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
Figure 0007451576000005
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
Figure 0007451576000006
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
以下の式はＲＡＨＴ変換行列を示す。
はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。
は
と
から計算される。
と
の加重値は
と
である。
はローパス(ｌｏｗ－ｐａｓｓ)値であって、次の上位レベルでの併合過程で使用される。
はハイパス係数(ｈｉｇｈ－ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔｓ)であって、各ステップでのハイパス係数は量子化されてエントロピーコーディングされる(例えば、計算エンコーダ４０００１２の符号化)。加重値は
により計算される。ルートノードは最後の
と
により以下のように生成される。
ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。
図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したポイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。
図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
図１２は実施例による送信装置の一例を示す。
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
図１３は実施例による受信装置の一例を示す。
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
図１４は実施例によるＧ－ＰＣＣ基盤のポイントクラウドコンテンツストリーミングためのアーキテクチャを示す図である。
図１４の上側は図１ないし図１３で説明した送信装置(例えば、送信装置１００００、図１２の送信装置など)がポイントクラウドコンテンツを処理及び送信する過程を示す。
図１ないし図１３で説明したように、送信装置はポイントクラウドコンテンツのオディオ(Ｂａ)を得(Ａｕｄｉｏ Ａｃｑｕｉｓｉｔｉｏｎ)、得られたオディオを符号化(Ａｕｄｉｏ ｅｎｃｏｄｉｎｇ)してオディオビットストリーム(Ｅａ)を出力する。また送信装置はポイントクラウドコンテンツのポイントクラウド(Ｂｖ)(又はポイントクラウドビデオ)を確保し(Ｐｏｉｎｔ Ａｃｑｕｓｉｔｉｏｎ)、確保したポイントクラウドについてポイントクラウド符号化(Ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)を行ってポイントクラウドビデオビットストリーム(Ｅｂを出力する。送信装置のポイントクラウド符号化は、図１ないし図１３で説明したポイントクラウド符号化(例えば、図４のポイントクラウドエンコーダの符号化など)と同一又は類似するので具体的な説明は省略する。
送信装置は生成されたオディオビットストリーム及びビデオビットストリームをファイル及び／又はセグメントにカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)する。カプセル化されたファイル及び／又はセグメント(Ｆｓ、Ｆｉｌｅ)は、ＩＳＯＢＭＦＦなどのファイルフォーマットのファイル又はＤＡＳＨセグメントを含む。実施例によるポイントクラウド関連メタ データ(ｍｅｔａｄａｔａ)は、カプセル化されたファイルフォーマット及び／又はセグメントに含まれる。メタデータはＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、又はファイル内で別のトラックに含まれる。実施例において、送信装置はメタデータ自体を別のファイルにカプセル化することができる。実施例による送信装置は、カプセル化されたファイルフォーマット及び／又はセグメントをネットワークにより送信する。送信装置のカプセル化及び送信処理方法は図１ないし図１３で説明した通りであるので(例えば、送信機１０００３、図２の送信段階２０００２など)、具体的な説明は省略する。
図１４の下側は図１ないし図１３で説明した受信装置(例えば、受信装置１０００４、図１３の受信装置など)がポイントクラウドコンテンツを処理及び出力する過程を示している。
実施例において、受信装置は最終オディオデータ及び最終ビデオデータを出力するデバイス(例えば、スピーカー(Ｌｏｕｄｓｐｅａｋｅｒｓ)、ヘッドホン(ｈｅａｄｐｈｏｎｅｓ)、ディスプレイ(Ｄｉｓｐｌａｙ)及びポイントクラウドコンテンツを処理するポイントクラウドプレーヤー(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｌａｙｅｒ)を含む。最終データ出力デバイス及びポイントクラウドプレーヤーは別の物理的なデバイスで構成される。実施例によるポイントクラウドプレーヤーは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又は次世代コーディングを行う。
実施例による受信装置は受信したデータ(例えば、放送信号、ネットワークにより送信される信号など)に含まれたファイル及び／又はセグメント(Ｆ',Ｆｓ')を確保し、デカプセル化(Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)する。受信装置の受信及びデカプセル化方法は図１ないし図１３で説明した通りであるので(例えば、受信機１０００５、受信部１３０００、受信処理部１３００１など)、具体的な説明は省略する。
実施例による受信装置は、ファイル及び／又はセグメントに含まれたオディオビットストリーム(Ｅ'ａ)及びビデオビットストリーム(Ｅ'ｖ)を確保する。図示したように、受信装置はオディオビットストリームに対してオディオ復号(ａｕｄｉｏ ｄｅｃｏｄｉｎｇ)を行って復号されたオディオデータ(Ｂ'ａ)を出力し、復号されたオディオデータをレンダリングして(ａｕｄｉｏ ｒｅｎｄｅｒｉｎｇ)最終オディオデータ(Ａ'ａ)をスピーカー又はヘッドホンなどで出力する。
また受信装置は、ビデオビットストリーム(Ｅ'ｖ)に対してポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)を行って復号されたビデオデータ(Ｂ'ｖ)を出力する。実施例によるポイントクラウド復号は、図１ないし図１３で説明したポイントクラウド復号と同一又は類似するので(例えば、図１１のポイントクラウドデコーダの復号など)、具体的な説明は省略する。受信装置は復号されたビデオデータをレンダリングして(ｒｅｎｄｅｒｉｎｇ)最終ビデオデータをディスプレイに出力する。
実施例による受信装置は、共に送信されたメタデータに基づいてデカプセル化、オディオ復号、オディオレンダリング、ポイントクラウド復号及びレンダリング動作のうちのいずれかを行う。メタデータに関する説明は図１２及び図１３で説明した通りであるので省略する。
図示した点線のように、実施例による受信装置(例えば、ポイントクラウドプレーヤー又はポイントクラウドプレーヤー内のセンシング／トラッキング部(ｓｅｎｓｉｎｇ／ｔｒａｃｋｉｎｇ)は、フィードバック情報(ｏｒｉｅｎｔａｔｉｏｎ、ｖｉｅｗｐｏｒｔ)を生成する。実施例によるフィードバック情報は受信装置のデカプセル化、ポイントクラウド復号過程及び／又はレンダリング過程で使用され、送信装置に伝達されることもできる。フィードバック情報に関する説明は図１ないし図１３で説明した通りであるので省略する。
図１５は実施例による送信装置の一例を示す図である。
図１５の送信装置はポイントクラウドコンテンツを送信する装置であり、図１ないし図１４で説明した送信装置(例えば、図１の送信装置１００００、図４のポイントクラウドエンコーダ、図１２の送信装置、図１４の送信装置など)の例示に該当する。従って、図１５の送信装置は図１ないし図１４で説明した送信装置の動作と同一又は類似する動作を行う。
実施例による送信装置は、ポイントクラウド獲得(ｐｏｉｎｔ ｃｌｏｕｄ ａｃｑｕｉｓｉｔｉｏｎ)、ポイントクラウド符号化(ｐｏｉｎｔ ｃｌｏｕｄ ｅｎｃｏｄｉｎｇ)、ファイル／セグメントカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ)及び送信(ｄｅｌｉｖｅｒｙ)のうちのいずれか又はそれ以上を行うことができる。
図示したポイントクラウド獲得及び送信動作は図１ないし図１４で説明した通りであるので具体的な説明は省略する。
図１ないし図１４で説明したように、実施例による送信装置はジオメトリ符号化及び特質符号化を行う。実施例によるジオメトリ符号化はジオメトリ圧縮(ｇｅｏｍｅｔｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質符号化は特質圧縮(Ａｔｔｒｉｂｕｔｅ ｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有する。従って、送信装置はそれぞれの特質に対して特質符号化を行う。図面では送信装置が一つ又はそれ以上の特質圧縮(Ａｔｔｒｉｂｕｔｅ ＃１ ｃｏｍｐｒｅｓｓｉｏｎ、… Ａｔｔｒｉｂｕｔｅ ＃Ｎ ｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による送信装置は追加圧縮(ａｕｘｉｌｉａｒｙ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加圧縮はメタデータ(ｍｅｔａｄａｔａ)に対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また送信装置はメッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。実施例によるメッシュデータ圧縮は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ符号化を含む。
実施例による送信装置はポイントクラウド符号化により出力されたビットストリーム(例えば、ポイントクラウドストリーム)をファイル及び／又はセグメントにカプセル化する。実施例において、送信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｅｎｃａｐｓｕｌａｔｉｏｎ)を行う。実施例においてメタデータはメディアトラックにカプセル化される。
図１ないし図１４に説明したように、送信装置は受信装置からフィードバック情報(オリエンテーション／ビューポートメタデータ)を受信し、受信したフィードバック情報に基づいてポイントクラウド符号化、ファイル／セグメントカプセル化及び送信動作のうちのいずれかを行う。具体的な説明は図１ないし図１４に説明した通りであるので省略する。
図１６は実施例による受信装置の一例を示す図である。
図１６の受信装置はポイントクラウドコンテンツを受信する装置であり、図１ないし図１４で説明した受信装置(例えば、図１の受信装置１０００４、図１１のポイントクラウドデコーダ、図１３の受信装置、図１４の受信装置など)の例示に該当する。従って、図１６の受信装置は図１ないし図１４で説明した受信装置の動作と同一又は類似する動作を行う。また図１６の受信装置は図１５の送信装置で送信した信号などを受け、図１５の送信装置の動作の逆過程を行うことができる。
実施例による受信装置は受信(ｄｅｌｉｖｅｒｙ)、ファイル／セグメントデカプセル化(ｆｉｌｅ／ｓｅｇｅｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ)、ポイントクラウド復号(ｐｏｉｎｔ ｃｌｏｕｄ ｄｅｃｏｄｉｎｇ)及びポイントクラウドレンダリング(ｐｏｉｎｔ ｃｌｏｕｄ ｒｅｎｄｅｒｉｎｇ)のうちのいずれか又はそれ以上を行う。
図示されたポイントクラウド受信及びポイントクラウドレンダリング動作は図１ないし図１４に説明した通りであるので具体的な説明は省略する。
図１ないし図１４に説明したように、実施例による受信装置はネットワーク又は格納装置から得たファイル及び／又はセグメントに対してデカプセル化を行う。実施例において、受信装置はメタデータ以外のデータ(例えば、メディアデータ)を運ぶメディアトラックデカプセル化(ｍｅｄｉａ ｔｒａｃｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行い、メタデータを運ぶメタデータトラックデカプセル化(ｍｅｔａｄａｔａ ｔｒａｃａｋ ｄｅｃａｐｓｕｌａｔｉｏｎ)を行うことができる。実施例において、メタデータがメディアトラックにカプセル化された場合、メタデータトラックデカプセル化は省略される。
図１ないし図１４に説明したように、受信装置はデカプセル化により確保したビットストリーム(例えば、ポイントクラウドストリーム)に対してジオメトリ復号及び特質復号を行う。実施例によるジオメトリ復号はジオメトリ復元(ｇｅｏｍｅｔｒｙ deｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれ、特質復号は特質復元(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)とも呼ばれる。上述したように、一つのポイントは一つのジオメトリと一つ又はそれ以上の特質を有し、それぞれ符号化される。従って、受信装置は各特質に対して特質復号を行う。図面では受信装置が一つ又はそれ以上の特質復元(Ａｔｔｒｉｂｕｔｅ ＃１ ｄｅｃｏｍｐｒｅｓｓｉｏｎ、…ｕｔｅ ＃Ｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行った例示を示している。また実施例による受信装置は追加復元(ａｕｘｉｌｉａｒｙ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行うことができる。追加復元はメタデータに対して行われる。メタデータに関する説明は図１ないし図１４に説明した通りであるので省略する。また受信装置はメッシュデータ復元(Ｍｅｓｈ ｄａｔａ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)を行う。実施例によるメッシュデータ復元は図１ないし図１４で説明したｔｒｉｓｏｕｐジオメトリ復号を含む。実施例による受信装置はポイントクラウド復号によって出力されたポイントクラウドデータをレンダリングする。
図１ないし図１４に説明したように、受信装置は別のセンシング／トラッキングエレメントなどを用いてオリエンテーション／ビューポートメタデータを確保し、それを含むフィードバック情報を送信装置(例えば、図１５の送信装置)に送信することができる。また受信装置はフィードバック情報に基づいて受信動作、ファイル／セグメントデカプセル化及びポイントクラウド復号のうちのいずれかを行うことができる。具体的な説明は図１ないし図１４に説明した通りであるので省略する。
図１７は実施例によるポイントクラウドデータの送受信方法／装置に連動可能な構造の一例を示す図である。
図１７の構造はサーバー１７６０、ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のうちのいずれかがクラウドネットワーク１７１０に連結された構成を示している。ロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０又は家電１７５０などは装置とも呼ばれる。またＸＲ装置１７３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
クラウドネットワーク１７００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１７００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー１７６０はロボット１７１０、自律走行車両１７２０、ＸＲ装置１７３０、スマートフォン１７４０、家電１７５０及び／又はＨＭＤ１７７０のいずれかにクラウドネットワーク１７００により連結され、連結された装置１７１０～１７７０のプロセシングの少なくとも一部を助けることができる。
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１７７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。
以下、上記技術が適用される装置１７１０～１７５０の様々な実施例について説明する。ここで、図１７に示した装置１７１０～１７５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置１７３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
ＸＲ／ＰＣＣ装置１７３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１７３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両１７２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両１７２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１７２０はＸＲ装置１７３０とは区分されて互いに連動されることができる。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１７２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１７２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
図１８はポイントクラウドエンコーダの一例を示すブロック図である。
実施例によるポイントクラウドエンコーダ１８００(例えば、図１のポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ、図１２、図１４及び図１５で説明したポイントクラウドエンコーダなど)は、図１ないし図１７で説明した符号化動作を行う。実施例によるポイントクラウドエンコーダ１８００は空間分割部１８１０、ジオメトリ情報符号化部１８２０及び属性情報符号化部(又は特質情報符号化部)１８３０を含む。実施例によるポイントクラウドエンコーダ１８００は、図１８に示していないが、図１ないし図１７で説明した符号化動作を行うための一つ又はそれ以上のエレメントさらに含む。
ポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、ＰＣＣ)データ(又はＰＣＣデータ、ポイントクラウドデータ)はポイントクラウドエンコーダ１８００の入力データであって、ジオメトリ及び／又は特質を含む。実施例によるジオメトリはポイントの位置(例えば、ポジション)を示す情報であって、直交座標系、円筒座標系、球面座標系などの座標系のパラメータで表現される。実施例によれば、ジオメトリはジオメトリ情報と呼ばれ、特質は特質情報と呼ばれる。
実施例による空間分割部１８１０はポイントクラウドデータのジオメトリ及び特質を生成する。実施例による空間分割部１８１０はポイントクラウドデータのポイント情報を格納するために、ポイントクラウドデータを３次元空間上の一つ又はそれ以上の３次元ブロック(ｂｌｏｃｋ)に分割する。実施例によるブロックは、タイルグループ(Ｔｉｌｅ Ｇｒｏｕｐ)、タイル(Ｔｉｌｅ)、スライス(Ｓｌｉｃｅ)、符号化単位(Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ)、予測単位(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ)及び変換単位(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｕｎｉｔ、ＴＵ)のうちのいずれかを示す。実施例による空間分割部１８１０は、八分木(Ｏｃｔｒｅｅ)、四分木(Ｑｕａｄｔｒｅｅ)、二分木(Ｂｉｎｉａｒｙ ｔｒｅｅ)、三分木(Ｔｒｉｐｌｅ ｔｒｅｅ)、ｋ－ｄツリーのうちのいずれかに基づく分割動作を行う。一つのブロックは一つ又はそれ以上のポイントを含む。実施例によるブロックは所定の横長さ、縦長さ及び高さの値を有する六面体形状のブロックである。実施例によるブロックのサイズは変更可能であり、上述した例示に限られない。実施例による空間分割部１８１０はブロックに含まれた一つ又はそれ以上のポイントに関するジオメトリ情報を生成する。
実施例によるジオメトリ情報符号化部１８２０(又はジオメトリ情報エンコーダ)は、ジオメトリ符号化を行い、ジオメトリビットストリーム及び復元されたジオメトリ情報を生成する。実施例によるジオメトリ符号化では、復元されたジオメトリ情報が特質情報符号化部(又は特質エンコーダ)１８３０に入力される。実施例によるジオメトリ情報符号化部１８２０は、図４で説明した座標系変換部４００００、量子化４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５の動作のうちのいずれかを行う。また実施例によるジオメトリ情報符号化部１８２０は、図１２で説明したデータ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６及びメタデータ処理部１２００７の動作のうちのいずれかを行う。
実施例による特質情報符号化部１８３０は復元されたジオメトリ情報及び特質に基づいて特質情報ビットストリーム(又は特質ビットストリーム)を生成する。
実施例によるポイントクラウドエンコーダは、ジオメトリ情報ビットストリーム及び特質情報ビットストリーム又はジオメトリ情報ビットストリーム及び特質情報ビットストリームが多重化されたビットストリームを送信する。上述したように、ビットストリームはジオメトリ情報及び特質情報に連関するシグナリング情報、座標系変換に関連するシグナリング情報などをさらに含む。また実施例によるポイントクラウドエンコーダは、ビットストリームをカプセル化(ｅｎｃａｐｓｕｌａｔｉｏｎ)してセグメント及び／又はファイルなどの形態で送信する。
図１９はジオメトリ情報エンコーダの一例を示すブロック図である。
実施例によるジオメトリ情報エンコーダ１９００(又はジオメトリエンコーダ)は図１８のジオメトリ情報符号化部１８２０の一例であって、ジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図１８で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。図示したように、ジオメトリ情報エンコーダ１９００は座標系変換部１９１０、ジオメトリ情報変換量子化部１９２０、残差ジオメトリ情報量子化部１９３０、ジオメトリ情報エントロピー符号化部１９４０、残差ジオメトリ情報逆量子化部１９５０、フィルタリング部１９６０、メモリ１９７０及びジオメトリ情報予測部１９８０を含む。実施例によるジオメトリ情報エンコーダ１９００は、図１９に示していないが、図１ないし図１８で説明したジオメトリ符号化を行うための一つ又はそれ以上のエレメントをさらに含む。
実施例による座標系変換部１９１０は、入力されたジオメトリ情報が示すそれぞれのポイントの位置を３次元空間上の位置で表現するために、受信したジオメトリ情報を座標系上の情報に変換する。座標系変換部１９１０は図４で説明した座標系変換部４００００の動作と同一又は類似する動作を行う。実施例による座標系は上述した３次元直交座標系、円筒座標系、球面座標系などを含むが、これらに限られない。実施例による座標系変換部１９１０は設定された座標系を他の座標系に変換可能である。
実施例による座標系変換部１９１０はシーケンス、フレーム、タイル、スライス、ブロックなどの単位に対して座標系変換を行うことができる。実施例による座標系変換の有無及び座標系及び／又は変換に関連する情報は、シーケンス、フレーム、タイル、スライス、ブロックなどの単位でシグナリングされる。従って、実施例によるポイントクラウドデータ受信装置は、周辺ブロックの座標系変換有無、ブロックのサイズ、ポイントの個数、量子化値、ブロック分割深さ、単位の位置、単位と原点との距離などに基づいて座標系及び／又は変換に関連する情報を確保することができる。
実施例によるジオメトリ情報変換量子化部１９２０は、座標系に表現されたジオメトリ情報を量子化して変換量子化されたジオメトリ情報を生成する。実施例によるジオメトリ情報変換量子化部１９２０は、座標系変換部１９１０で出力されたジオメトリ情報が示すポイントの位置に対して位置変換及び／又は回転変換などの一つ又はそれ以上の変換を適用し、変換されたジオメトリ情報を量子化値に割って量子化を行う。ジオメトリ情報変換量子化部１９２０は図４の量子化部４０００１及び／又は図１２の量子化処理部１２００１の動作と同一又は類似する動作を行う。実施例による量子化値は符号化単位(例えば、タイル、スライスなど)と座標系の原点との距離又は基準方向からの角度などに基づいて可変する。実施例による量子化値は予め設定された値である。
実施例によるジオメトリ情報予測部１９３０は周辺符号化単位の量子化値に基づいて予測値(又は予測ジオメトリ情報)を算出する。
残差ジオメトリ情報量子化部１９４０は変換量子化されたジオメトリ情報及び予測値を差分した残差ジオメトリ情報を受信し、残差ジオメトリ情報を量子化値に量子化して量子化された残差ジオメトリ情報を生成する。
ジオメトリ情報エントロピー符号化部１９５０は量子化された残差ジオメトリ情報をエントロピー符号化する。実施例によるエントロピー符号化は指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)及びＣＡＢＡＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などを含む。
残差ジオメトリ情報逆量子化部１９６０は量子化されたジオメトリ情報を量子化値にスケーリングして残差ジオメトリ情報を復元する。復元された残差ジオメトリ情報と予測ジオメトリ情報が合算されて、復元されたジオメトリ情報として生成される。
フィルタリング部１９７０は復元されたジオメトリ情報をフィルタリングする。実施例によるフィルタリング部１９７０は、デブロッキングフィルタ部、オフセット補正部などを含む。互いに異なる二つの符号化単位が異なる座標系変換されたジオメトリ情報に対して、実施例によるフィルタリング部１９７０は二つの符号化単位の境界に更なるフィルタリングを行うことができる。
メモリ１９８０は復元されたジオメトリ情報(又は復元ジオメトリ情報)を格納する。格納されたジオメトリ情報はジオメトリ情報予測部１９３０に提供される。また、メモリに格納された復元ジオメトリ情報は図１８で説明した特質情報符号化部１８３０に提供される。
図２０は実施例による特質情報エンコーダの一例を示す。
図２０に示した特質情報エンコーダ２０００は図１８で説明した特質情報符号化部１８３０の一例であって、特質符号化を行う。実施例による特質符号化は、図１ないし図１７で説明した特質符号化と同一又は類似するので、具体的な説明は省略する。図示したように、実施例による特質情報エンコーダ２０００は特質特性変換部２０１０、ジオメトリ情報マッピング部２０２０、特質情報変換部２０３０、特質情報量子化部２０４０及び特質情報エントロピー符号化部２０５０を含む。
実施例による特質特性変換部２０１０は特質情報を受信し、受信した特質情報の特性(例えば、色など)を変換する。例えば、特質情報が色相情報を含む場合、特質特性変換部２０１０は特質情報の色空間を変換することができる(例えば、ＲＧＢからＹＣｂＣｒ)。また特質特性変換部２０１０は選択的に特質情報の特性を変換しなくてもよい。特質特性変換部２０１０は特質変換部４０００７、及び／又は色相変換処理部１２００８の動作と同一又は類似する動作を行う。
実施例によるジオメトリ情報マッピング部２０２０は、特質特性変換部２０１０で出力された特質情報と受信した復元ジオメトリ情報をマッピングして再構成された特質情報を生成する。ジオメトリ情報マッピング部２０２０は、復元ジオメトリ情報に基づいて一つ又はそれ以上のポイントの特質情報を再構成した特質情報を生成する。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントのジオメトリ情報はボクセルの中央値を中心として再構成される。特質情報はジオメトリ情報に従属しているので、ジオメトリ情報マッピング部２０２０は復元ジオメトリ情報に基づいて特質情報を再構成する。ジオメトリ情報マッピング部２０２０は属性変換処理部１２００９の動作と同一又は類似する動作を行う。
実施例による特質情報変換部２０３０は再構成された特質情報を受信して変換することができる。実施例による特質情報変換部２０３０は特質情報を予測して受信した再構成された特質情報と予測特質情報の間の残差に対応して残差特質情報を一つ又はそれ以上の変換タイプ(例えば、ＤＣＴ、ＤＳＴ、ＳＡＤＣＴ、ＲＡＨＴ)を使用して変換する。
実施例による特質情報量子化部２０４０は変換された残差特質情報を受信して量子化値に基づいて変換量子化された残差特質情報を生成する。
実施例による特質情報エントロピー符号化部２０５０には変換量子化された残差特質情報が入力されてエントロピー符号化が行われ、特質情報ビットストリームが出力される。実施例によるエントロピー符号化は指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)及びＣＡＢＡＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のうちのいずれかを含み、上述した実施例に限られない。特質情報エントロピー符号化部２０５０は演算コーダー１２０１１の動作と同一又は類似する動作を行う。
図２１は実施例による特質情報エンコーダの一例を示す。
図２１に示す特質情報エンコーダ２１００は図１８で説明した特質情報符号化部１８３０及び図２０で説明した特質情報エンコーダ２０００の一例に該当する。実施例による特質情報エンコーダ２１００は、特質特性変換部２１１０、ジオメトリ情報マッピング部２１２０、特質情報予測部２１３０、残差特質情報変換部２１４０、残差特質情報逆変換部２１４５、残差特質情報量子化部２１５０、残差特質情報逆量子化部２１５５、フィルタリング部２１６０、メモリ２１７０及び特質情報エントロピー符号化部２１８０を含む。図２１に示す特質情報エンコーダ２１００は、残差特質情報変換部２１４０、残差特質情報逆変換部２１４５、残差特質情報量子化部２１５０、残差特質情報逆量子化部２１５５、フィルタリング部２１６０及びメモリ２１７０をさらに含むという点で、図２０に示した特質情報エンコーダ２０００とは差がある。
実施例による特質特性変換部２１１０及びジオメトリ情報マッピング部２１２０は、図２０で説明した特質特性変換部２０１０及びジオメトリ情報マッピング部２０２０の動作と同一又は類似する動作を行う。実施例による特質情報予測部２１３０は予測特質情報を生成する。残差特質情報変換部２１４０はジオメトリ情報マッピング部２１２０で出力された再構成特質情報と予測特質情報を差分して生成された残差特質情報を受信する。残差特質情報変換部２１４０は受信した残差特質情報を含む残差３次元ブロックを一つ又はそれ以上の変換タイプ(例えば、Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ、Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ、ＤＳＴ、ＳＡＤＣＴ、ＲＡＨＴなど)に変換する。
実施例による残差特質情報量子化部２１５０は、入力された変換残差特質情報を量子化値に基づいて変換する。変換された残差特質情報は残差特質情報逆量子化部２１５５に入力される。実施例による残差特質情報逆量子化部２１５５は変換量子化された残差特質情報を量子化値に基づいて変換して変換残差特質情報を生成する。残差特質情報逆量子化部２１５５で生成された変換残差特質情報は残差特質逆変換部２１４５に入力される。実施例による残差特質逆変換部２１４５は変換残差特質情報を含む残差３次元ブロックを一つ又はそれ以上の変換タイプ(例えば、Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ、Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ、ＤＳＴ、ＳＡＤＣＴ、ＲＡＨＴなど)を使用して逆変換する。実施例による復元特質情報は逆変換された残差特質情報及び特質情報予測部２１３０で出力された予測特質情報の結合により生成される。実施例による復元特質情報は逆変換されていない残差特質情報及び予測特質情報の結合により生成される。復元特質情報はフィルタリング部２１６０に入力される。実施例による特質情報予測部２１３０、残差特質情報変換部２１４０及び／又は残差特質情報量子化部２１５０は予測／リフト／ＲＡＨＴ変換処理部１２０１０の動作と同一又は類似する動作を行う。
実施例によるフィルタリング部２１６０は復元特質情報をフィルタリングする。実施例によるフィルタリング部２１６０はデブロッキングフィルタ、オフセット補正部、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)などを含む。フィルタリング部２１６０は図１９のフィルタリング部１９７０の動作と同一又は類似する動作を行う。
実施例によるメモリ２１７０はフィルタリング部２１６０から出力された復元特質情報を格納する。格納された復元特質情報は特質情報予測部２１３０の予測動作の入力データとして提供される。特質情報予測部２１３０はポイントの復元特質情報に基づいて予測特質情報を生成する。図面において、メモリ２１７０は一つのブロックで示されているが、一つ又はそれ以上の物理的なメモリで構成されることができる。実施例による特質情報エントロピー符号化部２１８０は図２０で説明した特質情報エントロピー符号化部２０５０の動作と同一又は類似する動作を行う。
図２２は実施例による特質情報予測部の一例を示す。
図２２に示した特質情報予測部２２００は図２１で説明した特質情報予測部２１３０の一例に該当する。特質情報予測部２２００は特質情報予測部２１３０の動作と同一又は類似する動作を行う。実施例による特質情報予測部２２００はＬＯＤ構成部２２１０及び隣接ポイント集合構成部２２２０を含む。ＬＯＤ構成部２２１０はＬＯＤ生成部４０００９と同一又は類似する動作を行う。即ち、図示したように、ＬＯＤ構成部２２１０は特質及び復元されたジオメトリを受信し、受信した特質及び復元されたジオメトリに基づいて一つ又はそれ以上のＬＯＤを構成する。図４及び図８で説明したように、ＬＯＤは３次元空間に分布したポイントを改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。実施例によるＬＯＤは一定間隔で分布する一つ又はそれ以上のポイントを含む。上述したように、実施例によるＬＯＤはポイントクラウドコンテンツの詳細(ｄｅｔａｉｌ)を示す程度である。従って、ＬＯＤ(又はＬＯＤ値)が示すレベルが低いほど、ポイントクラウドコンテンツの詳細が落ち、ＬＯＤが示すレベルが高いほどポイントクラウドコンテンツの詳細が高いことを示す。即ち、高いレベルを示すＬＯＤはより短い間隔で分布するポイントを含む。実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ)及びポイントクラウドデコーダ(例えば、図１１のポイントクラウドデコーダ)は特質圧縮率を高めるためにＬＯＤを生成することができる。類似する特質を有するポイントは対象ポイントの隣接にある確率が高いので、類似する属性を有する隣接ポイントによる予測特質と対象ポイントの特質間の残差値は０に近い確率が高いためである。従って、実施例によるポイントクラウドエンコーダ及びポイントクラウドデコーダは、特質の予測時に使用可能な適切な隣接ポイントを選択するためにＬＯＤを生成することができる。
実施例によるＬＯＤ構成部２２１０は一つ又はそれ以上の方式を用いてＬＯＤを構成する。上述したように、ポイントクラウドデコーダ(例えば、図１０及び図１１で説明したポイントクラウドデコーダなど)もＬＯＤを生成しなければならない。よって、実施例によるＬＯＤ構成方式(又はＬＯＤ生成方式)に関連する情報又はＬＯＤ構成方式情報は、符号化されたポイントクラウドビデオデータを含むビットストリームにより受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に送信される。従って、受信装置はＬＯＤ構成方式情報に基づいてＬＯＤを生成することができる。
実施例による隣接ポイント集合構成部２２２０は、それぞれのＬＯＤ(又はＬＯＤ集合)が生成されると、ＬＯＤl集合のポイントの一つ又はそれ以上の隣接ポイントをサーチ(ｓｅａｒｃｈ)又は検索する。一つ又はそれ以上の隣接ポイントの個数はＸと表現され、Ｘは０より大きい整数である。実施例による隣接ポイントは、３次元空間においてＬＯＤl集合のポイントから最も近いところに位置する隣接(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、ＮＮ)ポイントであって、対象ＬＯＤ(例えば、ＬＯＤl)と同じＬＯＤに含まれるか、又は対象ＬＯＤよりもＬＯＤレベルが低いＬＯＤ集合(例えば、ＬＯＤl-１、ＬＯＤl-２、...、ＬＯＤ０)に含まれる。実施例による隣接ポイント集合構成部２２２０は、サーチされた一つ又はそれ以上の隣接ポイントを予測器に隣接ポイント集合として登録することができる。実施例による隣接ポイントの個数は隣接ポイントの最大の個数であって、ユーザの入力信号により設定されるか、又は隣接ポイントサーチ方式によって特定の値に予め設定される。
実施例による隣接ポイント集合構成部２２２０は、図９に示したＬＯＤ１に属するポイントＰ３の隣接ポイントをＬＯＤ０及びＬＯＤ１でサーチすることができる。図９に示したように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。隣接ポイントの個数Ｘが３である場合、隣接ポイント集合構成部２２２０は、図９の上側に示した３次元空間においてＰ３に最も近い３つの隣接ポイントをＬＯＤ０又はＬＯＤ１に属するポイントからサーチする。即ち、隣接ポイント集合構成部２２２０は、同じＬＯＤレベルであるＬＯＤ１に属するＰ６及びＬＯＤレベルが低いＬＯＤ０に属するＰ２及びＰ４をＰ３の隣接ポイントとしてサーチすることができる。３次元空間において、Ｐ７はＰ３に近いポイントであるが、ＬＯＤレベルがより高いので、隣接ポイントとしてサーチされない。隣接ポイント集合構成部２２２０はサーチした隣接ポイント(Ｐ２、Ｐ４、Ｐ６)をＰ３の予測器に隣接ポイント集合として登録する。実施例による隣接ポイント集合生成方法はこの例示に限られない。また実施例による隣接ポイント集合生成方法に関する情報(以下、隣接ポイント集合生成情報)は、上述した符号化されたポイントクラウドビデオデータを含むビットストリームに含まれて受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に送信される。
上述したように、全てのポイントは一つの予測器(ｐｒｅｄｉｃｔｏｒ)を有する。実施例によるポイントクラウドエンコーダは予測器を適用して該当ポイントの特質値を符号化して、予測特質(又は予測特質値)を生成する。実施例による予測器はＬＯＤ生成後にサーチされた隣接ポイントに基づいて生成される。予測器は対象ポイントの特質を予測するために使用される。従って、予測器は隣接ポイントの特質に加重値を適用して予測特質を生成することができる。
例えば、予測器は隣接ポイント集合に対して対象ポイント(例えば、Ｐ３)とそれぞれの隣接ポイントとの距離値に基づいて(例えば、1/2距離)、加重値(ｗｅｉｇｈｔ)を計算及び登録する。上述したように、Ｐ３の隣接ポイント集合はＰ２、Ｐ４及びＰ６であるので、実施例によるポイントクラウドエンコーダ(又は予測器)はＰ３とそれぞれの隣接ポイントの間の距離値に基づいて加重値を計算する。よって、それぞれの隣接ポイントの加重値
のように表現される。実施例によるポイントクラウドエンコーダは予測器の隣接ポイント集合が設定されると、隣接ポイントの加重値全体の合計で隣接ポイントの加重値を正規化する(ｎｏｒｍａｌｉｚｅ)。例えば、Ｐ３ノードの隣接ポイント集合内の全ての隣接ポイントの加重値を加えた値は以下のように表現される。
。さらに加重値の合計(ｔｏｔａｌ_ｗｅｉｇｈｔ)をそれぞれの隣接ポイントの加重値で割って生成された正規化された加重値は以下のように表現される。
。
実施例によるポイントクラウドエンコーダ(又は特質情報予測部)は、予測器により特質を予測する。実施例による予測特質(又は予測特質情報)は、図９で説明したように、登録された隣接ポイントの特質に計算した加重値を乗じた値の平均値であるか、又は特定のポイントの特質に加重値を乗じた値である。実施例において、ポイントクラウドエンコーダは圧縮された結果値を予め計算した後、上述した特質値のうち、最も小さいストリームを生成できる予測特質値(最も圧縮の効率が高い予測特質値)を選択的に使用する。なお、特質を予測する方法は上記の例示に限られない。
実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１など)は、ポイントの特質値、予測特質値の残差及び選択された予測特質に関する情報(又は予測特質を選択した方法に関する情報)を符号化して、受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に伝達する。実施例による受信装置は、送信装置で行ったＬＯＤ生成、隣接ポイント集合の生成、隣接ポイントの加重値正規化、特質予測と同じプロセスを行う。受信装置は選択された予測特質に関する情報に基づいて送信装置で行われた方法と同じ方法で特質を予測する。受信装置は受信した残差値を復号し、予測特質値に復号した残差値を加えて特質値を復元する。
上述したように、実施例によるＬＯＤ構成部２２１０は一つ又はそれ以上の様々なＬＯＤ生成方法に基づいてＬＯＤを生成する。
実施例によるＬＯＤ構成部２２１０は距離に基づいてＬＯＤを生成する(距離基盤のＬＯＤ生成方式)。ＬＯＤ構成部２２１０はそれぞれのＬＯＤごとに少なくとも２つのポイント間の距離(例えば、ユークリッド距離)を設定し、３次元空間に分布した全てのポイントの間の距離を計算して、計算結果に基づいてＬＯＤを生成する。上述したように、それぞれのＬＯＤはＬＯＤが示すレベルによって一定間隔で分布するポイントを含む。従って、ＬＯＤ構成部２２１０は全てのポイントの間の距離を計算しなければならない。即ち、ポイントクラウドエンコーダ及びポイントクラウドデコーダは、ＬＯＤを生成するたびに全てのポイントの間の距離を計算しなければならないので、ポイントクラウドデータを距離する過程で不要な負担(ｂｕｒｄｅｎ)をかける。しかし、ポイントクラウドコンテンツの密集度(ｄｅｎｓｉｔｙ)が高い場合は、密集したポイントはジオメトリ基盤の隣接性(ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｎｅａｒｂｙ ｒｅｌａｔｉｏｎｓｈｉｐ)が高いので、類似する特質を有する確率が高い。従って、実施例によるＬＯＤ構成部２２１０は、密集度の高いポイントクラウドコンテンツに対してポイントの間の距離を計算してＬＯＤを生成することができる。
また、実施例によるＬＯＤ構成部２２１０は、ポイントのモールトンコードに基づいてＬＯＤを構成することができる(モールトンオーダーに基づくサンプリングＬＯＤ生成方式)。上述したように、モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ、ｙ、ｚ))をビット値で示し、ビットを混合して生成される。
実施例によるＬＯＤ構成部２２１０は復元されたジオメトリに基づいて各ポイントのモールトンコードを生成し、モールトンコードに基づいてポイントの昇順に整列する。モールトンコードの昇順に整列されたポイントの順をモールトンオーダー(Ｍｏｒｔｏｎ ｏｒｄｅｒ)という。ＬＯＤ構成部２２１０はモールトンオーダーに整列されたポイントに対してサンプリングを行ってＬＯＤを構成する。実施例によるＬＯＤ構成部２２１０は様々な方式でサンプリングを行うことができる。例えば、実施例によるＬＯＤ構成部２２１０はノードに対応する各領域に含まれたポイントのモールトンオーダーによって順にサンプリングレートのギャップに基づいてポイントを選択する。実施例によるサンプリングレート(例えば、ｋlと表現)はポイントクラウドの分布度、ポイントクラウドコンテンツによって自動に変更されるか、又はユーザの入力によって変更される。また実施例によるサンプリングレートは固定値を有する。ＬＯＤ構成部２２１０はモールトンオーダーによって最初に整列されたポイント(０番目のポイント)からサンプリングレート(例えば、５)だけ離れた位置に整列されたポイント(例えば、サンプリングレートが５である場合、１番目のポイントから５番目のポイント)を選択し、残りのポイントについても５個ごとのポイントのうち、一つを選択して(例えば、５番目のポイントから５番目に位置するポイント)選択されたポイントを現在のＬＯＤ(例えば、ＬＯＤl)より小さいＬＯＤ(ＬＯＤl-１)に分類する。従って、ＬＯＤ構成部２２１０は全てのポイント間の距離を計算しなくても、ＬＯＤを構成することができる。即ち、ポイントクラウドエンコーダ及びポイントクラウドデコーダは、ＬＯＤを生成する度に全てのポイント間の距離を計算しなくてもよいので、より迅速にポイントクラウドデータを処理することができる。また実施例によるＬＯＤ構成部２２１０はＬＯＤごとに異なるサンプリングを行うことができる。
しかし、ポイントクラウドコンテンツの密集度(ｄｅｎｓｉｔｙ)が低い場合は、ポイント間のジオメトリ基盤の隣接性(ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ ｎｅａｒｂｙ ｒｅｌａｔｉｏｎｓｈｉｐ)が低いので、分布したポイントが類似する特質を有する確率が低い。よって、特質情報符号化及び復号の正確度を上げるために、実施例によるＬＯＤ構成部２２１０は固定サンプリング範囲(ｓａｍｐｌｉｎｇ ｒａｎｇｅ)、八分木基盤の固定サンプリング範囲及び八分木基盤の動的サンプリング範囲のうちのいずれかに基づいてサンプリングを行ってＬＯＤを生成する。実施例によるサンプリング範囲及びサンプリングに関する情報は、上述したＬＯＤ構成方式(又はＬＯＤ生成方式)情報に含まれて符号化されたポイントクラウドビデオデータを含むビットストリームにより受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に送信される。従って、受信装置はＬＯＤ構成方式情報に基づいてＬＯＤを生成することができる。
実施例によるＬＯＤ構成部２２１０は固定サンプリング範囲に基づいてサンプリングを行う。実施例によるサンプリングレートはポイントクラウドの密集度によって３次元空間の領域ごとに異なる。また実施例によるサンプリングレートはＬＯＤごとに異なる。実施例によるサンプリング範囲は固定される。
図２３はＬＯＤ生成過程の一例を示す。
図２３はＬＯＤ生成過程の例示を示す(２３００)。図２３は実施例によるサンプリングレート(例えば、ｋlと表現)が４である場合の固定サンプリング範囲基盤のＬＯＤ生成過程を示す。実施例による固定サンプリング範囲に関する説明は図２２で説明した通りであるので省略する。実施例によるサンプリングレートはポイントクラウドの分布度、ユーザ入力などによって変更される。また実施例によるサンプリングレートは固定値を有する。
図２３の上側は３次元空間を分割して生成された２つの空間のそれぞれに含まれたポイントを示す。図示したように、１番目の空間２３０１０は５つのポイントＰ０、Ｐ１、Ｐ５、Ｐ６及びＰ９を含み、２番目の空間２３０２は５つのポイントＰ２、Ｐ３、Ｐ４、Ｐ７及びＰ８を含む。
図２３の１番目のインデックス２３１０は３次元空間に分布する１０つのポイントのオリジナルオーダー(ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)を示す。上述したように、ＬＯＤ構成部(例えば、図２２のＬＯＤ構成部２２１０)は各ポイントのモールトンコードを計算し、計算されたモールトンコードに基づいて各ポイントを昇順(Ｉl)に整列する。図２３に示した２番目のインデックス２３２０は１０つのポイントのモールトンオーダーを示す。実施例によるサンプリングレートは４であるので、サンプリングによってそれぞれ４つのポイントごとに選択されたポイントの例示２３３０、即ち、ポイントＰ５、Ｐ１及びＰ７を示す。選択されないポイントはＬＯＤlにのみ含まれる。図２３に示した３番目のインデックス２３４０はＬＯＤlにポイントのインデックスを示す。実施例によるＬＯＤ構成部はＬＯＤl-１を生成するために選択されたポイントＰ５、Ｐ１及びＰ７に対して再びサンプリング(又はサブサンプリング)を行う。図２３はサンプリングにより選択されたポイントの例示２３５０、即ち、Ｐ５を示す。選択されないポイント(例えば、Ｐ１、Ｐ７)はＬＯＤl-１にのみ含まれる。図示した４番目のインデックス２３５０はポイントが属するＬＯＤ順を示す。サンプリングの結果、ＬＯＤ０はＰ５を含み、ＬＯＤ１はポイントＰ５、Ｐ１及びＰ７を含み、ＬＯＤ２は全体ポイントを含む２３６０。
図２４は実施例によるモールトンコード基盤のサンプリング過程の一例を示す。
図２４の左側は３次元空間が分割された一つの空間内のポイントのモールトンオーダーを示す(２４００)。上述したように、実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は、各ポイントのモールトンコードを計算し、計算されたモールトンコードに基づいて各ポイントを昇順に整列する。図示した番号はモールトンコードに基づいて昇順に整列したポイントのモールトンオーダーを示す。図２４の右側は３次元空間を分割して生成された複数の空間内のポイントのモールトンオーダーに対してサンプリングを行って生成されたＬＯＤの一例を示す(２４１０)。図２４の一例２４１０はサンプリングレートが４である一例である。座標系内に表現された点２４１５はサンプリング過程で選択されたポイントを示す。座標系内に表示された線２４１８はポイントを選択する過程を示す。上述したように、ＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)はモールトンオーダーに整列されたポイントに対してサンプリングを行ってＬＯＤを構成する。図２４に示すように、モールトンオーダーはジグザグ形態の線で表現される。即ち、モールトンオーダーによって整列されたポイント間の距離は一定ではない。またポイントは３次元領域(例えば、Ｘ軸、Ｙ軸、Ｚ軸で表現される３次元領域)において均一に分布していない。従って、モールトンオーダーに整列されたポイントに対してサンプリングを行っても、サンプリング結果がポイント間の距離の最小値及び最大値を保障できないので、隣接ポイント集合生成に影響を及ぼす。
実施例によるＬＯＤ構成部は八分木基盤の固定サンプリング範囲に基づいてサンプリングを行う。実施例によるサンプリングレートは八分木の深さ(ｄｅｐｔｈ)ごとに異なる。実施例によるサンプリング範囲は固定している。図５及び図６で説明したように、実施例による八分木はポイントクラウドコンテンツの３次元空間を８等分に再帰的に分割して生成される。実施例による再帰的に分割された領域は、同一の体積を有する立方体又は直方体の形態を有する。実施例による八分木は一つの空間が分割されて発生する８つの分割された空間がそれぞれ少なくとも一つのポイントを含むか否かを示す占有コードを有する。占有コードは複数のノードを含み、各ノードは各分割された空間にポイントが存在するか否かを示す。例えば、分割された空間に少なくとも一つのポイントが含まれると、該当空間に対応するノードはポイントが存在することを示す(例えば、１値割り当て)。各ノードの深さは少なくとも一つのＬＯＤが示すレベルに対応する。
各レベルに対応するノード領域はＬＯＤ内のポイント間の最大距離を保障する。実施例によるノード内のポイントから選択されたポイント間の最大距離はノードサイズであり、ノードとノードの間から選択されたポイント間の最大距離はノードサイズに制限される。よって、実施例によるサンプリングはポイント間の最大距離を一定に維持することができるので、ＬＯＤ構成部はＬＯＤ生成の複雑度を下げ、圧縮効率が高いＬＯＤを生成することができる。
また、実施例によるＬＯＤ構成部は、八分木基盤の動的サンプリング範囲(ｄｙｎａｍｉｃ ｓａｍｐｌｉｎｇ ｒａｇｎｅ)に基づいてサンプリングを行う。実施例によるサンプリングレートはＬＯＤのレベル及び八分木の深さに基づいて設定される。また実施例によるサンプリング範囲は固定されず、ＬＯＤのレベル及びモールトンコード値に基づいて計算される。実施例によるＬＯＤ構成部はサンプリングのために毎サンプリングレート値に対応する個数のポイントをグルーピング(選択)せず、八分木に基づいてサンプリングのためのポイントをグルーピングする。八分木構造において、同じ親ノードに属するポイントは互いに隣接することが明らかである。よって、実施例によるＬＯＤ構成部は、選択されたポイントが実際隣接しているか否かを確認するために、ポイント間の距離をさらに計算する必要がない。また実施例によるＬＯＤ構成部は、八分木の占有コードのノードの割り当て(ｏｃｃｕｐｙ)有無に基づいて、ポイントクラウドコンテンツの密集度を確認し、密集度に基づいてサンプリングのためのポイントを選択する。例えば、ノードが全て割り当てられていると、各ノードが示す領域内のポイントの密集度が高いことを示し、ノードが使用されないと、ポイントの密集度が低いことを示す。密集度が高いポイントは特質の類似度が高いので、ＬＯＤ構成部はサンプリングのために密集度の低いポイントよりも少ない数のポイントを選択する。
実施例による固定サンプリング範囲に基づいて、サンプリングはポイントの密集度に関係なく、サンプリングレート値によって繰り返して同数のポイントを選択する過程を含む。反復的なポイント選択過程はＬＯＤ生成過程において不要な負担になる。
図２５は実施例によるＬＯＤ生成過程の一例を示す。
図２５は八分木基盤の動的サンプリング範囲に基づいてＬＯＤを生成する過程の例示である(２５００)。実施例による八分木基盤の動的サンプリング範囲は、図２４で説明した通りであるので、具体的な説明は省略する。実施例による八分木基盤の動的サンプリング範囲は八分木内の同じ親ノードを有する子ポイントに基づいて設定される。
実施例によるＬＯＤの最大レベルはｌｍａｘと表現される。上述したように、ポイントクラウドコンテンツの密度は異なるので、ＬＯＤの最大レベルの設定はポイントクラウドコンテンツごとに異なる。よって、実施例による各ポイントクラウドコンテンツは最大レベルのＬＯＤのために等しいか又は異なる八分木深さを有する。実施例による八分木の深さはｄと表現される。実施例によるＬＯＤ最大レベルは八分木の深さよりも小さい
実施例によるＬＯＤ(例えば、ＬＯＤl)の最大サンプリングレートは以下のように表現される。
ｋは最大サンプリングレートを示す。実施例によるＬＯＤ構成部はポイントクラウドコンテンツのポイント密集度によってサンプリング比率を変更することができる。よって、上記数式１は八分木の深さレベル(例えば、ｄ－１レベル)で行われるサンプリングを示す。ポイントが密集した場合、ｄ－１レベルのノードが全て割り当てられる可能性が高いためである。しかし、ポイントクラウドコンテンツによって密集度が異なるので、実施例によるＬＯＤ構成部は八分木の占有コードの特定の深さでＬＯＤを構成するための値を設定することができる。実施例によるＬＯＤ(例えば、ＬＯＤl)の最大サンプリングレートは次のように表現される。
Ｘは八分木の特定の深さでＬＯＤを構成するための値であり、０より大きい値を有する。実施例によるＸはポイントクラウドコンテンツごとに異なるように設定される。
図２５に示す例示２５００では、Ｘが３である場合とＸが１である場合のサンプリングが行われるノードが示されている。実施例によるＬＯＤ構成部は、Ｘ値が３である場合、深さ３に対応するノード２５１０からサンプリングを行う(例えば、ＬＯＤ値は０)。実施例によるＬＯＤ構成部は、Ｘ値が１である場合は、深さ１に対応するノード２５２０からサンプリングを行う。実施例による子ノードの個数はｐｏｗ(８,ｘ)２５３０のように表現される。
実施例による（各）ＬＯＤごとのサンプリング範囲は以下のように表現される。
Ｐi.ｍｃはｉ番目のポイントのモールトンコード値を示す。実施例によるサンプリング範囲は、八分木の占有コードで同じ上位親ノードを有するモールトンコード範囲に限定される。例えば、ＬＯＤのレベルが最大レベルであり、モールトンオーダーに並べたポイントのうち、モールトンコードが２であるポイントに対するサンプリング範囲は、モールトンコード０から７までのポイントを含む範囲に設定される(各深さで占有コードは８つのノードを有するので)。実施例によるＬＯＤ構成部は、ポイントのモールトンコード値がサンプリング範囲の最大値(例えば、
)より大きい場合は、次のサンプリング範囲を再度計算する。
よって、ポイントを八分木構造で構成した場合、ＬＯＤ０の最大サンプリング比率は８(８０+１＝８)になる。ＬＯＤ０のサンプリング範囲はモールトンコード０～７、８～１５、１６～２３…になる。実施例によるＬＯＤ１の最大サンプリング比率は６４(８１+１＝６４)であり、ＬＯＤ１のサンプリング範囲は０～６３、６４～１２７、１２８～１９２…になる。
実施例によるＬＯＤ構成部(例えば、図２２のＬＯＤ構成部２２１０)はサンプリング範囲内のポイントから一つを選択し、選択したポイントを現在のＬＯＤ(例えば、ＬＯＤl)のレベルより低いレベルのＬＯＤ(例えば、ＬＯＤ(０~-l-１))に分類し、残りの選択されないポイントは現在のＬＯＤに登録する。
実施例によるＬＯＤ構成部は特質予測コーディングのために良好な隣接ノード集合を生成し、圧縮効率を高めるために、一つ又はそれ以上の方法に基づいてポイントを選択する。
例えば、実施例によるＬＯＤ構成部はサンプリング範囲内でＮ番目のポイントを選択する。実施例によるＮ値はユーザ入力信号によって設定される。また実施例によるＮ値はＲＤＯ(Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ)方式に基づいて設定される。
実施例によるＬＯＤ構成部はサンプリング範囲に属するポイントの中間値(ｍｅａｎ)又は中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する。モールトンコード値が類似するほどポイント間の距離が近い確率が高い。同じサンプリング範囲内に属するポイントの中間モールトンコード値に最も近いモールトンコードを有するポイントは、該当サンプリング範囲に属するポイントを代表する特質(例えば、色、反射値など)を有するか又は該当サンプリング範囲に属するポイントに相対的に大きい影響を及ぼす特質を有する可能性が高いためである。特に、周辺値を代表するポイントが隣接ノード集合として選択されると、圧縮効率を高めることができる。また実施例によるＬＯＤ構成部は中間モールトンコード値を基準として整列されたポイント順のうち、Ｎ番目のポイントを選択する。実施例によるＮは予め設定された値である。もし設定されたＮ値がない場合、実施例によるＬＯＤ構成部は整列されたポイント順のうち、０番目のポイントを選択する。
実施例によるＬＯＤ構成部はサンプリング範囲に属するポイントのうち、中間インデックス(ｉｎｄｅｘ)値に対応するポイントを選択する。実施例による中間インデックス値は該当領域の中間値である確率が高い。従って、ＬＯＤ構成部は追加計算過程を行わず、高い圧縮効率を有する早いデータ処理を行うことができる。実施例による中間インデックス値及び中間値は同じ意味を有する他の用語に代替可能である。サンプリング範囲に属するポイントが均一に分布していない場合(例えば、一方に片寄って分布する場合)、ポイントの中間モールトンコード値が該当サンプリング範囲を正しく代表することができない。よって、実施例によるＬＯＤ構成部はサンプリング範囲の理想的な中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する。実施例によるＬＯＤ構成部は八分木構造において親ノードの全ての子ノードが割り当てられたと仮定して、理想的な中間モールトンコード値を計算し、理想的な中間モールトンコード値と最も近いモールトンコードを有するポイントを選択する。実施例によるＬＯＤ構成部は理想的な中間モールトンコード値を基準として整列されたポイント順のうち、Ｎ番目のポイントを選択する。実施例によるＮは予め設定された値である。もし設定されたＮ値がない場合、実施例によるＬＯＤ構成部は整列されたポイント順のうち、０番目のポイントを選択する。
実施例によるＬＯＤ構成部は一つのサンプリング範囲内で一つ又はそれ以上のポイントを選択する。選択するポイントの個数は予め設定されている。サンプリング範囲内でＮ番目のポイントを選択する方法による場合、ＬＯＤ構成部はサンプリング範囲内のポイントに対してＮ番目のポイントを繰り返して選択する。例えば、Ｎが２である場合、ＬＯＤ構成部はサンプリング範囲内の２番目のポイント、４番目のポイント..を所定の数Ｘ個だけ繰り返して選択する。サンプリング範囲に属するポイントの中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法による場合では、ＬＯＤ構成部は中間モールトンコード値により整列された順においてＮ番目に該当するポイントを所定の個数Ｘだけ繰り返して選択する。サンプリング範囲に属するポイントの理想的な中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法による場合では、ＬＯＤ構成部は理想的な中間モールトンコード値により整列された順においてＮ番目に該当するポイントを所定の個数Ｘだけ繰り返して選択する。
実施例によるサンプリング範囲は一つのポイントのみを含む。一つのサンプリング範囲に含まれた一つのポイントを孤立ポイント(ｉｓｏｌａｔｅｄ ｐｏｉｎｔ)と呼ぶ。圧縮効率を高めるために、ＬＯＤ構成部は一つ又はそれ以上の方法で孤立ポイントを処理する。
例えば、ＬＯＤ構成部は孤立ポイントに対してサンプリングを行う。ＬＯＤは上述した固定サンプリングレートｋ個だけの連続する孤立ポイントのうち、一つのポイントを選択する。
実施例によるＬＯＤ構成部は孤立ポイントを現在のＬＯＤより低いレベルのＬＯＤの候補グループに分離する。実施例によるＬＯＤ構成部はＬＯＤlの生成中、孤立ポイントを有するサンプリング範囲に対して該当孤立ポイントを選択せず、ＬＯＤ(０~-l-１)に分離する。実施例によるＬＯＤ構成部はＬＯＤl-１-αの生成時、より大きいサンプリング範囲及びサンプリングレート比率を適用して孤立ポイントを選択する。
実施例によるＬＯＤ構成部は孤立ポイントを現在のＬＯＤに登録する。例えば、ＬＯＤ構成部はＬＯＤlの生成中、孤立ポイントが生成されると、該当孤立ポイントをＬＯＤlに登録する。孤立ポイントは周辺ポイントを代表する特質を有する確率が低いので、隣接ポイント集合として選択される必要がないためである。
実施例によるＬＯＤ構成部は孤立ポイントを隣接ポイントに併合することができる。実施例によるポイントはモールトンコード値に基づいて昇順に整列され、サンプリングレートによって一つ又はそれ以上のサンプリング範囲に分けられる。上述したように、各サンプリング範囲に該当するポイントは、八分木の占有コードで同じ親ノードに属するポイントである。よって、一つのサンプリング範囲に含まれたポイントの個数は変更可能である。実施例によるＬＯＤ構成部はサンプリング範囲、即ち、サンプリング範囲に含まれたポイントの個数に基づいて孤立ポイントであるか否かを判断することができる。例えば、ＬＯＤ構成部はサンプリング範囲に含まれたポイントの個数が所定の値より小さいか又は等しいと、該当サンプリング範囲又は該当サンプリング範囲に含まれたポイントを孤立ポイントとして設定する。実施例によるＬＯＤ構成部は孤立ポイントを含むサンプリング範囲を次のサンプリング範囲(例えば、孤立ポイントを含むサンプリング範囲に隣接するサンプリング範囲)と統合(又は併合)する。ＬＯＤ構成部は統合されたサンプリング範囲内のポイントの個数が所定の値より小さいか又は等しいと、統合されたサンプリング範囲を次のサンプリング範囲(例えば、統合されたサンプリング範囲に隣接するサンプリング範囲)と統合する。又はＬＯＤ構成部は統合されたサンプリング範囲内のポイントの個数が所定の値より大きいと、統合されたサンプリング範囲を一つのサンプリング範囲として設定する。
実施例による孤立ポイント処理方法に関する情報は上述したＬＯＤ構成方式(又はＬＯＤ生成方式)情報に含まれて、符号化されたポイントクラウドビデオデータを含むビットストリームにより受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に送信される。従って、受信装置はＬＯＤ構成方式情報に基づいてＬＯＤを生成する。
実施例によるポイント選択方法は上述した孤立ポイントを選択するときにも適用される。また実施例によるポイント選択方法に関する情報は上述したＬＯＤ構成方式(又はＬＯＤ生成方式)情報に含まれて、符号化されたポイントクラウドビデオデータを含むビットストリームにより受信装置(例えば、図１の受信装置１０００４又は図１０及び図１１のポイントクラウドデコーダなど)に送信される。従って、受信装置はＬＯＤ構成方式情報に基づいてＬＯＤを生成する。
図２６は実施例による孤立ポイント処理方法の一例である。
図２５で説明したように、ＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は孤立ポイントを含むサンプリング範囲を次のサンプリング範囲と併合することができる。実施例によるＬＯＤ構成部は孤立ポイントを含むサンプリング範囲を判断するために所定の値ａを定義する。実施例によるａは０より大きい整数である。実施例によるＬＯＤ構成部はサンプリング範囲に含まれたポイントの個数がａより小さいか又は等しいと、該当サンプリング範囲又は該当サンプリング範囲に含まれたポイントを孤立ポイントとして設定する。実施例によるＬＯＤ構成部は孤立ポイントを含むサンプリング範囲を次のサンプリング範囲(例えば、孤立ポイントを含むサンプリング範囲に隣接するサンプリング範囲)と統合(又は併合)する。実施例によるＬＯＤ構成部はサンプリング統合のためのサンプリング範囲の最大値ｒを設定する。実施例によるｒは０より大きい整数であり、ａより小さいか又は等しい値を有する。ＬＯＤ構成部は統合されたサンプリング範囲内のポイントの個数がａより小さいか又は等しいと、統合されたサンプリング範囲を次のサンプリング範囲(例えば、統合されたサンプリング範囲に隣接するサンプリング範囲)と統合する。ＬＯＤ構成部は統合されたサンプリング範囲がａより小さい場合は、サンプリング範囲統合を繰り返す。ＬＯＤ構成部は統合されたサンプリング範囲内のポイントの個数がａより大きいと、統合されたサンプリング範囲を一つのサンプリング範囲として設定する。
図２６はａが４であり、ｒが４である時の孤立ポイント処理方法の一例である(２６００)。上述したように、ポイントはモールトンコード値に基づいて昇順に整列される。図示したインデックス２６１０はポイントのモールトンコード値を示す。実施例によるＬＯＤ構成部は複数のポイントを一つ又はそれ以上のサンプリング範囲に分ける。実施例による一つ又はそれ以上のサンプリング範囲は第１サンプリング範囲２６２０、第２サンプリング範囲２６３０及び第３サンプリング範囲２６４０を含む。図示したように、第１サンプリング範囲２６２０は同じ親ノードに属する６つのポイント(Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５)を含む。第１サンプリング範囲２６２０に含まれたポイントの個数は６であるので、ａ値である４より大きい。従って、ＬＯＤ構成部は第１サンプリング範囲２６２０に含まれたポイントを孤立ポイントとして設定せず、サンプリングレートによって第１サンプリング範囲２６２０にあるポイントのうち、一つのポイントを選択する。選択されたポイントを除いた残りのポイントは現在のＬＯＤに登録され、選択されたポイントは現在のＬＯＤよりも低いレベルのＬＯＤのための候補ポイントとして設定される。図示したように、第２サンプリング範囲２６３０は一つのポイント(Ｐ６)を含む。第２サンプリング範囲２６３０に含まれたポイントの個数１であり、ａ値である４よりも小さい。よって、ＬＯＤ構成部は第２サンプリング範囲２６３０に含まれたポイントを孤立ポイントとして設定する。ＬＯＤ構成部は第２サンプリング範囲２６３０を第３サンプリング範囲２６４０と統合する。図示したように、第３サンプリング範囲２６４０は同じ親ノードに属する４つのポイント(Ｐ７、Ｐ８、Ｐ９、Ｐ１０)を含む。第２サンプリング範囲２６３０と第３サンプリング範囲２６４０が統合された統合サンプリング範囲のポイントの個数は５である。即ち、統合されたサンプリング範囲のポイント個数である５は併合のためのサンプリング範囲の最大値ｒである４よりも大きい。従って、ＬＯＤ構成部はサンプリングレートに基づいて統合されたサンプリング範囲にあるポイントのうち、一つのポイントを選択する。選択されたポイントを除いた残りのポイントは現在のＬＯＤに登録され、選択されたポイントは現在のＬＯＤよりも低いレベルのＬＯＤのための候補ポイントとして設定される。図示していないが、第３サンプリング範囲２６４０は６つのポイント(Ｐ１１、Ｐ１２、Ｐ１３、…)を含む。第３サンプリング範囲２６４０に含まれたポイントの個数６であり、ａより大きい。従って、ＬＯＤ構成部は第３サンプリング範囲２６４０に含まれたポイントを孤立ポイントとして設定せず、サンプリングレートによって第３サンプリング範囲２６４０にあるポイントのうち、一つのポイントを選択する。
図２７は実施例による孤立ポイント処理方法の一例である。
図２７に示した孤立ポイント処理方法の例示２７００は図２６で説明した孤立ポイント処理方法の例示２６００の実施例である。
図２７は図２６の例示２６００と同様に、ａが４であり、ｒが４である時の孤立ポイント処理方法の一例である(２７００)。図示したインデックス２７１０はポイントのモールトンコード値を示す。実施例によるＬＯＤ構成部は複数のポイントを一つ又はそれ以上のサンプリング範囲に分ける。実施例による一つ又はそれ以上のサンプリング範囲は第１サンプリング範囲２７２０、第２サンプリング範囲２７３０、第３サンプリング範囲２７４０、第４サンプリング範囲２７５０及び第５サンプリング範囲２７６０を含む。図示したように、第１サンプリング範囲２７２０は５つのポイント(Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４)を含む。第１サンプリング範囲２７２０に含まれたポイントの個数は５であるので、ａ値である４より大きい。従って、ＬＯＤ構成部は第１サンプリング範囲２７２０に含まれたポイントを孤立ポイントとして設定せず、サンプリングレートによって第１サンプリング範囲２７２０にあるポイントのうち、一つのポイントを選択する。選択されたポイントを除いた残りのポイントは現在のＬＯＤに登録され、選択されたポイントは現在のＬＯＤよりも低いレベルのＬＯＤのための候補ポイントとして設定される。図示したように、第２サンプリング範囲２７３０は一つのポイント(Ｐ５)を含む。よって、ＬＯＤ構成部は第２サンプリング範囲２７３０に含まれたポイントの個数が１であり、ａ値である４よりも小さいので、第２サンプリング範囲２７３０に含まれたポイントを孤立ポイントとして設定する。ＬＯＤ構成部は第２サンプリング範囲２７３０を第３サンプリング範囲２７４０と統合する。図示したように、第３サンプリング範囲２７４０は一つのポイント(Ｐ６)を含む。よって、第２サンプリング範囲２７３０と第３サンプリング範囲２７４０が統合された統合サンプリング範囲のポイントの個数は２である。即ち、統合されたサンプリング範囲のポイント個数である２は統合のためのサンプリング範囲の最大値ｒである４より小さい。従って、ＬＯＤ構成部は統合されたサンプリング範囲を統合されたサンプリング範囲の次のサンプリング範囲である第４サンプリング範囲２７５０と統合する。図示したように、第４サンプリング範囲２７５０は一つのポイント(Ｐ７)を含む。即ち、統合サンプリング範囲のポイントの個数は３であり、統合のためのサンプリング範囲の最大値ｒである４より小さい。従って、ＬＯＤ構成部は統合されたサンプリング範囲を併合されたサンプリング範囲の次のサンプリング範囲である第５サンプリング範囲２７６０と統合する。図示したように、第５サンプリング範囲２７６０は２つのポイント(Ｐ８、Ｐ９)を含む。即ち、統合サンプリング範囲のポイントの個数は５であり、統合のためのサンプリング範囲の最大値ｒである４より大きい。従って、ＬＯＤ構成部は統合されたサンプリング範囲に含まれたポイントを孤立ポイントとして設定せず、統合動作を中断する。ＬＯＤ構成部はサンプリングレートに基づいて統合されたサンプリング範囲にあるポイントのうち、一つのポイントを選択する。選択されたポイントを除いた残りのポイントは現在のＬＯＤに登録され、選択されたポイントは現在のＬＯＤより低いレベルのＬＯＤのための候補ポイントとして設定される。
図２８はポイントクラウド圧縮(ＰＣＣ)ビットストリームの構造図の一例を示す。
上述したように、ポイントクラウドデータ送信装置(例えば、図１、図１１、図１４及び図１で説明したポイントクラウドデータ送信装置)は、符号化されたポイントクラウドデータをビットストリーム２８００の形態で送信される。実施例によるビットストリーム２８００は一つ又はそれ以上のサブビットストリームを含む。
ポイントクラウドデータ送信装置(例えば、図１、図１１、図１４及び図１で説明したポイントクラウドデータ送信装置)は、送信チャネルのエラーを考慮して、ポイントクラウドデータの映像を一つ又はそれ以上のパケットに分けてネットワークにより送信する。実施例によるビットストリーム２８００は、一つ又はそれ以上のパケット(例えば、ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニット)を含む。従って、悪いネットワーク環境で一部パケットが損失されても、ポイントクラウドデータ受信装置は残りのパケットを用いて該当映像を復元することができる。ポイントクラウドデータを一つ又はそれ以上のスライス又は一つ又はそれ以上のタイルに分割して処理することができる。実施例によるタイル及びスライスは、ポイントクラウドデータのピクチャを分割(ｐａｒｔｉｔｉｏｎｉｎｇ)してポイントクラウド圧縮コーディング処理するための領域である。ポイントクラウドデータ送信装置は、ポイントクラウドデータの分けられた各領域の重要度によって各領域に対応するデータを処理して、高品質のポイントクラウドコンテンツを提供する。即ち、実施例によるポイントクラウドデータ送信装置は、ユーザに重要な領域に対応するデータに対してより良好な圧縮効率と適切な遅延を有するポイントクラウド圧縮コーディング処理を行うことができる。
実施例によるタイルはポイントクラウドデータが分布する３次元空間(例えば、境界ボックス)内の直方体を意味する。実施例によるスライスは符号化されたポイントクラウドデータの一部又は全部を示すシンタックスエレメントのシリーズであって、独立的に符号化又は復号されるポイントの集合を意味する。実施例によるスライスはパケットにより送信されるデータを含み、一つのジオメトリデータユニット及び０よりサイズが同じ個数の特質データユニットを含む。実施例による一つのタイルは一つ又はそれ以上のスライスを含む。
実施例によるビットストリーム２８００はシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、及びタイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及び一つ又はそれ以上のスライスを含む。
実施例によるＳＰＳはプロファイル、レベルなどのシーケンス全体に関する符号化情報であって、ピクチャ解像度、ビデオフォーマットなどのファイル全体に関する包括的な情報を含む。
実施例による一つのスライス(例えば、図２８のｓｌｉｃｅ０)はスライスヘッダー及びスライスデータを含む。スライスデータは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。ジオメトリビットストリームはヘッダー(例えば、ジオメトリスライスヘッダー)及びペイロード(例えば、ジオメトリスライスデータ)を含む。実施例によるジオメトリビットストリームのヘッダーは、ＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。特質ビットストリームはヘッダー(例えば、特質スライスヘッダー又は特質ブリックヘッダー)及びペイロード(例えば、特質スライスデータ又は特質ブリックデータ)を含む。
図２２ないし図２７で説明したように、実施例によるポイントクラウドエンコーダ及びポイントクラウドデコーダは特質予測のためにＬＯＤを生成する。従って、図２８に示したビットストリームは図１８ないし図２７で説明したＬＯＤ構成方式情報を含む。実施例によるポイントクラウドデコーダはＬＯＤ構成方式情報に基づいてＬＯＤを生成する。
実施例によるビットストリームに含まれるシグナリング情報はポイントクラウドエンコーダに含まれたメタデータ処理部又は送信処理部(例えば、図１２の送信処理部１２０１２)又はメタデータ処理部又は送信処理部内のエレメントにより生成される。実施例によるシグナリング情報はジオメトリ符号化及び特質符号化の実行結果に基づいて生成される。
図２９は実施例によるＡＰＳのためのシンタックスの一例を示す。
図２９は実施例によるＡＰＳのためのシンタックスの一例であって、次の情報(又はフィールド、パラメータなど)を含む。
ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは他のシンタックスエレメントによる参照のためのＡＰＳの識別子を示す。ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０ないし１５範囲内の値を有する。図３０に示すように、ビットストリーム内には一つ又はそれ以上の特質ビットストリームが含まれるので、各特質ビットストリームのヘッダーにはａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄと同じ値を有するフィールド(例えば、ａｓｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ
)が含まれる。実施例によるポイントクラウドデコーダは、ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄに基づいて各特質ビットストリームに対応するＡＰＳを確保し、該当特質ビットストリームを処理する。
ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはアクティブＳＰＳ(ａｃｔｉｖｅ ＳＰＳ)のためのｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ａｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０ないし１５の範囲内の値を有する。
ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅはａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの与えられた値に対する特質コーディングタイプ(ｃｏｄｉｎｇ ｔｙｐｅ)を示す。ａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値は実施例によるビットストリーム内で０、１及び２のうちのいずれかと同一である。他のａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの値はＩＳＯ／ＩＥＣにより追って使用可能である。従って、実施例によるポイントクラウドデコーダはａｔｔｒ_ｃｏｄｉｎｇ_ｔｙｐｅの０、１及び２ではない他の値を無視することができる。該当値が０であると、特質コーディングタイプは予測重量リフト(ｐｒｅｄｉｃｔｉｎｇ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)変換コーディングであり、該当値が１であると、特質コーディングタイプがＲＡＨＴ変換コーディング、該当値が２であると、特質コーディングタイプは固定重量リフト(ｆｉｘｅｄ ｗｅｉｇｈｔ ｌｉｆｔｉｎｇ)変換コーディングである。
以下は特質コーディングタイプが０又は２である場合のパラメータである。
ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓは予測のために使用される隣接ポイント(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ)の最大個数を示す。ｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓは０から特定値までの範囲内の値を有する。
ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓはダイレクト予測(ｄｉｒｅｃｔ ｐｒｅｄｉｃｔｉｏｎ)変換のために使用される予測器(ｐｒｅｄｉｃｔｏｒｓ)の個数を示す。ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｔｏｒｓは０からｎｕｍ_ｐｒｅｄ_ｎｅａｒｅｓｔ_ｎｅｉｇｈｂｏｕｒｓの値の範囲内の値を有する。復号動作で使用される変数ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓの値は以下の通りである。
ＭａｘＮｕｍＰｒｅｄｉｃｔｏｒｓ＝ｍａｘ_ｎｕｍ_ｄｉｒｅｃｔ_ｐｒｅｄｉｃｏｔｓ＋１
ｌｉｆｔｉｎｇ_ｓｅａｒｃｈ_ｒａｎｇｅはリフト(ｌｉｆｔｉｎｇ)のための探索範囲(ｓｅａｒｃｈ ｒａｎｇｅ)を示す。
ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅは特質の１番目のコンポーネントのための量子化ステップサイズ(ｑｕａｎｔｉｚａｔｉｏｎ ｓｔｅｐ ｓｉｚｅ)を示す。ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅの値は１からｘｘ(任意の値)までの範囲である。
ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａは特質が色(ｃｏｌｏｕｒ)である場合、特質のクロマ(ｃｈｒｏｍａ)コンポーネントのための量子化ステップサイズを示す。ｌｉｆｔｉｎｇ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａは１からｘｘ(任意の値)の範囲を有する。
ｌｏｄ_ｂｉｎａｒｙ_ｔｒｅｅ_ｅｎａｂｌｅｄ_ｆｌａｇはＬＯＤ生成過程で二分木が適用されるか否かを示す。
ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１は特質符号化(特質コーディング)のためのＬＯＤの個数を示す。ｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１は０からｘｘ(任意の値)の範囲内の値を有する。以下のｆｏｒループは各ＬＯＤに関する情報である。
ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄ[ｉｄｘ]はｉｄｘにより表現される各ＬＯＤに対するサンプリング距離(ｓａｍｐｌｉｎｇ ｄｉｓｔａｎｃｅ)の二乗を示す。実施例によるｉｄｘは０からｎｕｍ_ｄｅｔａｉｌ_ｌｅｖｅｌｓ_ｍｉｎｕｓ１が示す特質コーディングのためのＬＯＤの数までの値を有する。ｓａｍｐｌｉｎｇ_ｄｉｓｔａｎｃｅ_ｓｑｕａｒｅｄは０からｘｘ(任意の値)の範囲内の値を有する。
一つのビットストリームにより送信されるポイントクラウドデータに対して同一のサンプリング情報が適用される場合、実施例によるＡＰＳのためのシンタックスはＬＯＤ構成情報を含む。
以下は実施例によるＬＯＤ構成情報２９００である。
ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅはＬＯＤ集合を構成(生成)する方法のタイプを示す情報である。ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅは１及び２のうちのいずれかの値を有し、ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値はこの例示に限られない。ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が１である場合、ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅはＬＯＤ集合生成方式が距離基盤のＬＯＤ生成方式(例えば、図２２で説明した距離基盤のＬＯＤ生成方式)であることを示す。ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が２である場合は、ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅはＬＯＤ集合生成方式がモールトンオーダー基盤のサンプリングＬＯＤ生成方式(例えば、図２２で説明したモールトンオーダー基盤のサンプリングＬＯＤ生成方式)であることを示す。ＬＯＤ集合生成方式については図２２で説明した通りであるので、具体的な説明は省略する。
以下はｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が２である場合、サンプリングに関連する情報である。
ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅはサンプリング範囲及びサンプリングレート、又はサンプリング範囲のタイプを示す。ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅは１、２及び３のうちのいずれかの値を有し、ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅの値はこの例示に限られない。ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅの値が１である場合、ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅはサンプリング範囲が固定サンプリング範囲(例えば、図２２及び図２３で説明した固定サンプリング範囲)であることを示す。ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅの値が２である場合は、ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅはサンプリング範囲が八分木基盤の固定サンプリング範囲(例えば、図２２及び図２４で説明した八分木基盤の固定サンプリング範囲)であることを示す。ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅの値が３である場合は、ｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅはサンプリング範囲が八分木基盤の動的サンプリング範囲(例えば、図２２及び図２５で説明した八分木基盤の動的サンプリング範囲)であることを示す。実施例によるサンプリング範囲及びサンプリングレートは図２２ないし図２５で説明した通りであるので、具体的な説明は省略する。
ｓａｍｐｌｉｎｇ_ｒａｔｅはサンプリングレートを示す。ｓａｍｐｌｉｎｇ_ｒａｔｅの値は０より大きい整数である。
ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅはサンプリング範囲内でポイントを選択するポイント選択方法を示す。ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅは１、２、３及び４のうちのいずれかの値を有し、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値はこの例示に限られない。ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が１である場合、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅはポイント選択方法がサンプリング範囲内でＮ番目のポイントを選択する方法(例えば、図２５で説明したサンプリング範囲内でＮ番目のポイントを選択する方法)であることを示す。ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が２である場合、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅはポイント選択方法がサンプリング範囲に属するポイントの中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法(例えば、図２５で説明したサンプリング範囲に属するポイントの中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法)であることを示す。ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が３である場合は、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅはポイント選択方法がサンプリング範囲に属するポイントのうち、中間インデックス値に対応するポイントを選択する方法(例えば、図２５で説明したサンプリング範囲に属するポイントのうち、中間インデックス値に対応するポイントを選択する方法)であることを示す。ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が４である場合は、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅはポイント選択方法がサンプリング範囲の理想的な中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法(例えば、図２５で説明したサンプリング範囲の理想的な中間モールトンコード値に最も近いモールトンコードを有するポイントを選択する方法)であることを示す。実施例によるポイント選択方法は図２５で説明したポイント選択方法と同一であるので、具体的な説明は省略する。
ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｉｄｘは選択するポイントの固定インデックスを示す。例えば、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が１である場合、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｉｄｘはサンプリング範囲内で整列されたポイントから選択されるＮ番目のポイントのインデックスを示す。また、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が２及び３である場合は、ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｉｄｘは中間モールトンコード値又は理想的な中間モールトンコード値を基準として整列されたポイントから選択されるＮ番目のポイントのインデックスを示す。
ｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｍａｘ_ｎｕｍ_ｏｆ_ｐｏｉｎｔｓは一つのサンプリング範囲内で選択可能な最大のポイントの個数を示す。
以下はｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅの値が２より大きいか又は等しい場合のサンプリング情報を示す。ｓａｍｐｌｉｎｇ_ｂｅｇｉｎ_ｄｅｐｔｈはＬＯＤ０集合生成を開始する八分木の深さを示す。ｓａｍｐｌｉｎｇ_ｂｅｇｉｎ_ｄｅｐｔｈは正の整数値を有する。
ｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｍｉｎｉｎｕｍ_ｎｕｍ_ｏｆ_ｅｌｅｍｅｎｔｓは孤立ポイントとして定義できるポイントの個数(例えば、図２６及び図２７で説明した孤立ポイントを含むサンプリング範囲を判断するために予め設定された値ａ)を示す。即ち、ｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｍｉｎｉｎｕｍ_ｎｕｍ_ｏｆ_ｅｌｅｍｅｎｔｓはサンプリング範囲に属する最小のポイントの個数を示す。
ｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｔｙｐｅは孤立ポイント処理方法を示す。ｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｔｙｐｅは孤立ポイントに対してサンプリングを行う方法、孤立ポイントを隣接ポイントに併合する方法、孤立ポイントを現在のＬＯＤよりも低いレベルのＬＯＤの候補グループに分離して処理する方法、及び孤立ポイントを現在のＬＯＤに登録する方法のうちのいずれかを示す。孤立ポイントに対してサンプリングを行う方法は、固定サンプリングレートｋ個の連続する孤立ポイントに対して一つのポイントを選択する方法である。孤立ポイントを隣接ポイントに併合する方法は、サンプリング範囲に含まれたポイントの個数とｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ ｐｏｉｎｔ_ ｍｉｎｉｎｕｍ_ｎｕｍ_ｏｆ_ｅｌｅｍｅｎｔｓで示される孤立ポイントとして定義できるポイントの個数を比較して、孤立ポイントである場合、孤立ポイントを含むサンプリング範囲を次のサンプリング範囲と統合する方法である。孤立ポイントを現在のＬＯＤよりも低いレベルのＬＯＤの候補グループに分離して処理する方法は、ＬＯＤlの生成中、孤立ポイントを有するサンプリング範囲に対して該当孤立ポイントを選択せず、ＬＯＤ(０~-l-１)に分離し、ＬＯＤl-１-αの生成時、孤立ポイントを選択する方法である。孤立ポイントを現在のＬＯＤに登録する方法は、ＬＯＤlの生成中、孤立ポイントが生成されると、該当孤立ポイントをＬＯＤlに登録する方法である。孤立ポイント処理方法は図２５ないし図２７で説明した孤立ポイント処理方法と同一であるので、具体的な説明は省略する。
ｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｍａｘｉｍｕｍ_ｍｅｒｇｅ_ｒａｎｇｅは、サンプリング統合のためのサンプリング範囲の最大サンプリング範囲(例えば、図２６及び図２７で説明したサンプリング統合のためのサンプリング範囲の最大値ｒ)を示す。
以下は特質コーディングタイプの値が０である場合の関連パラメータである。
ａｄａｐｔｉｖｅ_ｐｒｅｄｉｃｔｉｏｎ_ｔｈｒｅｓｈｏｌｄは予測(ｐｒｅｄｉｃｔｉｏｎ)の閾値を示す。
以下は特質コーディングタイプの値が１である場合の関連パラメータである。
ｒａｈｔ_ｄｅｐｔｈはＲＡＨＴ変換のためのＬＯＤの個数を示す。ｄｅｐｔｈＲＡＨＴは１からｘｘ(任意の値)までの範囲内の値を有する。
ｒａｈｔ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅは、特質の１番目のコンポーネントに対する量子化ステップサイズ(ｑｕａｎｔｉｚａｔｉｏｎ ｓｔｅｐ ｓｉｚｅ)を示す。ｒａｔｈ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅは１からｘｘ(任意の値)の範囲内の値を有する。
ｒａｈｔ_ｑｕａｎｔ_ｓｔｅｐ_ｓｉｚｅ_ｃｈｒｏｍａは、ＲＡＨＴの適用時、特質のクロマ(ｃｈｒｏｍａ)コンポーネントのための量子化ステップサイズ(ｑｕａｎｔｉｚａｔｉｏｎ ｓｔｅｐ ｓｉｚｅ)を示す。
ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇは０又は１値を有するフラグである。
１値を有するａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ＡＰＳ ＲＢＳＰシンタックス構造内にａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造が存在することを示す。０値を有するａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇは、このシンタックス構造が存在しないことを示す。もしシンタックス構造が存在しなければ、ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は０であると推論される。
ａｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇはどのような値でも有することができる。このフィールドの存在及び値は実施例によるデコーダ性能に影響を及ぼさない。
図３０は実施例によるＡＰＳのためのシンタックスの一例を示す。
図３０は図２９で説明したＡＰＳのためのシンタックスの一例を示す。
図３０は一つのビットストリームにより送信されるポイントクラウドデータの（各）ＬＯＤごとに等しいか又は異なるサンプリング情報が適用される場合のＡＰＳのためのシンタックスの一例を示す。従って、図２９で説明した情報及び／又はパラメータと同一の情報及び／又はパラメータに関する説明は省略する。
実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は、ＬＯＤごとに等しいか又は異なるサンプリングを行う。従って、この場合、実施例によるＡＰＳのためのシンタックスはｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が２である場合、サンプリングに関連する以下の情報３０００をさらに含む。
ｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇはＬＯＤごとのサンプリング実行方式が異なるか否かを示すフラグである。図２２で説明したように、ＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)はＬＯＤごとに異なるサンプリングを行うので、実施例によるＬＯＤ生成情報は各ＬＯＤのためのサンプリング情報を含む。従って、ｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇの値が１である場合、以下のｆｏｒループは各ＬＯＤに対するサンプリングに関連する情報３０１０である。図示したｉｄｘは各ＬＯＤを示す。実施例によるサンプリングに関連する情報３０１０は図２９で説明したサンプリングに関連する情報と同一であるので、具体的な説明は省略する。
実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は、タイル又はスライスごとに異なるＬＯＤ生成方式を適用することができる。上述したように、ポイントクラウドデータ受信装置もＬＯＤを生成するので、実施例によるビットストリームは領域ごとのＬＯＤ生成方式に関連するシグナリング情報をさらに含む。
図３１は実施例によるＴＰＳのためのシンタックスの一例を示す。
実施例によるＬＯＤ構成部がタイルごとにＬＯＤ生成方式を異なるように適用した場合、実施例によるＴＰＳはＬＯＤ構成情報(例えば、図２９及び図３０で説明したＬＯＤ構成情報２９００、３０００、３０１０)をさらに含む。図３１は実施例によるＴＰＳのためのシンタックスの一例であり、以下の情報(又はフィールド、パラメータなど)を含む。
ｎｕｍ_ｔｉｌｅｓは、ビットストリームのためにシグナリングされるタイルの個数を示す。もしビットストリームのためにシグナリングされるタイルが存在しないと、この情報の値は０と推論される。以下はそれぞれのタイルに対するシグナリングパラメータである。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ]は、直交座標系内のｉ番目のタイルのｘオフセットを示す。このパラメータが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]の値はＳＰＳに含まれたｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ]は、直交座標系内のｉ番目のタイルのｙオフセットを示す。このパラメータが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]の値はＳＰＳに含まれたｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ]は、直交座標系内のｉ番目のタイルのｚオフセットを示す。このパラメータが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆｗａｃｔｏｒ[ｉ]は、直交座標系内のｉ－番目のタイルに関連する倍率(ｓｃａｌｅ ｆａｃｔｏｒ)を示す。このパラメータが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆｗａｃｔｏｒ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆｗａｃｔｏｒの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ]は、直交座標系内のｉ番目のタイルの幅(ｗｉｄｔｈ)を示す。このパラメータが存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ]は、直交座標系内のｉ番目のタイルの高さ(ｈｅｉｇｈｔ)を示す。このパラメータが存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値と見なされる。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ]は、直交座標系内のｉ番目のタイルの深さ(ｄｅｐｔｈ)を示す。このパラメータが存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０]の値はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈの値と見なされる。
図示したように、実施例によるＴＰＳはＬＯＤ構成情報２９００を含む。実施例によるＬＯＤ構成情報３１００は（各）タイルごとに適用される。ＬＯＤ構成情報３１００は図２９で説明したＬＯＤ構成情報２９００と同一であるので、具体的な説明は省略する。
図３２は実施例によるＴＰＳのためのシンタックスの一例を示す。
図３２は図３０で説明したＴＰＳのためのシンタックスの一例を示す。図３２は一つのビットストリームにより送信されるポイントクラウドデータの各タイルのＬＯＤごとに等しいか又は異なるサンプリング情報が適用される場合のＴＰＳのためのシンタックスの一例を示す。図３０で説明した情報及び／又はパラメータと同一の情報及び／又はパラメータに関する説明は省略する。
実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は、ＬＯＤごとに等しいか又は異なるサンプリングを行う。従って、この場合、実施例によるＴＰＳのためのシンタックスは、ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が２である場合、サンプリングに関連するｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ３２００をさらに含む。実施例によるｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇは図３０で説明したｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ３０００と同一であるので、具体的な説明は省略する。また、ｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ値が１である場合は、実施例によるＴＰＳのためのシンタックスは各ＬＯＤに対するサンプリングに関連する情報３２１０を示すｆｏｒループを含む。実施例による各ＬＯＤに対するサンプリングに関連する情報３２１０は、図３０で説明した各ＬＯＤに対するサンプリングに関連する情報３０１０と同一であるので、具体的な説明は省略する。
図３３は実施例による特質ヘッダーのためのシンタックスの一例を示す。
図３３の特質ヘッダーのためのシンタックスは図２８で説明した特質ビットストリームに含まれたヘッダーにより送信される情報のシンタックスの一例である。
実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２１１０)がスライスごとに隣接ポイント集合生成方法を異なるように適用した場合、実施例による特質ヘッダーはＬＯＤ構成情報３３００(例えば、図２９で説明したＬＯＤ構成情報２９００、図３１で説明したＬＯＤ構成情報３１００)をさらに含む。図３３に示す実施例による特質ヘッダーのためのシンタックスの一例は以下の情報(又はフィールド、パラメータなど)を含む。
ａｓｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはアクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄと同じ値を有する。
ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘはアクティブＳＰＳ(ａｃｔｉｖｅ ＳＰＳ)に対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。ａｓｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘの値は０からアクティブＳＰＳ内に含まれたｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓの値までの範囲内に属する。
ａｓｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄはジオメトリスライスＩＤ(例えば、ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)の値を示す。
図示したように、実施例による特質ヘッダーはＬＯＤ構成情報３３００を含む。実施例によるＬＯＤ構成情報３３００は各スライスに属する特質ビットストリーム(又は特質スライスデータ)ごとに適用される。ＬＯＤ構成情報３３００は図２９及び図３１で説明したＬＯＤ構成情報２９００、３１００と同一であるので、具体的な説明は省略する。
図３４は実施例による特質ヘッダーのためのシンタックスの一例を示す。
図３４は図３３で説明した特質ヘッダーのためのシンタックスの一例を示す。図３４は各スライスに対応するＬＯＤごとに等しいか又は異なるサンプリング情報が適用される場合の特質ヘッダーのためのシンタックスの一例を示す。
実施例によるＬＯＤ構成部(例えば、ＬＯＤ構成部２２１０)は、ＬＯＤごとに等しいか又は異なるサンプリングを行う。従って、この場合、実施例による特質ヘッダーのためのシンタックスは、ｌｏｄ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅの値が２である場合、サンプリングに関連するｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ３４００をさらに含む。実施例によるｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇは図３０及び図３２で説明したｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ３０００、３２００と同一であるので、具体的な説明は省略する。また、ｓａｍｐｌｉｎｇ_ａｔｔｒｓ_ｐｅｒ_ｌｏｄ_ｆｌａｇ値が１である場合は、実施例による特質ヘッダーのためのシンタックスは各ＬＯＤに対するサンプリングに関連する情報３４１０を示すｆｏｒループを含む。実施例による各ＬＯＤに対するサンプリングに関連する情報３４１０は、図３０及び図３２で説明した各ＬＯＤに対するサンプリングに関連する情報３０１０、３２１０と同一であるので、具体的な説明は省略する。
図３５はポイントクラウドデコーダの一例を示すブロック図である。
実施例によるポイントクラウドデコーダ３５００は、図１ないし図１７で説明したデコーダ(例えば、図１、図１０、図１１、図１３、図１４及び図１６で説明したポイントクラウドデコーダ)の復号動作と同一又は類似する復号動作を行う。またポイントクラウドデコーダ３５００は図１８で説明したポイントクラウドエンコーダ１８００の符号化動作の逆過程に該当する復号動作を行う。実施例によるポイントクラウドデコーダ３５００は空間分割部３５１０、ジオメトリ情報復号化部３５２０(又はジオメトリ情報デコーダ)及び特質情報復号化部(又は特質デコーダ)３５３０を含む。実施例によるポイントクラウドデコーダ３３００は、図３５に示していないが、図１ないし図１７で説明した復号動作を行うための一つ又はそれ以上のエレメントをさらに含む。
実施例による空間分割部３５１０は、実施例によるポイントクラウドデータ送信装置(例えば、図１、図１１、図１４及び図１で説明したポイントクラウドデータ送信装置)から受信したシグナリング情報(例えば、図１８で説明した空間分割部１８１０で行われた分割動作に関する情報)又はポイントクラウドデコーダ３５００で誘導した(生成した)分割情報に基づいて空間を分割する。上述したように、ポイントクラウドエンコーダ１８００の空間分割部１８１０の分割動作は、八分木(Ｏｃｔｒｅｅ)、四分木(Ｑｕａｄｔｒｅｅ)、二分木(Ｂｉｎｉａｒｙ ｔｒｅｅ)、三分木(Ｔｒｉｐｌｅ ｔｒｅｅ)及びｋ－ｄツリーのうちのいずれかに基づく。
実施例によるジオメトリ情報復号化部３５２０は、入力したジオメトリビットストリームを復号化してジオメトリ情報を復元する。復元されたジオメトリ情報は特質情報復号化部３５３０に入力される。実施例によるジオメトリ情報復号化部３５２０は、図１２で説明した演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１２０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１２００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１２００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１２００３及び座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１２００４の動作を行う。また実施例によるジオメトリ情報復号化部３５２０は、図１３で説明した演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４及び逆量子化処理部１３００５の動作を行う。又は実施例によるジオメトリ情報復号化部３５２０は、図１６で説明したポイントクラウド復号部の動作を行う。
実施例による特質情報復号化部３５３０は、特質情報ビットストリーム及び復元されたジオメトリ情報に基づいて特質情報を復号化する。実施例による特質情報復号化部３５３０は、図１１のポイントクラウドデコーダに含まれた演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又はカラー逆変換部１１０１０の動作と同一又は類似する動作を行う。実施例による特質情報復号化部３５３０は、図１３の受信装置に含まれた演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０の動作と同一又は類似する動作を行う。
ポイントクラウドデコーダ３５００は、復元されたジオメトリ情報と復元された特質情報に基づいて最終ＰＣＣデータを出力する。
図３６はジオメトリ情報デコーダの一例を示すブロック図である。
実施例によるジオメトリ情報デコーダ３６００は図３５のジオメトリ情報復号化部３５２０の一例であって、ジオメトリ情報復号化部３５２０の動作と同一又は類似する動作を行う。実施例によるジオメトリ情報デコーダ３６００は、図１９で説明したジオメトリ情報エンコーダ１９００の符号化動作の逆過程に該当する復号化動作を行う。実施例によるジオメトリ情報デコーダ３６００は、ジオメトリ情報エントロピー復号化部３６１０、ジオメトリ情報逆量子化部３６２０、ジオメトリ情報予測部３６３０、フィルタリング部３６４０、メモリ３６５０、ジオメトリ情報逆変換逆量子化部３６６０及び座標系逆変換部３６７０を含む。実施例によるジオメトリ情報デコーダ３６００は、図３６に示していないが、図１ないし図３５で説明したジオメトリ復号動作を行うための一つ又はそれ以上のエレメントをさらに含む。
実施例によるジオメトリ情報エントロピー復号化部３６１０は、ジオメトリ情報ビットストリームをエントロピー復号化して量子化された残差ジオメトリ情報を生成する。ジオメトリ情報エントロピー復号化部３６１０は、図１９で説明したジオメトリ情報エントロピー符号化部１９０５で行ったエントロピー符号化動作の逆過程であるエントロピー復号化動作を行う。上述したように、実施例によるエントロピー符号化動作は、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)及びＣＡＢＡＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などを含み、エントロピー復号化動作は、エントロピー符号化動作に対応して指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)及びＣＡＢＡＣ(Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などを含む。実施例によるジオメトリ情報エントロピー復号化部３６１０は、ジオメトリ情報ビットストリームに含まれたジオメトリコーディングに関連する情報、例えば、予測ジオメトリ情報生成に関連する情報、量子化に関連する情報(例えば、量子化値など)、座標系変換に関連するシグナリング情報などを復号化する。
実施例による残差ジオメトリ情報逆量子化部３６２０は、量子化された残差ジオメトリ情報に対して量子化に関連する情報に基づいて逆量子化の動作を行って残差ジオメトリ情報又はジオメトリ情報を生成する。
実施例によるジオメトリ情報予測部３６３０は、ジオメトリエントロピー復号化部３６１０で出力された予測ジオメトリ情報生成に関連する情報及びメモリ３６５０に格納されていた以前に復号化されたジオメトリ情報に基づいて予測ジオメトリ情報を生成する。実施例によるジオメトリ情報予測部３６３０はインター予測部及びイントラ予測部を含む。実施例によるインター予測部は、ジオメトリ情報エンコーダ(例えば、ジオメトリ情報エンコーダ１９００)で提供する現在の予測単位(例えば、ノードなど)のインター予測(ｉｎｔｅｒ－ｐｒｅｄｉｃｔｉｏｎ)に必要な情報に基づいて、現在の予測単位が含まれた現在の空間(例えば、フレーム、ピクチャなど)の以前の空間及び以後の空間のうちのいずれかに含まれた情報に基づいて現在の予測単位に対するインター予測を行う。実施例によるイントラ予測部は、ジオメトリ情報エンコーダ１９００で提供する予測単位のイントラ予測に関連する情報に基づいて現在の空間内のポイントのジオメトリ情報に基づいて予測ジオメトリ情報を生成する。
実施例によるフィルタリング部３６４０は、フィルタリング関連情報に基づいて生成された予測ジオメトリ情報と復元された残差ジオメトリ情報が併せて生成された復元ジオメトリ情報をフィルタリングする。実施例によるフィルタリング関連情報はジオメトリ情報エンコーダ１９００からシグナリングされることもできる。又は実施例によるジオメトリ情報デコーダ３６００はフィルタリング関連情報を復号過程から誘導して算出することができる。
実施例によるメモリ３６５０は復元ジオメトリ情報を格納する。実施例によるジオメトリ逆変換量子化部３６６０は量子化関連情報に基づいてメモリ３６５０に格納された復元ジオメトリ情報を逆変換量子化する。
実施例による座標系逆変換部３６７０は、ジオメトリ情報エントロピー復号化部３６１０から提供された座標系変換関連情報及びメモリ３７５０に格納された復元ジオメトリ情報に基づいて逆変換量子化されたジオメトリ情報の座標系を逆変換してジオメトリ情報を出力する。
図３７は特質情報デコーダの一例を示すブロック図である。
実施例による特質情報デコーダ３７００は図３５の特質情報復号化部３５３０の一例であって、特質情報復号化部３５３０の動作と同一又は類似する動作を行う。実施例による特質情報デコーダ３７００は、図２０及び図２１で説明した特質情報エンコーダ２０００及び特質情報エンコーダ２１００の符号化動作の逆過程に該当する復号化動作を行う。実施例による特質情報デコーダ３７００は、特質情報エントロピー復号化部３７１０、ジオメトリ情報マッピング部３７２０、残差特質情報逆量子化部３７３０、残差特質情報逆変換部３７４０、メモリ３７５０、特質情報予測部３７６０及び特質情報逆変換部３７７０を含む。実施例による特質情報デコーダ３７００は、図３７に示していないが、図１ないし図３６で説明した特質復号動作を行うための一つ又はそれ以上のエレメントをさらに含む。
特質情報エントロピー復号化部３７１０は特質情報ビットストリームを受信し、エントロピー復号化を行って変換量子化された特質情報を生成する。
ジオメトリ情報マッピング部３７２０は変換量子化された特質情報及び復元ジオメトリ情報をマッピングして残差特質情報を生成する。
残差特質情報逆量子化部３７３０は残差特質情報を量子化値に基づいて逆量子化する。
残差特質情報逆変換部３７４０は逆量子化が行われた特質情報を含む残差３次元ブロックをＤＣＴ、ＤＳＴ、ＳＡＤＣＴ、ＲＡＨＴなどの変換コーディングを行って逆変換する。
メモリ３７５０は逆変換された特質情報と特質情報予測部３７６０で出力された予測特質情報を併せて格納する。又はメモリ３７５０は特質情報を逆変換せず、予測特質情報と併せて格納する。
特質情報予測部３７６０はメモリ３７５０に格納された特質情報に基づいて予測特質情報を生成する。特質情報予測部３７６０はエントロピー復号化を行って予測特質情報を生成する。また特質情報予測部３７６０は図２２で説明した特質情報予測部２２００の動作と同一又は類似する動作を行う。また特質予測部３７６０は図２９ないし図３４で説明したＬＯＤ構成情報に基づいて図２２ないし図２７で説明したＬＯＤ又はＬＯＤ集合を生成して予測特質情報を生成する。
特質情報逆変換部３７７０は特質情報の類型及び変換情報を特質情報エントロピー復号化部３７１０から受信して様々なカラー逆変換コーディングを行う。
図３８は実施例によるポイントクラウドデータ処理方法のフローチャートの一例である。
図３８のフローチャート３８００はポイントクラウドデータ処理装置(例えば、図１、図１１、図１４ないし図１５及び図１８ないし図２２で説明したポイントクラウドデータ送信装置又はポイントクラウドデータエンコーダ)のポイントクラウドデータ処理方法を示す。実施例によるポイントクラウドデータ処理装置は図１ないし図３７で説明した符号化動作と同一又は類似する動作を行う。
実施例によるポイントクラウドデータ処理装置は、ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する(３８１０)。実施例によるジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報である。実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。
実施例によるポイントクラウドデータ処理装置は、ジオメトリ情報を符号化し、特質情報を符号化する。実施例によるポイントクラウドデータ処理装置は図１ないし図３７で説明したジオメトリ情報の符号化動作と同一又は類似する動作を行う。またポイントクラウドデータ処理装置は、図１ないし図３７で説明した特質情報の符号化動作と同一又は類似する動作を行う。実施例によるポイントクラウドデータ処理装置は、ポイントを分割して少なくとも一つ以上のＬＯＤを生成する。実施例によるＬＯＤ生成方式又は方法は、図２２ないし図２７で説明したＬＯＤ生成方式又は方法と同一又は類似するので、具体的な説明は省略する。
実施例によるポイントクラウドデータ処理装置は、符号化されたポイントクラウドデータを含むビットストリームを送信する(３８２０)。
実施例によるビットストリームの構造は図２８で説明した通りであるので具体的な説明は省略する。実施例によるビットストリームはＬＯＤ構成情報(例えば、図２９ないし図３４で説明したＬＯＤ構成情報)を含む。また実施例によるＬＯＤ構成情報は図２９ないし図３４で説明したように、ＡＰＳ、ＴＰＳ、特質ヘッダーなどにより受信装置に送信される。
実施例によるＬＯＤ構成情報はＬＯＤ生成方法のタイプを示すタイプ情報(例えば、図２７ないし図３２で説明したＬＯＤ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅ)を含む。実施例によるタイプ情報はポイント間の距離に基づいてＬＯＤを生成する第１タイプ(例えば、図２２で説明した距離基盤のＬＯＤ生成方式)及びポイントのモールトンコード基盤のサンプリングでＬＯＤを生成する第２タイプ(例えば、図２２で説明したモールトンオーダー基盤のサンプリングＬＯＤ生成方式)のうちのいずれかを示す。ＬＯＤ集合生成方式については図２２で説明した通りであるので具体的な説明は省略する。
実施例によるタイプ情報が第２タイプを示す場合、ＬＯＤ構成情報はサンプリング範囲タイプ情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅ)、サンプリングレート情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｒａｔｅ)、サンプリングによって選択されるポイントの固定インデックス情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｉｄｘ)、サンプリング範囲内でポイントを選択するポイント選択方法情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅ)及びサンプリングによって選択されるポイントの最大個数情報(例えば、図２７ないし図３２で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｍａｘ_ｎｕｍ_ｏｆ_ｐｏｉｎｔｓ)を含む。実施例によるサンプリング範囲タイプ情報は１から４までの値のうちのいずれかを有する。実施例によるサンプリング範囲タイプ情報の値が２より大きいか又は等しい場合、ＬＯＤ構成情報は孤立ポイントとして定義される一つ又はそれ以上のポイントに関連するサンプリング情報(例えば、図２９で説明したｓａｍｐｌｉｎｇ_ｂｅｇｉｎ_ｄｅｐｔｈ、ｓａｍｐｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｍｉｎｉｍｕｍ_ｎｕｍ_ｏｆ_ｅｌｅｍｅｎｔｓ及びｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｔｙｐｅ)をさらに含む。実施例によるＬＯＤ構成情報は図２９ないし図３４で説明した通りであるので、具体的な説明は省略する。
図３９は実施例によるポイントクラウドデータ処理方法のフローチャートの一例である。
図３９のフローチャート３９００はポイントクラウドデータ処理装置(例えば、図１、図１３、図１４、図１６及び図３５ないし図３７で説明したポイントクラウドデータ受信装置又はポイントクラウドデータデコーダ)のポイントクラウドデータ処理方法を示す。実施例によるポイントクラウドデータ処理装置は図１ないし図３５で説明した復号動作と同一又は類似する動作を行う。
実施例によるポイントクラウドデータ処理装置はポイントクラウドデータを含むビットストリームを受信する(３９１０)。
実施例によるポイントクラウドデータ処理装置はポイントクラウドデータを復号する(３９２０)。実施例による復号されたポイントクラウドデータはジオメトリ情報及び特質情報を含む。ジオメトリ情報はポイントクラウドデータのポイントの位置を示す情報である。実施例による特質情報はポイントクラウドデータのポイントの特質を示す情報である。実施例によるビットストリームの構造は図２８で説明した通りであるので、具体的な説明は省略する。
実施例によるポイントクラウドデータ処理装置はジオメトリ情報を復号し、特質情報を復号する。実施例によるポイントクラウドデータ処理装置は図１ないし図３７で説明したジオメトリ情報の復号動作と同一又は類似する動作を行う。またポイントクラウドデータ処理装置は図１ないし図３７で説明した特質情報の復号動作と同一又は類似する動作を行う。実施例によるポイントクラウドデータ処理装置はポイントを分割して少なくとも一つのＬＯＤを生成する。実施例によるＬＯＤ生成方式又は方法は図２２ないし図２７で説明したＬＯＤ生成方式又は方法と同一又は類似するので具体的な説明は省略する。
実施例によるビットストリームの構造は図２８で説明した通りであるので具体的な説明は省略する。実施例によるビットストリームはＬＯＤ構成情報(例えば、図２９ないし図３４で説明したＬＯＤ構成情報)を含む。また実施例による隣接ポイント集合生成情報は図２９ないし図３４で説明したように、ＡＰＳ、ＴＰＳ、特質ヘッダーなどにより受信装置に送信される。
実施例によるＬＯＤ構成情報はＬＯＤ生成方法のタイプを示すタイプ情報(例えば、図２９ないし図３４で説明したＬＯＤ_ｇｅｎｅｒａｔｉｏｎ_ｔｙｐｅ)を含む。実施例によるタイプ情報はポイント間の距離に基づいてＬＯＤを生成する第１タイプ(例えば、図２２で説明した距離基盤のＬＯＤ生成方式)及びポイントのモールトンコード基盤のサンプリングでＬＯＤを生成する第２タイプ(例えば、図２２で説明したモールトンオーダー基盤のサンプリングＬＯＤ生成方式)のうちのいずれかを示す。ＬＯＤ集合生成方式については図２２で説明した通りであるので、具体的な説明は省略する。
実施例によるタイプ情報が第２タイプを示す場合、ＬＯＤ構成情報はサンプリング範囲タイプ情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｒａｎｇｅ_ｔｙｐｅ)、サンプリングレート情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｒａｔｅ)、サンプリングによって選択されるポイントの固定インデックス情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｉｄｘ)、サンプリング範囲内でポイントを選択するポイント選択方法情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｔｙｐｅ)及びサンプリングによって選択されるポイントの最大個数情報(例えば、図２９ないし図３４で説明したｓａｍｐｌｉｎｇ_ｓｅｌｅｃｔ_ｍａｘ_ｎｕｍ_ｏｆ_ｐｏｉｎｔｓ)を含む。実施例によるサンプリング範囲タイプ情報は１から４までの値のうちのいずれかを有する。実施例によるサンプリング範囲タイプ情報の値が２より大きいか又は等しい場合、ＬＯＤ構成情報は孤立ポイントとして定義される一つ又はそれ以上のポイントに関連するサンプリング情報(例えば、図２９で説明したｓａｍｐｌｉｎｇ_ｂｅｇｉｎ_ｄｅｐｔｈ、ｓａｍｐｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｍｉｎｉｍｕｍ_ｎｕｍ_ｏｆ_ｅｌｅｍｅｎｔｓ及びｓａｍｐｌｉｎｇ_ｉｓｏｌａｔｅｄ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｔｙｐｅ)をさらに含む。実施例によるＬＯＤ構成情報は図２９ないし図３４で説明した通りであるので、具体的な説明は省略する。
図１ないし図３９で説明した実施例によるポイントクラウドデータ処理装置の構成要素は、メモリと結合した一つ又はそれ以上のプロセッサを含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。実施例によるデバイスの構成要素は、一つのチップ、例えば、一つのハードウェア回路で具現される。また実施例によるポイントクラウドデータ処理装置の構成要素は、それぞれのチップで具現される。また実施例によるポイントクラウドデータ処理装置の構成要素のいずれかは、一つ又はそれ以上のプログラムを実行可能な一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは図１ないし図３９で説明したポイントクラウドデータ処理装置の動作／方法のうちのいずれか一つ又はそれ以上の動作を実行させたり、実行するための指示(Ｉｎｓｔｒｕｃｔｉｏｎ)を含む。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置及び方法に関する説明は互いに補完して適用できる。例えば、実施例によるポイントクラウドデータ送信方法は実施例によるポイントクラウドデータ送信装置又はポイントクラウドデータ送信装置に含まれた構成要素により行われる。また、実施例によるポイントクラウドデータ受信方法は実施例によるポイントクラウドデータ受信装置又はポイントクラウドデータ受信装置に含まれた構成要素により行われる。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
発明の実施のための最善の形態で具体的に説明する。
本発明の思想や範囲内で本発明を様々な変更及び変形が可能であることは当業者にとって明らかである。よって、本発明は添付する請求範囲及びその同等な範囲内で提供される本発明の変更及び変形を含む。

Claims (14)

  1. ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化する段階であって、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示し、前記特質情報は前記ポイントクラウドデータのポイントの特質を示す、段階と、
    前記ポイントクラウドデータを符号化する段階は前記ジオメトリ情報を符号化する段階と前記特質情報を符号化する段階を含み、
    前記特質情報を符号化する段階は、少なくとも一つのＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成する段階を含み、
    前記少なくとも一つのＬＯＤを生成する段階は、八分木（octree）に基づいてサンプリング範囲において一つのポイントをサンプリングする段階を含み、
    前記サンプリングする段階は、サンプリング範囲内のポイントの数に基づいたグルーピング過程（grouping operation）と、前記グルーピング過程に基づいた一つのポイントを付与する過程（assigning operation）を含み、
    前記符号化されたポイントクラウドデータを含むビットストリームを送信する段階を含む、ポイントクラウドデータ処理方法。
  2. 前記グルーピング過程は、前記サンプリング範囲のポイントの数に基づいて、前記サンプリング範囲と少なくとも一つの他のサンプリング範囲とをグルーピングする段階を含み、
    前記グルーピングする段階は、前記サンプリング範囲のポイントの数を特定の最小数と比較する段階を含み、
    前記サンプリング範囲のポイントの数が前記特定の最小数より小さい場合、前記サンプリング範囲は前記少なくとも一つの他のサンプリング範囲とグルーピングされ、
    前記サンプリング範囲は、前記八分木（octree）の少なくとも一つのノードに対応する、請求項１に記載のポイントクラウドデータ処理方法。
  3. 前記ビットストリームは、前記少なくとも一つのＬＯＤを生成するためのサンプリング方法のタイプを示す第１情報を含み、
    前記第１情報は、前記八分木（octree）に基づいて前記サンプリング範囲を示すサンプリング方法の第１タイプを含み、
    前記第１情報がサンプリング方法の前記第１タイプを含む場合、一つのポイントは、前記少なくとも一つのＬＯＤを生成するために前記サンプリング範囲からサンプルされ、
    前記ビットストリームは、サンプリング期間に関連する第２情報を含む、請求項１に記載のポイントクラウドデータ処理方法。
  4. ジオメトリ情報及び特質情報を含むポイントクラウドデータを符号化するエンコーダであって、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示し、前記特質情報は前記ポイントクラウドデータのポイントの特質を示す、エンコーダと、
    前記エンコーダは、前記ジオメトリ情報を符号化する第１エンコーダを含み、
    前記エンコーダは、前記特質情報を符号化する第２エンコーダを含み、
    前記第２エンコーダは少なくとも一つのＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するＬＯＤ生成器を含み、
    前記ＬＯＤ生成器は八分木（octree）に基づいてサンプリング範囲内の一つのポイントのサンプリングを実行するように構成され、
    前記ＬＯＤ生成器は、サンプリング範囲内のポイントの数に基づいたグルーピング過程（grouping operation）と、前記グルーピング過程に基づいた一つのポイントを付与する過程（assigning operation）を実行するように構成され、
    前記符号化されたポイントクラウドデータを含むビットストリームを送信する送信部を含む、ポイントクラウドデータ処理装置。
  5. 前記ＬＯＤ生成器は、前記サンプリング範囲のポイントの数に基づいて、前記サンプリング範囲と少なくとも一つの他のサンプリング範囲とをグルーピングするように構成され、
    前記ＬＯＤ生成器は、前記サンプリング範囲のポイントの数を特定の最小数と比較するように構成され、
    前記サンプリング範囲のポイント数が前記特定の最小数より小さい場合、前記サンプリング範囲は前記少なくとも一つの他のサンプリング範囲とグルーピングされ、
    前記サンプリング範囲は、前記八分木（octree）の少なくとも一つのノードに対応する、請求項４に記載のポイントクラウドデータ処理装置。
  6. 前記ビットストリームは、前記少なくとも一つのＬＯＤを生成するためのサンプリング方法のタイプを示す第１情報を含む、請求項４に記載のポイントクラウドデータ処理装置。
  7. 前記第１情報は、前記八分木（octree）に基づいて、前記サンプリング範囲を表すサンプリング方法の第１タイプを含み、
    前記第１情報がサンプリング方法の前記第１タイプを含む場合、一つのポイントは、前記少なくとも一つのＬＯＤを生成するために前記サンプリング範囲からサンプルされ、
    前記ビットストリームは、サンプリング期間に関連する第２情報を含む、請求項６に記載のポイントクラウドデータ処理装置。
  8. ポイントクラウドデータを含むビットストリームを受信する段階であって、前記ポイントクラウドデータはジオメトリ情報及び特質情報を含み、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示し、前記特質情報は前記ポイントクラウドデータのポイントの特質を示す、段階と、
    前記ポイントクラウドデータを復号する段階を含み、
    前記ポイントクラウドデータを復号する段階は前記ジオメトリ情報を復号する段階と前記特質情報を復号する段階を含み、
    前記特質情報を復号する段階は、少なくとも一つのＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成する段階を含み、
    前記少なくとも一つのＬＯＤを生成する段階は、八分木（octree）に基づいてサンプリング範囲において一つのポイントをサンプリングする段階を含み、
    前記サンプリングする段階は、サンプリング範囲内のポイントの数に基づいたグルーピング過程（grouping operation）と、前記グルーピング過程に基づいた一つのポイントを付与する過程（assigning operation）を含む、ポイントクラウドデータ処理方法。
  9. 前記グルーピング過程は、前記サンプリング範囲のポイントの数に基づいて、前記サンプリング範囲と少なくとも一つの他のサンプリング範囲とをグルーピングする過程を含み、
    前記グルーピングする過程は、前記サンプリング範囲のポイントの数を特定の最小数と比較する段階を含み、
    前記サンプリング範囲のポイントの数が前記特定の最小数より小さい場合、前記サンプリング範囲は前記少なくとも一つの他のサンプリング範囲とグルーピングされ、
    前記サンプリング範囲は、前記八分木（octree）の少なくとも一つのノードに対応する、請求項８に記載のポイントクラウドデータ処理方法。
  10. 前記ビットストリームは、前記少なくとも一つのＬＯＤを生成するためのサンプリング方法のタイプを示す第１情報を含み、
    前記第１情報は、前記八分木（octree）に基づいて前記サンプリング範囲を示すサンプリング方法の第１タイプを含み、
    前記第１情報がサンプリング方法の前記第１タイプを示す場合、一つのポイントは、前記少なくとも一つのＬＯＤを生成するために前記サンプリング範囲からサンプルされ、
    前記ビットストリームは、サンプリング期間に関連する第２情報を含む、請求項９に記載のポイントクラウドデータ処理方法。
  11. ポイントクラウドデータを含むビットストリームを受信する受信機であって、前記ポイントクラウドデータはジオメトリ情報及び特質情報を含み、前記ジオメトリ情報は前記ポイントクラウドデータのポイントの位置を示し、前記特質情報は前記ポイントクラウドデータのポイントの一つ又はそれ以上の特質を示す、受信機と、
    前記ポイントクラウドデータを復号するデコーダを含み、
    前記デコーダは、前記ジオメトリ情報を復号する第１デコーダを含み、
    前記デコーダは、前記特質情報を復号する第２デコーダを含み、
    前記第２デコーダは少なくとも一つのＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）を生成するＬＯＤ生成器を含み、
    前記ＬＯＤ生成器は、八分木（octree）に基づいてサンプリング範囲内の一つのポイントのサンプリングを実行するように構成され、
    前記ＬＯＤ生成器は、サンプリング範囲内のポイントの数に基づいたグルーピング過程（grouping operation）と、前記グルーピング過程に基づいた一つのポイントを付与する過程（assigning operation）を実行するように構成された、ポイントクラウドデータ処理装置。
  12. 前記ＬＯＤ生成器は、前記サンプリング範囲のポイントの数に基づいて、前記サンプリング範囲と少なくとも一つの他のサンプリング範囲をグルーピングするように構成され、
    前記ＬＯＤ生成器は、前記サンプリング範囲のポイントの数を特定の最小数と比較するように構成され、
    前記サンプリング範囲のポイント数が前記特定の最小数より小さい場合、前記サンプリング範囲は前記少なくとも一つの他のサンプリング範囲とグルーピングされ、
    前記サンプリング範囲は、前記八分木（octree）の少なくとも一つのノードに対応する、請求項１１に記載のポイントクラウドデータ処理装置。
  13. 前記ビットストリームは、前記少なくとも一つのＬＯＤを生成するためのサンプリング方法のタイプを示す第１情報を含み、
    前記第１情報は、前記八分木（octree）に基づいて前記サンプリング範囲を示すサンプリング方法の第１タイプを含み、
    前記第１情報がサンプリング方法の前記第１タイプを含む場合、一つのポイントは、前記少なくとも一つのＬＯＤを生成するために前記サンプリング範囲からサンプルされる、請求項１２に記載のポイントクラウドデータ処理装置。
  14. 前記ビットストリームは、サンプリング期間に関連する第２情報を含む、請求項１３に記載のポイントクラウドデータ処理装置。
JP2021577665A 2019-07-02 2020-06-11 ポイントクラウドデータ処理方法及び装置 Active JP7451576B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024033719A JP2024053014A (ja) 2019-07-02 2024-03-06 ポイントクラウドデータ処理方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0079322 2019-07-02
KR20190079322 2019-07-02
PCT/KR2020/007566 WO2021002604A1 (ko) 2019-07-02 2020-06-11 포인트 클라우드 데이터 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024033719A Division JP2024053014A (ja) 2019-07-02 2024-03-06 ポイントクラウドデータ処理方法及び装置

Publications (2)

Publication Number Publication Date
JP2022539188A JP2022539188A (ja) 2022-09-07
JP7451576B2 true JP7451576B2 (ja) 2024-03-18

Family

ID=74100952

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021577665A Active JP7451576B2 (ja) 2019-07-02 2020-06-11 ポイントクラウドデータ処理方法及び装置
JP2024033719A Pending JP2024053014A (ja) 2019-07-02 2024-03-06 ポイントクラウドデータ処理方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024033719A Pending JP2024053014A (ja) 2019-07-02 2024-03-06 ポイントクラウドデータ処理方法及び装置

Country Status (5)

Country Link
US (1) US20220366610A1 (ja)
EP (1) EP3996044A4 (ja)
JP (2) JP7451576B2 (ja)
CN (1) CN114073085A (ja)
WO (1) WO2021002604A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172224B2 (en) * 2019-09-03 2021-11-09 Tencent America LLC Techniques and apparatus for generalized Trisoup geometry coding
CN114503586A (zh) * 2019-10-03 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR20220143550A (ko) * 2021-04-15 2022-10-25 센스타임 인터내셔널 피티이. 리미티드. 포인트 클라우드 인코더를 생성하는 방법 및 장치 및 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체
US11854112B1 (en) * 2021-06-04 2023-12-26 Apple Inc. Compression of attribute values comprising unit vectors
CN117321996A (zh) * 2021-06-11 2023-12-29 Oppo广东移动通信有限公司 帧内预测、编解码方法及装置、编解码器、设备、介质
CN115474064A (zh) * 2021-06-11 2022-12-13 维沃移动通信有限公司 编码、解码控制方法及装置
EP4160534A1 (en) * 2021-09-30 2023-04-05 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080483A1 (en) 2017-09-14 2019-03-14 Apple Inc. Point Cloud Compression

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307249B2 (en) * 2014-06-20 2016-04-05 Freescale Semiconductor, Inc. Processing device and method of compressing images
US20160275719A1 (en) * 2015-03-19 2016-09-22 Intergraph Corporation System and method for fast optimization of point cloud data
CN107093207B (zh) * 2017-04-12 2019-07-09 武汉大学 一种基于gpgpu的天然气泄漏扩散的动态可视化方法
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
CN109257604B (zh) * 2018-11-20 2020-11-27 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
CN114175100A (zh) * 2019-05-30 2022-03-11 Lg电子株式会社 用于处理点云数据的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080483A1 (en) 2017-09-14 2019-03-14 Apple Inc. Point Cloud Compression

Also Published As

Publication number Publication date
US20220366610A1 (en) 2022-11-17
WO2021002604A1 (ko) 2021-01-07
JP2022539188A (ja) 2022-09-07
EP3996044A4 (en) 2023-05-10
JP2024053014A (ja) 2024-04-12
CN114073085A (zh) 2022-02-18
EP3996044A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
US11057645B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11882303B2 (en) Apparatus and method for processing point cloud data
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
JP7451576B2 (ja) ポイントクラウドデータ処理方法及び装置
KR102609776B1 (ko) 포인트 클라우드 데이터 처리 방법 및 장치
US20220130075A1 (en) Device and method for processing point cloud data
US11979607B2 (en) Apparatus and method for processing point cloud data
US20220256190A1 (en) Point cloud data processing apparatus and method
US20220360797A1 (en) Apparatus and method for processing point cloud data
EP4171039A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20220377327A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102548048B1 (ko) 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
US20230334703A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7440546B2 (ja) ポイントクラウドデータ処理装置及び方法
JP7425207B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US20230154052A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230334719A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240029312A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230206510A1 (en) Point cloud data processing device and processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150