JP2023509190A - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 - Google Patents

ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 Download PDF

Info

Publication number
JP2023509190A
JP2023509190A JP2022541990A JP2022541990A JP2023509190A JP 2023509190 A JP2023509190 A JP 2023509190A JP 2022541990 A JP2022541990 A JP 2022541990A JP 2022541990 A JP2022541990 A JP 2022541990A JP 2023509190 A JP2023509190 A JP 2023509190A
Authority
JP
Japan
Prior art keywords
point cloud
information
cloud data
pcc
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022541990A
Other languages
English (en)
Other versions
JP7434574B2 (ja
Inventor
オ，セジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023509190A publication Critical patent/JP2023509190A/ja
Application granted granted Critical
Publication of JP7434574B2 publication Critical patent/JP7434574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【要約】 実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ；及びポイントクラウドデータを送信するステップ；を含む。実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信するステップ；ポイントクラウドデータを復号するステップ；及びポイントクラウドデータをレンダリングするステップ；を含む。【選択図】図１

Description

実施例はユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実）及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド（Ｐｏｉｎｔ Ｃｌｏｕｄ）コンテンツを提供する方案を提供する。
ポイントクラウドは３Ｄ空間上のポイントの集合である。３Ｄ空間上のポイントの量が多く、ポイントクラウドデータの生成が困難であるという問題点がある。
ポイントクラウドのデータの送受信のためには、大量の処理量が求められるという問題点がある。
実施例に係る技術的課題は、上記した問題点を解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
実施例に係る技術的課題は、遅延時間（ｌａｔｅｎｃｙ）及び符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置及び受信方法を提供することにある。
但し、上述した技術的課題のみに制限されず、記載された全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
上述した目的及びその他の利点を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ；ポイントクラウドデータをカプセル化するステップ；及び／又はポイントクラウドデータを送信するステップ；を含む（備える；構成する；構築する；設定する；包接する；包含する；含有する）。
また、実施例による送信するステップは、ポイントクラウドデータに対するメタデータを更に送信する。
また、メタデータは、ポイントクラウドデータに対する容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含む。更に、容積測定データをレンダリングするための情報は、容積測定データをレンダリングするために使用される位置関連情報及び／又は容積測定データに適用される方向関連情報を含む。
更に、実施例によるメタデータは、ポイントクラウドデータのポイントのスタイル（ｓｔｙｌｅ）に関する情報を含み、ポイントのスタイルに関する情報は、ポイントの形態を示す情報及び／又はポイントの大きさを示す情報を含む。
更に、実施例によるメタデータは、カメラ情報を含む。カメラ情報は、カメラの位置を示す情報、カメラのオリエンテーション方向、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報及び／又は視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を含む。
実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータ送信方法を実行する１つ又はそれ以上の構成を含む。
実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信するステップ；ポイントクラウドデータをデカプセル化するステップ；及び／又はポイントクラウドデータを復号するステップ；を含む。実施例による受信するステップは、ポイントクラウドデータに対するメタデータを更に受信し、復号するステップは、ポイントクラウドデータを再構成（ｒｅｃｏｎｓｔｒｕｃｔ）する。
更に、メタデータは、ポイントクラウドデータ内の容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含み、再構成するステップは、容積測定データのための情報に基づいて容積測定データを再構成する。
また、容積測定データのための情報は、容積測定データを再構成するために使用される位置関連情報及び／又は容積測定データに適用される方向関連情報を含む。
更に、実施例によるメタデータは、ポイントクラウドデータのポイントのスタイル（ｓｔｙｌｅ）に関する情報を含み、ポイントのスタイルに関する情報は、ポイントの形態を示す情報及び／又はポイントの大きさを示す情報を含む。
更に、実施例によるメタデータは、カメラ情報を含む。カメラ情報は、カメラの位置を示す情報、カメラのオリエンテーション方向、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報及び／又は視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を含む。
実施例によるポイントクラウドデータ受信装置は、実施例によるポイントクラウドデータ受信方法を実行する１つ又はそれ以上の構成を含む。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、良質のポイントクラウドサービスを提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、様々なビデオコーデック方式を達成することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、自立走行サービスなどの汎用的なポイントクラウドコンテンツを提供することができる。
受信装置は、ユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、上述したビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がビュー情報を用いてレンダリングすることで、受信装置はユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図面は実施例を更に理解するために添付され、実施例に関する説明と共に実施例を示す。
実施例によるポイントクラウドコンテンツを提供するための送信／受信システム構造の一例を示す。 実施例によるポイントクラウドデータのキャプチャーの一例を示す。 実施例によるポイントクラウド及びジオメトリ、テクスチャイメージの一例を示す。 実施例によるＶ－ＰＣＣ符号化処理の一例を示す。 実施例によるサーフェス（Ｓｕｒｆａｃｅ）の接平面（ｔａｎｇｅｎｔ ｐｌａｎｅ）及び法線ベクトル（ｎｏｒｍａｌ ｖｅｃｔｏｒ）の一例を示す。 実施例によるポイントクラウドの境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の一例を示す。 実施例による占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）の個別パッチ（ｐａｔｃｈ）の位置決めの一例を示す。 実施例によるノーマル（ｎｏｒｍａｌ）、タンジェント（ｔａｎｇｅｎｔ）、バイタンジェント（ｂｉｔａｎｇｅｎｔ）軸の関係の一例を示す。 実施例によるプロジェクションモードの最小モード及び最大モードの構成の一例を示す。 実施例によるＥＤＤコードの一例を示す。 実施例による隣接点の色（ｃｏｌｏｒ）値を用いた復色（ｒｅｃｏｌｏｒｉｎｇ）の一例を示す。 実施例によるプッシュ－プルバックグラウンドフィリング（ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ）の一例を示す。 実施例による４＊４サイズのブロック（ｂｌｏｃｋ）に対して可能なトラバーサルオーダー（ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ）の一例を示す。 実施例によるベストトラバーサルオーダーの一例を示す。 実施例による２Ｄビデオ／イメージエンコーダ（２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ Ｅｎｃｏｄｅｒ）の一例を示す。 実施例によるＶ－ＰＣＣ復号プロセス（ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ）の一例を示す。 実施例による２Ｄビデオ／イメージデコーダ（２Ｄ Ｖｉｄｅｏ／Ｉｍａｇｅ Ｄｅｃｏｄｅｒ）の一例を示す。 実施例による送信装置の動作の流れの一例を示す。 実施例による受信装置の動作の流れの一例を示す。 実施例によるＶ－ＰＣＣベースのポイントクラウドデータの格納及びストリーミングのためのアーキテクチャの一例を示す。 実施例によるポイントクラウドデータの格納及び送信装置の構成の一例を示す。 実施例によるポイントクラウドデータ受信装置の構成の一例を示す。 実施例によるポイントクラウドデータの送受信方法／装置と連動可能な構造の一例を示す。 実施例によるＶ－ＰＣＣビットストリームを示す。 実施例によるＶ－ＰＣＣビットストリームの一例を示す。 実施例によるＶ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ Ｕｎｉｔ Ｈｅａｄｅｒ）及び／又はＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ Ｐａｙｌｏａｄ）の構文の一例を示す。 実施例によるアトラスサブストリーム（ａｔｌａｓ ｓｕｂｓｔｒｅａｍ）の一例を示す。 実施例によるＩＳＯＢＭＦＦファイルのフォーマット（ｆｏｒｍａｔ）のポイントクラウドデータを示す。 実施例によるＶ－ＰＣＣサンプルエントリー（Ｖ－ＰＣＣ ｓａｍｐｌｅ ｅｎｔｒｙ）を示す。 実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの役割を示す。 実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの構文の一例を示す。 実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの構文の一例を示す。 実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの役割を示す。 実施例によるポイントクラウドデータのオブジェクト（ｏｂｊｅｃｔ）を再構成又はレンダリングするためのパラメータの構文の一例を示す。 実施例によるポイントクラウドデータ及びポイントクラウドデータに関するメタデータをカプセル化する動作の一例を示す。 実施例によるポイントクラウドデータ送信方法及び／又はポイントクラウドデータの送信のためのデータの処理方法を示す。 実施例によるポイントクラウドデータ受信方法及び／又はポイントクラウドデータの受信のためのデータの処理方法を示す。
以下、添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというよりは、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に対する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものであり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は実施例によるポイントクラウドコンテンツを提供するための送信／受信システム構造の一例を示す。
本文書では、ユーザに、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実）、及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラウドコンテンツを提供する方案を提供する。実施例によるポイントクラウドコンテンツは、客体をポイントによって表現したデータを示し、ポイントクラウド、ポイントクラウドデータ、ポイントクラウドビデオデータ、ポイントクラウドイメージデータなどと呼ぶことがある。
実施例によるポイントクラウドデータ送信装置（Ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ）１００００は、ポイントクラウドビデオ取得部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ）１０００１、ポイントクラウドビデオエンコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）１０００２、ファイル／セグメントカプセル化部１０００３及び／または送信機（Ｔｒａｎｓｍｉｔｔｅｒ（ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ））１０００４を含む。実施例による送信装置は、ポイントクラウドビデオ（又は、ポイントクラウドコンテンツ）を確保して処理し、送信する。実施例によれば、送信装置は、固定局（ｆｉｘｅｄ ｓｔａｔｉｏｎ）、ＢＴＳ（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ）、ネットワーク、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含んでもよい。また、実施例によれば、送信装置１００００は、無線接続技術（例えば、５Ｇ ＮＲ（Ｎｅｗ ＲＡＴ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ））を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ）機器、ＡＩ機器／サーバーなどを含んでもよい。
実施例によるポイントクラウドビデオ取得部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ）１０００１は、ポイントクラウドビデオのキャプチャー、合成又は生成過程などによってポイントクラウドビデオを取得する。
実施例によるポイントクラウドビデオエンコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）１０００２は、ポイントクラウドビデオデータを符号化する。実施例によれば、ポイントクラウドビデオエンコーダ１０００２は、ポイントクラウドエンコーダ、ポイントクラウドデータエンコーダ、エンコーダなどと呼ばれる。また、実施例によるポイントクラウド圧縮コーティング（符号化）は、上述した実施例に限られない。ポイントクラウドビデオエンコーダは、符号化されたポイントクラウドビデオデータを含むビットストリームを出力する。ビットストリームは、符号化されたポイントクラウドビデオデータのみならず、ポイントクラウドビデオデータの符号化に関連するシグナル情報を含んでもよい。
実施例によるポイントクラウドビデオエンコーダは、Ｇ－ＰＣＣ（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）符号化方式及び／又はＶ－ＰＣＣ（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）符号化方式の両方を支援できる。また、エンコーダは、ポイントクラウド（ポイントクラウドデータ又はポイントの全てを称する）及び／又はポイントクラウドに関するシグナルデータを符号化する。実施例による符号化の具体的な動作については以下に説明する。
なお、本明細書において使用するＶ－ＰＣＣの用語は、ビデオベースポイントクラウド圧縮（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ（Ｖ－ＰＣＣ））を意味し、Ｖ－ＰＣＣ用語は、視覚容積測定ビデオベースコーディング（Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ Ｃｏｄｉｎｇ（Ｖ３Ｃ））と同様であり、相互に補完して称することができる。
実施例によるファイル／セグメントカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）１０００３は、ポイントクラウドデータをファイル及び／又はセグメントの形式でカプセル化する。実施例によるポイントクラウドデータ送信方法／装置は、ポイントクラウドデータをファイル及び／又はセグメントの形式で送信する。
実施例による送信機（Ｔｒａｎｓｍｉｔｔｅｒ（ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ））１０００４は、符号化されたポイントクラウドビデオデータをビットストリームの形式で送信する。実施例によれば、ファイル又はセグメントは、ネットワークを介して受信装置へ送信されるか、又はデジタル記憶媒体（例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど）に格納される。実施例による送信機は、受信装置（又は受信機（Ｒｅｃｅｉｖｅｒ）と４Ｇ、５Ｇ、６Ｇなどのネットワークを介して有／無線通信を行うことができる。また、送信機は、ネットワークシステム（例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム）に応じて必要なデータ処理の動作を行う。また、送信装置は、オンデマンド（Ｏｎ Ｄｅｍａｎｄ）の方式によってカプセル化されたデータを送信することもできる。
実施例によるポイントクラウドデータ受信装置（Ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ）１０００５は、受信機（Ｒｅｃｅｉｖｅｒ）１０００６、ファイル／セグメントデカプセル化部１０００７、ポイントクラウドビデオデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ）１０００８、及び／又はレンダラー（Ｒｅｎｄｅｒｅｒ）１０００９を含む。実施例によれば、受信装置は、無線接続技術（例えば、５Ｇ ＮＲ（Ｎｅｗ ＲＡＴ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ））を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ）機器、ＡＩ機器／サーバーなどを含んでもよい。
実施例による受信機（Ｒｅｃｅｉｖｅｒ）１０００６は、ポイントクラウドビデオデータを含むビットストリームを受信する。実施例によれば、受信機１０００６は、フィードバック情報（Ｆｅｅｄｂａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ）をポイントクラウドデータ送信装置１００００に送信する。
ファイル／セグメントデカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）１０００７は、ポイントクラウドデータを含むファイル及び／又はセグメントをデカプセル化する。実施例によるデカプセル化部は、実施例によるカプセル化の過程の逆過程となる。
ポイントクラウドビデオデコーダ（Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ）１０００７は、受信したポイントクラウドビデオデータを復号する。実施例によるデコーダは、実施例による符号化の逆過程を行う。
レンダラー（Ｒｅｎｄｅｒｅｒ）１０００７は、復号されたポイントクラウドビデオデータをレンダリングする。実施例によれば、レンダラー１０００７は、受信端側で取得したフィードバック情報をポイントクラウドビデオデコーダ１０００６に送信する。実施例によるポイントクラウドビデオデータは、フィードバック情報を受信機に送信する。実施例によれば、ポイントクラウド送信装置が受信したフィードバック情報は、ポイントクラウドビデオエンコーダに提供される。
図面において点線で示した矢印は、受信装置１０００５で取得したフィードバック情報（ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ）の送信経路を示す。フィードバック情報は、ポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報（例えば、ヘッドオリエンテーション情報、ビューポート情報など）を含む。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス（例えば、自律走行サービスなど）のためのものである場合、フィードバック情報は、コンテンツ送信側（例えば、送信装置１００００）及び／又はサービス供給者に伝送される。実施例によっては、フィードバック情報は送信装置１００００だけではなく受信装置１０００５で使用されることもあり、提供されないこともある。
実施例によるヘッドオリエンテーション情報は、ユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００５は、ヘッドオリエンテーション情報に基づいてビューポート情報を算出する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点（ｖｉｅｗｐｏｉｎｔ）は、ユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）により決定される。従って、受信装置１０００４は、ヘッドオリエンテーション情報の他に、装置が支援する垂直（ｖｅｒｔｉｃａｌ）或いは水平（ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００５はゲイズ分析（Ｇａｚｅ Ａｎａｌｙｓｉｓ）などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例によれば、受信装置１０００５はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信する。実施例によるフィードバック情報はレンダリング及び／又はディスプレイの過程で得られる。実施例によるフィードバック情報は、受信装置１０００５に含まれた一つ又はそれ以上のセンサにより確保される。また実施例によれば、フィードバック情報は、レンダラー１０００９又は別の外部要素（又はデバイス、コンポーネントなど）により確保される。 図１に示された点線はレンダラー１０００９で確保したフィードバック情報の送信過程を示す。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを処理（符号化／復号）する。従って、ポイントクラウドビデオデータデコーダ１０００８はフィードバック情報に基づいて復号の動作を行う。また受信装置１０００５はフィードバック情報を送信装置に送信する。送信装置（又はポイントクラウドビデオデータエンコーダ１０００２）は、フィードバック情報に基づいて符号化の動作を行う。従って、ポイントクラウドコンテンツ提供システムは、全てのポイントクラウドデータを処理（符号化／復号）せず、フィードバック情報に基づいて必要なデータ（例えば、ユーザのヘッド位置に対応するポイントクラウドデータ）を効率的に処理し、ユーザにポイントクラウドコンテンツを提供することができる。
実施例によれば、送信装置１００００はエンコーダ、送信デバイス、送信機などと呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などと呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される（取得／符号化／送信／復号／レンダリングの一連の過程で処理される）ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例によれば、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ又はシグナル情報を含む概念として使用されてもよい。
図１に示したポイントクラウドコンテンツ提供システムの要素は、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどで具現できる。
実施例は、ユーザに、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実）、及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラウド（Ｐｏｉｎｔ Ｃｌｏｕｄ）コンテンツを提供することができる。
ポイントクラウドコンテンツサービスを提供するために、まず、ポイントクラウドビデオを取得する。取得したポイントクラウドビデオは、一連の過程を経て受信側へ送信され 、受信側で受信したデータを再び元のポイントクラウドビデオに加工てレンダリングする。これによって、ポイントクラウドビデオをユーザに提供することができる。実施例は、これらの一連の過程を効果的に行うために必要な方案を提供する。
ポイントクラウドコンテンツサービスを提供するための全体過程（ポイントクラウドデータ送信方法及び／又はポイントクラウドデータ受信方法）は、取得過程、符号化過程、送信過程、復号過程、レンダリング過程及び／又はフィードバック過程を含む。
実施例によれば、ポイントクラウドコンテンツ（又はポイントクラウドデータ）を提供する過程は、ポイントクラウド圧縮（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）過程とも呼ばれる。実施例によれば、ポイントクラウド圧縮過程は、ジオメトリベースポイントクラウド圧縮（Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）過程を意味する。
実施例によるポイントクラウドデータ送信装置及びポイントクラウドデータ受信装置の各要素は、ハードウェア、ソフトウェア、プロセッサ及び／又はそれらの組み合わせなどを意味する。
ポイントクラウドコンテンツサービスを提供するために、まず、ポイントクラウドビデオを取得する。取得したポイントクラウドビデオは、一連の過程を経て送信され、受信側では受信されたデータを再び元のポイントクラウドビデオに加工してレンダリングする。これにより、ポイントクラウドビデオがユーザに提供される。本発明は、この一連の過程を効果的に行うために必要な方案を提供する。
ポイントクラウドコンテンツサービスを提供するための全体の過程は、取得過程、符号化過程、送信過程、復号過程、レンダリング過程及び／又はフィードバック過程を含む。
ポイントクラウド圧縮システムは、送信デバイス及び受信デバイスを含む。送信デバイスはポイントクラウドビデオを符号化してビットストリームを出力し、これをファイル又はストリーミング（ストリーミングセグメント）の形式でデジタル記憶媒体又はネットワークを介して受信デバイスへ送信する。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど様々な記憶媒体を含む。
送信デバイスは、概略に、ポイントクラウドビデオ取得部、ポイントクラウドビデオエンコーダ、ファイル／セグメントカプセル化部、送信部を含む。受信デバイスは、概略に、受信部、ファイル／セグメントデカプセル化部、ポイントクラウドビデオデコーダ及びレンダラーを含む。エンコーダは、ポイントクラウドビデオ／映像／ピクチャー／フレーム符号化装置とも呼ばれ、デコーダは、ポイントクラウドビデオ／映像／ピクチャー／フレーム復号装置とも呼ばれる。送信機は、ポイントクラウドビデオエンコーダに含まれる。受信機は、ポイントクラウドビデオデコーダに含まれる。レンダラーは、ディスプレイ部を含んでもよく、レンダラー及び／又はディスプレイ部は別のデバイス又は外部コンポーネントで構成されてもよい。送信デバイス及び受信デバイスは、フィードバック過程のための別の内部又は外部のモジュール／ユニット／コンポーネントを更に含んでもよい。
実施例による受信デバイスの動作は、送信デバイスの動作の逆過程に従う。
ポイントクラウドビデオ取得部は、ポイントクラウドビデオのキャプチャー、合成又は生成過程などを通じてポイントクラウドビデオを取得する過程を行う。取得過程によって、複数のポイントに対する３Ｄ位置（ｘ、ｙ、ｚ）／属性（色、反射率、透明度など）データ、例えば、ＰＬＹ（Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ）ファイルなどが生成される。複数のフレームを有するビデオの場合、１つ以上のファイルを取得することができる。キャプチャー過程においてポイントクラウドに関連するメタデータ（例えば、キャプチャーに関するメタデータなど）が生成される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダ；及びポイントクラウドデータを送信する送信機；を含んでもよい。また、ポイントクラウドを含むビットストリームの形式で送信されてもよい。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータを受信する受信部；ポイントクラウドデータを復号するデコーダ；及びポイントクラウドデータをレンダリングするレンダラー；を含む。
実施例による方法／装置は、ポイントクラウドデータ送信装置及び／又はポイントクラウドデータ受信装置を示す。
図２は実施例によるポイントクラウドデータのキャプチャーの一例を示す。
実施例によるポイントクラウドデータは、カメラなどによって取得される。実施例によるキャプチャーの方法は、例えば、内向き方式（ｉｎｗａｒｄ－ｆａｃｉｎｇ）及び／又は外向き方式（ｏｕｔｗａｒｄ－ｆａｃｉｎｇ）がある。
実施例による内向き方式は、ポイントクラウドデータの客体（Ｏｂｊｅｃｔ）を１つ又はそれ以上のカメラが客体の外側から内側へと撮影する。
実施例による外向き方式は、ポイントクラウドデータの客体を１つ又はそれ以上のカメラが客体の内側から外側へと撮影する。例えば、実施例によればカメラが４つある。
実施例によるポイントクラウドデータ又はポイントクラウドコンテンツは、様々な形態の３Ｄ空間上に表現される客体／環境のビデオ又は停止映像である。実施例によれば、ポイントクラウドコンテンツは客体（ｏｂｊｅｃｔなど）に対するビデオ／オーディオ／イメージなどを含む。
ポイントクラウドコンテンツキャプチャーのための装備としては、深さ（ｄｅｐｔｈ）が取得可能なカメラ装備（赤外線パターンプロジェクターと赤外線カメラとの組み合わせ）と深さ情報に対応する色情報が抽出可能なＲＧＢカメラの組み合わせによって構成される。または、レーザパルスを打ち、反射して戻る時間を測定して、反射体の位置座標を測定するレーダーシステムを用いるライダー（ＬｉＤＡＲ）によって深さ情報を抽出することができる。深さ情報より３Ｄ空間上の点で構成されたジオメトリ（ｇｅｏｍｅｔｒｙ）を抽出し、ＲＧＢ情報より各点の色／反射を表現する属性（ａｔｔｒｉｂｕｔｅ）を抽出することができる。ポイントクラウドコンテンツは点に対する位置（ｘ、ｙ、ｚ）、色（ＹＣｂＣｒまたはＲＧＢ）又は反射率（ｒ）情報で構成される。ポイントクラウドコンテンツは、外部環境をキャプチャーする外向き方式 （ｏｕｔｗａｒｄ－ｆａｃｉｎｇ）と、中心客体をキャプチャーする内向き方式（ｉｎｗａｒｄ－ｆａｃｉｎｇ）とがある。ＶＲ／ＡＲ環境において客体（例えば、キャラクター、選手、物、俳優などの核心となる客体）を３６０°でユーザが自由に見られるポイントクラウドコンテンツとして構成する場合、キャプチャーカメラの構成は内向き方式を用いる。また、自立走行のように自動車において現在の周辺環境をポイントクラウドコンテンツとして構成する場合、キャプチャーカメラの構成は外向き方式を用いる。複数のカメラによってポイントクラウドコンテンツがキャプチャーされるため、カメラ間のグローバル空間座標系（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を設定するためにコンテンツをキャプチャーする前にカメラの校正過程が必要となることもある。
ポイントクラウドコンテンツは、様々な形態の３Ｄ空間上に示される客体／環境のビデオ又は停止映像である。
その他に、ポイントクラウドコンテンツの取得方法は、キャプチャーされたポイントクラウドビデオに基づいて任意のポイントクラウドビデオが合成できる。または、コンピューターで生成された仮想の空間に対するポイントクラウドビデオを提供しようとする場合、実際にカメラによるキャプチャーが行われないことがある。この場合、単に、関連データが生成される過程によって該当キャプチャーの過程が代替できる。
キャプチャーされたポイントクラウドビデオは、コンテンツの質を向上させるための後処理が必要である。映像キャプチャー過程においてカメラ装備が提供する範囲内で最大／最小の深さ値が調整できるが、その後にも所望しない領域のポイントデータが含まれることがあり、所望しない領域（例えば、背景）を除去するか、または連結された空間を認識して穴（ｓｐａｔｉａｌ ｈｏｌｅ）を埋める後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは、校正過程によって取得した各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換過程により、１つのコンテンツに統合できる。これにより、１つの広い範囲のポイントクラウドコンテンツを生成することもでき、又はポイントの密度の高いポイントクラウドコンテンツを取得することもできる。
ポイントクラウドビデオエンコーダは、入力されるポイントクラウドビデオを１つ以上のビデオストリームに符号化することができる。１つのポイントクラウドビデオは、複数のフレームを含んでもよく、１つのフレームは停止映像／ピクチャーに対応する。本文書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャー／ビデオ／オーディオ／イメージなどを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用できる。ポイントクラウドビデオエンコーダは、ビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）の手続きを行う。ポイントクラウドビデオエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピーコーディングなどの一連の手続きを行う。符号化されたデータ（符号化されたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）の形態で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドビデオエンコーダは ポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質（ａｔｔｒｉｂｕｔｅ）ビデオ、占有（ｏｃｃｕｐａｎｃｙ）マップビデオ、また付加情報（ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ）に分けて符号化する。ジオメトリビデオはジオメトリイメージを含み、特質（ａｔｔｒｉｂｕｔｅ）ビデオは特質イメージを含み、占有（ｏｃｃｕｐａｎｃｙ）マップビデオは占有マップイメージを含む。付加情報は付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ）を含む。特質ビデオ／イメージはテキスチャービデオ／イメージを含む。
カプセル化部（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）１０００３は、符号化されたポイントクラウドビデオデータ及び／又はポイントクラウドビデオ関連メタデータをファイルなどの形式でカプセル化する。ここで、ポイントクラウドビデオ関連メタデータは、メタデータ処理部などから伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオエンコーダに含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。カプセル化部は、該当データをＩＳＯＢＭＦＦなどのファイルフォーマットでカプセル化してもよく、その他のＤＡＳＨセグメントなどの形式で処理してもよい。カプセル化部は、実施例によれば、ポイントクラウドビデオ関連メタデータをファイルフォーマット上に含ませてもよい。ポイントクラウドビデオ関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の多様なレベルのボックス（ｂｏｘ）に含まれるか、又はファイル内で別のトラックに含まれる。実施例によれば、カプセル化部は、ポイントクラウドビデオ関連メタデータそのものをファイルでカプセル化する。送信処理部はファイルフォーマットによってカプセル化されたポイントクラウドビデオデータに送信のための処理を加えてもよい。送信処理部は、送信部に含まれてもよく、または別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドビデオデータを処理する。送信のための処理には、放送網を介して伝送するための処理、ブロードバンドを介して伝送するための処理を含む。実施例による送信処理部は、ポイントクラウドビデオデータのみならず、メタデータ処理部からポイントクラウドビデオ関連メタデータが伝送され、これに送信するための処理を加える。
送信部１０００４は、ビットストリームの形式で出力された符号化されたビデオ／映像情報又はデータをファイル又はストリーミングの形式でデジタル記憶媒体又はネットワークを介して受信デバイスの受信部へ伝送する。デジタル記憶媒体にはＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどが含まれる。送信部は所定のファイルフォーマットによってメディアファイルを生成するための要素を含み、放送／通信ネットワークを介した送信のための要素を含む。受信部はビットストリームを抽出して復号装置に送信する。
受信部１０００３は、本発明によるポイントクラウドビデオ送信装置が送信したポイントクラウドビデオデータを受信する。送信されるチャンネルに応じて、受信部は、放送網を介してポイントクラウドビデオデータを受信してもよく、ブロードバンドを介してポイントクラウドビデオデータを受信してもよい。またはデジタル記憶媒体を介してポイントクラウドビデオデータを受信してもよい。
受信処理部は、受信したポイントクラウドビデオデータに対して送信プロトコルに従う処理を行う。受信処理部は受信部に含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われることに対応するように、受信処理部は上述した送信処理部の逆プロセスを行う。受信処理部は取得したポイントクラウドビデオデータはデカプセル化部に伝送し、取得したポイントクラウドビデオ関連メタデータはメタデータ処理部に伝送する。受信処理部が取得するポイントクラウドビデオ関連メタデータはシグナリングテーブルの形式であってもよい。
デカプセル化部（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ）１０００７は、受信処理部から伝送されたファイル形式のポイントクラウドビデオデータをデカプセル化する。デカプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビデオビットストリームないしポイントクラウドビデオ関連メタデータ（メタデータビットストリーム）を取得する。取得したポイントクラウドビデオビットストリームは、ポイントクラウドビデオデコーダに伝送し、取得したポイントクラウドビデオ関連メタデータ（メタデータビットストリーム）はメタデータ処理部に伝送する。ポイントクラウドビデオビットストリームはメタデータ（メタデータビットストリーム）を含んでもよい。メタデータ処理部はポイントクラウドビデオデコーダに含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部が取得するポイントクラウドビデオ関連メタデータは、ファイルフォーマット内のボックス又はトラックの形式であってもよい。デカプセル化処理部は、必要のある場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウドビデオ関連メタデータは、ポイントクラウドビデオデコーダに伝送されてポイントクラウドビデオ復号の手続きに用いられてもよく、又はレンダラーに伝送されてポイントクラウドビデオレンダリングの手続きに用いられてもよい。
ポイントクラウドビデオデコーダは、ビットストリームが入力され、ポイントクラウドビデオエンコーダの動作に対応する動作を行い、ビデオ／映像を復号することができる。この場合、ポイントクラウドビデオデコーダは、ポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質（ａｔｔｒｉｂｕｔｅ）ビデオ、占有（ｏｃｃｕｐａｎｃｙ）マップビデオ、また付加情報（ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ）に分けて復号する。ジオメトリビデオはジオメトリイメージを含み、特質（ａｔｔｒｉｂｕｔｅ）ビデオは特質イメージを含み、占有（ｏｃｃｕｐａｎｃｙ）マップビデオは占有マップイメージを含む。付加情報は付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ）を含む。特質ビデオ／イメージはテキスチャービデオ／イメージを含む。
復号されたジオメトリイメージと占有マップ及び付加パッチ情報を用いて、３Ｄジオメトリが復元され、その後平滑化プロセスを経てもよい。平滑化された３Ｄジオメトリにテキスチャーイメージを用いて色値を与えることで、カラーポイントクラウド映像／ピクチャーが復元される。レンダラーは、復元されたジオメトリ、色 ポイントクラウド映像／ピクチャーをレンダリングする。レンダリングされたビデオ／映像は、ディスプレイ部によってディスプレイされる。ユーザはＶＲ／ＡＲディスプレイ又は一般のディスプレイなどによってレンダリングされた結果の全部又は一部の領域を見る。
フィードバックプロセスは、レンダリング／ディスプレイのプロセスにおいて取得可能な様々なフィードバック情報を送信側に伝送するか、受信側のデコーダに伝送するプロセスを含む。フィードバックプロセスにより、ポイントクラウドビデオの消費において相互作用（ｉｎｔｅｒａｃｔｉｖｉｔｙ）が提供される。実施例によれば、フィードバックプロセスにおいてヘッドオリエンテーション（Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などが伝送される。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境上に具現されたものと相互作用できるが、この場合、その相互作用に関連する情報がフィードバックプロセスで送信側ないしサービス供給者側に伝送されることがある。実施例によってフィードバックプロセスは行わなくてもよい。
ヘッドオリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報である。この情報に基づいて、ユーザがポイントクラウドビデオ内で現在見ている領域の情報、即ち、ビューポート情報が算出される。
ビューポート情報は、ユーザがポイントクラウドビデオで現在見ている領域の情報である。これにより、ゲイズ分析（Ｇａｚｅ Ａｎａｌｙｓｉｓ）が行われ、ユーザがどんな方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどのくらい凝視するかなどを確認することもできる。ゲイズ分析は、受信側で行われ、フィードバックチャンネルを介して送信側に伝送される。ＶＲ／ＡＲ／ＭＲディスプレイなどの装置は、ユーザの頭の位置／方向、装置が支援する垂直（ｖｅｒｔｉｃａｌ）又は水平（ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいてビューポート領域を抽出する。
実施例によれば、上述したフィードバック情報は送信側に伝送されるだけではなく、受信側で消費されてもよい。即ち、上述したフィードバック情報を用いて受信側の復号、レンダリングのプロセスなどが行われる。例えば、ヘッドオリエンテーション情報及び／又はビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドビデオのみを優先して復号及びレンダリングする。
ここで、ビューポート（ｖｉｅｗｐｏｒｔ）ないしビューポート領域とは、ユーザがポイントクラウドビデオで見ている領域である。視点（ｖｉｅｗｐｏｉｎｔ）はユーザがポイントクラウドビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とした領域であり、その領域が占めるサイズ、形態などはＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）により決定される。
本明細書は、上述のように、ポイントクラウドビデオ圧縮に関する。例えば、この明細書に開示の方法／実施例は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のＰＣＣ（ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｒ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｄｉｎｇ）標準または次世代ビデオ／イメージコーティング標準に適用される。
本明細書においてピクチャー（ｐｉｃｔｕｒｅ）／フレーム（ｆｒａｍｅ）は、一般に特定の時間帯の１つの映像を示す単位を意味する。
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャー（又は映像）を構成する最小の単位を意味する。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が用いられる。サンプルは、一般に、ピクセル又はピクセルの値を示し、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示してもよく、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示してもよく、又は深さ（ｄｅｐｔｈ）成分のピクセル／ピクセル値のみを示してもよい。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットはピクチャーの特定の領域及びその領域に関する情報のうちの少なくとも１つを含む。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるあサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又はアレイ）を含む。
図３は実施例によるポイントクラウド及びジオメトリ、テクスチャイメージの一例を示す。
実施例によるポイントクラウドは、後述する図４のＶ－ＰＣＣ符号化プロセスに入力され、ジオメトリイメージ、テクスチャイメージが生成される。実施例によれば、ポイントクラウドはポイントクラウドデータと同一の意味で使用される。
図３において、左側の図はポイントクラウドであって、３Ｄ空間上にオブジェクトが位置し、これを境界ボックスなどで表現するポイントクラウドを示す。中間の図はジオメトリを示し、右側の図はテキスチャーイメージ（ノン－パッド）を示す。
ビデオベースポイントクラウド圧縮（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、Ｖ－ＰＣＣ）は、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデック（ｖｉｄｅｏ ｃｏｄｅｃ）に基づいて３Ｄポイントクラウドデータを圧縮する方法を提供する。Ｖ－ＰＣＣ圧縮プロセスにおいて、以下のようなデータ及び情報が生成される。
占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）：ポイントクラウドを成す点をパッチ（ｐａｔｃｈ）に分けて２Ｄ平面にマップするとき、２Ｄ平面の該当位置にデータが存在するか否かを０又は１の値で知らせる２進マップ（ｂｉｎａｒｙ ｍａｐ）を示す。占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）はアトラスに対応する２Ｄアレイを示し、占有マップの値はアトラス内の各サンプル位置が３Ｄポイントに対応するか否かを示す。アトラス（ａｔｌａｓ）は、容積測定データがレンダリングされる３Ｄ空間内の３Ｄ境界ボックスに対応する長方形フレームに位置した２Ｄ境界ボックス及びそれに関連する情報の集合である。
アトラスビットストリーム（ａｔｌａｓ ｂｉｔｓｔｒｅａｍ）は、アトラス（ａｔｌａｓ）を構成する１つ以上のアトラスフレーム（ａｔｌａｓ ｆｒａｍｅ）と関連データに対するットストリームである。
アトラスフレーム（ａｔｌａｓ ｆｒａｍｅ）は、パッチ（ｐａｔｃｈ）がプロジェクトされたアトラスサンプル（ａｔｌａｓ ｓａｍｐｌｅ）の２Ｄ長方形アレイである。
アトラスサンプル（ａｔｌａｓ ｓａｍｐｌｅ）は、アトラス（ａｔｌａｓ）と関連したパッチ（ｐａｔｃｈ）がプロジェクトされた長方形フレームの位置である。
アトラスフレーム（ａｔｌａｓ ｆｒａｍｅ）は、タイル（ｔｉｌｅ）に分割される。タイルは２Ｄフレームを分割する単位である。即ち、タイルはアトラスというポイントクラウドデータのシグナル情報を分割する単位である。
パッチ（ｐａｔｃｈ）：ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３Ｄ空間上で互いに隣接し、２Ｄイメージへのマッピングプロセスにおいて６面の境界ボックス平面のうち同じ方向にマップされることを示す。
パッチはタイルを分割する単位である。パッチはポイントクラウドデータの構成に関するシグナル情報である。
実施例による受信装置は、アトラス（タイル、パッチ）に基づいて同一のプレゼンテーションタイムを有する実際ビデオデータである特質ビデオデータ、ジオメトリビデオデータ、占有ビデオデータを復元する。
ジオメトリイメージ（ｇｅｏｍｅｔｒｙ ｉｍａｇｅ）：ポイントクラウドを成す各点の位置情報（ｇｅｏｍｅｔｒｙ）をパッチ単位で表現する深さマップの形式のイメージを示す。ジオメトリイメージは１チャンネルのピクセル値で構成される。ジオメトリ（ｇｅｏｍｅｔｒｙ）はポイントクラウドフレームに連関する座標のセットを示す。
テキスチャーイメージ（ｔｅｘｔｕｒｅ ｉｍａｇｅ）：ポイントクラウドを成す各点の色情報をパッチ単位で表現するイメージを示す。テキスチャーイメージは複数のチャンネルのピクセル値（ｅ．ｇ． ３チャンネルＲ、Ｇ、Ｂ）で構成される。テキスチャーは特質に含まれる。実施例によれば、テキスチャー及び／又は特質は同一の対象及び／又は包含関係として解釈される。
付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ）：個別のパッチからポイントクラウドを再構成するために必要なメタデータを示す。付加パッチ情報は、パッチの２Ｄ／３Ｄ空間における位置、サイズなどに関する情報を含む。
実施例によるポイントクラウドデータ、例えば、Ｖ－ＰＣＣコンポーネントは、アトラス、占有マップ、ジオメトリ、特質などを含む。
アトラス（ａｔｌａｓ）は、２Ｄ境界ボックスの集合を示す。パッチのグループ、例えば、直方形（ｒｅｃｔａｎｇｕｌａｒ）フレームにプロジェクトされたパッチである。また、３Ｄ空間において３Ｄ境界ボックスに対応し、ポイントクラウドのサブセットを示す。
特質（ａｔｔｒｉｂｕｔｅ）は、ポイントクラウド内の各ポイントに連関するスカラー（ｓｃａｌａｒ）又はベクトル（ｖｅｃｔｏｒ）を示し、例えば、色（ｃｏｌｏｕｒ）、反射率（ｒｅｆｌｅｃｔａｎｃｅ）、面法線（ｓｕｒｆａｃｅ ｎｏｒｍａｌ）、タイムスタンプ（ｔｉｍｅ ｓｔａｍｐｓ）、マテリアルＩＤ（ｍａｔｅｒｉａｌ ＩＤ）などがある。
実施例によるポイントクラウドデータは、Ｖ－ＰＣＣ（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）方式によるＰＣＣデータを示す。ポイントクラウドデータは複数のコンポーネントを含む。例えば、占有マップ、パッチ、ジオメトリ及び／又はテキスチャーなどを含む。
図４は実施例によるＶ－ＰＣＣ符号化処理の一例を示す。
図４は、占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）、ジオメトリイメージ（ｇｅｏｍｅｔｒｙ ｉｍａｇｅ）、テキスチャーイメージ（ｔｅｘｔｕｒｅ ｉｍａｇｅ）、付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ）を生成して圧縮するためのＶ－ＰＣＣ符号化プロセス（ｅｎｃｏｄｉｎｇ ｐｒｏｃｅｓｓ）を示す。図４のＶ－ＰＣＣ符号化プロセスは、図１のポイントクラウドビデオエンコーダ１０００２によって処理される。図４の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせによって行われる。
パッチ生成部（ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ）４００００又はパッチゼネレーション部 は、ポイントクラウドフレーム（ポイントクラウドデータを含むビットストリームの形式であってもよい）を受信する。パッチ生成部４００００は、ポイントクラウドデータからパッチを生成する。また、パッチ生成に関する情報を含むパッチ情報を生成する。
パッチパッキング（ｐａｔｃｈ ｐａｃｋｉｎｇ）４０００１又はパッチパッキング部は、ポイントクラウドデータに対するパッチをパッキングする。例えば、１つ又はそれ以上のパッチがパッキングされる。また、パッチパッキングに関する情報を含む占有マップを生成する。
ジオメトリイメージ生成部（ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ）４０００２又はジオメトリイメージゼネレーション部は、ポイントクラウドデータ、パッチ、及び／又はパッキングされたパッチに基づいてジオメトリイメージを生成する。ジオメトリイメージはポイントクラウドデータに関するジオメトリを含むデータのことをいう。
テキスチャーイメージ生成（ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ）４０００３又はテキスチャーイメージゼネレーション部は、ポイントクラウドデータ、パッチ及び／又はパックされたパッチに基づいてテキスチャーイメージを生成する。また、再構成された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）ジオメトリイメージをパッチ情報に基づいて平滑化部（番号）が平滑化処理をして生成された平滑化ジオメトリに更に基づいて、テキスチャーイメージを生成することができる。
平滑化（ｓｍｏｏｔｈｉｎｇ）４０００４又は平滑化部は、イメージデータに含まれたエラーを緩和又は除去する。例えば、再構成された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）ジオメトリイメージをパッチ情報に基づいてデータ間エラーを誘発するような部分を柔らかにフィールタリングして平滑化したジオメトリを生成することができる。
付加パッチ情報圧縮（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎ）４０００５又は付加パッチ情報圧縮部は、パッチ生成プロセスで生成されたパッチ情報に関する付加（ａｕｘｉｌｉａｒｙ）パッチ情報を圧縮する。また、圧縮された付加パッチ情報をマルチプルクサへ伝送し、ジオメトリイメージ生成４０００２も付加パッチ情報を用いる。
イメージパッド（ｉｍａｇｅ ｐａｄｄｉｎｇ）４０００６、４０００７又はイメージパッド部は、ジオメトリイメージ及びテキスチャーイメージをそれぞれパッドする。即ち、パッドデータがジオメトリイメージ及びテキスチャーイメージにパッドされる。
グループ拡張（ｇｒｏｕｐ ｄｉｌａｔｉｏｎ）４０００８又はグループ拡張部は、イメージパッドと同様に、テキスチャーイメージにデータを付加する。付加パッチ情報がテキスチャーイメージに挿入される。
ビデオ圧縮（ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）４０００９、４００１０、４００１１又はビデオ圧縮部は、パッドされたジオメトリイメージ、パッドされたテキスチャーイメージ及び／又は占有マップのそれぞれを圧縮する。圧縮は、ジオメトリ情報、テキスチャー情報、占有情報などを符号化する。
エントロピー圧縮（ｅｎｔｒｏｐｙ ｃｏｍｐｒｅｓｓｉｏｎ）４００１２又はエントロピー圧縮部は、占有マップをエントロピー方式に基づいて圧縮（例えば、符号化）する。
実施例によれば、ポイントクラウドデータがロスレス（ｌｏｓｓｌｅｓｓ）かロッシー（ｌｏｓｓｙ）かに応じて、エントロピー圧縮及び／又はビデオ圧縮のそれぞれが行われる。
マルチプレクサ（ｍｕｌｔｉｐｌｅｘｅｒ）４００１３は、圧縮されたジオメトリイメージ、圧縮されたテキスチャーイメージ、圧縮された占有マップをビットストリームでマルチプレクスする。
以下、実施例による図４の各々のプロセスの詳細な動作を示す。
パッチ生成（Ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ）４００００
パッチ生成のプロセスは、ポイントクラウドを２Ｄイメージにマップ（ｍａｐｐｉｎｇ）するために、マッピングを行う単位であるパッチでポイントクラウドを分割するプロセスを意味する。パッチ生成のプロセスは、以下のようにノーマル（ｎｏｒｍａｌ）値の計算、セグメント（ｓｅｇｍｅｎｔａｔｉｏｎ）、パッチ（ｐａｔｃｈ）分割の３つのステップに分けられる。
図５を参照して、正規（ｎｏｒｍａｌ）の計算プロセスを具体的に説明する。
図５は、実施例によるサーフェス（Ｓｕｒｆａｃｅ）の接平面（ｔａｎｇｅｎｔ ｐｌａｎｅ）及び法線ベクトル（ｎｏｒｍａｌ ｖｅｃｔｏｒ）の一例を示す。
図５のサーフェスは、図４のＶ－ＰＣＣ符号化プロセスのパッチ生成のプロセス４００００において以下のように用いられる。
パッチ生成に関連して法線（Ｎｏｒｍａｌ）計算
ポイントクラウドを成す各点（例えば、ポイント）は、固有の方向を有しているが、これは法線という３次元のベクトルで示される。Ｋ－Ｄ ｔｒｅｅなどを用いて求められる各点の隣接点（ｎｅｉｇｈｂｏｒｓ）を用いて、図５のようなポイントクラウドのサーフェスを成す各点の接平面（ｔａｎｇｅｎｔ ｐｌａｎｅ）及び法線ベクトル（ｎｏｒｍａｌ ｖｅｃｔｏｒ）を求める。隣接点を探す過程におけるサーチ範囲（ｓｅａｒｃｈ ｒａｎｇｅ）はユーザによって定義される。
接平面（ｔａｎｇｅｎｔ ｐｌａｎｅ）：サーフェスの一点を通り、サーフェス上の曲線に対する接線を完全に含んでいる平面を示す。
図６は実施例によるポイントクラウドの境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の一例を示す。
実施例による方法／装置、例えば、パッチ生成部がポイントクラウドデータからパッチを生成する過程において境界ボックスを用いる。
実施例による境界ボックスとは、ポイントクラウドデータを３Ｄ空間上で六面体に基づいて分割する単位のボックスをいう。
境界ボックスは、ポイントクラウドデータの対象となる客体を３Ｄ空間上の六面体に基づいて各々の六面体の平面にプロジェクトするプロセスにおいて用いられる。境界ボックスは、図１のポイントクラウドビデオ取得部１００００、ポイントクラウドビデオエンコーダ１０００２によって生成、処理される。また、境界ボックスに基づいて、図２のＶ－ＰＣＣ符号化プロセスのパッチ生成４００００、パッチパッキング４０００１、ジオメトリイメージ生成４０００２、テキスチャーイメージ生成４０００３が行われる。
パッチ生成に関連して分割（Ｓｅｇｍｅｎｔａｔｉｏｎ）
分割（Ｓｅｇｍｅｎｔａｔｉｏｎ）は、初期分割（ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ）と改善分割（ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ）との２つのプロセスからなる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、ポイントを境界ボックスの一面にプロジェクトする。具体的に、ポイントクラウドを成す各点は、図６のように、ポイントクラウドを囲む６つの境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の面の一面にプロジェクトされるが、初期分割（ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ）は、各点がプロジェクトされる境界ボックスの平面のうちの１つを決定するプロセスである。
Figure 2023509190000002
（１．０，０．０，０．０），（０．０，１．０，０．０），（０．０，０．０，１．０），（－１．０，０．０，０．０），（０．０，－１．０，０．０），（０．０，０．０，－１．０）．
Figure 2023509190000003
Figure 2023509190000004
決定された平面は、０～５のうちのいずれか１つのインデックス（ｉｎｄｅｘ）形式の値（ｃｌｕｓｔｅｒ ｉｎｄｅｘ）として識別される。
改善分割（Ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、上述した初期分割（ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ）のプロセスで決定されたポイントクラウドを成す各点のプロジェクション平面を隣接点のプロジェクション平面を考慮して改善するプロセスである。このプロセスでは、上述した初期分割プロセスにおいてプロジェクション平面を決定するために考慮した各点のノーマルと境界ボックスの各平面のノーマル値との類似度を成すｓｃｏｒｅ ｎｏｒｍａｌと共に、現在点のプロジェクション平面と隣接点のプロジェクション平面との一致度を示すスコア平滑化（ｓｃｏｒｅ ｓｍｏｏｔｈ）とが同時に考慮される。
Ｓｃｏｒｅ ｓｍｏｏｔｈはｓｃｏｒｅ ｎｏｒｍａｌに対して加重値を与えることで考慮することができ、このとき、加重値はユーザによって定義される。改善分割は繰り返し的に行われ、繰り返し回数もユーザに定義される。
パッチ生成に関連してパッチ分割（ｓｅｇｍｅｎｔ ｐａｔｃｈｅｓ）
パッチ分割は、上述した初期／改善分割のプロセスで得たポイントクラウドを成す各点のプロジェクション平面情報に基づいて、全体のポイントクラウドを隣接した点の集合であるパッチに分けるプロセスである。パッチ分割は、以下のようなステップからなる。
（１） Ｋ－Ｄ ｔｒｅｅなどを用いてポイントクラウドを成す各点の隣接点を算出する。最大の隣接点の数はユーザによって定義される。
（２） 隣接点が現在の点と同一平面にプロジェクトされる場合（同一のクラスターインデックス（ｃｌｕｓｔｅｒ ｉｎｄｅｘ）値を有する場合）、現在の点とその隣接点を１つのパッチに抽出する。
（３） 抽出したパッチのジオメトリ値を算出する。詳しい過程は、以下に説明する。
（４） 抽出されない点が無くなるまで（２）～（３）のプロセスを繰り返す。
パッチ分割のプロセスを通じて、各パッチのサイズ及び各パッチの占有マップ、ジオメトリイメージ、テクスチャイメージなどが決定される。
図７は実施例による占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）の個別パッチ（ｐａｔｃｈ）の位置決めの一例を示す。
実施例によるポイントクラウドエンコーダ１０００２は、パッチパッキング及び占有マップを生成することができる。
パッチパッキング及び占有マップの生成（Ｐａｔｃｈ ｐａｃｋｉｎｇ ＆ Ｏｃｃｕｐａｎｃｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ）４０００１
本プロセスは、以前に分割されたパッチを１つの２Ｄイメージにマップするために、個別パッチの２Ｄイメージ内における位置を決定するプロセスである。占有マップ（Ｏｃｃｕｐａｎｃｙ ｍａｐ）は２Ｄイメージの１つであって、その位置におけるデータの存否を０または１の値で知らせる２進マップ（ｂｉｎａｒｙ ｍａｐ）である。占有マップは、ブロックからなり、ブロックのサイズに応じて解像度が決定されるが、一例としてブロックのサイズが１＊１である場合、ピクセル（ｐｉｘｅｌ）単位の解像度を有する。ブロックのサイズ（ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ）はユーザによって決定される。
占有マップ内において個別パッチの位置を決定するプロセスは、以下のようである。
（１） 全体の占有マップの値をいずれも０に設定する。
（２） 占有マップ平面に存在する水平座標が［０、ｏｃｃｕｐａｎｃｙＳｉｚｅＵ－ｐａｔｃｈ．ｓｉｚｅＵ０）、垂直座標が［０、ｏｃｃｕｐａｎｃｙＳｉｚｅＶ－ｐａｔｃｈ．ｓｉｚｅＶ０）の範囲にある点（ｕ、 ｖ）にパッチを位置させる。
（３） パッチ平面に存在する水平座標が［０、ｐａｔｃｈ．ｓｉｚｅＵ０）、垂直座標が［０、ｐａｔｃｈ．ｓｉｚｅＶ０）の範囲にある点（ｘ、ｙ）を現在点として設定する。
（４） 点（ｘ、ｙ）に対して、パッチ占有マップの（ｘ、ｙ）座標値が１であり（パッチ内の該当地点にデータが存在し）、全体の占有マップの（ｕ＋ｘ、ｖ＋ｙ）座標値が１（以前のパッチにより占有マップが満たされた場合）、ラスタ順に（ｘ、ｙ）位置を変更して、（３）～（４）のプロセスを繰り返す。そうではない場合、（６）のプロセスを行う。
（５） ラスタ順に（ｕ、ｖ）位置を変更して（３）～（５）のプロセスを繰り返す。
（６） （ｕ、ｖ）を該当パッチの位置に決定し、パッチの占有マップデータを全体の占有マップの該当部分に割り当てる（ｃｏｐｙ）。
（７） 次のパッチに対して（２）～（６）のプロセスの繰り返す。
占有サイズＵ（ｏｃｃｕｐａｎｃｙＳｉｚｅＵ）：占有マップの幅（ｗｉｄｔｈ）を示し、単位は占有パッキングサイズブロック（ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ）である。
占有サイズＶ（ｏｃｃｕｐａｎｃｙＳｉｚｅＶ）：占有マップの高さ（ｈｅｉｇｈｔ）を示し、単位は占有パッキングブロックサイズである。
パッチサイズＵ０（ｐａｔｃｈ．ｓｉｚｅＵ０）：占有マップの幅を示し、単位は占有パッキングブロックサイズである。
パッチサイズＶ０（ｐａｔｃｈ．ｓｉｚｅＶ０）：占有マップの高さを示し、単位は占有パッキングブロックサイズである。
例えば、図７のように、占有パッキングサイズブロックに該当するボックス内パッチサイズを有するパッチに対応するボックスが存在し、ボックス内ポイント（ｘ、ｙ）が位置してもよい。
図８は実施例によるノーマル（ｎｏｒｍａｌ）、タンジェント（ｔａｎｇｅｎｔ）、バイタンジェント（ｂｉｔａｎｇｅｎｔ）軸の関係の一例を示す。
実施例によるポイントクラウドビデオエンコーダ１０００２は、ジオメトリイメージを生成することができる。ジオメトリイメージとは、ポイントクラウドのジオメトリ情報を含むイメージデータを意味する。ジオメトリイメージの生成プロセスは、図８のパッチの３つの軸（ノーマル、タンジェント、バイタンジェント）を用いる。
ジオメトリイメージの生成（Ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ）４０００２
本プロセスでは、個別パッチのジオメトリイメージを構成する深さ（ｄｅｐｔｈ）値を決定し、上述したパッチパッキング（ｐａｔｃｈ ｐａｃｋｉｎｇ）のプロセスで決定されたパッチの位置に基づいて全体のジオメトリイメージを生成する。個別パットのジオメトリイメージを構成する深さ値を決定するプロセスは以下のように構成される。
（１） 個別パッチの位置、サイズに関するパラメータを算出する。パラメータは以下のような情報を含む。パッチの位置はパッチ情報に含まれることを一実施例とする。
ノーマル（ｎｏｒｍａｌ）軸を示すインデックス：ノーマルは上述したパッチ生成のプロセスで求められ、タンジェント軸はノーマルと直角の軸のうちパッチイメージの水平（ｕ）軸と一致する軸であり、バイタンジェント軸はノーマルと直角の軸のうちパッチイメージの垂直（ｖ）軸と一致する軸であって、３つの軸は、図８のように示される。
図９は実施例によるプロジェクションモードの最小モード及び最大モード構成の一例を示す。
実施例によるポイントクラウドビデオエンコーダ１０００２は、ジオメトリイメージを生成するために、パッチに基づくプロジェクションを行い、実施例によるプロジェクションのモードは最小モード及び最大モードがある。
パッチの３Ｄ空間座標：パッチを囲む最小サイズの境界ボックスによって算出される。例えば、パッチの３Ｄ空間座標にパッチのタンジェント方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ）、パッチのバイタンジェント方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ）、パッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）などが含まれる。
パッチの２Ｄサイズ：パッチが２Ｄイメージでパックされるときの水平、垂直方向サイズを示す。水平方向サイズ（ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ）は境界ボックスのタンジェント方向の最大値と最小値との差であり、垂直方向サイズ（ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ）は境界ボックスのバイタンジェント方向の最大値と最小値との差である。
（２） パッチのプロジェクションモード（ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ）を決定する。プロジェクションモードは、最小モード（ｍｉｎ ｍｏｄｅ）と最大モード（ｍａｘ ｍｏｄｅ）のいずれか１つである。パッチのジオメトリ情報は、深さ値で示されるが、パッチのノーマル方向にパッチを成す各点をプロジェクトするとき、深さ値の最大値で構成されるイメージと最小値で構成されるイメージの２つのレイヤ（ｌａｙｅｒ）のイメージが生成される。
２つのレイヤのイメージｄ０とｄ１を生成するのに、最小モードである場合、図９のように最小深さがｄ０に構成され、最小深さからサーフェス厚さ（ｓｕｒｆａｃｅ ｔｈｉｃｋｎｅｓｓ）以内に存在する最大深さがｄ１に構成される。
例えば、ポイントクラウドが、図９のように２Ｄに位置する場合、複数のポイントを含む複数のパッチがあってもよい。図９のように、同じ陰影で示されたポイントが同一のパッチに属することを示す。空欄で示されたポイントのパッチをプロジェクトするプロセスを示す。
空欄で示されたポインを左側／右側にプロジェクトする場合、左側を基準として深さを０、１、２、．．６、７、８、９のように１つずつ増加しながら右側にポイントの深さの算出のための数字を表記する。
プロジェクションモード（Ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ）は、ユーザの定義によって、すべてのポイントクラウドに同一の方法が適用されてもよく、フレームまたはパッチごとに異なる方法が適用されてもよい。フレームまたはパッチごとに異なるプロジェクションモードが適用される場合、圧縮効率を高めたり、消失点（ｍｉｓｓｅｄ ｐｏｉｎｔ）が最小化できるプロジェクションモードが適応的に選ばれる。
（３） 個別点の深さ値を算出する。
最小モードである場合、各点のノーマル軸の最小値にパッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）から（１）のプロセスで算出されたパッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０とサーフェス厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合は、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
例えば、ｄ０のポイントの深さ決定において最小値が算出される（４ ２ ４ ４ ０ ６ ０ ０ ９ ９ ０ ８ ０）。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち大きい値が算出されるか、１つのポイントだけがある場合はその値が算出される（４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９）。また、パッチのポイントが符号化、再構成（ｒｅｃｏｎｓｔｒｕｃｔ）されるプロセスにおいて一部のポイントが損失される（例えば、図では８つのポイントが損失）。
最大モードである場合、各点のノーマル軸の最大値にパッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）から（１）のプロセスで算出されたパッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０とサーフェス厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
例えば、ｄ０のポイントの深さ決定において最大値が算出される（４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９）。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち小さい値が算出されるか、１つのポイントだけがある場合はその値が算出される（４ ２ ４ ４ ５ ６ ０ ６ ９ ９ ０ ８ ０）。また、パッチのポイントが符号化、再構成（ｒｅｃｏｎｓｔｒｕｃｔ）されるプロセスにおいて一部のポイントが損失される（例えば、図では６つのポイントが損失）。
上述したプロセスから生成された個別パッチのジオメトリイメージを、上述したパッチパッキングプロセスを通じて生成された個別パッチの位置情報を用いて、全体のジオメトリイメージに配置させることで、全体のジオメトリイメージを生成することができる。
生成された全体のジオメトリイメージのｄ１レイヤは、様々な方法によって符号化される。第一は、以前に生成したｄ１イメージの深さ値をそのまま符号化する方法（ａｂｓｏｌｕｔｅ ｄ１ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ）である。第二は、以前に生成したｄ１イメージの深さ値とｄ０イメージの深さ値との差を符号化する方法（ｄｉｆｆｅｒｅｎｔｉａｌ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ）である。
このようなｄ０、ｄ１の２つのレイヤの深さ値を用いた符号化の方法は、２つの深さの間にそのその他の点が存在する場合、その点のジオメトリ情報を符号化するプロセスで失うため、無損失圧縮（ｌｏｓｓｌｅｓｓ ｃｏｄｉｎｇ）のために、Ｅｎｈａｎｃｅｄ－Ｄｅｌｔａ－Ｄｅｐｔｈ（ＥＤＤ）ｃｏｄｅを用してもよい。
図１０を参照して、ＥＤＤ ｃｏｄｅを具体的に説明する。
図１０は実施例によるＥＤＤコードの一例を示す。
ポイントクラウドビデオエンコーダ１０００２及び／又はＶ－ＰＣＣ符号化の一部／全部のプロセス（例えば、ビデオ圧縮４０００９）などは、ＥＯＤコードに基づいてポイントのジオメトリ情報を符号化することができる。
ＥＤＤ ｃｏｄｅは、図１０のように、ｄ１を含みサーフェス厚さの範囲内の全ての点の位置を２進で符号化する方法である。一例として、図１０の左側から二番目の列に含まれる点の場合、Ｄ０の上方に一番目、四番目の位置に点が存在し、二番目と三番目の位置は空いているため、０ｂ１００１（＝９）のＥＤＤ ｃｏｄｅで示される。Ｄ０と共にＥＤＤ ｃｏｄｅを符号化して送信すると、受信端ではすべての点のジオメトリ情報を損失なく復元することができる。
例えば、基準点上にポイントが存在すれば１であり、ポイントが存在しなければ０となり、４つのビットに基づいてコードが表現される。
平滑化（Ｓｍｏｏｔｈｉｎｇ）４０００４
平滑化は、圧縮プロセスから生じる画質の劣化によりパット境界面で発生し得る不連続性を除去する作業であり、以下のようなプロセスにより、ポイントクラウドビデオエンコーダ又は平滑化部で行われる。
（１） ジオメトリイメージよりポイントクラウドを再生成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）する。本プロセスは、上述したジオメトリイメージ生成の逆過程といえる。例えば、符号化の逆過程が再生成である。
（２） Ｋ－Ｄ ｔｒｅｅなどを用いて再生成されたポイントクラウドを構成する各点の隣接点を算出する。
（３） 各点に対して、その点がパッチ境界面に位置するか否かを判断する。一例として、現在点とは異なるプロジェクション平面（ｃｌｕｓｔｅｒ ｉｎｄｅｘ）を有する隣接点が存在する場合、その点はパッチの境界面に位置していると判断できる。
（４） パッチ境界面が存在する場合、その点を隣接点の重心（隣接点の平均ｘ、ｙ、ｚ座標に位置）へ移動させる。即ち、ジオメトリ値を変更する。存在しない場合には以前のジオメトリ値を維持する。
図１１は実施例による隣接点の色（ｃｏｌｏｒ）値を用いた復色（ｒｅｃｏｌｏｒｉｎｇ）の一例を示す。
実施例によるポイントクラウドビデオエンコーダ又はテキスチャーイメージ生成４０００３は、復色に基づいてテキスチャーイメージを生成することができる。
テキスチャーイメージ生成（Ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ）４０００３
テキスチャーイメージ生成のプロセスは、上述したジオメトリイメージ生成のプロセスと同様に、個別パッチのテキスチャーイメージを生成し、これらを決められた位置に配置することで、全体のテキスチャーイメージを生成するプロセスからなる。ただし、個別パッチのテキスチャーイメージを生成するプロセスにおいて、ジオメトリ生成のための深さ値に代わってその位置に対応するポイントクラウドを構成する点の色値（ｅ．ｇ． Ｒ、Ｇ、Ｂ）を有するイメージが生成される。
ポイントクラウドを構成する各点の色値を求めるプロセスにおいて、上述した平滑化のプロセスを経たジオメトリが用いられる。平滑化されたポイントクラウドはオリジナルポイントクラウドにおいて一部点の位置が移動した状態である可能性があるため、変更された位置に適する色を探す復色のプロセスが必要となる。復色は隣接点の色値を用いて行われる。一例として、図１１のように、新たな色値は最隣接点の色値と隣接点の色値を考慮して算出できる。
例えば、図１１を参照すれば、復色はポイントに対する最も近いオリジナルポイントの特質情報の平均及び／またはポイントに対する最も近いオリジナル位置の特質情報の平均に基づいて変更された位置の適する色値を算出する。
テキスチャーイメージもまた、ｄ０／ｄ１の２つのレイヤで生成されるジオメトリイメージのように、ｔ０／ｔ１の２つのレイヤで生成される。
付加パッチ情報圧縮（Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎ）４０００５
実施例によるポイントクラウドビデオエンコーダ１０００２または付加パッチ情報圧縮部４０００５は、付加パッチ情報（ポイントクラウドに関する付加的な情報）を圧縮することができる。
付加パッチ情報圧縮部４０００５は、上述したパッチ生成、パッチパッキング、ジオメトリ生成のプロセスなどで生成した付加パッチ情報を圧縮する。付加パッチ情報には以下のようなパラメータが含まれる：
プロジェクション（ｐｒｏｊｅｃｔｉｏｎ）平面（ｎｏｒｍａｌ）を識別するインデックス（ｃｌｕｓｔｅｒ ｉｎｄｅｘ）
パッチの３Ｄ空間位置：パッチのタンジェント方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ）、パッチのバイタンジェント方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ）、パッチのノーマル方向最小値（ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ）
パッチの２Ｄ空間位置、サイズ：水平方向サイズ（ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ）、垂直方向サイズ（ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ）、水平方向最小値（ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ）、垂直方向最小値（ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ）
各々のブロックとパッチのマッピング情報：候補インデックス（ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ）（上述したパッチの２Ｄ空間位置、サイズ情報に基づいてパッチを順に位置させた場合、１つのブロックに重複して複数のパッチがマップされることがある。このとき、マップされるパッチが候補リストを構成し、このリストの何番目のパッチのデータが該当ブロックに存在するかを示すインデックス）、ｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘ（フレームに存在する全体のパッチのうちの１つを示すインデックス）。 Ｔａｂｌｅ １は、ｃａｎｄｉｄａｔｅ ｌｉｓｔとｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘを用いたブロックとパッチのマッチングプロセスを示す疑似コード（ｐｓｅｕｄｏ ｃｏｄｅ）である。
候補リストの最大数はユーザによって定義される。
Figure 2023509190000005
図１２は実施例によるプッシュ－プルバックグラウンドフィリング（ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ）の一例を示す。
イメージパディング及びグループ拡張（Ｉｍａｇｅ ｐａｄｄｉｎｇ ａｎｄ ｇｒｏｕｐ ｄｉｌａｔｉｏｎ）４０００６、４０００７、４０００８
実施例によるイメージパッダは、プッシュ－プルバックグラウンドフィリング方式に基づいてパッチ領域以外の空間を意味のない付加的なデータで満たすことができる。
イメージパディングは、圧縮効率の向上を目的として、パッチ領域以外の空間を意味のないデータで満たすプロセスである。イメージパディングのために、パッチ内部の境界面側に該当する列または行のピクセル値がコピーされて空き空間を満たす方法が用いられる。または、図１２のように、パッドされないイメージの解像度を段階的に減らし、再び解像度が高めるプロセスにおいて低い解像度のイメージからのピクセル値で空き空間を満たすプッシュプルバックグラウンドフィリング（ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ）方法が用いられてもよい。
グループ拡張（Ｇｒｏｕｐ ｄｉｌａｔｉｏｎ）は、ｄ０／ｄ１、ｔ０／ｔ１の２つのレイヤからなるジオメトリ、テキスチャーイメージの空き空間を満たす方法であって、上述したイメージパディングによって算出された２つのレイヤの空き空間の値を、２つのレイヤの同一位置に対する値の平均値で満たすプロセスである。
図１３は実施例による４＊４サイズのブロック（ｂｌｏｃｋ）に対して可能なトラバーサルオーダー（ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ）の一例を示す。
占有マップ圧縮（Ｏｃｃｕｐａｎｃｙ ｍａｐ ｃｏｍｐｒｅｓｓｉｏｎ）４００１２、４００１１
実施例による占有マップ圧縮は、上述した占有マップを圧縮するプロセスであって、損失（ｌｏｓｓｙ）圧縮のためのビデオ圧縮（ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）とロスレス（ｌｏｓｓｌｅｓｓ）圧縮のためのエントロピー圧縮（ｅｎｔｒｏｐｙ ｃｏｍｐｒｅｓｓｉｏｎ）との２つの方法がある。ビデオ圧縮は後述する。
エントロピー圧縮のプロセスは、以下のように行われる。
（１） 占有マップを構成する各々のブロックに対して、すべてのブロックが満たされた場合に１を符号化し、次のブロックに同じプロセスを繰り返す。そうではない場合には０を符号化し、（２）～（５）のプロセスを行う。
（２） ブロックの満たされたピクセルに対してランレングス符号化（ｒｕｎ－ｌｅｎｇｔｈ ｃｏｄｉｎｇ）を行うためのｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを決定する。図１３は、４＊４サイズのブロックに対して可能な４つのｔｒａｖｅｒｓａｌ ｏｒｄｅｒを一例として示す。
図１４は実施例によるベストトラバーサルオーダーの一例を示す。
上述のように、実施例によるエントロピー圧縮部４００１２は、図１４のように、トラバーサルオーダー方式に基づいてブロックをコーティング（符号化）することができる。
例えば、可能なトラバーサルオーダーのうち、最小のラン（ｒｕｎ）数を有するｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを選択し、そのインデックスを符号化する。一例として、上述した図１３の３番目のトラバーサルオーダーを選択する場合であり、この場合、ｒｕｎ数は２と最小化でき、これをベストトラバーサルオーダー（ｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ）として選択する。
ｒｕｎ数を符号化する。図１４の例では、２つのｒｕｎが存在することから、２を符号化する。
（４） １番目のｒｕｎの占有（ｏｃｃｕｐａｎｃｙ）を符号化する。図１４の例では、１番目のｒｕｎが満たされていないピクセルに該当するため、０を符号化する。
（５） 個別のｒｕｎに対する（ｒｕｎの数分だけの）長さ（ｌｅｎｇｔｈ）を符号化する。図１４の例では、１番目のｒｕｎと２番目のｒｕｎの長さである６と１０を順次に符号化する。
ビデオ圧縮（Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）４０００９、４００１０、４００１１
実施例によるビデオ圧縮部は、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデック（ｖｉｄｅｏ ｃｏｄｅｃ）などを用いて、上述したプロセスで生成されたジオメトリイメージ、テキスチャーイメージ、占有マップイメージなどのシーケンスを符号化する。
図１５は実施例による２Ｄビデオ／イメージエンコーダ（２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ Ｅｎｃｏｄｅｒ）の一例を示す。
図１５は、上述したビデオ圧縮（Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）４０００９、４００１０、４００１１又はビデオ圧縮部の実施例であって、ビデオ／映像信号の符号化が行われる２Ｄビデオ／イメージエンコーダ１５０００の概略的なブロック図である。２Ｄビデオ／イメージエンコーダ１５０００は、上述したポイントクラウドビデオエンコーダに含まれてもよく、又は内部／外部のコンポーネントで構成されてもよい。図１５の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
ここで、入力映像は、上述したジオメトリーイメージ、テキスチャーイメージ（特質イメージ）、占有マップイメージなどを含む。ポイントクラウドビデオエンコーダの出力ビットストリーム（即ち、ポイントクラウドビデオ／イメージビットストリーム）は、各々の入力映像（ジオメトリーイメージ、テキスチャーイメージ（特質イメージ）、占有マップイメージなど）に対する出力ビットストリームを含む。
インター予測部１５０９０及びイントラ予測部１５１００を合わせて予測部と呼ぶ。即ち、予測部は、インター予測部１５０９０及びイントラ予測部１５１００を含む。変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０は残余（ｒｅｓｉｄｕａｌ）処理部に含まれる。残余処理部は、減算部１５０２０を更に含んでもよい。図１５の映像分割部１５０１０、減算部１５０２０、変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０、加算部１５５、フィールタリング部１５０７０、インター予測部１５０９０、イントラ予測部１５１００及びエントロピー符号化部１５１１０は、実施例によれば、１つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で構成される。また、メモリ１５０８０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み、デジタル記憶媒体によって構成される。
映像分割部１５０１０は、符号化装置１５０００に入力された入力映像（又は、ピクチャー、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割する。一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）とも呼ぶ。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割される。例えば、１つのコーディングユニット、Ｑｕａｄ－ｔｒｅｅ構造及び／又はｂｉｎａｒｙ－ｔｒｅｅ構造に基づいて下位（ｄｅｅｐｅｒ）深さの複数のコーディングユニットに分割される。この場合、例えば、先にＱｕａｄ－ｔｒｅｅが適用されて、その後にｂｉｎａｒｙ－ｔｒｅｅが適用される。又は、ｂｉｎａｒｙ－ｔｒｅｅが先に適用されてもよい。これ以上分割されない最終コーディングユニットに基づいて、本明細書によるコーディング手続きが行われる。この場合、映像の特性に応じたコーディング効率などに基づいて、最大のコーディングユニットが最終符号化ユニットとして用いられてもよく、または必要に応じてコーディングユニットは再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）より下位深さのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここで、コーディング手続きとは、後述する予測、変換、及び復元などの手続きを含む。その他の例として、処理ユニットは予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を更に含んでもよい。この場合、予測ユニット及び変換ユニットのそれぞれは、上述した最終コーディングユニットから分割又はパーティショニングされる。予測ユニットはサンプル予測の単位であり、変換ユニットは変換係数を誘導する単位及び／又は変換係数から残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示す。サンプルは、一般にピクセル又はピクセルの値を示し、輝度（ｌｕｍａ）成分のピクセル／ピクセル値だけを示してもよく、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値だけを示してもよい。サンプルは１つのピクチャー（又は映像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用する。
符号化装置１５０００は、入力映像信号（オリジナルブロック、オリジナルサンプルアレイ）においてインター予測部１５０９０又はイントラ予測部１５１００から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成し、生成した残余信号は変換部１５０３０へ送信される。この場合、図示のように、エンコーダ１５０００内で入力映像信号（オリジナルブロック、オリジナルサンプルアレイ）において予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１５０２０とも呼ばれる。予測部は処理対象ブロック（以下、現在ブロックという）に対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成する。予測部は現在ブロック又はＣＵ単位でイントラ予測を適用するか、又はインター予測を適用するかを決定する。予測部は、各々の予測モードに関して後述するように、予測モード情報などの予測に関する様々な情報を生成してエントロピー符号化部１５１１０に伝送する。予測に関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
イントラ予測部１５１００は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは、予測モードに応じて現在ブロックに隣接（ｎｅｉｇｈｂｏｒ）して位置するか、又は離れて位置する。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードを含む。非方向性モードは、例えばＤＣモード及び平面モード（Ｐｌａｎａｒモード）を含む。方向性モードは、予測方向の精密度に応じて、例えば３３つの方向性予測モード又は６５つの方向性予測モードを含む。ただし、これは例示であって、設定によってその以上又はその以下の方向性予測モードが用いられる。イントラ予測部１５１００の隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定してもよい。
インター予測部１５０９０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測する。動き情報は、動きベクトル及び参照ピクチャーインデックスを含む。動き情報はインター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報を更に含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャーに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む。参照ブロックを含む参照ピクチャーと時間的隣接ブロックを含む参照ピクチャーは同一であってもよく、異なってもよい。時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などと呼ばれ、時間的隣接ブロックを含む参照ピクチャーは、同一位置ピクチャー（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部１５０９０は隣接ブロックに基づいて動き情報の候補リストを構成し、現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出するためにいずれの候補が使用されるかを指示する情報を生成する。様々な予測モードに基づいてインター予測が行われ、例えばスキップモードとマージモードの場合、インター予測部１５０９０は、隣接ブロックの動き情報を現在ブロックの動き情報として用いる。スキップモードの場合、マージモードとは異なり、残余信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測者（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用いて、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで現在ブロックの動きベクトルを指示する。
インター予測部１５０９０又はイントラ予測部１５１００によって生成された予測信号は、復元信号の生成のために用いられるか、残余信号の生成のために用いられる。
変換部１５０３０は残余信号に変換方法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成する。例えば、変換方法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも１つを含む。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換プロセスは、正方形の同一サイズのピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部１５０４０は、変換係数を量子化してエントロピー符号化部１５１１０に送信し、エントロピー符号化部１５１１０は量子化した信号（量子化した変換係数に関する情報）を符号化してビットストリームに出力する。量子化した変換係数に関する情報は残余情報と呼ぶ。量子化部１５０４０は係数スキャン順（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化変換係数を１次元ベクトル形に再整列し、１次元ベクトル形の量子化変換係数に基づいて量子化した変換係数に関する情報を生成することもできる。エントロピー符号化部１５１１０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々な符号化方法を行う。エントロピー符号化部１５１１０は、量子化した変換係数の他にビデオ／イメージの復元に必要な情報（例えば、構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を共にまたは別として符号化する。符号化した情報（ｅｘ． 符号化したビデオ／映像情報）はビットストリームの形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットの単位で送信又は格納される。ビットストリームはネットワークを介して送信されてもよく、デジタル記憶媒体に記憶されてもよい。ここで、ネットワークは放送網及び／又は通信網などを含み、デジタル記憶媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含む。エントロピー符号化部１５１１０から出力された信号を送信する送信部（未図示）及び／又は記憶する記憶部（未図示）が符号化装置１５０００の内部／外部要素として構成されてもよく、または送信部はエントロピー符号化部１５１１０に含まれてもよい。
量子化部１５０４０から出力された量子化した変換係数は、予測信号を生成するために用いられる。例えば、量子化した変換係数に逆量子化部１５０４０及び逆変換部１５０６０によって逆量子化及び逆変換を適用することで、残余信号（残余ブロック又は残余サンプル）を復元する。加算部１５２００は復元された残余信号をインター予測部１５０９０又はイントラ予測部１５１００から出力された予測信号に加えることで、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャー、復元ブロック、復元サンプルアレイ）を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５２００は復元部又は復元ブロック生成部と呼ばれる。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてもよく、後述のようにフィルタリングを経て次のピクチャーのインター予測のために用いられてもよい。
フィルタリング部１５０７０は、復元信号にフィルタリングを適用して、主観的／客観的な画質を向上させることができる。例えば、フィルタリング部１５０７０は、復元ピクチャーに様々なフィルタリング方法を適用して修正した（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成し、修正した復元ピクチャーをメモリ１５０８０、具体的にメモリ１５０８０のＤＰＢに格納する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などがある。フィルタリング部１５０７０は、後述する各々のフィルタリング方法のように、フィルタリングに関する様々な情報を生成してエントロピー符号化部１５１１０へ伝送する。フィルタリングに関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
メモリ１５０８０に格納された修正した（ｍｏｄｉｆｉｅｄ）復元ピクチャーは、インター予測部１５０９０において参照ピクチャーとして用いられる。符号化装置はこれによってインター予測が適用される場合、符号化装置１５０００及び復号装置における予測ミスマッチを避けることができ、符号化の効率を向上させることもできる。
メモリ１５０８０のＤＰＢは、修正した復元ピクチャーをインター予測部１５０９０における参照ピクチャーとして用いるために格納する。メモリ１５０８０は、現在ピクチャー内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元したピクチャー内のブロックの動き情報を格納する。格納した動き情報は空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するためにインター予測部１５０９０に伝送する。メモリ１５０８０は現在ピクチャー内において復元したブロックの復元サンプルを格納して、イントラ予測部１５１００へ伝送する。
なお、上述した予測、変換、量子化の手続きのうちの少なくとも１つを省略してもよい。例えば、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるブロックに対しては、予測、変換、量子化の手続きを省略し、オリジナルサンプルの値をそのまま符号化してビットストリームに出力してもよい。
図１６は実施例によるＶ－ＰＣＣ復号プロセス（ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ）の一例を示す。
Ｖ－ＰＣＣ復号プロセス又はＶ－ＰＣＣデコーダは、図４のＶ－ＰＣＣ符号化プロセス（又はエンコーダ）の逆プロセスとなる。図１６の各構成要素は、ソフトウェア、ハードウェア、プロセッサ、及び／又はそれらの組み合わせに対応する。
デマルチプルクサ（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）１６０００は、圧縮されたビットストリームをデマルチプルクスして圧縮されたテキスチャーイメージ、圧縮されたジオメトリイメージ、圧縮された占有マップイメージ、圧縮された付加パッチ情報をそれぞれ出力する。
ビデオ復元（ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００１、１６００２又はビデオ復元部は、圧縮されたテキスチャーイメージ及び圧縮されたジオメトリイメージのそれぞれを復元（又は復号）する。
占有マップ復元（ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００３又は占有マップ復元部は、圧縮された占有マップを復元する。
付加パッチ情報復元（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００４又は付加パッチ情報復元部は、圧縮された付加パッチ情報を復元する。
ジオメトリ再構成（ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）１６００５又はジオメトリ再構成部は、復元されたジオメトリイメージ、復元された占有マップ、及び／又は復元された付加パッチ情報に基づいて、ジオメトリ情報を復元（再構成）する。例えば、符号化プロセスにおいて変更したジオメトリを再構成する。
平滑化（ｓｍｏｏｔｈｉｎｇ）１６００６又は平滑化部は、再構成されたジオメトリに対して平滑化を適用する。例えば、平滑化フィルタリングが適用される。
テキスチャー再構成（ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）１６００７又はテキスチャー再構成部は、復元されたテキスチャーイメージ及び／又は平滑化されたジオメトリからテキスチャーを再構成する。
色平滑化（ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ）１６００８又は色平滑化部は、再構成されたテキスチャーから色値を平滑化する。例えば、平滑化フィルタリングが適用される。
その結果、再構成されたポイントクラウドデータが生成される。
図１６は、圧縮された占有マップ、ジオメトリイメージ、テキスチャーイメージ、付加パッチ情報を復号してポイントクラウドを再構成するためのＶ－ＰＣＣの復号プロセスを示す。実施例による各プロセスの動作は以下のようである。
ビデオ復元（Ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００１、１６００２
上述したビデオ圧縮の逆プロセスであって、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデックを用いて、上記プロセスで生成されたジオメトリイメージ、テキスチャーイメージ、占有マップイメージなどの圧縮されたビットストリームを復号化する過程である。
図１７は実施例による２Ｄビデオ／イメージデコーダ（２Ｄ Ｖｉｄｅｏ／Ｉｍａｇｅ Ｄｅｃｏｄｅｒ）の一例を示す。
２Ｄビデオ／イメージデコーダは、図１５の２Ｄビデオ／イメージエンコーダの逆過程となる。
図１７の２Ｄビデオ／イメージデコーダは、図１６のビデオ復元部（Ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ ｕｎｉｔ）の実施例であって、ビデオ／映像信号の復号が行われる２Ｄビデオ／イメージデコーダ１７０００の概略なブロック図を示す。２Ｄビデオ／イメージデコーダ１７０００は、図１のポイントクラウドビデオデコーダに含まれてもよく、又は内部／外部コンポーネントで構成されてもよい。図１７の各構成要素は、ソフトウェア、ハードウェア、プロセッサ よび／又はそれらの組み合わせに対応する。
ここで、入力したビットストリームは、上述したジオメトリーイメージ、テキスチャーイメージ（特質イメージ）、占有マップイメージなどに対するビットストリームを含む。復元映像（又は出力映像、復号された映像）は、上述したジオメトリーイメージ、テキスチャーイメージ（特質イメージ）、占有マップイメージに対する復元映像を示す。
図１７を参照すれば、インター予測部１７０７０及びイントラ予測部１７０８０を合わせて予測部と呼ぶ。即ち、予測部はインター予測部１７０７０及びイントラ予測部１７０８０を含む。逆量子化部１７０２０、逆変換部１７０３０を合わせて残余処理部と呼ぶ。即ち、残余処理部は逆量子化部１７０２０、逆変換部１７０３０を含む。上述したエントロピー復号部１７０１０、逆量子化部１７０２０、逆変換部１７０３０、加算部１７０４０、フィルタリング部１７０５０、インター予測部１７０７０及びイントラ予測部１７０８０は、実施例によれば、１つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）によって構成される。また、メモリ１７０はＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含んでもよく、デジタル記憶媒体によって構成されてもよい。
ビデオ／映像情報を含むビットストリームが入力されると、復号装置１７０００は、図１５の符号化装置においてビデオ／映像情報が処理されたプロセスに対応して映像を復元する。例えば、復号装置１７０００は、符号化装置で適用された処理ユニットを用いて復号を行う。よって、復号の処理ユニットは、例えば、コーディングユニットであり、コーディングユニットはコーディングツリーユニット又は最大コーディングユニットからＱｕａｄ－ｔｒｅｅ構造及び／又はｂｉｎａｒｙ－ｔｒｅｅ構造によって分割される。また、復号装置１７０００によって復号されて出力された復元映像信号は再生装置で再生される。
復号装置１７０００は、符号化装置から出力された信号をビットストリームの形式で受信し、受信した信号はエントロピー復号部１７０１０で復号される。例えば、エントロピー復号部１７０１０はビットストリームをパーシングして映像復元（又はピクチャー復元）に必要な情報（ｅｘ．ビデオ／映像情報）を導出する。例えば、エントロピー復号部１７０１０は指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号し、映像復元に必要な構文要素の値、残余に関する変換係数の量子化された値を出力する。より詳細に、ＣＡＢＡＣエントロピー復号方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、復号対象構文要素情報と隣接及び復号対象ブロックの復号情報又は前のステップで復号されたシンボル／ビンの情報を用いて文脈（ｃｏｎｔｅｘｔ）モデルを決定して、決定した文脈モデルに応じてビン（ｂｉｎ）の発生確率を予測し、ビンの算術復号（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って、各構文要素の値に該当するシンボルを生成する。このとき、ＣＡＢＡＣエントロピー復号方法は、文脈モデルを決定した後、次のシンボル／ビンの文脈モデルのために復号されたシンボル／ビンの情報を用いて文脈モデルをアップデートする。エントロピー復号部１７０１０で復号された情報のうち予測に関する情報は、予測部（インター予測部１７０７０及びイントラ予測部１７０８０）に提供され、エントロピー復号部１７０１０でエントロピー復号が行われた残余値、即ち量子化された変換係数及び関連パラメータ情報は、逆量子化部１７０２０へ入力される。また、エントロピー復号部１７０１０で復号された情報のうちフィルタリングに関する情報は、フィルタリング部１７０５０へ提供される。一方、符号化装置から出力された信号を受信する受信部（未図示）が復号装置１７０００の内部／外部要素として更に構成されてもよく、受信部はエントロピー復号部１７０１０の構成要素であってもよい。
逆量子化部１７０２０では量子化された変換係数を量子化して変換係数を出力する。逆量子化部１７０２０は量子化された変換係数を２次元のブロック形に再整列する。この場合、符号化装置で行われた係数スキャン順に基づいて再整列を行う。逆量子化部１７０２０は量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得する。
逆変換部１７０３０では変換係数を逆変換して残余信号（残余ブロック、残余サンプルアレイ）を取得する。
予測部は現在ブロックに対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成する。予測部はエントロピー復号部１７０１０から出力された予測に関する情報に基づいて現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるかを決定して、具体的なイントラ／インター予測モードを決定する。
イントラ予測部２６５は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは予測モードに応じて、現在のブロックに隣接（ｎｅｉｇｈｂｏｒ）して位置してもよく、または離れて位置してもよい。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードとを含む。イントラ予測部２６５は隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定する。
インター予測部１７０７０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードにおいて送信される動き情報の量を減らすために隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測する。動き情報は動きベクトル及び参照ピクチャーインデックスを含む。動き情報はインター予測方法（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報を更に含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャーに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含む。例えば、インター予測部１７０７０は隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて現在ブロックの動きベクトル及び／又は参照ピクチャーインデックスを導出する。様々な予測モードに基づいてインター予測が行われ、予測に関する情報は現在ブロックに対するインター予測のモードを指示する情報を含む。
加算部１７０４０は取得した残余信号をインター予測部１７０７０又はイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることで復元信号（復元ピクチャー、復元ブロック、復元サンプルアレイ）を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。
加算部１７０４０は復元部又は復元ブロック生成部と呼ぶ。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラー予測のために用いられてもよく、後述のように、フィルタリングを経て次のピクチャーのインター予測のためにも用いられてもよい。
フィルタリング部１７０５０は復元信号にフィルタリングを適用して主観的／客観的な画質を向上させる。例えば、フィルタリング部１７０５０は復元ピクチャーに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャーを生成し、修正された復元ピクチャーをメモリ１７０６０、具体的にメモリ１７０６０のＤＰＢに送信する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含む。
メモリ１７０６０のＤＰＢに格納された（修正された）復元ピクチャーは、インター予測部１７０７０において参照ピクチャーとして使用される。メモリ１７０６０は、現在ピクチャー内の動き情報が導出された（又は復号された）ブロックの動き情報及び／又は既に復元されたピクチャー内のブロックの動き情報を格納する。格納された動き情報は空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部１７０７０へ伝送する。メモリ１７０６０は現在ピクチャー内の復元されたブロックの復元サンプルを格納して、イントラ予測部１７０８０へ伝送する。
本明細書において、図１５の符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明した実施例は、復号装置１７０００のフィルタリング部１７０５０、インター予測部１７０７０及びイントラ予測部１７０８０にも同一又は対応する方法が適用できる。
一方、上述した予測、変換、量子化の手続きのうちの少なくとも１つを省略してもよい。例えば、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用されるブロックに対しては、予測、変換、量子化の手続きを省略して、復号されたサンプルの値をそのまま復元映像のサンプルとして使用する。
占有マップ復元（Ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００３
上述した占有マップ圧縮の逆過程であり、圧縮された占有マップビットストリームを復号して占有マップを復元するプロセスである。
付加パッチ情報復元（Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１６００４
上述した付加パッチ情報圧縮の逆過程であり、圧縮された付加パッチ情報ビットストリームを復号して付加パッチ情報を復元するプロセスである。
ジオメトリ再構成（Ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）１６００５
上述したジオメトリイメージ生成の逆過程である。まず、復元された占有マップと付加パッチ情報に含まれるパッチの２Ｄ位置／サイズ情報及びブロックとパッチとのマッピング情報を用いてジオメトリイメージからパッチを抽出する。この後、抽出したパッチのジオメトリイメージと付加パッチ情報に含まれるパッチの３Ｄ位置情報を用いて、ポイントクラウドを３Ｄ空間上に復元する。１つのパッチ内に存在する任意の点（ｕ、ｖ）に該当するジオメトリ値をｇ（ｕ、ｖ）といい、パッチの３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値を（ｄ０、ｓ０、ｒ０）とするとき、点（ｕ、ｖ）にマップされる３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値であるｄ（ｕ、ｖ）、ｓ（ｕ、ｖ）、ｒ（ｕ、ｖ）は、以下のように示される。
ｄ（ｕ，ｖ） ＝ ｄ０ ＋ ｇ（ｕ、ｖ）
ｓ（ｕ，ｖ） ＝ ｓ０ ＋ ｕ
ｒ（ｕ，ｖ） ＝ ｒ０ ＋ ｖ
平滑化（Ｓｍｏｏｔｈｉｎｇ）１６００６
上述した符号化プロセスにおける平滑化と同様であり、圧縮プロセスで発生する画質の劣化によりパッチ境界面から生じ得る不連続性を除去するためのプロセスである。
テキスチャー再構成（Ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）１６００７
平滑化されたポイントクラウドを構成する各点に色値を与えて色ポイントクラウドを復元するプロセスである。上述したジオメトリ再構成のプロセスで再構成されたジオメトリイメージとポイントクラウドのマッピング情報を用いて、２Ｄ空間でジオメトリイメージと同一位置のテキスチャーイメージピクセルに該当する色値を、３Ｄ空間で同一位置に対応するポイントクラウドの点に付与することで行われる。
色平滑化（Ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ）１６００８
上述したジオメトリ平滑化のプロセスと類似し、圧縮プロセスから発生する画質の劣化によってパッチ境界面から生じ得る色値の不連続性を除去するためのプロセスである。色平滑化は、以下のように行われる。
（１） Ｋ－Ｄ ｔｒｅｅなどを用いて復元された色ポイントクラウドを構成する各点の隣接点を算出する。上述したジオメトリ平滑化のプロセスで算出された隣接点情報をそのまま用いてもよい。
（２） 各点に対して、その点がパッチ境界面に位置しているか否かを判断する。上述したジオメトリ平滑化のプロセスで算出された境界面情報をそのまま用いてもよい。
（３） 境界面に存在する点の隣接点に対して、色値の分布を調べて平滑化を行うかどうかを判断する。一例として、輝度値のエントロピーが境界値（ｔｈｒｅｓｈｏｌｄ ｌｏｃａｌ ｅｎｔｒｙ）以下である場合（類似する輝度値が多い場合）、エッジ部分ではないと判断して平滑化を行う。平滑化の方法としては、隣接点の平均値でその点の色値を置き換える方法がある。
図１８は実施例による送信装置の動作の流れの一例を示す。
実施例による送信装置は、図１の送信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行ってもよい。送信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
Ｖ－ＰＣＣを用いたポイントクラウドデータの圧縮及び送信のための送信端の動作は図に示めすようである。
実施例によるポイントクラウドデータ送信装置は、送信装置などと呼ばれる。
パッチ生成部１８０００は、まず、ポイントクラウドの２Ｄイメージマッピングのためのパッチ（ｐａｔｃｈ）を生成する。パッチ生成の結果物として付加パッチ情報が生成され、生成された情報は、ジオメトリイメージ（ｇｅｏｍｅｔｒｙ ｉｍａｇｅ）生成、テキスチャーイメージ（ｔｅｘｔｕｒｅ ｉｍａｇｅ）生成、平滑化（ｓｍｏｏｔｈｉｎｇ）のためのジオメトリの復元過程に用いられる。
パッチパッキング部１８００１は、生成されたパッチを２Ｄイメージ内にマップするパッチパッキングの過程を経る。パッチパッキングの結果物として占有マップ（ｏｃｃｕｐａｎｃｙ ｍａｐ）が生成され、占有マップは、ジオメトリイメージ生成、テキスチャーイメージ生成、平滑化のためのジオメトリの復元過程に用いられる。
ジオメトリイメージ生成部１８００２は、付加パッチ情報と占有マップを用いてジオメトリイメージを生成し、生成されたジオメトリイメージは、ビデオ符号化により１つのビットストリーム（ｂｉｔｓｔｒｅａｍ）に符号化される。
符号化前処理１８００３は、イメージパーディングを含む。生成されたジオメトリイメージ又は符号化されたジオメトリビットストリームを復号化して再生成されたジオメトリイメージは、３次元ジオメトリの復元に用いられ、その後、平滑化の過程を経る。
テキスチャーイメージ生成部１８００４は、（平滑化された）３次元ジオメトリとポイントクラウド、付加パッチ情報及び占有マップを用いてテキスチャーイメージを生成する。生成されたテキスチャーイメージは、１つのビデオビットストリームに符号化される。
メタデータ符号化部１８００５は、付加パッチ情報を１つのメタデータビットストリームに符号化する。
ビデオ符号化部１８００６は、占有マップを１つのビデオビットストリームに符号化する。
多重化部１８００７は、生成されたジオメトリ、テキスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームを１つのビットストリームに多重化する。
送信部１８００８は、ビットストリームを受信端に送信する。又は、生成されたジオメトリ、テキスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームを１つ以上のトラックデータとしてファイルで生成されるか、セグメントでカプセル化されて送信部を介して受信端に送信される。
図１９は実施例による受信装置の動作の流れの一例を示す。
実施例による受信装置は、図１の受信装置、図１６の復号プロセス、図１７の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行う。受信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び／又はそれらの組み合わせに対応する。
図１９は、Ｖ－ＰＣＣを用いたポイントクラウドデータの受信及び復元のための受信端の動作過程を示す。Ｖ－ＰＣＣ受信端の動作は、図１８のＶ－ＰＣＣ送信端の動作の逆過程に従う。
実施例によるポイントクラウドデータ受信装置は、受信装置などと呼ばれる。
受信されたポイントクラウドのビットストリームは、ファイル／セグメントデカプセル化後に圧縮されたジオメトリイメージ、テキスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームに逆多重化部１９０００によって逆多重化される。ビデオ復号化部１９００１とメタデータ復号化部１９００２は、逆多重化されたビデオビットストリームとメタデータビットストリームを復号化する。ジオメトリ復元部１９００３によって復号化されたジオメトリイメージと占有マップ及び付加パッチ情報を用いて３次元ジオメトリが復元され、この後、平滑化部１９００４によって平滑化の過程を経る。平滑化された３次元ジオメトリにテキスチャーイメージを用いて色値を付与することで、色ポイントクラウド映像／ピクチャーがテキスチャー復元部１９００５によって復元される。この後、客観的／主観的な視覚品質を向上させるために、色平滑化（ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ）の過程を更に行ってもよく、これにより導出された修正された（ｍｏｄｉｆｉｅｄ）ポイントクラウド映像／ピクチャーはレンダリングにより（ｅｘ． ｂｙポイントクラウドレンダー）を介してユーザに見せられる。一方、色平滑化は、場合によっては省略してもよい。
図２０は実施例によるＶ－ＰＣＣベースのポイントクラウドデータの格納及びストリーミングのためのアーキテクチャの一例を示す。
図２０のシステムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、及び／又は図１９の受信装置などの一部／全部を含む。図面の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及びそれらの組み合わせに対応する。
図２０ないし図２２は、実施例による送受信装置にシステムが更に連結された構造を示す。実施例による送受信装置及びシステムを合わせて実施例による送受信装置と呼ぶ。
図２０ないし図２２に示す実施例による装置は、図１８などによる送信装置は符号化されたポイントクラウドデータを含むビットストリームを送信するためのデータフォーマットに適するコンテナを生成する。
実施例によるＶ－ＰＣＣシステムは、ポイントクラウドデータを含むコンテナを生成し、効率的な送受信のために必要な付加のデータをコンテナに追加してもよい。
実施例による受信装置は、図２０ないし図２２のようなシステムに基づいてコンテナを受信してパーシングする。図１９などによる受信装置は、パーシングされたビットストリームからポイントクラウドデータを復号して復元する。
図２０ないし図２２は、ビデオベースポイントクラウド圧縮（Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ（Ｖ－ＰＣＣ））に基づいて圧縮されるポイントクラウドデータを格納又はストリーミングのための全体のアーキテクチャを示す。ポイントクラウドデータの格納及びストリーミングの過程は、取得過程、符号化過程、送信過程、復号過程、レンダリング過程及び／又はフィードバック過程を含む。
実施例は、ポイントクラウドメディア／コンテンツ／データを効率的に提供する方法を提案する。
ポイントクラウド取得部２００００は、ポイントクラウドメディア／コンテンツ／データを効率的に提供するために、まず、ポイントクラウドビデオを取得する。例えば、１つ以上のカメラによって、ポイントクラウドのキャプチャー、合成又は生成プロセスなどを通じてポイントクラウドデータを取得することができる。この取得プロセスにより、各ポイントの３Ｄ位置（ｘ、ｙ、ｚ位置値などで示され、以下、ジオメトリと呼ぶ）、各ポイントの属性（色、反射率、透明度など）を含むポイントクラウドビデオを取得することができる。また、取得したポイントクラウドビデオはこれを含む、例えば、ＰＬＹ（Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ）ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいてポイントクラウド関連メタデータ（例えば、キャプチャーなどに関連するメタデータなど）を生成する。
キャプチャーしたポイントクラウドビデオは、コンテンツの品質を向上させるための後処理が必要となる場合がある。映像キャプチャーのプロセスにおいて、カメラ装備が提供する範囲内で最大／最小の深さ値を調整してもよいが、調整後にも所望しない領域のポイントデータが含まれることがあるため、所望しない領域（例えば、背景）を除去したり、連結された空間を認識して穴（ｓｐａｔｉａｌ ｈｏｌｅ）を埋めたりする後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは校正によって取得された各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセスにより１つのコンテンツに統合してもよい。これにより、ポイントの密度の高いポイントクラウドビデオを取得することができる。
ポイントクラウド前処理部（ｐｏｉｎｔ ｃｌｏｕｄ ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）２０００１は、ポイントクラウドビデオを１つ以上のピクチャー（ｐｉｃｔｕｒｅ）／フレーム（ｆｒａｍｅ）で生成することができる。ここで、ピクチャー（ｐｉｃｔｕｒｅ）／フレーム（ｆｒａｍｅ）は、一般に特定の時間帯の１つの映像を示す単位を意味する。ポイントクラウドビデオを構成する点を１つ以上のパッチ（ポイントビデオを構成する点の集合であって、同一のパッチに属する点は３次元空間上で互いに隣接していて、２Ｄイメージへのマッピング過程において６面の境界ボックス平面のうち同じ方向にマップされる点の集合）に分けて２Ｄ平面にマップする際に、２Ｄ平面のその位置にデータが存在するか否かを０または１の値で知らせる２進マップ（ｂｉｎａｒｙ ｍａｐ）である占有マップピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の位置情報（ｇｅｏｍｅｔｒｙ）をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャーピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどのパッチに関する情報を含む。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリーム又はメタデータストリームを構成することができる。
ポイントクラウドビデオエンコーダ２０００２は、ポイントクラウドビデオに関連する１つ以上のビデオストリームに符号化することができる。１つのビデオは複数のフレームを含み、１つのフレームは停止映像／ピクチャーに対応する。本明細書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャーを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用することがある。ポイントクラウドビデオエンコーダは、ビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）の手続きを行う。ポイントクラウドビデオエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手続きを行うことができる。符号化されたデータ（符号化されたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドビデオエンコーダは、後述のように、ジオメトリビデオ、特質（ａｔｔｒｉｂｕｔｅ）ビデオ、占有（ｏｃｃｕｐａｎｃｙ）マップビデオ、またメタデータ、例えば、パッチに関する情報に分けて符号化する。ジオメトリビデオはジオメトリイメージを含み、特質（ａｔｔｒｉｂｕｔｅ）ビデオは特質イメージを含み、占有（ｏｃｃｕｐａｎｃｙ）マップビデオは占有マップイメージを含む。付加情報であるパッチデータは、パッチに関する情報を含む。特質ビデオ／イメージは、テキスチャービデオ／イメージを含む。
ポイントクラウドイメージエンコーダ２０００３は、ポイントクラウドビデオに関連する１つ以上のイメージに符号化することができる。ポイントクラウドイメージエンコーは、ビデオベースポイントクラウド圧縮（Ｖ－ＰＣＣ）の手続きを行う。ポイントクラウドイメージエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手続きを行うことができる。符号化されたイメージは、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドイメージエンコーダは、後述のように、ジオメトリイメージ、特質（ａｔｔｒｉｂｕｔｅ）イメージ、占有（ｏｃｃｕｐａｎｃｙ）マップイメージ、またメタデータ、例えば、パッチに関する情報に分けて符号化することができる。
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＰＣＣビットストリーム（Ｇ－ＰＣＣ及び／又はＶ－ＰＣＣビットストリーム）を生成することができる。
実施例によれば、ビデオエンコーダ２００２、イメージエンコーダ２０００２、ビデオ復号２０００６、イメージ復号は、上述のように、１つのエンコーダ／デコーダによって行われてもよく、図示のように、別の経路によって行われてもよい。
カプセル化（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ）２０００４は、符号化されたポイントクラウドデータ及び／又はポイントクラウドに関連するメタデータをファイルまたはストリーミングのためのセグメントなどの形式でカプセル化することができる。ここで、ポイントクラウドに関連するメタデータは、メタデータ処理部などから伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオ／イメージエンコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。カプセル化処理部は、そのビデオ／イメージ／メタデータをＩＳＯＢＭＦＦなどのファイルフォーマットでカプセル化するか、ＤＡＳＨセグメントなどの形式で処理する。カプセル化処理部は、実施例によれば、ポイントクラウドに関連するメタデータをファイルフォーマット上に含ませる。ポイントクラウドメタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス（ｂｏｘ）に含まれるか、ファイル内において別のトラック内のデータに含まれる。実施例によれば、カプセル化処理部は、ポイントクラウド関連メタデータそのものをファイルにカプセル化することができる。
実施例によるカプセル化又はカプセル化部は、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリームをファイル内の１つ又は複数のトラックに分割して格納し、そのためのシグナル情報も共にカプセル化する。また、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に含まれているアトラスストリームをファイル内のトラックに格納し、関連するシグナル情報を格納する。更に、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナル情報を格納する。
送信処理部は、ファイルフォーマットに応じてカプセル化されたポイントクラウドデータに送信のための処理を施す。送信処理部は、送信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドデータを処理することができる。送信のための処理には、放送網を介した伝送のための処理、ブロードバンドを介した伝送のための処理を含む。実施例によれば、送信処理部は、ポイントクラウドデータだけではなく、メタデータ処理部からポイントクラウド関連メタデータが伝送され、これに送信のための処理を施してもよい。
送信部は、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントをデジタル記憶媒体又はネットワークを介して受信装置の受信部へ伝送することができる。送信のために、任意の送信プロトコルによる処理が行われる。送信のために処理されたデータは、放送網及び／又はブロードバンドを介して伝送される。このデータは、オンデマンド（Ｏｎ Ｄｅｍａｎｄ）方式で受信側に伝送される。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々なものが含まれる。送信部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含み、放送／通信ネットワークを介した送信のための要素を含んでもよい。受信部はビットストリームを抽出して復号装置に送信する。
受信部は、本明細書によるポイントクラウドデータ送信装置が送信したポイントクラウドデータを受信することができる。送信されるチャンネルに応じて、受信部は、放送網を介してポイントクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを受信してもよい。または、デジタル記憶媒体を介してポイントクラウドビデオデータを受信してもよい。受信部は、受信したデータを復号し、これをユーザのビューポートなどに応じてレンダリングしてもよい。
受信処理部は、受信されたポイントクラウドビデオデータに対して送信プロトコルによる処理を行う。受信処理部は、受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われたことに対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドビデオをデカプセル化処理部へ伝送し、取得したポイントクラウドに関連するメタデータはメタデータ分析部へ伝送する。
デカプセル化処理部（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ）２０００５は、受信処理部から送信されたファイル形式のポイントクラウドデータをデカプセル化することができる。デカプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビットストリーム又はポイントクラウド関連メタデータ（又は、別のメタデータビットストリーム）を取得することができる。取得したポイントクラウドビットストリームは、ポイントクラウドデコーダに、取得したポイントクラウド関連メタデータ（又は、メタデータビットストリーム）はメタデータ処理部に伝送する。ポイントクラウドビットストリームは、メタデータ（メタデータビットストリーム）を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダに含まれてもよく、又は別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックス又はトラックの形式であってもよい。デカプセル化処理部は、必要のある場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウド関連メタデータは、ポイントクラウドデコーダに伝送され、ポイントクラウド復号に用いられるか、又はレンダーに伝送され、ポイントクラウドレンダリングに用いられる。
ポイントクラウドビデオデコーダ２０００６は、ビットストリームを受信してポイントクラウドビデオエンコーダの動作に対応する動作を行うことでビデオ／映像を復号することができる。この場合、ポイントクラウドビデオデコーダは、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質（ａｔｔｒｉｂｕｔｅ）ビデオ、占有（ｏｃｃｕｐａｎｃｙ）マップビデオ、また付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ）に分けて復号することができる。ジオメトリビデオはジオメトリイメージを含み、特質（ａｔｔｒｉｂｕｔｅ）ビデオは特質イメージを含み、占有（ｏｃｃｕｐａｎｃｙ）マップビデオは占有マップイメージを含む。付加情報は、付加パッチ情報（ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ）を含む。特質ビデオ／イメージはテキスチャービデオ／イメージを含む。
復号されたジオメトリビデオ／イメージと占有マップ及び付加パッチ情報を用いて３Ｄジオメトリが復元され、その後に平滑化処理を行う。平滑化された３Ｄジオメトリに、テクスチャーイメージを用いて色値を付与することで、色ポイントクラウド映像／ピクチャーが復元される。レンダラーは、復元されたジオメトリ、色ポイントクラウド映像／ピクチャーをレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部でディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイ又は一般のディスプレイなどによってレンダリングされた結果の全部又は一部の領域を見ることができる。
センシング／トラッキング部（Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ）２０００７は、ユーザ又は受信側からオリエンテーション情報及び／又はユーザビューポート情報を取得して受信部及び／又は送信部に送信する。オリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報を示したり、ユーザが見ている装置の位置、角度、動きなどに関する情報を示すことができる。この情報に基づいて、現在ユーザが３Ｄ空間で見ている領域に関する情報、即ちビューポート情報を算出することができる。
ビューポート情報は、現在ユーザが３Ｄ空間において装置又はＨＭＤなどを介して見ている領域に関する情報であってもよい。ディスプレイなどの装置は、オリエンテーション情報、装置が支援する垂直（ｖｅｒｔｉｃａｌ）又は水平（ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいてビューポート領域を抽出することができる。オリエンテーション又はビューポート情報は、受信側で抽出又は算出することができる。受信側で分析したオリエンテーション又はビューポート情報は、フィードバックチャンネルを介して送信側へ伝送されてもよい。
受信部は、センシング／トラッキング部によって取得されたオリエンテーション情報及び／又はユーザが現在見ている領域を示すビューポート情報を使用して、特定の領域、即ちオリエンテーション情報及び／又はビューポート情報が示す領域のメディアデータだけを効率的にファイルから抽出又は復号することができる。また、送信部は、センシング／トラッキング部によって取得されたオリエンテーション情報及び／又はビューポート情報を使用して特定の領域、即ちオリエンテーション情報及び／又はビューポート情報が示す領域のメディアデータだけを効率的に符号化したり、ファイルを生成及び送信することができる。
レンダラーは、３Ｄ空間上に復号されたポイントクラウドデータをレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイ又は一般のディスプレイなどを介してレンダリングされた結果の全部又は一部の領域を見ることができる。
フィードバックプロセスは、レンダリング／ディスプレイのプロセスから取得し得る様々なフィードバック情報を送信側に送信するか、又は受信側のデコーダに送信することを含む。フィードバックプロセスによって、ポイントクラウドデータの消費において相互作用（ｉｎｔｅｒａｃｔｉｖｉｔｙ）を提供することができる。実施例によれば、フィードバックプロセスにおいて、ヘッドオリエンテーション（Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などを伝送することができる。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境において具現されたものと相互作用することができるが、この場合、相互作用に関する情報をフィードバックプロセスにおいて送信側及びサービス供給者側に伝送することもできる。実施例によれば、フィードバックプロセスは省略してもよい。
実施例によれば、上述したフィードバック情報は、送信側に伝送されるだけではなく、受信側で消費することもできる。即ち、上述したフィードバック情報を用いて受信側のデカプセル化処理、復号、レンダリングなどのプロセスが行われる。例えば、オリエンテーション情報及び／又はビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドデータを優先してデカプセル化、復号及びレンダリングしてもよい。
図２１は実施例によるポイントクラウドデータの格納及び送信装置の構成の一例を示す。
図２１は実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置及び／又は図１９の受信装置などの一部／全部を含むことができる。また、図２０のシステムの一部／全部に含まれるか、対応される。
実施例によるポイントクラウドデータ送信装置は、図面のように構成される。送信装置の各構成要素は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどである。
ポイントクラウドのジオメトリ、特質、付加データ（または付加情報）、メッシュデータなどは、それぞれ独立したストリームで構成されるか、またはファイルにおいてそれぞれ異なるトラックに格納されてもよい。更に、別のセグメントに含まれてもよい。
ポイントクラウド取得部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ）２１０００は、ポイントクラウドを取得する。例えば、１つ以上のカメラを介してポイントクラウドのキャプチャー、合成または生成プロセスなどによりポイントクラウドデータを取得することができる。このような取得プロセスにより、各ポイントの３Ｄ位置（ｘ、ｙ、ｚ位置値などで示され、以下、これをジオメトリと呼ぶ）、各ポイントの属性（色、反射率、透明度など）を含むポイントクラウドデータを取得することができ、これを含む、例えば、ＰＬＹ（Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ）ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいて、ポイントクラウド関連メタデータ（例えば、キャプチャーなどに関連するメタデータなど）を生成することができる。
パッチ生成（Ｐａｔｃｈ Ｇｅｎｅｒａｔｉｏｎ）２１００２又はパッチ生成部は、ポイントクラウドデータからパッチを生成する。パッチ生成部は、ポイントクラウドデータ又はポイントクラウドビデオを１つ以上のピクチャー（ｐｉｃｔｕｒｅ）／フレーム（ｆｒａｍｅ）で生成する。一般に、ピクチャー（ｐｉｃｔｕｒｅ）／フレーム（ｆｒａｍｅ）は、特定の時間帯の１つの映像を示す単位を意味する。ポイントクラウドビデオを構成する点を１つ以上のパッチ（ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３次元空間において互いに隣接しており、２Ｄイメージへのマッピングプロセスにおいて６面の境界ボックス平面のうち同じ方向にマップされる点の集合）に分けて２Ｄ平面にマップする際、２Ｄ平面のその位置にデータが存在するか否かを０または１の値で知らせる２進マップ（ｂｉｎａｒｙ ｍａｐ）である占有（ｏｃｃｕｐａｎｃｙ）マップピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の位置情報（ｇｅｏｍｅｔｒｙ）をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成することができる。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャーピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどパッチに関する情報を含んでもよい。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリームまたはメタデータストリームを構成することができる。
また、パッチは、２Ｄイメージマッピングのために使用してもよい。例えば、ポイントクラウドデータが立方体の各面にプロジェクトされる。 パッチ生成後、生成されたパッチに基づいて、ジオメトリイメージ、１つ又はそれ以上の特質イメージ、占有マップ、付加データ及び／又はメッシュデータなどを生成することができる。
前処理部又は制御部（ｃｏｎｔｒｏｌｌｅｒ）によって、ジオメトリイメージ生成部（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ）、特質イメージ生成部（Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ）、占有マップ生成部（Ｏｃｃｕｐａｎｃｙ Ｍａｐ Ｇｅｎｅｒａｔｉｏｎ）、付加データ生成部（Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）及び／又はメッシュデータ生成部（Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）が行われる。
ジオメトリイメージ生成部（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ）２１００２は、パッチ生成の結果物に基づいてジオメトリイメージを生成する。ジオメトリは、３Ｄ空間上のポイントを示す。パッチに基づいてパッチの２Ｄイメージパッキングに関連する情報を含む占有マップ、付加データ（パッチデータ）及び／又はメッシュデータなどを使用して、ジオメトリイメージを生成する。ジオメトリイメージは、パッチ生成後に生成されたパッチの深さ（ｅ．ｇ．、近さ、遠さ）などの情報に関連する。
特質イメージ生成部（Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ）２１００３は、特質イメージを生成する。例えば、特質はテキスチャー（Ｔｅｘｔｕｒｅ）を示す。テキスチャーは、各々のポイントに対応する色値である。実施例によれば、テキスチャーを含む複数（Ｎ個）の特質（色、反射率などの属性）イメージを生成する。複数の特質は、マテリアル（材質に関する情報）、反射率などを含む。また、実施例によれば、特質は、同じテキスチャーでも視覚、光によって色が変わる情報を更に含む。
占有マップ生成（Ｏｃｃｕｐａｎｃｙ Ｍａｐ Ｇｅｎｅｒａｔｉｏｎ）２１００４は、パッチから占有マップを生成する。占有マップは、そのジオメトリ又は特質イメージなどのピクセルにデータが存在するか否かを示す情報を含む。
付加データ生成（Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）２１００５は、パッチに関する情報を含む付加データを生成する。即ち、付加データは、ポイントクラウド客体のパッチに関するメタデータを示す。例えば、パッチに対する法線（ｎｏｒｍａｌ）ベクトルなどの情報を示す。具体的に、実施例によれば、付加データは、パッチからポイントクラウドを再構成するために必要な情報を含む（例えば、パッチの２Ｄ／３Ｄ空間上の位置、サイズなどに関する情報、プロジェクション平面（ｎｏｒｍａｌ）識別情報、パッチマッピング情報など）。
メッシュデータ生成（Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ）２１００６は、パッチからメッシュデータを生成する。メッシュは、隣接したポイント間の連結情報を示す。例えば、三角形のデータを示す。例えば、実施例によるメッシュデータは、各ポイント間の接続（ｃｏｎｎｅｃｔｉｖｉｔｙ）情報を意味する。
ポイントクラウド前処理部又は制御部は、パッチ生成、ジオメトリイメージ生成、特質イメージ生成、占有マップ生成、付加データ生成、メッシュデータ生成に関連するメタデータ（Ｍｅｔａｄａｔａ）を生成する。
ポイントクラウド送信装置は、前処理で生成された結果物に対応して、ビデオ符号化及び／又はイメージ符号化を行う。ポイントクラウド送信装置は、ポイントクラウドビデオデータだけではなく、ポイントクラウドイメージデータを生成する。実施例によれば、ポイントクラウドデータは、ビデオデータのみを、イメージデータのみを、及び／又はビデオデータ及びイメージデータの両方を含む。
ビデオ符号化部２１００７は、ジオメトリビデオ圧縮、特質ビデオ圧縮、占有マップビデオ圧縮、付加データ圧縮及び／又はメッシュデータ圧縮を行う。ビデオ符号化部は、符号化された各々のビデオデータを含むビデオストリーム（ら）を生成する。
具体的に、ジオメトリビデオ圧縮は、ポイントクラウドジオメトリビデオデータを符号化する。特質ビデオ圧縮は、ポイントクラウドの特質ビデオデータを符号化する。付加データ圧縮は、ポイントクラウドビデオデータに関連する付加データを符号化する。メッシュデータ圧縮（Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）は、ポイントクラウドビデオデータのメッシュデータを符号化する。ポイントクラウドビデオ符号化部の各動作は、並列に行われる。
イメージ符号化部２１００８は、ジオメトリイメージ圧縮、特質イメージ圧縮、占有マップイメージ圧縮、付加データ圧縮及び／又はメッシュデータ圧縮を行う。イメージ符号化部は、符号化された各々のイメージデータを含むイメージ（ら：等）を生成する。
具体的に、ジオメトリイメージ圧縮は、ポイントクラウドジオメトリイメージデータを符号化する。特質イメージ圧縮は、ポイントクラウドの特質イメージデータを符号化する。付加データ圧縮は、ポイントクラウドイメージデータに関連する付加データを符号化する。メッシュデータ圧縮（Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）は、ポイントクラウドイメージデータに関連するメッシュデータを符号化する。ポイントクラウドイメージ符号化部の各動作は、並列に行われる。
ビデオ符号化部及び／又はイメージ符号化部は、前処理部からメタデータを受信する。ビデオ符号化部及び／又はイメージ符号化部は、メタデータに基づいて各々の符号化プロセスを行う。
ファイル／セグメントカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ）２１００９は、ビデオストリーム（ら）及び／又はイメージ（ら）をファイル及び／又はセグメントの形式にカプセル化する。ファイル／セグメントカプセル化部は、ビデオトラックカプセル化、メタデータトラックカプセル化及び／又はイメージカプセル化を行う。
ビデオトラックカプセル化は、１つ又はそれ以上のビデオストリームを１つ又はそれ以上のトラックにカプセル化する。
メタデータトラックカプセル化は、ビデオストリーム及び／又はイメージに関連するメタデータを１つ又はそれ以上のトラックにカプセル化する。メタデータは、ポイントクラウドデータのコンテンツに関連するデータを含む。例えば、初期ビューイングオリエンテーションメタデータ（Ｉｎｉｔｉａｌ Ｖｉｅｗｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｍｅｔａｄａｔａ）を含む。実施例によれば、メタデータは、メタデータトラックにカプセル化されてもよく、ビデオトラック又はイメージトラックに共にカプセル化されてもよい。
イメージカプセル化は、１つ又はそれ以上のイメージを１つ又はそれ以上のトラック又はアイテムにカプセル化する。
例えば、実施例によれば、４つのビデオストリーム及び２つのイメージがカプセル化部に入力される場合、４つのビデオストリーム及び２つのイメージを１つのファイル内にカプセル化することができる。
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＧ－ＰＣＣ／Ｖ－ＰＣＣビットストリームを生成する。
ファイル／セグメントカプセル化部は、前処理部からメタデータを受信する。ファイル／セグメントカプセル化部は、メタデータに基づいてカプセル化を行う。
ファイル／セグメントカプセル化によって生成されたファイル及び／又はセグメントは、ポイントクラウド送信装置又は送信部によって送信される。例えば、ＤＡＳＨに基づくプロトコルによってセグメント（ら；等）が伝送（Ｄｅｌｉｖｅｒｙ）される。
実施例によるカプセル化又はカプセル化部は、Ｖ－ＰＣＣビットストリームをファイル内において１つ又は複数のトラックに分割格納し、そのためのシグナル情報も共にカプセル化する。また、Ｖ－ＰＣＣビットストリーム上に含まれているアトラスストリームをファイル内のトラックに格納し、関連するシグナル情報を格納する。更に、Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナル情報を格納する。
伝送部（Ｄｅｌｉｖｅｒｙ）は、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントをデジタル記憶媒体又はネットワークを介して受信装置の受信部に伝送する。送信のために、任意の送信プロトコルによる処理を行う。送信のための処理を終えたデータは、放送網及び／又はブロードバンドを介して伝送する。このデータは、オンデマンド（Ｏｎ Ｄｅｍａｎｄ）方式で受信側へ伝送してもよい。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体がある。伝送部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含み、放送／通信ネットワークを介する送信のための要素を含む。伝送部は、受信部からオリエンテーション情報及び／又はビューポート情報を受信する。伝送部は、取得したオリエンテーション情報及び／又はビューポート情報（又はユーザが選択した情報）を前処理部、ビデオ符号化部、イメージ符号化部、ファイル／セグメントカプセル化部及び／又はポイントクラウド符号化部に伝送する。オリエンテーション情報及び／又はビューポート情報に基づいて、ポイントクラウド符号化部は、全てのポイントクラウドデータを符号化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを符号化する。オリエンテーション情報及び／又はビューポート情報に基づいて、ファイル／セグメントカプセル化部は、全てのポイントクラウドデータをカプセル化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータをカプセル化する。オリエンテーション情報及び／又はビューポート情報に基づいて、伝送部は、全てのポイントクラウドデータを伝送するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを伝送する。
例えば、前処理部は、全てのポイントクラウドデータに対して上述した動作を行うか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行う。ビデオ符号化部及び／又はイメージ符号化部は、全てのポイントクラウドデータに対して上述した動作を行うか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行う。ファイル／セグメントカプセル化部は、全てのポイントクラウドデータに対して上述した動作を行うか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行う。送信部は、全てのポイントクラウドデータに対して上述した動作を行うか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行う。
図２２は実施例によるポイントクラウドデータ受信装置の構成の一例を示す。
図２２は、実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、及び／又は図１９の受信装置などの一部／全部を含むことができる。また、図２０及び図２１のシステムの一部／全部に包含又は対応される。
受信装置の各構成は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどである。伝送クライアント（Ｄｅｌｉｖｅｒｙ Ｃｌｉｅｎｔ）は、実施例によるポイントクラウドデータ送信装置が送信したポイントクラウドデータ、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル／セグメントを受信する。送信されるチャンネルに応じて、受信部は、放送網を介してポイントクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを受信してもよい。又は、デジタル記憶媒体を介してポイントクラウドデータを受信してもよい。受信部は、受信したデータを復号し、これをユーザのビューポートなどに従ってレンダリングするプロセスを含んでもよい。受信処理部は、受信されたポイントクラウドデータに対して送信プロトコルに従う処理を行う。受信処理部は受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で行った送信のための処理に対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドデータをデカプセル化処理部に伝送し、取得したポイントクラウド関連メタデータはメタデータ分析部に伝送する。
センシング／トラッキング部（Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ）は、オリエンテーション情報及び／又はビューポート情報を取得する。センシング／トラッキング部は、取得したオリエンテーション情報及び／又はビューポート情報を伝送クライアント、ファイル／セグメントデカプセル化部、ポイントクラウド復号部に伝送する。
伝送クライアントは、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータを受信してもよく、オリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを受信してもよい。ファイル／セグメントデカプセル化部は、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータをデカプセル化するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータをデカプセル化する。ポイントクラウド復号部（ビデオ復号部及び／又はイメージ復号部）は、オリエンテーション情報及び／又はビューポート情報に基づいて、全てのポイントクラウドデータを復号するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを復号する。ポイントクラウドプロセシング部は、全てのポイントクラウドデータを処理するか、又はオリエンテーション情報及び／又はビューポート情報が示すポイントクラウドデータを処理する。
ファイル／セグメントデカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ）２２０００は、ビデオトラックデカプセル化（Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ）、メタデータトラックデカプセル化（Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ）及び／又はイメージデカプセル化（Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ）を行う。デカプセル化処理部（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ）は、受信処理部が伝送したファイル形式のポイントクラウドデータをデカプセル化する。デカプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイル又はセグメントをデカプセル化し、ポイントクラウドビットストリーム及びポイントクラウド関連メタデータ（又は別のメタデータビットストリーム）を取得する。取得したポイントクラウドビットストリームは、ポイントクラウドデコーダに伝送し、取得したポイントクラウド関連メタデータ（又はメタデータビットストリーム）は、メタデータ処理部に伝送する。ポイントクラウドビットストリームは、メタデータ（メタデータビットストリーム）を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックス又はトラックの形式であってもよい。デカプセル化処理部は、必要のある場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウド関連メタデータは、ポイントクラウドデコーダに伝送されてポイントクラウド復号に用いられてもよく、又はレンダラーに伝送されてポイントクラウドレンダリングに用いられてもよい。ファイル／セグメントデカプセル化部は、ポイントクラウドデータに関連するメタデータを生成する。
ビデオトラックデカプセル化（Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ）は、ファイル及び／又はセグメントに含まれたビデオトラックをデカプセル化する。ジオメトリビデオ、特質ビデオ、占有マップ 、付加データ及び／又はメッシュデータを含むビデオストリーム（ら）をデカプセル化する。
メタデータトラックデカプセル化（Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ）は、ポイントクラウドデータに関連するメタデータ及び／又は付加データなどを含むビットストリームをデカプセル化する。
イメージデカプセル化（Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ）は、ジオメトリイメージ、特質イメージ、占有マップ、付加データ及び／又はメッシュデータを含むイメージ（ら）をデカプセル化する。
実施例によるデカプセル化又はデカプセル化部は、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリームをファイル内の１つ又は複数のトラックに基づいて分割パーシング（デカプセル化）し、そのためのシグナル情報も共にデカプセル化する。また、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に含まれているアトラスストリームをファイル内のトラックに基づいてデカプセル化し、関連するシグナル情報をパーシングする。更に、Ｇ－ＰＣＣ／Ｖ－ＰＣＣビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに基づいてデカプセル化し、関連するシグナル情報を共に取得する。
ビデオ復号部（Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ）２２００１は、ジオメトリビデオ復元、特質ビデオ復元、占有マップ復元、付加データ復元及び／又はメッシュデータ復元を行う。ビデオ復号部は、実施例によるポイントクラウド送信装置のビデオ符号化部が行うプロセスに対応して、ジオメトリビデオ、特質ビデオ、付加データ及び／又はメッシュデータを復号する。
イメージ復号部（Ｉｍａｇｅ Ｄｅｃｏｄｉｎｇ）２２００２は、ジオメトリイメージ復元、特質イメージ復元、占有マップ復元、付加データ復元及び／又はメッシュデータ復元を行う。イメージ復号部は、実施例によるポイントクラウド送信装置のイメージ符号化部が行うプロセスに対応して、ジオメトリイメージ、特質イメージ、付加データ及び／又はメッシュデータを復号する。
実施例によるビデオ復号部、イメージ復号部は、上述のように、１つのビデオ／イメージデコーダによって処理されてもよく、図示のように別のパスで行われてもよい。
ビデオ復号部及び／又はイメージ復号部は、ビデオデータ及び／又はイメージデータに関連するメタデータを生成する。
実施例によるポイントクラウドビデオエンコーダ及び／又はポイントクラウドイメージエンコーダは、実施例によるＧ－ＰＣＣ／Ｖ－ＰＣＣビットストリームを復号する。
ポイントクラウドプロセシング部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｒｏｃｅｓｓｉｎｇ）２２００３は、ジオメトリ再構成（Ｇｅｏｍｅｔｒｙ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）及び／又は特質再構成（Ａｔｔｒｉｂｕｔｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を行う。
ジオメトリ再構成は、復号されたビデオデータ及び／又は復号されたイメージデータから占有マップ、付加データ及び／又はメッシュデータに基づいて、ジオメトリビデオ及び／又はジオメトリイメージを復元する。
特質再構成は、復号された特質ビデオ及び／又は復号された特質イメージから、占有マップ、付加データ及び／又はメッシュデータに基づいて、特質ビデオ及び／又は特質イメージを復元する。実施例によれば、例えば、特質はテキスチャーである。実施例によれば、特質は複数の属性情報を意味する。複数の特質がある場合、実施例によるポイントクラウドプロセシング部は、複数の特質再構成を行う。
ポイントクラウドプロセシング部は、ビデオ復号部、イメージ復号部及び／又はファイル／セグメントデカプセル化部からメタデータを受信して、メタデータに基づいてポイントクラウドを処理する。
ポイントクラウドレンダリング部（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｒｅｎｄｅｒｉｎｇ）は、再構成されたポイントクラウドをレンダリングする。ポイントクラウドレンダリング部は、ビデオ復号部、イメージ復号部及び／又はファイル／セグメントデカプセル化部からメタデータを受信し、メタデータに基づいてポイントクラウドをレンダリングする。
ディスプレイは、レンダリングされた結果を実際のディスプレイ装置上にディスプレイする。
実施例による方法／装置は、図１５ないし図１９に示されているように、ポイントクラウドデータを符号化／復号した後、ポイントクラウドデータを含むビットストリームをファイル及び／又はセグメントの形式でカプセル化及び／又はデカプセル化する。
例えば、実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータをファイルに基づいてカプセル化し、このときファイルは、ポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラック及び占有マップを含む占有トラックを含む。
また、実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータをファイルに基づいてデカプセル化し、このとき、ファイルには、ポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラック及び占有マップを含む占有トラックが含まれる。
上述した動作は、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９、図２２のファイル／セグメントデカプセル化部２２０００などによって行われる。
図２３は実施例によるポイントクラウドデータの送受信方法／装置と連動可能な構造の一例を示す。
実施例による構造では、サーバー２３６０、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０、家電２３５０及び／又はＨＭＤ２３７０のうちの少なくとも１つ以上がクラウドネットワーク２３１０と接続する。ここで、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０又は家電２３５０などを装置と呼ぶ。また、ＸＲ装置２３３０は、実施例によるポイントクラウドデータ（ＰＣＣ）装置に対応するか、ＰＣＣ装置と連動する。
クラウドネットワーク２３００は、クラウドコンピューティングインフラの一部を構成するか、クラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク２３００は、３Ｇネットワーク、４Ｇ又はＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー２３６０は、ロボット２３１０、自立走行車両２３２０、ＸＲ装置２３３０、スマートフォン２３４０、家電２３５０及び／又はＨＭＤ２３７０のうちの少なくとも１つ以上とクラウドネットワーク２３００を介いて接続され、接続された装置２３１０ないし２３７０のプロセシングの少なくとも一部を補助する。
ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）２３７０は、実施例によるＸＲ装置及び／又はＰＣＣ装置が具現可能なタイプの１つを示す。実施例によるＨＭＤタイプの装置は、コミュニケーションユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット、及びパワー供給ユニットなどを含む。
以下、上記技術が適用される装置２３１０ないし２３５０の様々な実施例について説明する。ここで、図２３に示された装置２３１０ないし２３５０は、上述した実施例によるポイントクラウドデータの送受信装置と連動／結合する。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置２３３０はＰＣＣ及び／又はＸＲ（ＡＲ＋ＶＲ）技術が適用されて、ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、車両に備えられたＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどで具現されることもできる。
ＸＲ／ＰＣＣ装置２３３０は、様々なセンサにより又は外部装置から取得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び属性データを生成することにより周辺空間又は現実客体に関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置２３３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋ＸＲ＋モバイルフォン＞
ＸＲ／ＰＣＣ装置２３３０は、ＰＣＣ技術が適用されて、モバイルフォン２３４０などで具現される。
モバイルフォン２３４０は、ＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイすることができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両２３２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両２３２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両２３２０はＸＲ装置２３３０とは区分されて互いに連動される。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両２３２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実客体又は画面内の客体に対応するＸＲ／ＰＣＣ客体を提供することができる。
このとき、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術及び／又はＰＣＣ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ）技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は、現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体との区別が明らかであり、現実の客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたものがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ（ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ）技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ（ＰＣＣ）送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
実施例によるポイントクラウドデータは、ＰＣＣデータ、Ｖ－ＰＣＣデータ、視覚容積測定データ（Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ ｄａｔａ）、Ｖ３Ｃデータなどと様々に呼ばれる。
図２４は実施例によるＶ－ＰＣＣビットストリームを示す。
Ｖ－ＰＣＣビットストリーム２４０００は、実施例によるポイントクラウドデータが送信される形式（即ち、ビットストリーム形式）を意味する。図２４に示されたＶ－ＰＣＣビットストリーム２４０００は、図４の圧縮されたビットストリーム（ｃｏｍｐｒｅｓｓｅｄ ｂｉｔｓｔｒｅａｍ）、図１５のットストリーム、図１６において受信される圧縮されたビットストリーム（ｃｏｍｐｒｅｓｓｅｄ ｂｉｔｓｔｒｅａｍ）、図１７のビットストリーム、図１８において多重化部１８００７で生成されたビットストリーム、図１９において逆多重化部で生成されたビットストリームを意味する。
図２４に示されたＶ－ＰＣＣビットストリームは、図２３に示された実施例によるＸＲデバイス１２３０、自立走行車両１２２０、ロボット１２１０、ＡＩサーバー１２６０、家電製品１２５０、スマートフォン１２４０において生成され、各装置又は各装置間のクラウドネットワーク（５Ｇ）１２００を介して送受信される。
図２４に示されたＶ－ＰＣＣビットストリーム２４０００は、図２０のファイル／セグメントカプセル化部２０００４に伝送されたビットストリームであってもよい。即ち、Ｖ－ＰＣＣビットストリームは、実施例によるポイントクラウドデータ送信装置／方法が直接に送信するビットストリームであってもよいが、ＩＳＯＢＭＦＦ方式によってカプセル化される前のビットストリームを意味してもよい。
図２４に示されたＶ－ＰＣＣビットストリーム２４０００は、図２１のビデオストリーム（ｖｉｄｅｏ ｓｔｒｅａｍｓ）及び／又はイメージストリーム（ｉｍａｇｅ ｓｔｒｅａｍｓ）であってもよく、ファイル／セグメントカプセル化部２１００９で出力されたセグメント（又はファイル）を構成するビットストリームであってもよい。
実施例によるＶ－ＰＣＣビットストリーム２４０００は、１つ又はそれ以上のサンプルストリームＶ－ＰＣＣユニット（ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ）２４００１を含む。１つ又はそれ以上のサンプルストリームＶ－ＰＣＣユニット（ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ）２４００１は、Ｖ－ＰＣＣユニット（Ｖ－ＰＣＣ ｕｎｉｔ）及びＶ－ＰＣＣユニットの大きさを示すＶ－ＰＣＣユニットサイズ（Ｖ－ＰＣＣ ｕｎｉｔ Ｓｉｚｅ）を含む。
Ｖ－ＰＣＣビットストリーム２４０００は、コーティングされたポイントクラウドシーケンス（ｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｓｅｑｕｅｎｃｅ、ＣＰＣＳ）を含む。
Ｖ－ＰＣＣユニット（Ｖ－ＰＣＣ Ｕｎｉｔ）は、Ｖ－ＰＣＣユニットヘッダ２４００１ｂ及び／又はＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ ｐａｙｌｏａｄ）２４００１ｃを含む。
Ｖ－ＰＣＣユニットヘッダ２４００１ｂは、実施例によるＶ－ＰＣＣユニットペイロードに含まれるデータに関するシグナル情報を含む。実施例によるＶ－ＰＣＣユニットヘッダは、例えば、実施例によるＶ－ＰＣＣユニットがいずれのデータ（例えば、Ｖ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２４００２ａ、占有ビデオ データ（Ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ）２４００２ｂ、ジオメトリビデオデータ２４００２ｃ、アトラスデータ２４００２ｅ、及び／又は特質ビデオデータ２４００２ｄなど）を含むかを示す。また、実施例によるＶ－ＰＣＣユニットヘッダ２４００１ｂは、Ｖ－ＰＣＣユニットに含まれるデータに必要なシグナル情報を更に含む。
Ｖ－ＰＣＣユニットペイロード２４００１ｃは、実施例によるポイントクラウドデータ又はポイントクラウドデータのレンダリング又は再構成（ｒｅｃｏｎｓｔｒｕｃｔ）に必要な情報を含む。
Ｖ－ＰＣＣユニットペイロード２４００１ｃは、例えば、実施例によるＶ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２４００２ａ、占有ビデオデータ（Ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ）２４００２ｂ、ジオメトリビデオデータ２４００２ｃ、アトラスデータ２４００２ｅ、及び／又は特質ビデオデータ２４００２ｄを含む。Ｖ－ＰＣＣユニットペイロード２４００１ｃは、占有ビデオ、特質ビデオ又はジオメトリビデオを伝送し、Ｖ－ＰＣＣユニットペイロード２４００１ｃは、１つ又はそれ以上のＮＡＬユニットで構成される（Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｐａｙｌｏａｄ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔ ｃａｒｒｙｉｎｇ Ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ、ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ、ｏｒ ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｉｓ ｃｏｍｐｏｓｅｄ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＮＡＬ ｕｎｉｔｓ．）。
実施例によるＶ－ＰＣＣユニットペイロード２４００２は、実施例によるポイントクラウドデータを含む。ポイントクラウドデータは、ポイントクラウドデータの占有ビデオデータ（ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ）、ジオメトリビデオデータ（ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｄａｔａ）及び／又は特質ビデオデータ（ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ）のいずれか１つを含む。ポイントクラウドデータは、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｉｎｇ Ｍｏｄｕｌａｔｉｏｎ）方式によって符号化されたジオメトリビデオデータ及び／又はＰＣＭ方式で符号化された特質ビデオデータを含む。
実施例によるＶ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）４００２ａは、実施例によるポイントクラウドデータに対するパラメータ（ｐａｒａｍｅｔｅｒ）又はシグナル情報（例えば、メタデータ）を含むパラメータセットを意味する。例えば、Ｖ－ＰＣＣパラメータセットは、ポイントクラウドデータを構成するシーケンス（ｓｅｑｕｅｎｃｅ）に関するシグナル情報を含む。
占有ビデオデータ（Ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ）２４００２ｂは、実施例による占有マップデータを含む。ジオメトリビデオデータ２４００２ｃは、実施例によるジオメトリビデオデータを含む。特質ビデオデータ２４００２ｄは、実施例による特質ビデオデータを含む。
アトラスデータ２４００２ｅは、ポイントクラウドデータの特質（例えば、テキスチャー（パッチ））及び／又は深さなどで構成されたデータを意味する。
以下、実施例によるＶ－ＰＣＣユニットの構文（ｓｙｎｔａｘ）の一例を示す。
Figure 2023509190000006
図２５は実施例によるＶ－ＰＣＣビットストリームの一例を示す。
図２５に示された実施例によるＶ－ＰＣＣビットストリームは、図２４のＶ－ＰＣＣビットストリーム２４０００を意味する。
図２５に示されたＶ－ＰＣＣビットストリームは、図２３に示された実施例によるＸＲデバイス１２３０、自立走行車両１２２０、ロボット１２１０、ＡＩサーバー１２６０、家電製品１２５０、スマートフォン１２４０において生成され、各装置又は各装置間のクラウドネットワーク（５Ｇ）１２００を介して送受信される。
実施例によるＶ－ＰＣＣビットストリーム２５０００は、１つ又はそれ以上のサンプルストリームＶ－ＰＣＣユニット２５００２を含む。サンプルストリームＶ－ＰＣＣユニットは、図２４のサンプルストリームＶ－ＰＣＣユニット２４００１を意味する。サンプルストリームＶ－ＰＣＣユニットはＶ－ＰＣＣユニットとも呼ばれる。
実施例によるＶ－ＰＣＣビットストリーム２５０００は、サンプルストリームＶ－ＰＣＣユニットに関する情報を含むサンプルストリームＶ－ＰＣＣヘッダ２５００１を更に含む。
サンプルストリームＶ－ＰＣＣユニット２５００２には様々なタイプ（ｔｙｐｅ）がある。例えば、サンプルストリームＶ－ＰＣＣユニット２５００２は、Ｖ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）を含むＶ－ＰＣＣユニット、特質データ（Ａｔｔｒｉｂｕｔｅ ｄａｔａ、ＡＤ）を含むＶ－ＰＣＣユニット、占有ビデオデータ（Ｏｃｃｕｐａｎｃｙ Ｖｉｄｅｏ Ｄａｔａ、ＯＶＤ）を含むＶ－ＰＣＣユニット、ジオメトリビデオデータ（Ｇｅｏｍｅｔｒｙ Ｖｉｄｅｏ Ｄａｔａ、ＧＶＤ）を含むＶ－ＰＣＣユニット、及び／又は特質ビデオデータ（Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ Ｄａｔａ、ＡＶＤ）を含むＶ－ＰＣＣユニットがある。
実施例によるＶ－ＰＣＣビットストリーム２５０００は、実施例によるＶ－ＰＣＣパラメータセットを含むサンプルストリームＶ－ＰＣＣユニットを含む（２５００２）。実施例によるＶ－ＰＣＣビットストリーム２５０００は、特質データ（Ａｔｔｒｉｂｕｔｅ ｄａｔａ、ＡＤ）、占有ビデオデータ（Ｏｃｃｕｐａｎｃｙ Ｖｉｄｅｏ Ｄａｔａ、ＯＶＤ）、ジオメトリビデオデータ（Ｇｅｏｍｅｔｒｙ Ｖｉｄｅｏ Ｄａｔａ、ＧＶＤ）、及び／又は特質ビデオデータ（Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ Ｄａｔａ、ＡＶＤ）のいずれか１つを含むサンプルストリームＶ－ＰＣＣユニットの１つ又はそれ以上を含む。
２５００４は、実施例によるサンプルストリームＶ－ＰＣＣヘッダ（ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｈｅａｄｅｒ）２５００１の構文の一例を示す。サンプルストリームＶ－ＰＣＣヘッダ２５００４は、ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１情報を含む。各々のサンプルストリームＶ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットの１つのタイプ（ＶＰＳ、ＡＤ、ＯＶＤ、ＧＶＤ及び／又はＡＶＤ）を有する（Ｅａｃｈ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ ｃｏｎｔａｉｎｓ ｏｎｅ ｔｙｐｅ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔ ａｍｏｎｇ ＶＰＳ、ＡＤ、ＯＶＤ、ＧＶＤ、ａｎｄ ＡＶＤ．）。
ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１に１を足した値は、例えば、サンプルストリームＶ－ＰＣＣユニット内の全てのｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素のサイズ（ｂｙｔｅ）を示す。ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１は０ないし７の範囲の値である（ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔｓ． ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ｉｓ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ７．）。
２５００５は、実施例によるサンプルストリームＶ－ＰＣＣユニット２５００２の構文の一例を示す。各々のサンプルストリームＶ－ＰＣＣユニットの内容は、サンプルストリームＶ－ＰＣＣ内に含まれたＶ－ＰＣＣユニットと同一のアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）と関連する（Ｔｈｅ ｃｏｎｔｅｎｔ ｏｆ ｅａｃｈ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ ＰＣＣ ｕｎｉｔ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｓａｍｅ ａｃｃｅｓｓ ｕｎｉｔ ａｓ ｔｈｅ Ｖ ＰＣＣ ｕｎｉｔ ｃｏｎｔａｉｎｅｄ Ｉｎ ｔｈｅ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ ＰＣＣ ｕｎｉｔ）。Ｖ－ＰＣＣユニット２５００２は、例えば、ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅを含む。
ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅは、隣接したＶ－ＰＣＣユニットのサイズ（ｂｙｔｅ）を示す。本パラメータを示すためのビット数は、（ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １）＊ ８である。（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｓｉｚｅ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｕｂｓｅｑｕｅｎｔ ｖｐｃｃ＿ｕｎｉｔ． Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ ｉｓ ｅｑｕａｌ ｔｏ （ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １） ＊ ８．）
ｖｐｃｃ＿ｕｎｉｔ（）、即ち、ｖｐｃｃ＿ｕｎｉｔ（ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ）は、実施例によるｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅの大きさを有するＶ－ＰＣＣユニットを示す。実施例によるｖｐｃｃ＿ｕｎｉｔ（ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ）は、Ｖ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ Ｕｎｉｔ Ｈｅａｄｅｒ、ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（））及び／又はＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ Ｐａｙｌｏａｄ、ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ（））を含む。図２５に示されたＶ－ＰＣＣユニットヘッダは、図２４に示されたＶ－ＰＣＣユニットヘッダ２４００１ｂを意味する。
実施例によるｖｐｃｃ＿ｕｎｉｔ（）は、例えば、以下のような構文を有する。
Figure 2023509190000007
ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）は、実施例によるＶ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ Ｕｎｉｔ Ｈｅａｄｅｒ）を意味する。（ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）は、実施例によるＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ Ｐａｙｌｏａｄ）を意味する。
図２６は実施例によるＶ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ Ｕｎｉｔ Ｈｅａｄｅｒ）及び／又はＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ Ｐａｙｌｏａｄ）の構文の一例を示す。
図２６に示されたＶ－ＰＣＣユニットヘッダ２６０００は、図２４のＶ－ＰＣＣユニットヘッダ２４００１ｂを意味する。図２６に示されたＶ－ＰＣＣユニットヘッダ２６０００は、図２５のサンプルストリームＶ－ＰＣＣユニット内のＶ－ＰＣＣユニット（ｖｐｃｃ＿ｕｎｉｔ）内に含まれるＶ－ＰＣＣユニットヘッダを意味する。Ｖ－ＰＣＣユニットは、サンプルストリームＶ－ＰＣＣユニット（ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ）と呼ばれる。
図２６に示されたＶ－ＰＣＣビットストリームは、図２３に示された実施例によるＸＲデバイス１２３０、自立走行車両１２２０、ロボット１２１０、ＡＩサーバー１２６０、家電製品１２５０、スマートフォン１２４０において生成され、各装置又は各装置間のクラウドネットワーク（５Ｇ）１２００を介して送受信される。
ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅは、Ｖ－ＰＣＣユニットのタイプを示す（ｉｎｄｉｃａｔｅｓ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｔｙｐｅ）。Ｖ－ＰＣＣユニットタイプは、例えば、以下の表のようです。
Figure 2023509190000008
実施例によるＶ－ＰＣＣユニットヘッダ内に含まれるシグナル情報は、実施例によるＶ－ＰＣＣユニットタイプ（ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅ）によって異なる。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が０である場合、実施例によるＶ－ＰＣＣユニットはＶ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むタイプのＶ－ＰＣＣユニットであるため、ＰＣＣユニットヘッダはＶ－ＰＣＣパラメータセット（ＶＰＳ）と関連する情報を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が１（即ち、ＶＰＣＣ＿ＡＤ）である場合、Ｖ－ＰＣＣユニットはアトラスデータ（Ａｔｌａｓ ｄａｔａ）を含むタイプのＶ－ＰＣＣユニットであるため、ＰＣＣユニットヘッダはアトラスデータと関連する情報（例えば、ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ及び／又はｖｕｈ＿ａｔｌａｓ＿ｉｄ）を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が２（即ち、ＶＰＣＣ＿ＧＶＤ）である場合、実施例によるＶ－ＰＣＣユニットはジオメトリビデオデータ（Ｇｅｏｍｅｔｒｙ Ｖｉｄｅｏ ｄａｔａ）を含むタイプのＶ－ＰＣＣユニットであるため、Ｖ－ＰＣＣユニットヘッダはジオメトリビデオデータと関連する情報（例えば、ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘ、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇ）を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が３（即ち、ＶＰＣＣ＿ＡＶＤ）である場合、実施例によるＶ－ＰＣＣユニットは特質ビデオデータ（Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ ｄａｔａ）を含むタイプのＶ－ＰＣＣユニットであるため、ＰＣＣユニットヘッダは特質ビデオデータと関連する情報（例えば、ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘ、ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘ、ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘ及び／又はｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇ）を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が４（即ち、ＶＰＣＣ＿ＯＶＤ）である場合、Ｖ－ＰＣＣユニットは占有ビデオデータ（Ｏｃｃｕｐａｎｃｙ Ｖｉｄｅｏ ｄａｔａ）を含むタイプのＶ－ＰＣＣユニット、Ｖ－ＰＣＣユニットヘッダは占有ビデオデータと関連する情報（例えば、ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ及び／又はｖｕｈ＿ａｔｌａｓ＿ｉｄ）を含む。
ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、動的（ａｃｔｉｖｅ）Ｖ－ＰＣＣ ＶＰＳに対するｖｐｓ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示す（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｖｐｓ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ Ｖ－ＰＣＣ ＶＰＳ．）。
ｖｕｈ＿ａｔｌａｓ＿ｉｄは、現在のＶ－ＰＣＣユニットに対応するアトラスのインデックスを示す（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｉｎｄｅｘ ｏｆ ｔｈｅ ａｔｌａｓ ｔｈａｔ ｃｏｒｒｅｓｐｏｎｄｓ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ Ｖ－ＰＣＣ ｕｎｉｔ．）。
ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘは、特質ビデオデータユニットにおいて送信される特質データのインデックスを示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｉｎｄｅｘ ｏｆ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｄａｔａ ｃａｒｒｉｅｄ ｉｎ ｔｈｅ Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ Ｄａｔａ ｕｎｉｔ．）
ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘは、特質ビデオデータユニットにおいて伝送される特質ディメンショングループ（ａｔｔｒｉｂｕｔｅ ｄｉｍｅｎｓｉｏｎ ｇｒｏｕｐ）のインデックスを示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｉｎｄｅｘ ｏｆ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｄｉｍｅｎｓｉｏｎ ｇｒｏｕｐ ｃａｒｒｉｅｄ ｉｎ ｔｈｅ Ａｔｔｒｉｂｕｔｅ Ｖｉｄｅｏ Ｄａｔａ ｕｎｉｔ．）
ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘは、存在する場合、現在のジオメトリ又は特質ストリーム内のマップインデックス（ｍａｐ ｉｎｄｅｘ）を示す。（ｗｈｅｎ ｐｒｅｓｅｎｔ、ｉｎｄｉｃａｔｅｓ ｔｈｅ ｍａｐ ｉｎｄｅｘ ｏｆ ｔｈｅ ｃｕｒｒｅｎｔ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｓｔｒｅａｍ）
ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇが１である場合、関連するジオメトリ又は特質ビデオデータがＲＡＷ方式で（又はＰＣＭ方式で）符号化されたビデオのみを含むことを示す。ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇが０である場合、関連するジオメトリ又は特質ビデオデータがＲＡＷコーディング（又はＰＣＭコーディング）されたポイントを有することを示す。ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇが存在しない場合、その値は０と推論される。（ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ａｓｓｏｃｉａｔｅｄ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔ ｉｓ ａ ＲＡＷ ｃｏｄｅｄ ｐｏｉｎｔｓ ｖｉｄｅｏ ｏｎｌｙ．ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ａｓｓｏｃｉａｔｅｄ ｇｅｏｍｅｔｒｙ ｏｒ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔ ｍａｙ ｃｏｎｔａｉｎ ＲＡＷ ｃｏｄｅｄ ｐｏｉｎｔｓ． Ｗｈｅｎ ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ、ｉｔｓ ｖａｌｕｅ ｓｈａｌｌ ｂｅ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０．）
図２６に示されたＶ－ＰＣＣユニットペイロード２６００１は、図２４のＶ－ＰＣＣユニットペイロード２４００１ｃを意味する。図２６に示されたＶ－ＰＣＣユニットペイロード２６００１は、図２５のサンプルストリームＶ－ＰＣＣユニット内のＶ－ＰＣＣユニット（ｖｐｃｃ＿ｕｎｉｔ）内に含まれるＶ－ＰＣＣユニットペイロード（ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）を意味する。
実施例によるＶ－ＰＣＣユニットペイロードは、上述したｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値によって互いに異なるデータを含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が０である場合、実施例によるＶ－ＰＣＣユニットのタイプはＶ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ）であるため、Ｖ－ＰＣＣユニットペイロード２６００１はＶ－ＰＣＣパラメータセット（ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ（））を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が１（即ち、ＶＰＣＣ＿ＡＤ）である場合、実施例によるＶ－ＰＣＣユニットのタイプはアトラスデータ（Ａｔｌａｓ ｄａｔａ）であるため、Ｖ－ＰＣＣユニットペイロード２６００１はアトラスデータ（又はアトラスサブビットストリーム、（ａｔｌａｓ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ））を含む。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅの値が２（即ち、ＶＰＣＣ＿ＧＶＤ）又は３（即ち、ＶＰＣＣ＿ＡＶＤ）又は４（即ち、ＶＰＣＣ＿ＯＶＤ）である場合、実施例によるＶ－ＰＣＣユニットのタイプはジオメトリビデオデータであるため、特質ビデオデータ、及び／又は占有ビデオデータを含むビデオサブビットストリーム（ｖｉｄｅｏ ｓｕｂ－ｂｉｔｓｔｒｅａｍ）を含む。
図２７は実施例によるアトラスサブストリーム（ａｔｌａｓ ｓｕｂｓｔｒｅａｍ）の一例を示す。
実施例によるＶ－ＰＣＣユニット（Ｖ－ＰＣＣ Ｕｎｉｔ）のＶ－ＰＣＣユニットペイロード（Ｖ－ＰＣＣ Ｕｎｉｔ Ｐａｙｌｏａｄ）２７０００は、図２７に示されたアトラスサブビットストリーム（ａｔｌａｓ ｓｕｂ ｂｉｔｓｔｒｅａｍ、又はアトラスサブストリーム）を含み、アトラスサブビットストリームは、１つ又はそれ以上のサンプルストリームＮＡＬユニットを含む。（Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｐａｙｌｏａｄ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔ ｃａｒｒｙｉｎｇ ａｔｌａｓ ｓｕｂｓｔｒｅａｍ ｉｓ ｃｏｍｐｏｓｅｄ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔｓ）
図２７に示された実施例によるアトラスサブビットストリーム（ａｔｌａｓ ｓｕｂ ｂｉｔｓｔｒｅａｍ）は、実施例によるポイントクラウドデータを１つ又はそれ以上のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット又はサンプルストリームＮＡＬユニット（ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔ）の形式で構成する。
実施例によるアトラスサブビットストリーム（ａｔｌａｓ ｓｕｂ ｂｉｔｓｔｒｅａｍ）は、Ｖ－ＰＣＣサンプルストリームＮＡＬヘッダ（ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｈｅａｄｅｒ）２７００１を含む。実施例によるＶ－ＰＣＣユニット（Ｖ－ＰＣＣ Ｕｎｉｔ）２７０００は、１つ又はそれ以上のサンプルストリームＮＡＬユニット２７００２を含む。
実施例によるＮＡＬユニット（又は、サンプルストリームＮＡＬユニット）２７００２には様々なタイプがある。例えば、ＮＡＬユニットは、アトラスシーケンスパラメータセット（Ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＳＰＳ）を含むサンプルストリーム ＮＡＬユニット、アトラスフレームパラメータセット（Ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＦＰＳ）を含むサンプルストリームＮＡＬユニット、アトラスタイルグループ（Ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ、ＡＴＰ）を含むサンプルストリームＮＡＬユニット、及び／又はＳＥＩ（又はＳＥＩメッセージ）を含むＮＡＬユニットがある。
サンプルストリームＮＡＬヘッダ（ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｈｅａｄｅｒ）２７００１は、１つ又はそれ以上のサンプルストリームＮＡＬユニット２７００２に関するシグナル情報を含む。例えば、サンプルストリームＮＡＬヘッダ２７００１は、ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１を含む。
２７００３は、実施例によるサンプルストリームＮＡＬヘッダの構文の一例を示す。
ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１に１を足した値は、例えば、サンプルストリームＮＡＬユニット内の全てのｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素のサイズ（ｂｙｔｅ）を示す。ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１は、０ないし７の範囲内の値である。（ｐｌｕｓ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔｓ． ｓｓｎｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ｉｓ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ７．）
２７００４は、実施例によるサンプルストリームＮＡＬユニットの構文の一例を示す。
ｓｓｖｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅは、隣接したＮＡＬユニットのサイズ（ｂｙｔｅ）を示す。本パラメータを示すためのビットの数は、（ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １）＊ ８である。（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｓｉｚｅ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｕｂｓｅｑｕｅｎｔ ＮＡＬ＿ｕｎｉｔ． Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ ｉｓ ｅｑｕａｌ ｔｏ （ｓｓｎｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １） ＊ ８．）
ｎａｌ＿ｕｎｉｔ（ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ）は、実施例によるｓｓｖｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅの大きさを有するＮＡＬユニットを示す。
各々のサンプルストリームＮＡＬユニットは、アトラスシーケンスパラメータセット（ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＳＰＳ）、アトラスフレームパラメータセット（ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＦＰＳ）、アトラスタイルグループ情報（ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）を含む。（ｅａｃｈ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔ ｃｏｎｔａｉｎｓ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ （ＡＳＰＳ）、ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ （ＡＦＰＳ）、ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）．）
ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージは、復号、再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、ディスプレイ（ｄｉｓｐｌａｙ）又はその他の目的に関わる動作において必要な情報を含む。実施例によるＳＥＩメッセージは、ＳＥＩペイロード（ＳＥＩ ｐａｙｌｏａｄ、ｓｅｉ＿ｐａｙｌｏａｄ）を含む。
実施例によるＳＥＩペイロードは、以下のような構文を有する。
Figure 2023509190000009
図２８は実施例によるＩＳＯＢＭＦＦファイルフォーマット（ｆｏｒｍａｔ）のポイントクラウドデータを示す。
実施例によるポイントクラウドデータは、ＩＳＯＢＭＦＦファイルのフォーマット（ｆｏｒｍａｔ）である。ＩＳＯＢＭＦＦファイルは、ボックス（ｂｏｘ）と呼ばれるオブジェクト（ｏｂｊｅｃｔ）で構成される。即ち、全てのデータは、１つ又はそれ以上のボックス内に含まれる。
図２８のファイルフォーマットは、図２０、図２１の実施例によるファイル／セグメントカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｏｒ）２０００４、２１００９などで生成又はカプセル化（ｅｎｃａｐｓｕｌａｔｅ）され、図２２のファイル／セグメントデカプセル化部（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｄｅｃａｐｓｕｌａｔｏｒ）２０００５、２２０００などで受信されてデカプセル化（ｄｅｃａｐｓｕｌａｔｅ）される。
ボックス（ｂｏｘ）は、該当ボックスのサイズ（ｓｉｚｅ）及びタイプ（ｔｙｐｅ）を含むボックスヘッダ（ｂｏｘ ｈｅａｄｅｒ）を含む。実施例によるポイントクラウドデータは、ボックスタイプがｆｔｙｐであるｆｔｙｐボックス２８０００、ボックスタイプがｍｅｔａであるｍｅｔａボックス２８００１、ボックスタイプがｍｏｏｖであるｍｏｏｖボックス２８００２、ボックスタイプがｍｄａｔであるｍｄａｔボックス２８００３を含む。
ｆｔｙｐボックス２８０００は、実施例によるＩＳＯＢＭＦＦファイルのタイプを示す情報を含む。
ｍｅｔａボックス２８００１は、実施例によるポイントクラウドデータに関するメタデータ情報を含む。
ｍｏｏｖボックス２８００２は、実施例によるポイントクラウドデータが送信される１つ又はそれ以上のトラック（ｔｒａｃｋ）に関する情報を含む。
実施例によるｍｏｏｖボックス２８００２は、ポイントクラウドデータの特質（ａｔｔｒｉｂｕｔｅ）情報を送信するトラックに関する情報を含むボックス２８００２ａ、ポイントクラウドデータの占有（ｏｃｃｕｐａｎｃｙ）情報を送信するトラックに関する情報を含むボックス２８００２ｂ、ポイントクラウドデータのジオメトリ（ｇｅｏｍｅｔｒｙ）情報を送信するトラックに関する情報を含むボックス２８００２ｃ及び／又はポイントクラウドデータのＶ－ＰＣＣ情報を送信するトラックに関する情報を含むボックス２８００２ｄを含む。
ｍｄａｔボックス２８００３は、実施例によるポイントクラウドデータを含むポイントクラウドビットストリームを含む。実施例によるポイントクラウドビットストリームは、ビデオコーディングされた特質ビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ）２８００３ａ、ビデオコーディングされた占有ビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｂｉｔｓｔｒｅａｍ）２８００３ｂ、ビデオコーディングされたジオメトリビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ）２８００３ｃ及び／又はパッチシーケンスデータビットストリーム（ｐａｔｃｈ ｓｅｑｕｅｎｃｅ ｄａｔａ ｂｉｔｓｔｒｅａｍ）２８００３ｄを含む。
パッチシーケンスデータビットストリーム２８００３ｄは、アトラスビットストリーム（ａｔｌａｓ ｂｉｔｓｔｒｅａｍ）、パッチデータビットストリームなどと呼ばれる。
実施例によるビデオコーディングされた特質ビットストリーム２８００３ａ、ビデオコーディングされた占有ビットストリーム２８００３ｂ、ビデオコーディングされたジオメトリビットストリーム２８００３ｃ及び／又はパッチシーケンスデータビットストリーム２８００３ｄは、１つ又はそれ以上のビデオフレーム（ｖｉｄｅｏ ｆｒａｍｅ）によって伝送される。
ビデオコーディングされた特質ビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ）２８００３ａは、実施例によるＶ－ＰＣＣエンコーダによって符号化された、ポイントクラウドデータの特質（ａｔｔｒｉｂｕｔｅ）情報を意味する。
ビデオコーディングされた占有ビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｂｉｔｓｔｒｅａｍ）２８００３ｂは、実施例によるＶ－ＰＣＣエンコーダによって符号化された、ポイントクラウドデータの占有（ｏｃｃｕｐａｎｃｙ）情報を意味する。
ビデオコーディングされたジオメトリビットストリーム（ｖｉｄｅｏ ｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ）２８００３ｃは、実施例によるＶ－ＰＣＣエンコーダによって符号化された、ポイントクラウドデータのジオメトリ（ｇｅｏｍｅｔｒｙ）情報を意味する。
パッチシーケンスデータビットストリーム（ｐａｔｃｈ ｓｅｑｕｅｎｃｅ ｄａｔａ ｂｉｔｓｔｒｅａｍ）２８００３ｄは、実施例によるポイントクラウドデータのパッチシーケンスデータ（ｐａｔｃｈ ｓｅｑｕｅｎｃｅ ｄａｔａ）を意味する。
２Ｄビデオトラックは実施例によるビデオエンコーダによって符号化される。
サンプルエントリー内にエキストラボックスが挿入され、Ｖ－ＰＣＣシステム内のトラックに含まれたビデオストリームの役割を記述する。
Ｖ－ＰＣＣパッチデータトラックからパッチトラックに基づいてトラックレファレンスがビデオトラックに挿入されて特定のポイントクラウドのビデオトラックのメンバシップを生成する。
トラックヘッダフラグが０にセットされる場合、トラックがムービーの全般的な保存に直接寄与せず、Ｖ－ＰＣＣシステムに寄与することを示す。
同一のＶ－ＰＣＣシーケンスに属するトラックは、時間的に整列されている。異なるビデオ符号化されたコンポーネントトラック及びＶ－ＰＣＣトラックを経て同一のポイントクラウドフレームに寄与するサンプルは同一のプレゼンテーションタイムを有する。
Ｖ－ＰＣＣトラックは、シーケンスパラメータセット及びノン－ビデオコーディングされた情報Ｖ－ＰＣＣユニット（ｎｏｎ－ｖｉｄｅｏ ｅｎｃｏｄｅｄ ｉｎｆｏｒｍａｔｉｏｎ Ｖ－ＰＣＣ ｕｎｉｔｓ）のペイロードを伝送するサンプルを含む。ここで、ノン－ビデオコーディングされた情報Ｖ－ＰＣＣユニットは、例えば、Ｖ－ＰＣＣユニットタイプがＶＰＣＣ＿ＳＰＳ及びＶＰＣＣ＿ＰＤＧであるユニットを意味する。
Ｖ－ＰＣＣトラックは、視覚容積測定トラック（Ｖｉｓｕａｌ ｖｏｌｕｍｅｔｒｉｃ ｔｒａｃｋ）、Ｖ３Ｃトラックなどと呼ばれる。
このトラックはまた、ビデオ圧縮されたＶ－ＰＣＣユニットのペイロードを伝送するサンプルを含む他のトラックに対するトラックレファレンスを提供する。ここで、他のトラックとは、例えば、Ｖ－ＰＣＣユニットタイプがＶＰＣＣ＿ＧＶＤ、ＶＰＣＣ＿ＡＶＤ及びＶＰＣＣ＿ＯＶＤなどのユニットを意味する。
タイプＶＰＣＣ＿ＧＶＤのＶ－ＰＣＣユニットのペイロードであるジオメトリデータに対するビデオコーディングされたエレメンタリーストリームを含むサンプルが１つ又はそれ以上のビデオストリームに含まれる。
タイプＶＰＣＣ＿ＡＶＤのＶ－ＰＣＣユニットのペイロードである特質データに対するビデオコーディングされたエレメンタリーストリームを含むサンプルが１つ又はそれ以上のビデオストリームに含まれる。
タイプＶＰＣＣ＿ＯＶＤのＶ－ＰＣＣユニットのペイロードである占有マップデータに対するビデオコーディングされたエレメンタリーストリームを含むサンプルが１つ又はそれ以上のビデオストリームに含まれる。
コンポーネントトラック内のエレメンタリーストリーム間の同期化は、ＩＳＯＢＭＦＦトラックタイミング構造（ムービフラグメント内のｃｔｔｓ及びｃｓｌｇ又は同一のメカニズム）によって処理される。
異なるビデオ符号化されたコンポーネントトラック及びＶ－ＰＣＣトラックを経て同一のポイントクラウドフレームに寄与するサンプルは同一のコンポジションタイムを有する。サンプルのために使用されるＶ－ＰＣＣパラメータセットはフレームのコンポジションタイムと同一又は以前の復号時間を有する。
実施例によるポイントクラウドデータ及び／又はポイントクラウドデータを送信するためのビットストリーム、実施例によるＶ－ＰＣＣユニットは、図２８に示されたファイルフォーマットに基づいてカプセル化される。例えば、実施例による送信装置のカプセル化部は、図２４ないし図２７に示した実施例によるＶ－ＰＣＣビットストリーム（又はＶ－ＰＣＣユニット）２５０００、Ｖ－ＰＣＣビットストリーム２６０００ないし２６００１及び／又はアトラスサブストリーム２７０００などは図２８に示されたファイルのフォーマットでカプセル化する。
図２８に示されたファイルフォーマットは、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９によって符号化されたポイントクラウドデータ及びメタデータをカプセル化する。図２８に示されたファイルフォーマットは、図２０のファイル／セグメントデカプセル化部２０００５、図２２のファイル／セグメントデカプセル化部２２０００によってカプセル化されたポイントクラウドデータ及びメタデータをデカプセル化して符号化されたポイントクラウドデータ及びメタデータを出力する。
例えば、図２８に示されたカプセル化されたファイルの一例は、図２０ないし図２２の実施例によるファイル／セグメントカプセル化部２０００４、２１００９及び／又はファイル／セグメントデカプセル化部２２０００がビデオデータを伝送（ｄｅｌｉｖｅｒ）する場合（例えば、マルチトラック（ｍｕｌｔｉ ｔｒａｃｋ））、カプセル化されたファイルの構造を示す。
図１の送信装置１００００のポイントクラウドビデオエンコーダ１０００２、図４の構成、図１５の符号化装置１００、図１８のビデオ符号化部１８００６などによって、図２４ないし図２７のポイントクラウドデータを含むビットストリームが生成されて符号化される。実施例によるポイントクラウドビットストリームは、図１のファイル／セグメントカプセル化部１０００３、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化２１００９などによって、図２８のように、ファイル内のシングルトラック及び／又はマルチトラックに基づいてカプセル化される。
図１の受信装置１０００５のファイル／セグメントデカプセル化部１０００７、図２０、図２２のファイル／セグメントデカプセル化部２０００５によって、ファイル内のシングルトラック及び／又はマルチトラック内のポイントクラウドビットストリームがデカプセル化される。図１の受信装置１０００５のポイントクラウドビデオデコーダ１０００８、図１６の構成、図１７の復号装置２００、図１９のビデオ復号化部１９００１などによって、図２４ないし図２７のポイントクラウドデータを含むビットストリームを受信してこれらを復号する。
実施例によるＶ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）２８００２ｄは、容積測定視覚トラック（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ）、視覚容積測定トラック（Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ ｔｒａｃｋ）、容積測定視覚トラック（Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ）、容積測定データトラック（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ ｔｒａｃｋ）、Ｖ３Ｃトラック（Ｖ３Ｃ ｔｒａｃｋ）などと呼ばれる。
各々の容積測定視覚シーン（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓｃｅｎｅ）、即ち、実施例によるポイントクラウドデータは、固有な容積測定視覚トラック（Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ）によって表現される。ＩＳＯＢＭＦＦファイルは、複数のシーン（ｓｃｅｎｅ）を含むため、複数の容積測定トラックがＩＳＯＢＭＦＦファイル内に存在する（マルチ－トラック）。容積測定視覚トラックは、メディアボックス（ＭｅｄｉａＢｏｘ）のハンドラボックス（ＨａｎｄｌｅｒＢｏｘ）の容積測定視覚メディアハンドラタイプ’ｖｏｌｖ’又は容積測定視覚ヘッダによって識別される。（Ｅａｃｈ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓｃｅｎｅ ｉｓ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａ ｕｎｉｑｕｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ． Ａｎ ＩＳＯＢＭＦＦ ｆｉｌｅ ｍａｙ ｃｏｎｔａｉｎ ｍｕｌｔｉｐｌｅ ｓｃｅｎｅｓ ａｎｄ ｔｈｅｒｅｆｏｒｅ ｍｕｌｔｉｐｌｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｆｉｌｅ． ａ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ ｉｓ ｉｄｅｎｔｉｆｉｅｄ ｂｙ ｔｈｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈａｎｄｌｅｒ ｔｙｐｅ ’ｖｏｌｖ’ ｉｎ ｔｈｅ ＨａｎｄｌｅｒＢｏｘ ｏｆ ｔｈｅ ＭｅｄｉａＢｏｘ、ａｎｄ ａ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈｅａｄｅｒ ａｓ ｄｅｆｉｎｅｄ ｂｅｌｏｗ．）
容積測定視覚メディアヘッダ（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈｅａｄｅｒ）の実施例を説明する。
ボックスタイプ：’ｖｖｈｄ’
コンテナ：ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ
必須か否か：必須
数量：１つのみ
容積測定視覚トラックはＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘを使用する。ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘの構文は、以下のようである。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（’ｖｖｈｄ’、ｖｅｒｓｉｏｎ ＝ ０、１） ｛
｝
容積測定視覚サンプルエントリー（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅ ｅｎｔｒｙ）の実施例を説明する。
容積測定視覚トラックはＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙを使用する。
ｃｌａｓｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ（ｃｏｄｉｎｇｎａｍｅ）
ｅｘｔｅｎｄｓ ＳａｍｐｌｅＥｎｔｒｙ （ｃｏｄｉｎｇｎａｍｅ）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（８）「３２」 ｃｏｍｐｒｅｓｓｏｒ＿ｎａｍｅ；
｝
容積測定視覚サンプル（Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅｓ）の実施例を説明する。
容積測定視覚サンプルのフォーマットはコーティングシステムによって定義される。
Ｖ－ＰＣＣユニットヘッダボックス（Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｂｏｘ）の実施例を説明する。
このボックスは、Ｖ－ＰＣＣトラック（サンプルエントリー内）及び全てのビデオ－コーディングされたＶ－ＰＣＣコンポーネントトラック内に存在する。このボックスは、各々のトラックによって送信されるデータに対する実施例によるＶ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ Ｕｎｉｔ Ｈｅａｄｅｒ）を含む。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（’ｖｕｎｔ’、ｖｅｒｓｉｏｎ ＝ ０、０） ｛
ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（） ｕｎｉｔ＿ｈｅａｄｅｒ；
｝
このボックスは、図２５ないし図２７に示されたＶ－ＰＣＣユニットヘッダを含む。
Ｖ－ＰＣＣデコーダ構成レコード（Ｖ－ＰＣＣ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ）の実施例を説明する。
Ｖ－ＰＣＣデコーダ構成レコードは、バージョン（ｖｅｒｓｉｏｎ）フィールドを含む。
ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔアレイは、図２５ないし図２７に示された（ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ）を含む。
ａｔｌａｓ＿ｓｅｔｕｐＵｎｉｔアレイは、デコーダ構成レコードがアトラスストリームＳＥＩメッセージと共に存在するサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）によって参照されるストリームに対して一定のアトラスパラメータセットを含む。（ａｒｒａｙｓ ｓｈａｌｌ ｉｎｃｌｕｄｅ ａｔｌａｓ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ｔｈａｔ ａｒｅ ｃｏｎｓｔａｎｔ ｆｏｒ ｔｈｅ ｓｔｒｅａｍ ｒｅｆｅｒｒｅｄ ｔｏ ｂｙ ｔｈｅ ｓａｍｐｌｅ ｅｎｔｒｙ ｉｎ ｗｈｉｃｈ ｔｈｅ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｉｓ ｐｒｅｓｅｎｔ ａｓ ｗｅｌｌ ａｓ ａｔｌａｓ ｓｔｒｅａｍ ＳＥＩ ｍｅｓｓａｇｅｓ）
Ｖ－ＰＣＣデコーダ構成レコードの構文の一例は、以下のようである。
Figure 2023509190000010
構成バージョン（ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ）はバージョンフィールドである。
サンプルストリームサイズマイナス１（ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ）に１を足した値は、この構成レコード又はこの構成レコードが適用されるストリーム内のＶ－ＰＣＣサンプル内の実施例によるサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素の適合率（ｐｒｅｃｉｓｉｏｎ）（ｂｙｔｅ）を示す。（ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔｓ ｉｎ ｅｉｔｈｅｒ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｏｒ ａ Ｖ－ＰＣＣ ｓａｍｐｌｅ ｉｎ ｔｈｅ ｓｔｒｅａｍ ｔｏ ｗｈｉｃｈ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ａｐｐｌｉｅｓ．）
ＶＰＣＣパラメータセットの数（ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ）は、このデコーダ構成レコードにおいてシグナルされるＶ－ＰＣＣパラメータセット（ＶＰＳ）の数を示す。（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ （ＶＰＳ） ｓｉｇｎａｌｌｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ．）
ＶＰＣＣパラメータセット（ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔ）は、ＶＰＣＣ＿ＶＰＳタイプのＶ－ＰＣＣユニットに対するｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ（）インスタンスを示す。このＶ－ＰＣＣユニットは、図２５ないし図２７に示された（ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ）を含む。（（ｉｓ ａ ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ） ｉｎｓｔａｎｃｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｏｆ ｔｙｐｅ ＶＰＣＣ＿ＶＰＳ．Ｔｈｉｓ （Ｖ－ＰＣＣ ｕｎｉｔ ｉｎｃｌｕｄｅ ｔｈｅ ａｂｏｖｅ ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ））
アトラスセットアップユニットの数（ｎｕｍＯｆＡｔｌａｓＳｅｔｕｐＵｎｉｔｓ）は、この構成レコードにおいてシグナルされるアトラスストリームに対するセットアップアレイの数を示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｓｅｔ ｕｐ ａｒｒａｙ ｆｏｒ ａｔｌａｓ ｓｔｒｅａｍ ｓｉｇｎａｌｌｅｄ ｉｎ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ．）
アトラス＿セットアップユニット（Ａｔｌａｓ＿ｓｅｔｕｐＵｎｉｔ）は、実施例によるアトラスシーケンスパラメータセット（ＡＳＰＳ）、アトラスフレームパラメータセット（ＡＦＰＳ）、ＳＥＩアトラスＮＡＬユニット（ＳＥＩ ａｔｌａｓ ＮＡＬ ｕｎｉｔ）を含む（ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ）インスタンスを意味する。
実施例によるＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄは、以下のような構文を有する。
Figure 2023509190000011
構成バージョン（ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎ）はバージョンフィールドである。
長さサイズマイナス１（ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ）は、この構成レコード又はこの構成レコードが適用されるストリーム内のＶ－ＰＣＣサンプル内の全てのサンプルストリームＮＡＬユニットのｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ要素の大きさ（ｂｙｔｅ）を示す。（ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔｓ ｉｎ ｅｉｔｈｅｒ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｏｒ ａ Ｖ－ＰＣＣ ｓａｍｐｌｅ ｉｎ ｔｈｅ ｓｔｒｅａｍ ｔｏ ｗｈｉｃｈ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ａｐｐｌｉｅｓ．）
サンプルストリームサイズマイナス１（ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ）に１を足した値は、この構成レコードにおいてシグナルされる全てのサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素の大きさ（ｂｙｔｅ）を示す。（ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔｓ ｓｉｇｎａｌｅｄ ｉｎ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ．）
ＶＰＣＣパラメータセットの数（ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓ）は、この構成レコードにおいてシグナルされる実施例によるＶ－ＰＣＣパラメータセット（ＶＰＳ）の数を示す。（ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ （ＶＰＳ） ｓｉｇｎａｌｌｅｄ Ｉｎ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ．）
ＶＰＣＣパラメータセット（ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔ）は、ＶＰＣＣ＿ＶＰＳタイプのＶ－ＰＣＣユニットに対する（ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ）インスタンスを示す。（ｉｓ ａ ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ（） ｉｎｓｔａｎｃｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｏｆ ｔｙｐｅ ＶＰＣＣ＿ＶＰＳ）
セットアップユニットアレイの数（ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓ）は、識別されたタイプのアトラスＮＡＬユニットアレイの数を示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ａｒｒａｙｓ ｏｆ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ ｏｆ ｔｈｅ ｉｎｄｉｃａｔｅｄ ｔｙｐｅ（ｓ）．）
ＮＡＬユニットタイプ（ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅ）情報は、次のアレイ内のアトラスＮＡＬユニットのタイプを示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｔｙｐｅ ｏｆ ｔｈｅ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ ｉｎ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｒｒａｙ （ｗｈｉｃｈ ｓｈａｌｌ ｂｅ ａｌｌ ｏｆ ｔｈａｔ ｔｙｐｅ）；）ＮＡＬユニットタイプ情報は、例えば、ＮＡＬ＿ＡＳＰＳ、ＮＡＬ＿ＰＲＥＦＩＸ＿ＳＥＩ又はＮＡＬ＿ＳＵＦＦＩＸ＿ＳＥＩアトラスＮＡＬユニットのいずれか１つの値である。
ＮＡＬユニットの数（ｎｕｍＮＡＬＵｎｉｔｓ）は、この構成レコードが適用されるストリームに対する構成レコードに含まれるディスプレイタイプの実施例によるアトラスＮＡＬユニットの数を示す。ＳＥＩアレイは「宣言的」特性、即ち、全体のストリームに関する情報を提供するＳＥＩメッセージのみを含む。このＳＥＩの一例としては、ユーザデータＳＥＩがある。） （ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ ｏｆ ｔｈｅ ｉｎｄｉｃａｔｅｄ ｔｙｐｅ ｉｎｃｌｕｄｅｄ ｉｎ ｔｈｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｆｏｒ ｔｈｅ ｓｔｒｅａｍ ｔｏ ｗｈｉｃｈ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ａｐｐｌｉｅｓ． Ｔｈｅ ＳＥＩ ａｒｒａｙ ｓｈａｌｌ ｏｎｌｙ ｃｏｎｔａｉｎ ＳＥＩ ｍｅｓｓａｇｅｓ ｏｆ ａ ‘ｄｅｃｌａｒａｔｉｖｅ’ ｎａｔｕｒｅ、ｔｈａｔ ｉｓ、ｔｈｏｓｅ ｔｈａｔ ｐｒｏｖｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ ａｂｏｕｔ ｔｈｅ ｓｔｒｅａｍ ａｓ ａ ｗｈｏｌｅ． Ａｎ ｅｘａｍｐｌｅ ｏｆ ｓｕｃｈ ａｎ ＳＥＩ ｃｏｕｌｄ ｂｅ ａ ｕｓｅｒ－ｄａｔａ ＳＥＩ．）
セットアップユニット（ｓｅｔｕｐＵｎｉｔ）は、アトラスシーケンスパラメータセット（ＡＳＰＳ）、アトラスフレームパラメータセット（ＡＦＰＳ）又は宣言的ＳＥＩアトラスＮＡＬユニットを含むｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ（） インスタンスである。（ｉｓ ａ ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ（） ｉｎｓｔａｎｃｅ ｃｏｎｔａｉｎｉｎｇ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ｏｒ ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ｏｒ ａ ｄｅｃｌａｒａｔｉｖｅ ＳＥＩ ａｔｌａｓ ＮＡＬ ｕｎｉｔ）
Ｖ－ＰＣＣビットストリームのマルチトラックコンテナ（Ｍｕｌｔｉ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ）の実施例を説明する。
マルチ－トラックＩＳＯＢＭＦＦＶ－ＰＣＣコンテナの基本レイアウト（Ｖ－ＰＣＣエレメンタリーストリームがそれらのタイプに基づいてコンテナファイル内の各トラックにマップされる）を示す。マルチ－トラックＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナ内のトラックには、２つのタイプが存在する。１つはＶ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）、その他はＶ－ＰＣＣコンポーネントトラック（Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ）である。（Ｔｈｅ ｇｅｎｅｒａｌ ｌａｙｏｕｔ ｏｆ ａ ｍｕｌｔｉ－ｔｒａｃｋ ＩＳＯＢＭＦＦ Ｖ－ＰＣＣ ｃｏｎｔａｉｎｅｒ、ｗｈｅｒｅ Ｖ－ＰＣＣ ｕｎｉｔｓ ｉｎ ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ａｒｅ ｍａｐｐｅｄ ｔｏ ｉｎｄｉｖｉｄｕａｌ ｔｒａｃｋｓ ｗｉｔｈｉｎ ｔｈｅ ｃｏｎｔａｉｎｅｒ ｆｉｌｅ ｂａｓｅｄ ｏｎ ｔｈｅｉｒ ｔｙｐｅｓ． Ｔｈｅｒｅ ａｒｅ ｔｗｏ ｔｙｐｅｓ ｏｆ ｔｒａｃｋｓ ｉｎ ａ ｍｕｌｔｉ－ｔｒａｃｋ ＩＳＯＢＭＦＦ Ｖ－ＰＣＣ ｃｏｎｔａｉｎｅｒ： Ｖ－ＰＣＣ ｔｒａｃｋ ａｎｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ．）
Ｖ－ＰＣＣトラックは、Ｖ－ＰＣＣビットストリームにおいて容積測定視覚情報（ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）を送信するトラックである。Ｖ－ＰＣＣトラックは、実施例によるアトラスサブ－ビットストリーム（ａｔｌａｓ ｓｕｂ－ｂｉｔｓｔｒｅａｍ）及びシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含む。（Ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｉｓ ａ ｔｒａｃｋ ｃａｒｒｙｉｎｇ ｔｈｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｔｈｅ Ｖ－ＰＣＣ ｂｉｓｔｒｅａｍ、ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ ｔｈｅ ａｔｌａｓ ｓｕｂ－ｂｉｔｓｔｒｅａｍ ａｎｄ ｔｈｅ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ．）
Ｖ－ＰＣＣコンポーネントトラックは、Ｖ－ＰＣＣビットストリームの占有マップ、ジオメトリ及び特質サブ－ビットストリームに対する２Ｄビデオ符号化されたデータを伝送する制限されたビデオスキームトラック（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋ）である。更に、Ｖ－ＰＣＣコンポーネントトラックは、以下の条件を満たす。（Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ ａｒｅ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋｓ ｗｈｉｃｈ ｃａｒｒｙ ２Ｄ ｖｉｄｅｏ ｅｎｃｏｄｅｄ ｄａｔａ ｆｏｒ ｔｈｅ ｏｃｃｕｐａｎｃｙ ｍａｐ、ｇｅｏｍｅｔｒｙ、ａｎｄ ａｔｔｒｉｂｕｔｅ ｓｕｂ－ｂｉｔｓｔｒｅａｍｓ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｂｉｔｓｔｒｅａｍ． Ｉｎ ａｄｄｉｔｉｏｎ、ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ａｒｅ ｓａｔｉｓｆｉｅｄ ｆｏｒ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ：）
ａ）サンプルエントリーにおいて、Ｖ－ＰＣＣシステムでこのトラックに含まれたビデオストリームの役割を文書化する新しいボックスが挿入されること。（Ｉｎ ｔｈｅ ｓａｍｐｌｅ ｅｎｔｒｙ、ａ ｎｅｗ ｂｏｘ ｉｓ ｉｎｓｅｒｔｅｄ ｗｈｉｃｈ ｄｏｃｕｍｅｎｔｓ ｔｈｅ ｒｏｌｅ ｏｆ ｔｈｅ ｖｉｄｅｏ ｓｔｒｅａｍ ｃｏｎｔａｉｎｅｄ ｉｎ ｔｈｉｓ ｔｒａｃｋ、ｉｎ ｔｈｅ Ｖ－ＰＣＣ ｓｙｓｔｅｍ）
ｂ）Ｖ－ＰＣＣトラックによって表現される特定のポイントクラウド内のＶ－ＰＣＣコンポーネントトラックのメンバーシップを構成するために、トラックレファレンス（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ）がＶ－ＰＣＣトラックからＶ－ＰＣＣコンポーネントトラックに導出（紹介）されること。（ａ ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｆｒｏｍ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ、ｔｏ ｔｈｅ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ、ｔｏ ｅｓｔａｂｌｉｓｈ ｔｈｅ ｍｅｍｂｅｒｓｈｉｐ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ ｉｎ ｔｈｅ ｓｐｅｃｉｆｉｃ ｐｏｉｎｔ－ｃｌｏｕｄ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ）
ｃ）トラックが映像全体のレイアップとＶ－ＰＣＣシステムに直接寄与しないために、トラック－ヘッダフラグが０にセットされること。（ｔｈｅ ｔｒａｃｋ－ｈｅａｄｅｒ ｆｌａｇｓ ａｒｅ ｓｅｔ ｔｏ ０、ｔｏ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｉｓ ｔｒａｃｋ ｄｏｅｓ ｎｏｔ ｃｏｎｔｒｉｂｕｔｅ ｄｉｒｅｃｔｌｙ ｔｏ ｔｈｅ ｏｖｅｒａｌｌ ｌａｙｕｐ ｏｆ ｔｈｅ ｍｏｖｉｅ ｂｕｔ ｃｏｎｔｒｉｂｕｔｅｓ ｔｏ ｔｈｅ Ｖ－ＰＣＣ ｓｙｓｔｅｍ．）
同一のＶ－ＰＣＣシーケンスに属するトラックは全て時間－整列（ｔｉｍｅ－ａｌｉｇｎｅｄ）される。互いに異なるビデオ符号化Ｖ－ＰＣＣコンポーネントトラックとＶ－ＰＣＣトラックにおいて同一のポイントクラウドフレームに寄与するサンプルはプレゼンテーションタイムが同一である。このようなサンプルに使用されるＶ－ＰＣＣアトラスシーケンスパラメータセット及び／又はアトラスフレームパラメータセットは、ポイントクラウドフレームの合成時間と同一又は以前の復号時間を有する。更に、同一のＶ－ＰＣＣシーケンスに属する全てのトラックには同一の暗示的又は明示的な編集リストがあってもよい。（Ｔｒａｃｋｓ ｂｅｌｏｎｇｉｎｇ ｔｏ ｔｈｅ ｓａｍｅ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅ ａｒｅ ｔｉｍｅ－ａｌｉｇｎｅｄ． Ｓａｍｐｌｅｓ ｔｈａｔ ｃｏｎｔｒｉｂｕｔｅ ｔｏ ｔｈｅ ｓａｍｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ ａｃｒｏｓｓ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｖｉｄｅｏ－ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｈａｓ ｔｈｅ ｓａｍｅ ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ． Ｔｈｅ Ｖ－ＰＣＣ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ａｎｄ ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ｕｓｅｄ ｆｏｒ ｓｕｃｈ ｓａｍｐｌｅｓ ｈａｖｅ ａ ｄｅｃｏｄｉｎｇ ｔｉｍｅ ｅｑｕａｌ ｏｒ ｐｒｉｏｒ ｔｏ ｔｈｅ ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ ｏｆ ｔｈｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ． Ｉｎ ａｄｄｉｔｉｏｎ，ａｌｌ ｔｒａｃｋｓ ｂｅｌｏｎｇｉｎｇ ｔｏ ｔｈｅ ｓａｍｅ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅ ｈａｖｅ ｔｈｅ ｓａｍｅ ｉｍｐｌｉｅｄ ｏｒ ｅｘｐｌｉｃｉｔ ｅｄｉｔ ｌｉｓｔｓ．）
このレイアウトに基づいて、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦコンテナは、以下を含む。（Ｂａｓｅｄ ｏｎ ｔｈｉｓ ｌａｙｏｕｔ、ａ Ｖ－ＰＣＣ ＩＳＯＢＭＦＦ ｃｏｎｔａｉｎｅｒ ｓｈａｌｌ ｉｎｃｌｕｄｅ ｔｈｅ ｆｏｌｌｏｗｉｎｇ：）
１）Ｖ－ＰＣＣパラメータセット（サンプルエントリー内の）を含むＶ－ＰＣＣトラック及びＶ－ＰＣＣパラメータセットＶ－ＰＣＣユニット（ＶＰＣＣ＿ＶＰＳ）及びアトラスＶ－ＰＣＣユニット（ＶＰＣＣ＿ＡＤ）のペイロードを伝送するサンプル。このトラックは、ビデオ圧縮されたＶ－ＰＣＣユニット（ＶＰＣＣ＿ＯＶＤ、ＶＰＣＣ＿ＧＶＤ、ＶＰＣＣ＿ＡＶＤ）のペイロードを含む他のトラックを参照するためのトラックレファレンス（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ）も含む。（Ａ Ｖ－ＰＣＣ ｔｒａｃｋ ｗｈｉｃｈ ｃｏｎｔａｉｎｓ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ （ｉｎ ｔｈｅ ｓａｍｐｌｅ ｅｎｔｒｙ） ａｎｄ ｓａｍｐｌｅｓ ｃａｒｒｙｉｎｇ ｔｈｅ ｐａｙｌｏａｄｓ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ Ｖ－ＰＣＣ ｕｎｉｔ （ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ＿ＶＰＳ） ａｎｄ ａｔｌａｓ Ｖ－ＰＣＣ ｕｎｉｔｓ （ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ＿ＡＤ）． Ｔｈｉｓ ｔｒａｃｋ ａｌｓｏ ｉｎｃｌｕｄｅｓ ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅｓ ｔｏ ｏｔｈｅｒ ｔｒａｃｋｓ ｃａｒｒｙｉｎｇ ｔｈｅ ｐａｙｌｏａｄｓ ｏｆ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｅｄ Ｖ－ＰＣＣ ｕｎｉｔｓ （ｉ．ｅ．，ｕｎｉｔ ｔｙｐｅｓ ＶＰＣＣ＿ＯＶＤ、ＶＰＣＣ＿ＧＶＤ、ａｎｄ ＶＰＣＣ＿ＡＶＤ）． ）
２）占有マップ（Ｏｃｃｕｐａｎｃｙ ｍａｐ）データ（例えば、ＶＰＣＣ＿ＯＶＤのペイロード）に対するサンプルがビデオ－コーディングされたエレメンタリーストリーム（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）のアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）を含む制限されたビデオスキームトラック（ａ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋ）。（Ａ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋ ｗｈｅｒｅ ｔｈｅ ｓａｍｐｌｅｓ ｃｏｎｔａｉｎ ａｃｃｅｓｓ ｕｎｉｔｓ ｏｆ ａ ｖｉｄｅｏ－ｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｆｏｒ ｏｃｃｕｐａｎｃｙ ｍａｐ ｄａｔａ （ｉ．ｅ．，ｐａｙｌｏａｄｓ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔｓ ｏｆ ｔｙｐｅ ＶＰＣＣ＿ＯＶＤ）．）
３）サンプルがジオメトリデータに対するビデオ－コーディングされたエレメンタリーストリーム（ｖｉｄｅｏ－ｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）（ｉ．ｅ．，ｐａｙｌｏａｄｓ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔｓ ｏｆ ｔｙｐｅ ＶＰＣＣ＿ＧＶＤ）のアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）を含む１つ又はそれ以上の制限されたビデオスキームトラック（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋ）。（Ｏｎｅ ｏｒ ｍｏｒｅ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋｓ ｗｈｅｒｅ ｔｈｅ ｓａｍｐｌｅｓ ｃｏｎｔａｉｎ ａｃｃｅｓｓ ｕｎｉｔｓ ｏｆ ｖｉｄｅｏ－ｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍｓ ｆｏｒ ｇｅｏｍｅｔｒｙ ｄａｔａ．）
４）サンプルが特質データに対するビデオ－コーディングされたエレメンタリーストリーム（ｖｉｄｅｏ－ｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍｓ）（ｉ．ｅ．，ｐａｙｌｏａｄｓ ｏｆ Ｖ－ＰＣＣ ｕｎｉｔｓ ｏｆ ｔｙｐｅ ＶＰＣＣ＿ＡＶＤ）のアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）を含む０又はそれ以上の制限されたビデオスキームトラック（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋ）。（Ｚｅｒｏ ｏｒ ｍｏｒｅ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋｓ ｗｈｅｒｅ ｔｈｅ ｓａｍｐｌｅｓ ｃｏｎｔａｉｎ ａｃｃｅｓｓ ｕｎｉｔｓ ｏｆ ｖｉｄｅｏ－ｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍｓ ｆｏｒ ａｔｔｒｉｂｕｔｅ ｄａｔａ．）
Ｖ－ＰＣＣトラックサンプルエントリー（Ｖ－ＰＣＣ Ｔｒａｃｋ Ｓａｍｐｌｅ Ｅｎｔｒｙ）を説明する。
サンプルエントリータイプ： ‘ｖｐｃ１’、’ｖｐｃｇ’
コンテナ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須か否か：１つの’ｖｐｃ１’又は’ｖｐｃｇ’サンプルエントリーは必須である。
数量：１つ又はそれ以上のサンプルエントリーが存在する。
Ｖ－ＰＣＣトラックは、容積測定視覚サンプルエントリー（ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ）を’ｖｐｃ１’又は’ｖｐｃｇ’タイプのサンプルエントリーに拡張するＶＰＣＣサンプルエントリーを使用する。（Ｖ－ＰＣＣ ｔｒａｃｋｓ ｕｓｅ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ ｗｈｉｃｈ ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ ｗｉｔｈ ａ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ ｏｆ ’ｖｐｃ１’ ｏｒ ’ｖｐｃｇ’．）
Ｖ－ＰＣＣサンプルエントリーは、以下に説明するＶＰＣＣ構成ボックスを含む。これはＶＰＣＣデコーダ構成レコードを含む。（Ａ ＶＰＣＣ ｓａｍｐｌｅ ｅｎｔｒｙ ｃｏｎｔａｉｎｓ ａ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ、ａｓ ｄｅｆｉｎｅｄ ｂｅｌｏｗ． Ｔｈｉｓ ｉｎｃｌｕｄｅｓ ａ ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ）
’ｖｐｃ１’サンプルエントリーには、全てのアトラスシーケンスパラメータセット（ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＳＰＳ）、アトラスフレームパラメータセット（ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＦＰＳ）及び／又はＶ－ＰＣＣ ＳＥＩがセットアップユニット（ｓｅｔｕｐＵｎｉｔ）アレイ内に存在する。’ｖｐｃｇ’サンプルエントリーには、全てのアトラスシーケンスパラメータセット（ＡＳＰＳ）、アトラスフレームパラメータセット（ＡＦＰＳ）及び／又はＶ－ＰＣＣ ＳＥＩがこのアレイに又はこのストリームに含まれる。（Ｕｎｄｅｒ ｔｈｅ ’ｖｐｃ１’ ｓａｍｐｌｅ ｅｎｔｒｙ、ａｌｌ ａｔｌａｓ ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ ｓｅｔｓ、ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ、ｏｒ Ｖ－ＰＣＣ ＳＥＩｓ ａｒｅ ｉｎ ｔｈｅ ｓｅｔｕｐＵｎｉｔ ａｒｒａｙ． Ｕｎｄｅｒ ｔｈｅ ’ｖｐｃｇ’ ｓａｍｐｌｅ ｅｎｔｒｙ、ｔｈｅ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ、ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ、Ｖ－ＰＣＣ ＳＥＩｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｉｓ ａｒｒａｙ、ｏｒ ｉｎ ｔｈｅ ｓｔｒｅａｍ．）
任意のビットレートボックス（ＢｉｔＲａｔｅＢｏｘ）は、Ｖ－ＰＣＣトラックのビットレート情報をシグナルするためにＶ－ＰＣＣ容積測定サンプルエントリー内に存在する。（Ａｎ ｏｐｔｉｏｎａｌ ＢｉｔＲａｔｅＢｏｘ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＶＰＣＣ ｖｏｌｕｍｅｔｒｉｃ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｏ ｓｉｇｎａｌ ｔｈｅ ｂｉｔ ｒａｔｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ．）
Figure 2023509190000012
Ｖ－ＰＣＣトラックサンプルフォーマット（Ｖ－ＰＣＣ ｔｒａｃｋ ｓａｍｐｌｅ ｆｏｒｍａｔ）を説明する。
Ｖ－ＰＣＣトラック内の各々のサンプルはシングルポイントクラウドフレーム（ｓｉｎｇｌｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ）に該当する。様々なコンポーネントトラック内のこのフレームに対応するサンプルは、Ｖ－ＰＣＣトラックサンプルと同一のコンポジションタイム（ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ）を有する。各々のＶ－ＰＣＣサンプルは、１つ又はそれ以上のアトラスＮＡＬユニットを有する。（Ｅａｃｈ ｓａｍｐｌｅ ｉｎ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｃｏｒｒｅｓｐｏｎｄｓ ｔｏ ａ ｓｉｎｇｌｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ． Ｓａｍｐｌｅｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｉｓ ｆｒａｍｅ ｉｎ ｔｈｅ ｖａｒｉｏｕｓ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ ｓｈａｌｌ ｈａｖｅ ｔｈｅ ｓａｍｅ ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ ａｓ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｓａｍｐｌｅ． Ｅａｃｈ Ｖ－ＰＣＣ ｓａｍｐｌｅ ｗｈｉｃｈ ｍａｙ ｉｎｃｌｕｄｅ ｏｎｅ ｏｒ ｍｏｒｅ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ．）
実施例によるＶ－ＰＣＣサンプルは、以下のような構文を有する。
Figure 2023509190000013
ＶＰＣＣデコーダ構成レコード（ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ）は、マッチングするＶ－ＰＣＣサンプルエントリー内の実施例によるデコーダ構成レコードを示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｄｅｃｏｄｅｒ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｉｎ ｔｈｅ ｍａｔｃｈｉｎｇ Ｖ－ＰＣＣ ｓａｍｐｌｅ ｅｎｔｒｙ．）
ｎａｌユニット（ｎａｌＵｎｉｔ）は、実施例によるサンプルストリームＮＡＬユニットフォーマット内の１つのアトラスＮＡＬユニットを含む。（ｃｏｎｔａｉｎｓ ａ ｓｉｎｇｌｅ ａｔｌａｓ ＮＡＬ ｕｎｉｔ ｉｎ ｓａｍｐｌｅ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔ ｆｏｒｍａｔ）
ＮＡＬユニット長さ（ＮＡＬＵｎｉｔＬｅｎｇｔｈ）は、隣接するＮＡＬユニットのサイズ（ｂｙｔｅ単位）を示す。（ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｉｚｅ ｏｆ ａ ｓｕｂｓｅｑｕｅｎｔ ＮＡＬ ｕｎｉｔ ｉｎ ｂｙｔｅｓ．）
ＮＡＬユニット（ＮＡＬｕｎｉｔ）は、１つのアトラスＮＡＬユニットを含む。（ｃｏｎｔａｉｎｓ ａ ｓｉｎｇｌｅ ａｔｌａｓ ＮＡＬ ｕｎｉｔ）
Ｖ－ＰＣＣトラックシンクサンプル（Ｖ－ＰＣＣ ｔｒａｃｋ ｓｙｎｃ ｓａｍｐｌｅ）を説明する。
Ｖ－ＰＣＣトラック内のシンクサンプル（ｓｙｎｃ ｓａｍｐｌｅ）（ランダムアクセスポイント、ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）は、Ｖ－ＰＣＣ ＩＲＡＰコーディングされたパッチデータアクセスユニット（ＰＣＣ ＩＲＡＰ ｃｏｄｅｄ ｐａｔｃｈ ｄａｔａ ａｃｃｅｓｓ ｕｎｉｔ）である。ランダムアクセスを許容するために、アトラスパラメータセットはシンクサンプルにおいて繰り返される。（Ａ ｓｙｎｃ ｓａｍｐｌｅ （ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ） ｉｎ ａ Ｖ－ＰＣＣ ｔｒａｃｋ ｉｓ ａ Ｖ－ＰＣＣ ＩＲＡＰ ｃｏｄｅｄ ｐａｔｃｈ ｄａｔａ ａｃｃｅｓｓ ｕｎｉｔ ． Ａｔｌａｓ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ｍａｙ ｂｅ ｒｅｐｅａｔｅｄ、ｉｆ ｎｅｅｄｅｄ、ａｔ ａ ｓｙｎｃ ｓａｍｐｌｅ ｔｏ ａｌｌｏｗ ｆｏｒ ｒａｎｄｏｍ ａｃｃｅｓｓ．）
実施例によるビデオ符号化されたＶ－ＰＣＣコンポーネントトラック（Ｖｉｄｅｏ－ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋ）を説明する。
ＭＰＥＧに特化したコーディングビデオトラックの伝送（ｃａｒｒｉａｇｅ）は、ＩＳＯＢＭＦＦ標準文書に記載される。例えば、ＡＶＣ及びＨＥＶＣコーディングされたビデオの伝送は、ＩＳＯ／ＩＥＣ １４４９６－１５標準文書に従う。
受信機側（ｐｌａｙｅｒ ｓｉｄｅ）においてポイントクラウドデータを再構成せずに、特質、ジオメトリ又は占有マップトラックから復号されたフレームをディスプレイすることに意味がないため、制限されたビデオスキームタイプ（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｙｐｅ）がこのビデオコーディングされたトラックのために定義される。（Ｓｉｎｃｅ ｉｔ ｉｓ ｎｏｔ ｍｅａｎｉｎｇｆｕｌ ｔｏ ｄｉｓｐｌａｙ ｔｈｅ ｄｅｃｏｄｅｄ ｆｒａｍｅｓ ｆｒｏｍ ａｔｔｒｉｂｕｔｅ、ｇｅｏｍｅｔｒｙ、ｏｒ ｏｃｃｕｐａｎｃｙ ｍａｐ ｔｒａｃｋｓ ｗｉｔｈｏｕｔ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｔｈｅ ｐｏｉｎｔ ｃｌｏｕｄ ａｔ ｔｈｅ ｐｌａｙｅｒ ｓｉｄｅ、ａ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｙｐｅ ｉｓ ｄｅｆｉｎｅｄ ｆｏｒ ｔｈｅｓｅ ｖｉｄｅｏ－ｃｏｄｅｄ ｔｒａｃｋｓ．）
制限されたビデオスキーム（Ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ）
Ｖ－ＰＣＣコンポーネントビデオトラックは、制限されたビデオ（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ）のようにファイル内で表現され、それらの制限されたビデオサンプルエントリーの制限されたスキーム情報ボックス（ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ）のスキームライプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）のｓｃｈｅｍｅ＿ｔｙｐｅフィールド内の’ｐｃｃｖ’によって識別される。（Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｖｉｄｅｏ ｔｒａｃｋｓ ｓｈａｌｌ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｅ ｆｉｌｅ ａｓ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ，ａｎｄ ｉｄｅｎｔｉｆｉｅｄ ｂｙ ’ｐｃｃｖ’ Ｉｎ ｔｈｅ ｓｃｈｅｍｅ＿ｔｙｐｅ ｆｉｅｌｄ ｏｆ ｔｈｅ ＳｃｈｅｍｅＴｙｐｅＢｏｘ ｏｆ ｔｈｅ ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ ｏｆ ｔｈｅｉｒ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓａｍｐｌｅ ｅｎｔｒｉｅｓ．）
特質、ジオメトリ及び／又は占有マップＶ－ＰＣＣコンポーネントの符号化において使用されるビデオコーデックに制限はない。更に、これらのコンポーネントは、他のビデオコーデックを用いて符号化される。（Ｉｔ ｓｈｏｕｌｄ ｂｅ ｎｏｔｅｄ ｔｈａｔ ｔｈｅｒｅ ｉｓ ｎｏ ｒｅｓｔｒｉｃｔｉｏｎ ｏｎ ｔｈｅ ｖｉｄｅｏ ｃｏｄｅｃ ｕｓｅｄ ｆｏｒ ｅｎｃｏｄｉｎｇ ｔｈｅ ａｔｔｒｉｂｕｔｅ，ｇｅｏｍｅｔｒｙ，ａｎｄ ｏｃｃｕｐａｎｃｙ ｍａｐ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔｓ． Ｍｏｒｅｏｖｅｒ，ｔｈｅｓｅ ｃｏｍｐｏｎｅｎｔｓ ｍａｙ ｂｅ ｅｎｃｏｄｅｄ ｕｓｉｎｇ ｄｉｆｆｅｒｅｎｔ ｖｉｄｅｏ ｃｏｄｅｃｓ．）
スキーム情報（Ｓｃｈｅｍｅ ｉｎｆｏｒｍａｔｉｏｎ）
スキーム情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）は存在し、ＶＰＣＣユニットヘッドボックス（ＵｎｉｔＨｅａｄｅｒＢｏｘ）を含む。（Ｔｈｅ ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｓｈａｌｌ ｂｅ ｐｒｅｓｅｎｔ ａｎｄ ｃｏｎｔａｉｎ ａ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ．）
Ｖ－ＰＣＣコンポーネントトラックレファレンシング（Ｒｅｆｅｒｅｎｃｉｎｇ）、Ｒｅｆｅｒｅｎｃｉｎｇ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ
Ｖ－ＰＣＣトラックをコンポーネントビデオトラックとリンク（ｌｉｎｋ）するためには、各々のコンポーネントに対して３つのトラックレファレンスタイプボックスがＶ－ＰＣＣトラックのトラックボックス内のトラックレファレンスボックスに追加される。トラックレファレンスタイプボックスは、Ｖ－ＰＣＣトラックが参照する該当ビデオトラックを称するｔｒａｃｋ＿ＩＤｓのアレイを含む。トラックレファレンスタイプボックスのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは、該当コンポーネント（例えば、占有マップ、ジオメトリ、又は特質）のタイプを示す。これらのトラックレファレンスタイプの４ＣＣｓは以下のようである。（Ｔｏ ｌｉｎｋ ａ Ｖ－ＰＣＣ ｔｒａｃｋ ｔｏ ｃｏｍｐｏｎｅｎｔ ｖｉｄｅｏ ｔｒａｃｋｓ，ｔｈｒｅｅ ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓ ａｒｅ ａｄｄｅｄ ｔｏ ａ ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ ｗｉｔｈｉｎ ｔｈｅ ＴｒａｃｋＢｏｘ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ、ｏｎｅ ｆｏｒ ｅａｃｈ ｃｏｍｐｏｎｅｎｔ． Ｔｈｅ ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘ ｃｏｎｔａｉｎｓ ａｎ ａｒｒａｙ ｏｆ ｔｒａｃｋ＿ＩＤｓ ｄｅｓｉｇｎａｔｉｎｇ ｔｈｅ ｖｉｄｅｏ ｔｒａｃｋｓ ｗｈｉｃｈ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅｓ． Ｔｈｅ ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ ｏｆ ａ ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘ ｉｄｅｎｔｉｆｉｅｓ ｔｈｅ ｔｙｐｅ ｏｆ ｔｈｅ ｃｏｍｐｏｎｅｎｔ （ｉ．ｅ．，ｏｃｃｕｐａｎｃｙ ｍａｐ，ｇｅｏｍｅｔｒｙ，ｏｒ ａｔｔｒｉｂｕｔｅ，ｏｒ ｏｃｃｕｐａｎｃｙ ｍａｐ）． Ｔｈｅ ４ＣＣｓ ｏｆ ｔｈｅｓｅ ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅｓ ｉｓ：）
１）’ｐｃｃｏ’：ビデオコーディングされた占有マップＶ－ＰＣＣコンポーネントを含む参照されたトラック（ら）（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ｖｉｄｅｏ－ｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｍａｐ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ）
２）’ｐｃｃｇ’：ビデオコーディングされたジオメトリＶ－ＰＣＣコンポーネントを含む参照されたトラック（ら）（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ｖｉｄｅｏ－ｃｏｄｅｄ ｇｅｏｍｅｔｒｙ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ）
３）’ｐｃｃａ’：ビデオコーディングされた特質Ｖ－ＰＣＣコンポーネントを含む参照されたトラック（ら）（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ｖｉｄｅｏ－ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ）
参照される制限されたビデオトラック（ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｔｒａｃｋ）によって伝送され、該当トラックの制限されたスキーム情報ボックスにおいてシグナルされるＶ－ＰＣＣコンポーネントのタイプは、Ｖ－ＰＣＣトラックのトラックレファレンスのレファレンスタイプとマッチングする。（Ｔｈｅ ｔｙｐｅ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｃａｒｒｉｅｄ ｂｙ ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｔｒａｃｋ，ａｎｄ ｓｉｇｎａｌｌｅｄ ｉｎ ｔｈｅ ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ ｏｆ ｔｈｅ ｔｒａｃｋ，ｓｈａｌｌ ｍａｔｃｈ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ ｏｆ ｔｈｅ ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｆｒｏｍ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ．）
Ｖ－ＰＣＣビットストリームのシングルトラックコンテナ（Ｓｉｎｇｌｅ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ）
Ｖ－ＰＣＣデータのシングル－トラックカプセル化（即ち、実施例によるポイントクラウドデータを１つのトラックにカプセル化する場合）は、Ｖ－ＰＣＣ符号化されたエレメンタリービットストリームが１つのトラック宣言によって表現されることを求める。（Ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ ｏｆ Ｖ－ＰＣＣ ｄａｔａ ｒｅｑｕｉｒｅｓ ｔｈｅ Ｖ－ＰＣＣ ｅｎｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｂｉｔｓｔｒｅａｍ ｔｏ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｄｅｃｌａｒａｔｉｏｎ． ）
ポイントクラウドデータのシングル－トラックカプセル化は、Ｖ－ＰＣＣ符号化されたビットストリームのＩＳＯＢＭＦＦカプセル化において活用する。このビットストリームは、追加の動作なく、１つのトラックに直接格納される。実施例によるＶ－ＰＣＣユニットヘッダデータ構造は、該当ビットストリーム内に保有される。Ｖ－ＰＣＣデータに対する１つのトラックコンテナは、追加の動作のためのメディアワークフローによって提供される（例えば、マルチ－トラックファイル生成、トランスコーディング、ＤＡＳＨセグメンテーションなど）（Ｓｉｎｇｌｅ－ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ ｏｆ ＰＣＣ ｄａｔａ ｃｏｕｌｄ ｂｅ ｕｔｉｌｉｚｅｄ ｉｎ ｔｈｅ ｃａｓｅ ｏｆ ｓｉｍｐｌｅ ＩＳＯＢＭＦＦ ｅｎｃａｐｓｕｌａｔｉｏｎ ｏｆ ａ Ｖ－ＰＣＣ ｅｎｃｏｄｅｄ ｂｉｔｓｔｒｅａｍ． Ｓｕｃｈ ａ ｂｉｔｓｔｒｅａｍ ｃｏｕｌｄ ｂｅ ｄｉｒｅｃｔｌｙ ｓｔｏｒｅｄ ａｓ ａ ｓｉｎｇｌｅ ｔｒａｃｋ ｗｉｔｈｏｕｔ ｆｕｒｔｈｅｒ ｐｒｏｃｅｓｓｉｎｇ． Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｄａｔａ ｓｔｒｕｃｔｕｒｅｓ ｃａｎ ｂｅ ｋｅｐｔ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ ａｓ－ｉｓ． Ａ ｓｉｎｇｌｅ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｆｏｒ Ｖ－ＰＣＣ ｄａｔａ ｃｏｕｌｄ ｂｅ ｐｒｏｖｉｄｅｄ ｔｏ ｍｅｄｉａ ｗｏｒｋｆｌｏｗｓ ｆｏｒ ｆｕｒｔｈｅｒ ｐｒｏｃｅｓｓｉｎｇ （ｅ．ｇ．，ｍｕｌｔｉ－ｔｒａｃｋ ｆｉｌｅ ｇｅｎｅｒａｔｉｏｎ，ｔｒａｎｓｃｏｄｉｎｇ，ＤＡＳＨ ｓｅｇｍｅｎｔａｔｉｏｎ、ｅｔｃ．）。
１つのトラックにカプセル化された実施例によるＶ－ＰＣＣデータを含むＩＳＯＢＭＦＦファイルは、ＦｉｌｅＴｙｐｅＢｏｘのｃｏｍｐａｔｉｂｌｅ＿ｂｒａｎｄｓ［］リスト内の’ｐｃｓｔ’を含む。（Ａｎ ＩＳＯＢＭＦＦ ｆｉｌｅ ｗｈｉｃｈ ｃｏｎｔａｉｎｓ ｓｉｎｇｌｅ－ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｅｄ Ｖ－ＰＣＣ ｄａｔａ ｃｏｎｔａｉｎｓ ’ｐｃｓｔ’ ｉｎ ｔｈｅ ｃｏｍｐａｔｉｂｌｅ＿ｂｒａｎｄｓ「」 ｌｉｓｔ ｏｆ ｉｔｓ ＦｉｌｅＴｙｐｅＢｏｘ．）
Ｖ－ＰＣＣエレメンタリートラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）
サンプルエントリー タイプ： ‘ｖｐｅ１’、’ｖｐｅｇ’
コンテナ：ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ
必須であるか否か：’ｖｐｅ１’又は’ｖｐｅｇ’サンプルエントリーは必須
数量：１つ又はそれ以上のサンプルエントリーが存在する。
Ｖ－ＰＣＣエレメンタリーストリームトラックは’ｖｐｅ１’又は’ｖｐｅｇ’のサンプルエントリータイプを有する容積測定視覚サンプルエントリー（ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ）を使用する。（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋｓ ｕｓｅ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ ｗｉｔｈ ａ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ ｏｆ ’ｖｐｅ１’ ｏｒ ’ｖｐｅｇ’．）
Ｖ－ＰＣＣエレメンタリーストリームのサンプルエントリーは、以下のようなＶＰＣＣ構成ボックスを含む。（Ａ ＶＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ ｅｎｔｒｙ ｃｏｎｔａｉｎｓ ａ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ、ａｓ ｄｅｆｉｎｅｄ ｂｅｌｏｗ．）
’ｖｐｅ１’ サンプルエントリーにおいて、全てのアトラスシーケンスパラメータセット（ＡＳＰＳ）、アトラスフレームパラメータセット（ＡＦＰＳ）、ＳＥＩは、ｓｅｔｕｐＵｎｉｔアレイ内に存在する。’ｖｐｅｇ’サンプルエントリーにおいて、アトラスシーケンスパラメータセット（ＡＳＰＳ）、アトラスフレームパラメータセット（ＡＦＰＳ）、ＳＥＩはこのストリーム又はこのアレイ内に存在する。（Ｕｎｄｅｒ ｔｈｅ ’ｖｐｅ１’ ｓａｍｐｌｅ ｅｎｔｒｙ，ａｌｌ ａｔｌａｓ ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ ｓｅｔｓ、ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ，ＳＥＩｓ ａｒｅ ｉｎ ｔｈｅ ｓｅｔｕｐＵｎｉｔ ａｒｒａｙ． Ｕｎｄｅｒ ｔｈｅ ’ｖｐｅｇ’ ｓａｍｐｌｅ ｅｎｔｒｙ，ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ，ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ，ＳＥＩｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｉｓ ａｒｒａｙ、ｏｒ ｉｎ ｔｈｅ ｓｔｒｅａｍ．） 実施例によるＶＰＣＣ構成ボックスは、以下のような構文を有する。
Figure 2023509190000014
Ｖ－ＰＣＣエレメンタリーストリームサンプルフォーマット（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ ｆｏｒｍａｔ）
実施例によるＶ－ＰＣＣエレメンタリーストリームサンプルは、同一のプレゼンテーションタイム（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ）を有する１つ又はそれ以上の実施例によるＶ－ＰＣＣユニットを含む。各々のサンプルは、固有なプレゼンテーションタイム、大きさ及び期間（ｄｕｒａｔｉｏｎ）を有する。サンプルは、自己－完結（ｓｅｌｆ－ｃｏｎｔａｉｎｅｄ、例えば、シンクサンプル）されるか、又はＶ－ＰＣＣエレメンタリーストリームサンプルに復号－ワイズ（ｄｅｃｏｄｉｎｇ－ｗｉｓｅ）依存関係である。（Ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ ｉｎｃｌｕｄｅｓ ｏｎｅ ｏｒ ｍｏｒｅ Ｖ－ＰＣＣ ｕｎｉｔｓ ｗｈｉｃｈ ｂｅｌｏｎｇ ｔｏ ｔｈｅ ｓａｍｅ ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ． Ｅａｃｈ ｓｕｃｈ ｓａｍｐｌｅ ｈａｓ ａ ｕｎｉｑｕｅ ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ，ａ ｓｉｚｅ，ａｎｄ ａ ｄｕｒａｔｉｏｎ． ａ ｓａｍｐｌｅ ｍａｙ ｂｅ ｓｅｌｆ－ｃｏｎｔａｉｎｅｄ （ｅ．ｇ．，ａ ｓｙｎｃ ｓａｍｐｌｅ） ｏｒ ｄｅｃｏｄｉｎｇ－ｗｉｓｅ ｄｅｐｅｎｄｅｎｔ ｏｎ ｏｔｈｅｒ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅｓ．）
Ｖ－ＰＣＣエレメンタリーストリームシンクサンプル（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｙｎｃ ｓａｍｐｌｅ）を説明する。
実施例によるＶ－ＰＣＣエレメンタリーストリームシンクサンプルは、以下の条件を満たす。（Ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｙｎｃ ｓａｍｐｌｅ ｓｈａｌｌ ｓａｔｉｓｆｙ ａｌｌ ｔｈＥ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ：）
１）独立して復号される。（Ｉｔ ｉｓ ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｄｅｃｏｄａｂｌｅ．）
２）このシンクサンプル以後に存在するサンプル（復号順序）は、いずれもこのサンプルの以前に存在するサンプルと復号するときに依存性がない。（Ｎｏｎｅ ｏｆ ｔｈｅ ｓａｍｐｌｅｓ ｔｈａｔ ｃｏｍｅ ａｆｔｅｒ ｔｈｅ ｓｙｎｃ ｓａｍｐｌｅ （ｉｎ ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ） ｈａｖｅ ａｎｙ ｄｅｃｏｄｉｎｇ ｄｅｐｅｎｄｅｎｃｙ ｏｎ ａｎｙ ｓａｍｐｌｅ ｐｒｉｏｒ ｔｏ ｔｈｅ ｓｙｎｃ ｓａｍｐｌｅ．）
３）このシンクサンプル以後に存在する全てのサンプル（復号順序）は、いずれも成功的に復号できること。（Ａｌｌ ｓａｍｐｌｅｓ ｔｈａｔ ｃｏｍｅ ａｆｔｅｒ ｔｈｅ ｓｙｎｃ ｓａｍｐｌｅ （ｉｎ ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ） ａｒｅ ｓｕｃｃｅｓｓｆｕｌｌｙ ｄｅｃｏｄａｂｌｅ．）
実施例によるＶ－ＰＣＣエレメンタリーストリームサブ－サンプル（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅ）を説明する。
実施例によるＶ－ＰＣＣエレメンタリーサブ－サンプルは、Ｖ－ＰＣＣエレメンタリーストリームサンプルに含まれたＶ－ＰＣＣユニットである。（Ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅ ｉｓ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｗｈｉｃｈ ｉｓ ｃｏｎｔａｉｎｅｄ ｉｎ ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ． ）
Ｖ－ＰＣＣエレメンタリーストリームトラックは、サンプルテーブルボックス（ＳａｍｐｌｅＴａｂｌｅＢｏｘ）内又はムービフラグメントボックス（ＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘｅｓ）の各々のトラックフラグメントボックス（ＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ）内に１つのサブサンプル情報ボックス（ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）を有する。（これらはＶ－ＰＣＣエレメンタリーストリームサブ－サンプルを並べる）（Ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ ｃｏｎｔａｉｎｓ ｏｎｅ ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ ｉｎ ｉｔｓ ＳａｍｐｌｅＴａｂｌｅＢｏｘ，ｏｒ ｉｎ ｔｈｅ ＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ ｏｆ ｅａｃｈ ｏｆ ｉｔｓ ＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘｅｓ，ｗｈｉｃｈ ｌｉｓｔｓ ｔｈｅ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅｓ． ）
サブサンプルを示すＶ－ＰＣＣユニットの３２ビットのユニットヘッダは、サブサンプル情報ボックス（ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）内のサブ－サンプルエントリーの３２ビットｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドにコピーされる。各々のサブサンプルのＶ－ＰＣＣユニットタイプは、サブサンプル情報ボックス内のサブ－サンプルエントリーのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓをパーシングすることで識別される。（Ｔｈｅ ３２－ｂｉｔ ｕｎｉｔ ｈｅａｄｅｒ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ｓｕｂ－ｓａｍｐｌｅ ｓｈａｌｌ ｂｅ ｃｏｐｉｅｄ ｔｏ ｔｈｅ ３２－ｂｉｔ ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄ ｏｆ ｔｈｅ ｓｕｂ－ｓａｍｐｌｅ ｅｎｔｒｙ ｉｎ ｔｈｅ ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ． Ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｔｙｐｅ ｏｆ ｅａｃｈ ｓｕｂ－ｓａｍｐｌｅ ｉｓ ｉｄｅｎｔｉｆｉｅｄ ｂｙ ｐａｒｓｉｎｇ ｔｈｅ ｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓ ｆｉｅｌｄ ｏｆ ｔｈｅ ｓｕｂ－ｓａｍｐｌｅ ｅｎｔｒｙ ｉｎ ｔｈｅ ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ．）
図２９は実施例によるＶ－ＰＣＣサンプルエントリー（Ｖ－ＰＣＣ ｓａｍｐｌｅ ｅｎｔｒｙ）を示す。
図２９に示された実施例によるサンプルエントリーは、図２８に示されたＩＳＯＢＭＦＦファイルに含まれる。実施例によるＶ－ＰＣＣサンプルエントリー（Ｖ－ＰＣＣ ｓａｍｐｌｅ ｅｎｔｒｙ）は、実施例によるＶ－ＰＣＣパラメータセット（Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ）２９００４を含むＶ－ＰＣＣユニット（又はＮＡＬユニット）、アトラスシーケンスパラメータセット（Ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＳＰＳ）を含むＮＡＬユニット、アトラスフレームパラメータセット（Ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＡＦＰＳ）を含むＮＡＬユニット及び／又はＳＥＩ（ＳＥＩメッセージ）を含む。
実施例によるサンプルエントリーは、図２９に示されたように、図２４ないし図２６に示されたサンプルストリームＶ－ＰＣＣユニット及び／又は図２７に示されたサンプルストリームＮＡＬユニットを単独又は共存するように含む。
サンプルストリームＶＰＣＣヘッダ（Ｓａｍｐｌｅ Ｓｔｒｅａｍ ＶＰＣＣ Ｈｅａｄｅｒ）２９００１は、図２４の実施例によるサンプルストリームＶＰＣＣヘッダ、図２５のサンプルストリームＶＰＣＣヘッダ２５００１、２５００４を意味する。
サンプルストリームＮＡＬヘッダ（Ｓａｍｐｌｅ Ｓｔｒｅａｍ ＮＡＬ Ｈｅａｄｅｒ）２９００２は、図２７の実施例によるサンプルストリームＮＡＬヘッダ２７００１を意味する。
ＶＰＣＣユニットヘッダボックス（ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ）は、例えば、図２４に示されたＶ－ＰＣＣユニットヘッダ２４００１ｂ及び／又はＶ－ＰＣＣユニットサイズ２４００１ａ、図２６のＶ－ＰＣＣユニットヘッダ２６０００、又は図２７のサンプルストリームＮＡＬユニット２７００２、２７００４に含まれたＮＡＬユニットのヘッダを意味する。
サンプルストリームＶ－ＰＣＣユニット２９００４は、例えば、図２４に示されたＶ－ＰＣＣユニット２４００１ｂ、２４００１ｃ、又はＶ－ＰＣＣユニットペイロード２４００１ｃを意味する。
サンプルストリームＮＡＬユニット２９００５は、例えば、図２７に示されたサンプルストリームＮＡＬユニット２７００２を意味する。
図３０は実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの役割を示す。
図３０は、実施例によるポイントクラウドデータ３００００、ポイントクラウドデータを見る実際カメラ又は仮想カメラ３０００１、実施例による実際カメラ及び／又は仮想カメラ３０００１が見る３次元空間上の領域３０００２（視錘台、ｖｉｅｗ ｆｒｕｓｔｕｍ）、実際カメラ及び／又は仮想カメラ３０００１が見る３次元空間上の領域を２次元平面にプロジェクトした領域３０００３（ビュー、ｖｉｅｗ）を示す。
実施例によるポイントクラウドデータ送信装置は、ユーザのビューポートによってＶ－ＰＣＣコンテンツの空間部分アクセス（ｓｐａｔｉａｌ ａｃｃｅｓｓ）を支援するためのＶ－ＰＣＣコンテンツの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域に関連するメタデータを提供する。
仮想カメラ３０００１とは、ユーザの視線（又は目（ｅｙｅ））、即ち、３次元上の一部の領域を見るユーザの視覚を示す概念である。
視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）３０００２とは、実施例によるポイントクラウドデータ受信装置によって実際にレンダリングされてユーザにディスプレイされるポイントクラウドデータの全部又は一部を含む３次元空間上の領域を意味する。
視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）は、必ずしも、図３０に示すような立体的な形状で構成する必要はない。視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）は、例えば、可視性円錐（ｖｉｓｉｂｉｌｉｔｙ ｃｏｎｅ）のような円錐状（又は円錐台状）で構成される。
ビュー（ｖｉｅｗ）３０００３とは、実際にディスプレイされる２Ｄイメージ／ビデオフレームを意味する。
実施例によるＶ－ＰＣＣビットストリームは、実施例によるポイントクラウドデータがレンダリングされてユーザに提供されるビュー（ｖｉｅｗ）を生成するための情報（例えば、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔなど）を含む。
例えば、実施例によるＶ－ＰＣＣビットストリームは、実施例によるビュー（ｖｉｅｗ）を生成するための実際カメラ又は仮想カメラの３次元空間上における位置（ｐｏｓｉｔｉｏｎ）情報を示す位置情報、実際カメラ又は仮想カメラの３次元空間上における垂直ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、水平ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、実際カメラ又は仮想カメラが見る方向を示す情報（ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ）、実際カメラ又は仮想カメラの上方を示す上ベクトル（ｕｐ ｖｅｃｔｏｒ）情報などを含む。
実施例によるポイントクラウドデータ受信装置は、位置情報に基づいてユーザが見る視線の位置を把握し、これに基づいてユーザが見るビュー（ｖｉｅｗ）３０００３又は視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）３０００２を再構成（ｒｅｃｏｎｓｔｒｕｃｔ）又は生成する。
実施例によるポイントクラウドデータ受信装置は、方向ベクトルに基づいてユーザが見る視線の方向を把握し、これに基づいてユーザが見る（ｖｉｅｗ）３０００３又は視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）３０００２を再構成（ｒｅｃｏｎｓｔｒｕｃｔ）又は生成する。
実施例によるポイントクラウドデータ受信装置は、上ベクトルに基づいてユーザが見る視線の回転度（例えば、実施例による方向ベクトルを基準としてどのくらい回転したかを示す）を把握し、これに基づいてユーザが見るビュー（ｖｉｅｗ）３０００３又は視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）３０００２を再構成（ｒｅｃｏｎｓｔｒｕｃｔ）又は生成する。
実施例によるポイントクラウドデータ受信装置は、Ｖ－ＰＣＣビットストリームにおいて上述した情報に基づいて、ユーザのための視錘台（ｖｉｅｗ ｆｒｕｓｔｕｍ）を類推及び生成する。
実施例によるポイントクラウドデータ受信装置は、視錘台に基づいて実際にユーザにディスプレイされるビュー（ｖｉｅｗ）を生成する。例えば、受信装置は、視錘台を２Ｄフレームでプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）することで、ビューを生成する。
図３０に示された実施例による送信装置の動作を行うために、実施例による送信装置のエンコーダは、上述した位置（ｐｏｓｉｔｉｏｎ）情報を示す位置情報、上述した垂直ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、水平ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、上述した方向情報（ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ）及び／又は上述した上ベクトル（ｕｐ ｖｅｃｔｏｒ）情報を生成し、実施例による送信装置のカプセル化部は、生成された情報をカプセル化する。
図３０に示された実施例による送信装置の動作を行うために、実施例による送信装置のカプセル化部は、上述した位置（ｐｏｓｉｔｉｏｎ）情報を示す位置情報、上述した垂直ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、水平ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、上述した方向情報（ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ）及び／又は上述した上ベクトル（ｕｐ ｖｅｃｔｏｒ）情報を生成及びカプセル化する。
実施例によるビュー情報（例えば、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ）を実施例による送信装置がカプセル化されたファイル（例えば、ＩＳＯＢＭＦＦファイル）の形式で送信する方法は、図３１において詳述する。
図３０に示された実施例による受信装置の動作を行うために、実施例による送信装置１００００のエンコーダ１０００２、図４及び図１５の符号化装置１００、図１８のビデオ符号化部１８００６、図２０のビデオ符号化部２０００２、イメージ符号化部２０００３、図２１のビデオ／イメージ符号化部２１００７、２１００８は、図３０で説明した情報を生成し、ポイントクラウドデータを符号化する。符号化されたデータは、図２４のように、ビットストリーム２４０００で構成される。
具体的に、図３０で説明した情報は、実施例によるポイントクラウドビットストリーム２４０００のアトラスデータ２４００２ｅなどに含まれる。アトラスデータ２４００２ｅは、アトラスシーケンスパラメータセット（ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）とも呼ばれる。
ポイントクラウドデータ（又はアトラスデータ２４００２ｅ）が実施例によるカプセル化部（例えば、図１、図２０ないし図２１のカプセル化部１０００３、２０００４、２１００９など）によってシングルトラック（ｓｉｎｇｌｅ ｔｒａｃｋ）にカプセル化される場合、図３０で説明した情報を含むポイントクラウドビットストリーム２４０００は、該当トラック（Ｖ３Ｃビットストリームトラック、Ｖ３Ｃ ｂｉｔｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー又はサンプル（ら;等）又はサブ－サンプル（ら;等）内に含まれる。マルチトラック（ｍｕｌｔｉ－ｔｒａｃｋ）にカプセル化される場合、複数のトラックのうちＶ３Ｃトラック（例えば、図２８のＶ－ＰＣＣトラック２８００２ｄ）によって送信され、図３０で説明した情報を含むポイントクラウドビットストリーム２４０００は、パッチシーケンスデータビットストリーム２８００３ｄに含まれる。
また、符号化されたデータ（例えば、図２４に示されたＶ－ＰＣＣビットストリームに送信されるデータ）は、図１のファイル／セグメントカプセル化部１０００３、図２０、図２１のファイルセグメントカプセル化部２０００４、２１００９などによってカプセル化されて１つのファイル（例えば、ＩＳＯＢＭＦＦファイル）の形式で送信される。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、上述したビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がビュー情報を用いてレンダリングすることで、受信装置はユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図３１は実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの構文の一例を示す。
図３１に示された実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータは、実施例によるＶ－ＰＣＣビットストリーム（又はビットストリームがカプセル化されて生成されたファイルなど）に含まれる。
ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、ｖｉｅｗ＿ｐｏｓ＿ｘ、ｖｉｅｗ＿ｐｏｓ＿ｙ、ｖｉｅｗ＿ｐｏｓ＿ｚ、ｖｉｅｗ＿ｖｆｏｖ、ｖｉｅｗ＿ｈｆｏｖ、ｖｉｅｗ＿ｄｉｒ＿ｘ、ｖｉｅｗ＿ｄｉｒ＿ｙ、ｖｉｅｗ＿ｄｉｒ＿ｚ、ｖｉｅｗ＿ｕｐ＿ｘ、ｖｉｅｗ＿ｕｐ＿ｙ及び／又はｖｉｅｗ＿ｕｐ＿ｚを含む。
具体的に、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、実施例によるエンコーダ（例えば、図１のエンコーダ１０００２、図４、図１５の符号化装置１００、図１８のビデオ符号化部１８００６、図２０のビデオ符号化部２０００２、イメージ符号化部２０００３、図２１のビデオ／イメージ符号化部２１００７、２１００８など）によって生成及び符号化され、図２４のアトラスデータ２４００２ｅ又はＶ－ＰＣＣパラメータセット２４００２ａ、図２７のサンプルストリームＮＡＬユニット内のアトラスタイルグループ（ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ）に含まれ、これらがカプセル化部（例えば、図１のファイル／セグメントカプセル化部１０００３、図２０、図２１のファイルセグメントカプセル化部２０００４、２１００９など）によってカプセル化され、ファイル内の１つ又はそれ以上のトラックに含まれる。
例えば、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、図２８のＶ－ＰＣＣトラック２８００２ｄによって送信され、パッチシーケンスデータビットストリーム２８００３ｄに含まれるようにカプセル化される。例えば、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、図２８のパッチシーケンスデータビットストリーム２８００３ｄにおいて、図２４に示されたアトラ データ２４００２ｅ又は図２７に示されたサンプルストリームＮＡＬユニット内のアトラスタイルグループに含まれるようにカプセル化される。
ポイントクラウドデータ（又はアトラスデータ２４００２ｅ）が実施例によるカプセル化部（例えば、図１、図２０、図２１のカプセル化部１０００３、２０００４、２１００９など）によってシングルトラック（ｓｉｎｇｌｅ ｔｒａｃｋ）にカプセル化される場合、図３１で説明した情報を含むポイントクラウドビットストリーム２４０００は、そのトラック（Ｖ３Ｃビットストリームトラック、Ｖ３Ｃ ｂｉｔｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー又はサンプル（ら）又はサブ－サンプル（ら）に含まれる。マルチトラック（ｍｕｌｔｉ－ｔｒａｃｋ）にカプセル化される場合、複数のトラックのうちのＶ３Ｃトラック（例えば、図２８のＶ－ＰＣＣトラック２８００２ｄ）によって送信され、図３１で説明した情報を含むポイントクラウドビットストリーム２４０００は、パッチシーケンスデータビットストリーム２８００３ｄに含まれる。
実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータは、例えば、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ、Ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ（ビュー情報）と呼ばれる。実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータは、図３１で説明した動作を行うために必要なパラメータである。
ビュー＿ポジション＿ｘ（ｖｉｅｗ＿ｐｏｓ＿ｘ）、ビュー＿ポジション＿ｙ（ｖｉｅｗ＿ｐｏｓ＿ｙ）、ビュー＿ポジション＿ｚ（ｖｉｅｗ＿ｐｏｓ＿ｚ）は、カメラの位置を示す情報を意味する。例えば、ビュー＿ポジション＿ｘ（ｖｉｅｗ＿ｐｏｓ＿ｘ）、ビュー＿ポジション＿ｙ（ｖｉｅｗ＿ｐｏｓ＿ｙ）、ビュー＿ポジション＿ｚ（ｖｉｅｗ＿ｐｏｓ＿ｚ）の各々は、実施例によるユーザのビュー（Ｖｉｅｗ）を生成するための実際カメラ又は仮想カメラの３次元空間上のｘ座標、ｙ座標、ｚ座標の値を示す。
ビュー＿垂直ＦＯＶ（ｖｉｅｗ＿ｖｆｏｖ）、ビュー＿水平ＦＯＶ（ｖｉｅｗ＿ｈｆｏｖ）の各々は、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）及び視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を意味する。ビュー＿垂直ＦＯＶ（ｖｉｅｗ＿ｖｆｏｖ）、ビュー＿水平ＦＯＶ（ｖｉｅｗ＿ｈｆｏｖ）は、例えば、ユーザのビュー（Ｖｉｅｗ）を生成するための実際カメラ又は仮想カメラの垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）情報を示す。
ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、カメラのオリエンテーション方向を示す情報を含む。カメラのオリエンテーション方向を示す情報は、例えば、ビュー＿方向＿ｘ（ｖｉｅｗ＿ｄｉｒ＿ｘ）、ビュー＿方向＿ｙ（ｖｉｅｗ＿ｄｉｒ＿ｙ）、ビュー＿方向＿ｚ（ｖｉｅｗ＿ｄｉｒ＿ｚ）、ビュー＿アップ＿ｘ（ｖｉｅｗ＿ｕｐ＿ｘ）、ビュー＿アップ＿ｙ（ｖｉｅｗ＿ｕｐ＿ｙ）、ビュー＿アップ＿ｚ（ｖｉｅｗ＿ｕｐ＿ｚ）などを含む。
ビュー＿方向＿ｘ（ｖｉｅｗ＿ｄｉｒ＿ｘ）、ビュー＿方向＿ｙ（ｖｉｅｗ＿ｄｉｒ＿ｙ）、ビュー＿方向＿ｚ（ｖｉｅｗ＿ｄｉｒ＿ｚ）は、カメラのオリエンテーション方向を示す情報を意味する。例えば、ビュー＿方向＿ｘ（ｖｉｅｗ＿ｄｉｒ＿ｘ）、ビュー＿方向＿ｙ（ｖｉｅｗ＿ｄｉｒ＿ｙ）、ビュー＿方向＿ｚ（ｖｉｅｗ＿ｄｉｒ＿ｚ）の各々は、実際カメラ又は仮想カメラが見る方向（ｏｒｉｅｎｔａｔｉｏｎ）を示す方向ベクトルを示すための３次元空間上のｘ座標、ｙ座標、ｚ座標の値を示す。ビュー＿方向＿ｘ（ｖｉｅｗ＿ｄｉｒ＿ｘ）、ビュー＿方向＿ｙ（ｖｉｅｗ＿ｄｉｒ＿ｙ）、ビュー＿方向＿ｚ（ｖｉｅｗ＿ｄｉｒ＿ｚ）は、例えば、実際カメラ又は仮想カメラが見る可視性円錐（ｖｉｓｉｂｉｌｉｔｙ ｃｏｎｅ）に対する方向ベクトルを意味する。
ビュー＿アップ＿ｘ（ｖｉｅｗ＿ｕｐ＿ｘ）、ビュー＿アップ＿ｙ（ｖｉｅｗ＿ｕｐ＿ｙ）、ビュー＿アップ＿ｚ（ｖｉｅｗ＿ｕｐ＿ｚ）は、カメラのオリエンテーション方向を示す情報を意味する。例えば、ビュー＿アップ＿ｘ（ｖｉｅｗ＿ｕｐ＿ｘ）、ビュー＿アップ＿ｙ（ｖｉｅｗ＿ｕｐ＿ｙ）、ビュー＿アップ＿ｚ（ｖｉｅｗ＿ｕｐ＿ｚ）の各々は、実際カメラ又は仮想カメラの上方を示す上ベクトル（ｕｐ ｖｅｃｔｏｒ）を示すための３次元空間上のｘ座標、ｙ座標、ｚ座標の値を示す。ビュー＿方向＿ｘ（ｖｉｅｗ＿ｄｉｒ＿ｘ）、ビュー＿方向＿ｙ（ｖｉｅｗ＿ｄｉｒ＿ｙ）、ビュー＿方向＿ｚ（ｖｉｅｗ＿ｄｉｒ＿ｚ）は、例えば、実際カメラ又は仮想カメラが見る可視性円錐（ｖｉｓｉｂｉｌｉｔｙ ｃｏｎｅ）に対する上ベクトルを意味する。
実施例による実際カメラ又は仮想カメラの上方は、実施例による実際カメラ又は仮想カメラの前方（ｆｒｏｎｔ ｄｉｒｅｃｔｉｏｎ）又は見る方向（例えば、ビュー方向）と垂直（ｏｒｔｈｏｇｏｎａｌ）であってもよい。
実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータ（例えば、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ）は、実施例によるビットストリーム内のＳＥＩメッセージ（又はＳＥＩ）に含まれて受信機へ伝送される。例えば、ポイントクラウドデータを再構成又はレンダリングするためのパラメータの一部又は全部は、シーンオブジェクト情報ＳＥＩメッセージ（Ｓｃｅｎｅ Ｏｂｊｅｃｔ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅ）に含まれてもよく、これらが実施例によるカプセル化部によってファイルに格納されて伝送されてもよい。
実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータは、例えば、Ｖ－ＰＣＣビュー情報ボックス（Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ）に含まれるように送信装置によってカプセル化される。
例えば、実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータは、Ｖ－ＰＣＣビュー情報ボックス（Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ）に含まれるように以下の構文でカプセル化されて送信される。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（’ｖｐｖｉ’，０，０） ｛
ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ（）；
｝
実施例によるＶ－ＰＣＣビュー情報ボックスは、ポイントクラウドデータを再構成又はレンダリングするためのパラメータ（例えば、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ、ビュー情報）を含む。
実施例によるビュー情報がポイントクラウドデータのシーケンス（ｓｅｑｕｅｎｃｅ）において変化しなくてもよい。例えば、実施例によるビュー情報は、時間経過とともに変化しない静的（ｓｔａｔｉｃ）情報である。
Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、ＶＰＣＣビュー情報ボックス（ＶｉｅｗＩｎｆｏＢｏｘ）を含む（即ち、実施例によるビュー情報を含む）。例えば、Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリーは、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｃ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ ｕｎｉｔ＿ｈｅａｄｅｒ；
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｖｉｅｗ＿ｉｎｆｏ；
｝
ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、Ｖ－ＰＣＣトラック内のサンプルに含まれたアトラスフレーム（Ａｔｌａｓ ｆｒａｍｅ）と関連するポイントクラウドデータがレンダリングされて提供される実施例によるビュー（ｖｉｅｗ）を生成するための詳細情報を含む。ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、実施例によるＶ－ＰＣＣビュー情報ボックスを意味してもよい。ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータを含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘを含む（即ち、実施例によるビュー情報を含む）。例えば、Ｖ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｅ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｖｉｅｗ＿ｉｎｆｏ；
｝
ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、トラック内のサブサンプル（ｓｕｂ－ｓａｍｐｌｅ）に格納されたアトラスフレーム、ビデオフレームと関連するポイントクラウドデータがレンダリングされて提供されるビュー（ｖｉｅｗ）を生成するための情報を示す。ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、実施例によるＶ－ＰＣＣビュー情報ボックスを意味する。ＶＰＣＣビュー情報ボックス（ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ）は、実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータを含む。
実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）は、Ｖ－ＰＣＣビュー情報サンプリンググループ（Ｖ－ＰＣＣ Ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｉｎｇ ｇｒｏｕｐ）にカプセル化又は伝送される。以下、その実施例について説明する。
サンプルグループ化のための‘ｖｐｖｓ’ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、実施例によるＶ－ＰＣＣトラック内のサンプルをこのサンプルグループ内で伝送されるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）に指定することを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが‘ｖｐｖｓ’であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合、同行する同一のグループ化タイプを有するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、これはサンプルが保有するこのグループのＩＤを保有する。（Ｔｈｅ ’ｖｐｖｓ’ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｆｏｒ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ａｓｓｉｇｎｍｅｎｔ ｏｆ ｓａｍｐｌｅｓ ｉｎ Ｖ－ＰＣＣ ｔｒａｃｋ ｔｏ ｔｈｅ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｓａｍｐｌｅ ｇｒｏｕｐ． Ｗｈｅｎ ａ ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ ｗｉｔｈ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｅｑｕａｌ ｔｏ ’ｖｐｖｓ’ ｉｓ ｐｒｅｓｅｎｔ，ａｎ ａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ ｗｉｔｈ ｔｈｅ ｓａｍｅ ｇｒｏｕｐｉｎｇ ｔｙｐｅ ｉｓ ｐｒｅｓｅｎｔ、ａｎｄ ｃｏｎｔａｉｎｓ ｔｈｅ ＩＤ ｏｆ ｔｈｉｓ ｇｒｏｕｐ ｏｆ ｓａｍｐｌｅｓ ｂｅｌｏｎｇ ｔｏ．）
実施例によるＶ－ＰＣＣビュー情報サンプルグループ化情報（ＶＰＣＣＶｉｅｗＩｎｆｏＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ）は、以下の構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＶｉｅｗＩｎｆｏＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（’ｖｐｖｓ’） ｛
ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ（）；
｝
実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）は、時間経過とともに変化してもよい。この場合、実施例によるビュー情報は、サンプルエントリーのタイプが‘ｄｙｖｉ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）から伝送される。
仮に、Ｖ－ＰＣＣトラックが、サンプルエントリーのタイプが‘ｄｙｖｉ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）を含む場合、実施例によるビュー情報は、動的（ｄｙｎａｍｉｃ、即ちビュー情報が動的に時間経過とともに変化する場合）に考慮されるＶ－ＰＣＣトラックによって伝送されるポイントクラウドデータ（ポイントクラウドストリーム）、即ち、例えばＤｙｎａｍｉｃＶｉｅｗＩｎｆｏＳａｍｐｌｅＥｎｔｒｙと定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、アトラスストリームを伝送するＶ－ＰＣＣトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
仮に、実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｖｉ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックの場合、実施例によるビュー情報は、動的（即ち、ビュー情報が動的に時間経過とともに変化する）に考慮されるＶ－ＰＣＣエレメンタリートラックによって伝送されるポイントクラウドデータ（ストリーム）によって定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、Ｖ－ＰＣＣエレメンタリーストリームトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｖｉ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックのサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＤｙｎａｍｉｃＶｉｅｗＩｎｆｏＳａｍｐｌｅＥｎｔｒｙ ｅｘｔｅｎｄｓ ＭｅｔａＤａｔａＳａｍｐｌｅＥｎｔｒｙ（’ｄｙｖｉ’）｛
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｉｎｉｔ＿ｖｉｅｗ＿ｉｎｆｏ；
｝
初期＿ビュー＿情報（ｉｎｉｔ＿ｖｉｅｗ＿ｉｎｆｏ）は、実施例によるポイントクラウドデータの初期（ｉｎｉｔｉａｌ）のビュー（ｖｉｅｗ）を含む実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
実施例による‘ｄｙｖｉ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）の構文は、以下のようである。
ａｌｉｇｎｅｄ（８） ＤｙｎａｍｉｃＶｉｅｗＩｎｆｏＳａｍｐｌｅ（） ｛
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｖｉｅｗ＿ｉｎｆｏ；
｝
実施例による‘ｄｙｖｉ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）は、実施例による時間経過とともに変化する、即ち、動的ビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ、ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘ ｖｉｅｗ＿ｉｎｆｏ）を含む。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、上述したビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がビュー情報を用いてレンダリングすることで、受信装置はユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図３２は実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの構文の一例を示す。
図３２は、実施例によるポイントクラウドデータのレンダリング（ｒｅｎｄｅｒｉｎｇ）又は再構成（ｒｅｃｏｎｓｔｒｕｃｔ）のために使用されるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）を示す。実施例によるレンダリングパラメータは、実施例によるポイントクラウドデータのポイントをレンダリングするために使用される情報である。例えば、レンダリングパラメータは、ポイントクラウドデータがレンダリングされる場合、ポイント（ｐｏｉｎｔ）の大きさ、ポイントのレンダリングタイプ（ｔｙｐｅ）、重畳ポイント（ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔ）の処理方法に関する情報（例えば、ディスプレイするか否か）などを含む。
具体的に、レンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）は、実施例によるエンコーダ（例えば、図１のエンコーダ１０００２、図４、図１５の符号化装置１００、図１８のビデオ符号化部１８００６、図２０のビデオ符号化部２０００２、イメージ符号化部２０００３、図２１のビデオ／イメージ符号化部２１００７、２１００８など）によって生成及び符号化され、図２４のアトラスデータ２４００２ｅ又は図２７のサンプルストリームＮＡＬユニット内のアトラスタイルグループ（ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ）に含まれてもよく、これらがカプセル化部（例えば、図１のファイル／セグメントカプセル化部１０００３、図２０、図２１のファイルセグメントカプセル化部２０００４、２１００９など）によってカプセル化されてファイル内の１つ又はそれ以上のトラックに含まれてもよい。
ポイントクラウドデータ（又はアトラスデータ２４００２ｅ）が実施例によるカプセル化部（例えば、図１、図２０、図２１のカプセル化部１０００３、２０００４、２１００９など）によってシングルトラック（ｓｉｎｇｌｅ ｔｒａｃｋ）にカプセル化される場合、図３２で説明した情報を含むポイントクラウドビットストリーム２４０００は、そのトラック（Ｖ３Ｃビットストリームトラック、Ｖ３Ｃ ｂｉｔｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー又はサンプル（ら）又はサブ－サンプル（ら）に含まれる。図３０で説明した情報は、サンプル又はサブ－サンプル内のＳＥＩメッセージに含まれる。マルチトラック（ｍｕｌｔｉ－ｔｒａｃｋ）にカプセル化される場合、複数のトラックのうちのＶ３Ｃトラック（例えば、図２８のＶ－ＰＣＣトラック２８００２ｄ）によって伝送され、図３２で説明した情報を含むポイントクラウドビットストリーム２４０００は、パッチシーケンスデータビットストリーム２８００３ｄに含まれる。パッチシーケンスデータビットストリーム２８００３ｄは、アトラスビットストリーム（ａｔｌａｓ ｂｉｔｓｔｒｅａｍ）と呼ばれる。
図３２は実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）の構文の一例を示す。レンダリングパラメータは、例えば、ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔと呼ばれる。
ポイント＿サイズ（ｐｏｉｎｔ＿ｓｉｚｅ）は、ポイントクラウドデータの形態を示す情報を意味する。例えば、ポイント＿サイズ（ｐｏｉｎｔｏ＿ｓｉｚｅ）は、実施例によるポイントクラウドデータのポイントがレンダリング（再構成）又はディスプレイされるポイントのサイズを示す。
ポイント＿タイプ（ｐｏｉｎｔ＿ｔｙｐｅ）は、ポイントの大きさを示す情報を意味してもよい。例えば、ポイント＿タイプ（ｐｏｉｎｔ＿ｔｙｐｅ）は、実施例によるポイントクラウドデータのポイントがレンダリング（再構成）又はディスプレイされるポイントのタイプ（ｔｙｐｅ）を示す。例えば、ポイント＿タイプの値が０である場合、実施例によるポイントは直方形（ｃｕｂｏｉｄ）又は立方体、１である場合は円形（ｃｉｒｃｌｅ）又は球形、２である場合は１つの点（ポイント）によって示す。ポイントのタイプは、別の例として正四面体などと様々である。
重畳＿ポイント（ｄｕｐｌｉｃａｔｅｄ＿ｐｏｉｎｔ）は、同一の３次元上のｘ座標、ｙ座標、ｚ座標の値を有するポイントが複数存在する場合、実施例による受信装置が複数のポイントをレンダリング（再構成）又はディスプレイする処理方法を示す。例えば、その値が０である場合は重畳ポイントを無視することができ、１である場合はポイントを１つだけランダムに選択してレンダリング（再構成）／ディスプレイする。また、その値が２である場合は重畳ポイントの特質データの平均値に基づいてレンダリング（再構成）／ディスプレイする。
実施例によるポイント＿サイズ（ｐｏｉｎｔ＿ｓｉｚｅ）、ポイント＿タイプ（ｐｏｉｎｔ＿ｔｙｐｅ）情報は、製作者が実施例によるポイントクラウドコンテンツをランダムに特定のポイントに対して設定してもよい。よって、実施例によるポイントクラウドデータ送信装置は、ポイントのタイプとサイズをシグナルすることで、受信装置がそのコンテンツと似合うタイプ／サイズのポイントをレンダリングする。
実施例によるＶ－ＰＣＣビットストリームは、実施例によるレンダリングパラメータを含む。
実施例によるポイントクラウドデータ受信装置は、ポイント＿サイズ情報に基づいてポイントクラウドデータをレンダリングする場合（又は再構成する場合）、ポイントクラウドデータのポイントのサイズを決定する。
実施例によるポイントクラウドデータ受信装置は、ポイント＿タイプ情報に基づいてポイントクラウドデータをレンダリングする場合（又は再構成する場合）、ポイントクラウドデータのポイントの形態を決定する。
上述した受信装置の動作を行うために、実施例による送信装置のエンコーダは、ポイント（ｐｏｉｎｔ）のサイズ、ポイントのレンダリングタイプ（ｔｙｐｅ）、重畳ポイント（ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔ）の処理方法に関する情報（例えば、ディスプレイするか否か）を生成し、実施例による送信装置のカプセル化部は生成された情報をカプセル化する。
上述した受信装置の動作を行うために、実施例による送信装置のカプセル化部は、ポイント（ｐｏｉｎｔ）のサイズ、ポイントのレンダリングタイプ（ｔｙｐｅ）、重畳ポイント（ｄｕｐｌｉｃａｔｅｄ ｐｏｉｎｔ）の処理方法に関する情報（例えば、ディスプレイするか否か）を生成及びカプセル化する。
実施例によるレンダリングパラメータ情報（例えば、ＲｅｎｄｅｒｉｎｇＰａｒａｍｅｔｅｒＳｔｒｕｃｔ）を実施例による送信装置がカプセル化されたファイル（例えば、ＩＳＯＢＭＦＦファイル）の形式で伝送する方法を以下に詳述する。
実施例によるレンダリングパラメータ情報は、ポイントクラウドデータを含むＶ－ＰＣＣビットストリーム内のＳＥＩなどの形式で送信される。例えば、レンダリングパラメータ情報又はレンダリングパラメータ情報に含まれたパラメータの一部又は全部は、シーンオブジェクト情報ＳＥＩメッセージ（Ｓｃｅｎｅ Ｏｂｊｅｃｔ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅ）に含まれる。
例えば、レンダリングパラメータ情報は、以下のような構文を有するＶＰＣＣレンダリングパラメータボックス（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ）に含まれる。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（’ｖｐｒｐ’，０，０） ｛
ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔ（）；
｝
実施例によるレンダリングパラメータ情報は、ポイントクラウドデータのシーケンス（ｓｅｑｕｅｎｃｅ）において変化しなくてもよい。。例えば、実施例によるレンダリングパラメータ情報は、時間経過とともに変化しない静的（ｓｔａｔｉｃ）情報である。
Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、実施例によるＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘを含む（即ち、実施例によるレンダリングパラメータ情報を含む）。例えば、Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリーは、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｃ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ Ｕｎｉｔ＿Ｈｅａｄｅｒ；
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｒｅｎｄｅｒｉｎｇ＿ｐａｒａ；
｝
ＶＰＣＣレンダリングパラメータボックス（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ）は、トラック内のサンプルに含まれたアトラスフレームと関連するポイントクラウドデータがレンダリングされる際に適用可能なレンダリングパラメータの詳細情報を含む。ＶＰＣＣレンダリングパラメータボックス（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ）は、実施例によるレンダリングパラメータ情報を含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、実施例によるＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘを含む（即ち、実施例によるレンダリングパラメータ情報を含む）。例えば、Ｖ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｅ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍ；
｝
ＶＰＣＣレンダリングパラメータボックス（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ）は、トラック内のサブサンプルに格納されたアトラスフレーム、ビデオフレーム及び／又はポイントクラウドデータがレンダリングされる際に適用可能なレンダリングパラメータ情報を含む。ＶＰＣＣレンダリングパラメータボックス（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ）は、実施例によるレンダリングパラメータ情報を含む。
実施例によるレンダリングパラメータ情報は、Ｖ－ＰＣＣレンダリングパラメータサンプリンググループ（Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｓａｍｐｌｉｎｇ ｇｒｏｕｐ）にカプセル化又は伝送される。以下、その実施例について説明する。
サンプルグループ化のための‘ｖｐｒｐ’ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、実施例によるＶ－ＰＣＣトラック内のサンプルをこのサンプルグループから伝送する実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）に指定することを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが‘ｖｐｒｐ’であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合、同行する同一のｇｒｏｕｐｉｎｇ ｔｙｐｅを有するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、これはサンプルが保有するこのグループのＩＤを保有する。（Ｔｈｅ ’ｖｐｒｐ’ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｆｏｒ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ａｓｓｉｇｎｍｅｎｔ ｏｆ ｓａｍｐｌｅｓ ｉｎ Ｖ－ＰＣＣ ｔｒａｃｋ ｔｏ ｔｈｅ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒｓ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｓａｍｐｌｅ ｇｒｏｕｐ． Ｗｈｅｎ ａ ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ ｗｉｔｈ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｅｑｕａｌ ｔｏ ’ｖｐｖｓ’ ｉｓ ｐｒｅｓｅｎｔ、ａｎ ａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ ｗｉｔｈ ｔｈｅ ｓａｍｅ ｇｒｏｕｐｉｎｇ ｔｙｐｅ ｉｓ ｐｒｅｓｅｎｔ，ａｎｄ ｃｏｎｔａｉｎｓ ｔｈｅ ＩＤ ｏｆ ｔｈｉｓ ｇｒｏｕｐ ｏｆ ｓａｍｐｌｅｓ ｂｅｌｏｎｇ ｔｏ．）
実施例によるＶ－ＰＣＣレンダリングパラメータサンプリンググループ（Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｓａｍｐｌｉｎｇ ｇｒｏｕｐ）は、以下の構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（’ｖｐｒｐ’） ｛
ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔ（）；
｝
実施例によるレンダリングパラメータ情報は、時間経過とともに変化する。この場合、実施例によるレンダリングパラメータ情報は、サンプルエントリーのタイプが‘ｄｙｒｐ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）から伝送される。
仮に、Ｖ－ＰＣＣトラックが、サンプルエントリーのタイプが‘ｄｙｒｐ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）を含む場合、実施例によるレンダリングパラメータ情報は、動的（ｄｙｎａｍｉｃ、即ちレンダリングパラメータ情報が動的に時間経過に従って変化する場合）に考慮されるＶ－ＰＣＣトラックによって送信されるポイントクラウドデータ（ポイントクラウドストリーム）、即ち、例えば、ＤｙｎａｍｉｃＲｅｎｄｅｒｉｎｇＰａｒａｍＳａｍｐｌｅＥｎｔｒｙと定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、アトラスストリームを伝送するＶ－ＰＣＣトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
仮に、実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｒｐ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックを有する場合、実施例によるレンダリングパラメータ情報は、動的（即ち、レンダリングパラメータ情報が動的に時間経過とともに変化する）に考慮されるＶ－ＰＣＣエレメンタリートラックによって送信されるポイントクラウドデータ（ストリーム）によって定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、Ｖ－ＰＣＣエレメンタリーストリームトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｒｐ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックのサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＤｙｎａｍｉｃＲｅｎｄｅｒｉｎｇＰａｒａｍＳａｍｐｌｅＥｎｔｒｙ ｅｘｔｅｎｄｓ ＭｅｔａＤａｔａＳａｍｐｌｅＥｎｔｒｙ（’ｄｙｒｐ’） ｛
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｉｎｉｔ＿ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍ；
｝
初期＿レンダリング＿パラメータ（ｉｎｉｔ＿ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍ）は、実施例によるポイントクラウドデータの初期（ｉｎｉｔｉａｌ）のレンダリングパラメータを含む。
実施例による‘ｄｙｒｐ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）の構文は、以下のようである。
ａｌｉｇｎｅｄ（８） ＤｙｎａｍｉｃＲｅｎｄｅｒｉｎｇＰａｒａｍＳａｍｐｌｅ（）｛
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍ；
｝
実施例による‘ｄｙｒｐ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）は、実施例による時間経過とともに変化する、即ち、動的レンダリングパラメータ情報（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ、ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘ ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍ）を含む。各々のサンプルには、時間経過とともに変化するレンダリングパラメータが含まれる。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、レンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）を提供し、受信装置がレンダリングパラメータを用いて実施例によるポイントをレンダリングすることで、受信装置はユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図３３は実施例によるポイントクラウドデータを再構成又はレンダリングするためのパラメータの役割を示す。
図３３は、実施例によるポイントクラウドデータのオブジェクト３３０００、ポイントクラウドデータのオブジェクトの位置３３００１、ポイントクラウドデータのオブジェクトの方向ベクトル３３００２及びポイントクラウドデータのオブジェクトの上ベクトル３３００３を示す。
ポイントクラウドデータのオブジェクト（ｏｂｅｊｃｔ）３３０００は、実施例によるポイントクラウドデータの全体又はポイントクラウドデータに含まれた１つの物体（又は人など）を意味する。即ち、ポイントクラウドデータは、１つ又はそれ以上のオブジェクトで構成される。
オブジェクト３３０００は、例えば、実際（ｒｅａｌ、例えば、１つのシーン（ｓｃｅｎｅ）内の物体）又は物理的又はその他の特性と関連した概念的な物体に対応する。オブジェクト（ｏｂｊｅｃｔ）は、物体、容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）、容積測定シーンデータ（ｖｏｌｕｍｅｔｒｉｃ ｓｃｅｎｅ ｄａｔａ）などと呼ばれる。
ポイントクラウドデータのオブジェクトの位置３３００１は、実施例によるポイントクラウドデータのオブジェクトが位置する場所を意味する。ポイントクラウドデータのオブジェクトの位置３３００１は、実施例による受信装置が該当オブジェクトをレンダリング又は再構成するための基準点である。実施例によるポイントクラウドデータのオブジェクトの位置３３００１は、オブジェクト（容積測定データ）を含むポイントクラウドデータの３次元空間上の境界ボックス（ｂｏｕｄｉｎｇ ｂｏｘ）の基準点を示す。この基準点は、アンカーポイント（ａｎｃｈｏｒ ｐｏｉｎｔ）とも呼ばれる。ポイントクラウドデータのオブジェクトの位置３３００１、即ち、アンカーポイントの位置は、３次元空間上の境界ボックスの原点のｘ軸、ｙ軸、ｚ軸の座標で表現することができる。
ポイントクラウドデータのオブジェクトの方向ベクトル３３００２は、実施例によるポイントクラウドデータのオブジェクトが見る方向を示す。ポイントクラウドデータのオブジェクトの方向ベクトル３３００２は、実施例による受信装置が該当オブジェクトをレンダリング又は再構成するための基準となる方向ベクトルである。実施例によるオブジェクトの方向ベクトル３３００２は、前方ベクトル（又は前方、ｆｏｒｗａｒｄ ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ）、法線ベクトル（ｎｏｒｍａｌ ｖｅｃｔｏｒ）又はフォワードベクトル（ｆｏｒｗａｒｄ ｖｅｃｔｏｒ）とも呼ばれる。
ポイントクラウドデータのオブジェクトの上ベクトル３３００３は、実施例によるポイントクラウドデータのオブジェクトの上方を示す。ポイントクラウドデータのオブジェクトの上ベクトル３３００３は、実施例による受信装置が該当オブジェクトをレンダリング又は再構成するときにオブジェクトの回転度を判断する基準となるベクトルである。実施例によるポイントクラウドデータのオブジェクトの上ベクトル３３００３は、実施例によるポイントクラウドデータのオブジェクトの方向ベクトル３３００２と直交（ｏｒｔｈｏｇｏｎａｌ）することができる。実施例によるオブジェクトの上ベクトル３３００３は、直交ベクトル（ｏｒｔｈｏｇｏｎａｌ ｖｅｃｔｏｒ）とも呼ばれる。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータのオブジェクト（ｏｂｅｊｃｔｉ）３３０００を構成するデータ及び／又はポイントクラウドデータのオブジェクトの位置３３００１に基づいてポイントクラウドデータのオブジェクト３３０００を正しい位置にレンダリング又は再構成する。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータのオブジェクト（ｏｂｅｊｃｔｉ）３３０００を構成するデータ及び／又はポイントクラウドデータのオブジェクトの方向ベクトル３３００２に基づいてポイントクラウドデータのオブジェクト３３０００を正しい方向にレンダリング又は再構成する。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータのオブジェクト（ｏｂｅｊｃｔｉ）３３０００を構成するデータ及び／又はポイントクラウドデータのオブジェクトの上ベクトル３３００３に基づいてポイントクラウドデータのオブジェクト３３０００を正しい回転方向にレンダリング又は再構成する。
実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータのオブジェクトの位置３３００１を示す情報、ポイントクラウドデータのオブジェクトの方向ベクトル３３００２を示す情報、ポイントクラウドデータのオブジェクトの上ベクトル３３００３を示す情報をメタデータ内に送信する。このようなオブジェクトと関連した情報は、例えば、オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。
具体的に、オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）は、実施例によるエンコーダ（例えば、図１のエンコーダ１０００２、図４、図１５の符号化装置１００、図１８のビデオ符号化部１８００６、図２０のビデオ符号化部２０００２、イメージ符号化部２０００３、図２１のビデオ／イメージ符号化部２１００７、２１００８など）によって生成及び符号化され、図２４のアトラスデータ２４００２ｅ又はＶ－ＰＣＣパラメータセット２４００２ａ、図２７のサンプルストリームＮＡＬユニット内のアトラスタイルグループ（ａｔｌａｓ ｔｉｌｅ ｇｒｏｕｐ）に含まれ、これらがカプセル化部（例えば、図１のファイル／セグメントカプセル化部１０００３、図２０、図２１のファイルセグメントカプセル化部２０００４、２１００９など）によってカプセル化され、ファイル内の１つ又はそれ以上のトラックに含まれる。
例えば、実施例によるファイルがシングルトラックである場合、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、そのトラックによって伝送される。そのトラックで伝送されるサンプル又はサンプルエントリー（例えば、図２８のパッチシーケンスデータビットストリーム２８００３ｄにおいて、図２４に示されたアトラスデータ２４００２ｅ又は図２７に示されたサンプルストリームＮＡＬユニット内のアトラスタイルグループ内）に含まれる。
例えば、実施例によれば、ファイルがマルチトラックである場合、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、図２８のＶ－ＰＣＣトラック２８００２ｄによって伝送され、パッチシーケンスデータビットストリーム２８００３ｄに含まれるようにカプセル化される。例えば、ポイントクラウドデータを再構成又はレンダリングするためのパラメータは、図２８のパッチシーケンスデータビットストリーム２８００３ｄにおいて、図２４に示されたアトラスデータ２４００２ｅ又は図２７に示されたサンプルストリームＮＡＬユニット内のアトラスタイルグループに含まれるようにカプセル化される。
ポイントクラウドデータ（又はアトラスデータ２４００２ｅ）が実施例によるカプセル化部（例えば、図１、図２０、図２１のカプセル化部１０００３、２０００４、２１００９など）によってシングルトラック（ｓｉｎｇｌｅ ｔｒａｃｋ）にカプセル化される場合、図３３で説明した情報を含むポイントクラウドビットストリーム２４０００は、そのトラック（Ｖ３Ｃビットストリームトラック、Ｖ３Ｃ ｂｉｔｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー又はサンプル（ら）又はサブ－サンプル（ら）に含まれる。図３３で説明した情報は、サンプル又はサブ－サンプル内のＳＥＩメッセージに含まれる。マルチトラック（ｍｕｌｔｉ－ｔｒａｃｋ）にカプセル化される場合、複数のトラックのうちのＶ３Ｃトラック（例えば、図２８のＶ－ＰＣＣトラック２８００２ｄ）によって伝送され、図３３で説明した情報を含むポイントクラウドビットストリーム２４０００は、パッチシーケンスデータビットストリーム２８００３ｄに含まれる。
上述した受信装置の動作を行うために、実施例による送信装置のカプセル化部（例えば、図１の１０００３、図２０の２０００４、図２１の２１００９）又はエンコーダ（図１の１０００２、図４、図１５の１００、図１８の１８００６、図２０の２０００２、２０００３、図２１の２１００７、２１００８）は、実施例によるポイントクラウドデータのオブジェクトの位置３３００１を示す情報（例えば、図３４のｏｂｊ＿ｐｏｓ＿ｘ、ｏｂｊ＿ｐｏｓ＿ｙ、ｏｂｊ＿ｐｏｓ＿ｚ）、ポイントクラウドデータのオブジェクトの方向ベクトル３３００２を示す情報、ポイントクラウドデータのオブジェクトの上ベクトル３３００３を示す情報を生成し、実施例による送信装置のカプセル化部は生成された情報をカプセル化する。
上述した受信装置の動作を行うために、実施例による送信装置のカプセル化部（例えば、図１の１０００３、図２０の２０００４、図２１の２１００９）又はエンコーダ（図１の１０００２、図４、図１５の１００、図１８の１８００６、図２０の２０００２、２０００３、図２１の２１００７、２１００８）は、実施例によるポイントクラウドデータのオブジェクトの位置３３００１を示す情報、ポイントクラウドデータのオブジェクトの方向ベクトル３３００２を示す情報、ポイントクラウドデータのオブジェクトの上ベクトル３３００３を示す情報を生成及びカプセル化する。
オブジェクトレンダリング情報は、例えば、１つ又はそれ以上のオブジェクトの抽出（ｅｘｔｒａｃｔｉｏｎ）及びレンダリングに有用な属性（ｐｒｏｐｅｒｔｉｅｓ）を含む。例えば、オブジェクトレンダリング情報は、オブジェクトを識別するためのオブジェクトの識別子（又はオブジェクトのラベリング情報など）、オブジェクトが可視的であるか否か（ｖｉｓｉｂｌｅ ｏｒ ｎｏｔ）を示す情報、可視性円錐情報（ｖｉｓｉｂｉｌｉｔｙ ｃｏｎｅ ｉｎｆｏｒｍａｔｉｏｎ）、マテリアルＩＤ（ｍａｔｅｒｉａｌ ｉｄｓ）、他のオブジェクトとの衝突に関する情報（ｃｏｌｌｉｓｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）などを含む。
実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を実施例による送信装置がカプセル化されたファイル（例えば、ＩＳＯＢＭＦＦファイル）の形式で伝送する方法は、図３４で詳述する。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がオブジェクトレンダリング情報を用いて実施例によるオブジェクトをレンダリングすることで、受信装置はユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図３４は実施例によるポイントクラウドデータのオブジェクト（ｏｂｊｅｃｔ）を再構成又はレンダリングするためのパラメータの構文の一例を示す。
図３４は、オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）の構文の一例を示す。実施例によるオブジェクトレンダリング情報は、図３３で説明したオブジェクトレンダリング情報である。実施例によれば、オブジェクト（ｏｂｊｅｃｔ）は、物体、容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）、容積測定シーンデータ（ｖｏｌｕｍｅｔｒｉｃ ｓｃｅｎｅ ｄａｔａ）などと呼ばれる。
即ち、オブジェクトレンダリング情報は、ポイントクラウドデータに対する容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を意味する。
図３４に示されたオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）に含まれたパラメータは、実施例によるＶ－ＰＣＣビットストリーム（又はビットストリームに含まれたメタデータ）に含まれる。オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）に含まれたパラメータは、ｏｂｊ＿ｉｄ、ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅ、ｏｂｊ＿ｐｏｓ＿ｘ、ｏｂｊ＿ｐｏｓ＿ｙ、ｏｂｊ＿ｐｏｓ＿ｚ、ｏｂｊ＿ｄｉｒ＿ｘ、ｏｂｊ＿ｄｉｒ＿ｙ、ｏｂｊ＿ｄｉｒ＿ｚ、ｏｂｊ＿ｕｐ＿ｘ、ｏｂｊ＿ｕｐ＿ｙ、ｏｂｊ＿ｕｐ＿ｚ、ｏｂｊ＿ｓｃａｌｅ＿ｘ、ｏｂｊ＿ｓｃａｌｅ＿ｙ及び／又はｏｂｊ＿ｓｃａｌｅ＿ｚを含む。
オブジェクト＿ＩＤ（ｏｂｊ＿ｉｄ）は、実施例によるポイントクラウドデータのオブジェクト（又は容積測定データ）を識別する識別子である。
オブジェクト＿座標＿タイプ（ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅ）は、実施例による受信装置がポイントクラウドデータのオブジェクト（又は容積測定データ）をレンダリングするときに使用する座標系（ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を示す。このパラメータの値が０である場合、グローバル座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）、値が１である場合はビュー座標（ｖｉｅｗ ｃｏｏｒｄｉｎａｔｅ）を使用することを示す。ビュー座標（ｖｉｅｗ ｃｏｏｒｄｉｎａｔｅ）とは、ビューポート（ｖｉｅｗｐｏｒｔ）データの生成に使用可能な仮想カメラの座標系を意味する。
オブジェクト＿位置＿ｘ（ｏｂｊ＿ｐｏｓ＿ｘ）、オブジェクト＿位置＿ｙ（ｏｂｊ＿ｐｏｓ＿ｙ）、オブジェクト＿位置＿ｚ（ｏｂｊ＿ｐｏｓ＿ｚ）は、容積測定データを再構成するために使用される位置に関する情報を意味する。例えば、オブジェクト＿位置＿ｘ（ｏｂｊ＿ｐｏｓ＿ｘ）、オブジェクト＿位置＿ｙ（ｏｂｊ＿ｐｏｓ＿ｙ）、オブジェクト＿位置＿ｚ（ｏｂｊ＿ｐｏｓ＿ｚ）は、オブジェクト座標タイプ（ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅ）が称する座標系内のポイントクラウドデータの境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の位置（例えば、原点、中点、基準点、アンカーポイントなど）のｘ座標、ｙ座標、ｚ座標の値を示す。実施例によるオブジェクト＿位置＿ｘ（ｏｂｊ＿ｐｏｓ＿ｘ）、オブジェクト＿位置＿ｙ（ｏｂｊ＿ｐｏｓ＿ｙ）、オブジェクト＿位置＿ｚ（ｏｂｊ＿ｐｏｓ＿ｚ）情報は、図３３で説明したオブジェクトの位置を意味する。
オブジェクト＿方向＿ｘ（ｏｂｊ＿ｄｉｒ＿ｘ）、オブジェクト＿方向＿ｙ（ｏｂｊ＿ｄｉｒ＿ｙ）、オブジェクト＿方向＿ｚ（ｏｂｊ＿ｄｉｒ＿ｚ）は、容積測定データに適用される方向に関する情報を意味する。例えば、オブジェクト＿方向＿ｘ（ｏｂｊ＿ｄｉｒ＿ｘ）、オブジェクト＿方向＿ｙ（ｏｂｊ＿ｄｉｒ＿ｙ）、オブジェクト＿方向＿ｚ（ｏｂｊ＿ｄｉｒ＿ｚ）は、ポイントクラウドデータの正面（ｆｏｒｗａｒｄ）を見る方向を示す実施例による方向ベクトル（ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ、又はｎｏｒｍａｌ ｖｅｃｔｏｒ）を示すための３次元空間上のｘ座標、ｙ座標、ｚ座標の値を示す。実施例によるオブジェクト＿方向＿ｘ（ｏｂｊ＿ｄｉｒ＿ｘ）、オブジェクト＿方向＿ｙ（ｏｂｊ＿ｄｉｒ＿ｙ）、オブジェクト＿方向＿ｚ（ｏｂｊ＿ｄｉｒ＿ｚ）情報は、図３３で説明したオブジェクトの方向ベクトルを意味する。
オブジェクト＿アップ＿ｘ（ｏｂｊ＿ｕｐ＿ｘ）、オブジェクト＿アップ＿ｙ（ｏｂｊ＿ｕｐ＿ｙ）、オブジェクト＿アップ＿ｚ（ｏｂｊ＿ｕｐ＿ｚ）は、容積測定データに適用される方向に関する情報を意味する。例えば、オブジェクト＿アップ＿ｘ（ｏｂｊ＿ｕｐ＿ｘ）、オブジェクト＿アップ＿ｙ（ｏｂｊ＿ｕｐ＿ｙ）、オブジェクト＿アップ＿ｚ（ｏｂｊ＿ｕｐ＿ｚ）は、ポイントクラウドデータのオブジェクト（又はポイントクラウドデータ）の上方を示す上ベクトル（ｕｐ ｖｅｃｔｏｒ）を示すための３次元空間上のｘ座標、ｙ座標、ｚ座標を示す。実施例によるオブジェクト＿アップ＿ｘ（ｏｂｊ＿ｕｐ＿ｘ）、オブジェクト＿アップ＿ｙ（ｏｂｊ＿ｕｐ＿ｙ）、オブジェクト＿アップ＿ｚ（ｏｂｊ＿ｕｐ＿ｚ）情報は、図３３で説明したオブジェクトの上ベクトルを意味する。
オブジェクト＿スケール＿ｘ（ｏｂｊ＿ｓｃａｌｅ＿ｘ）、オブジェクト＿スケール＿ｙ（ｏｂｊ＿ｓｃａｌｅ＿ｙ）、オブジェクト＿スケール＿ｚ（ｏｂｊ＿ｓｃａｌｅ＿ｚ）は、実施例によるポイントクラウドデータのオブジェクトがレンダリング又はディスプレイされる場合、オリジナルのポイントクラウドデータに対して拡大又は縮小される程度を示す情報であって、ｘ、ｙ、ｚ軸に適用する倍率（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）を意味する。
実施例による実際カメラ又は仮想カメラの上方は、実施例による実際カメラ又は仮想カメラの前方（ｆｒｏｎｔ ｄｉｒｅｃｔｉｏｎ）又は見る方向（例えば、ビュー方向）と垂直（ｏｒｔｈｏｇｏｎａｌ）である。
実施例によるオブジェクトレンダリング情報（例えば、ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ）は、実施例によるビットストリーム内のＳＥＩメッセージに含まれて受信装置へ伝送される。例えば、オブジェクトレンダリング情報又はオブジェクトレンダリング情報に含まれたパラメータの一部又は全部は、シーンオブジェクト情報ＳＥＩメッセージ（Ｓｃｅｎｅ Ｏｂｊｅｃｔ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ ｍｅｓｓａｇｅ）に含まれる。
実施例によるオブジェクトレンダリング情報は、例えば、Ｖ－ＰＣＣオブジェクトレンダリング情報ボックス（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ）に含まれるように送信装置によってカプセル化される。
例えば、実施例によるオブジェクトレンダリング情報は、以下のようにＶ－ＰＣＣオブジェクトレンダリング情報ボックス（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ）に含まれるように、以下のような構文によってカプセル化されて送信される。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ（’ｖｐｏｉ’，０，０） ｛
ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ（）；
｝
実施例によるＶ－ＰＣＣオブジェクトレンダリング情報ボックスは、ポイントクラウドデータのオブジェクトを再構成又はレンダリングするためのパラメータ（例えば、ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ）を含む。
実施例によるオブジェクトレンダリング情報は、ポイントクラウドデータのシーケンス（ｓｅｑｕｅｎｃｅ）において変化しなくてもよい。例えば、実施例によるオブジェクトレンダリング情報は、時間経過とともに変化しない静的（ｓｔａｔｉｃ）情報である。
Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、実施例によるＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘを含む（即ち、実施例によるオブジェクトレンダリング情報を含む）。例えば、Ｖ－ＰＣＣトラック（Ｖ－ＰＣＣ ｔｒａｃｋ）のサンプルエントリーは、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｃ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘ ｕｎｉｔ＿ｈｅａｄｅｒ；
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ ｏｂｊ＿ｒｅｎｄｅｒｉｎｇ＿ｉｎｆｏ；
｝
ＶＰＣＣオブジェクトレンダリング情報ボックス（ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ）は、該当トラック内のサンプルに含まれたアトラスフレームと関連するポイントクラウドデータと関連するオブジェクトをレンダリングするためのオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、実施例によるＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘを含む（即ち、実施例によるオブジェクトレンダリング情報を含む）。例えば、Ｖ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）のサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＳａｍｐｌｅＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ （’ｖｐｅ１’） ｛
ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ ｃｏｎｆｉｇ；
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ ｏｂｊ＿ｒｅｎｄｅｒｉｎｇ＿ｉｎｆｏ；
｝
ＶＰＣＣオブジェクトレンダリング情報ボックス（ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ）は、トラック内のサブサンプル（ｓｕｂ－ｓａｍｐｌｅ）に格納されたアトラスフレーム、ビデオフレーム及び／又はポイントクラウドデータと関連するオブジェクトをレンダリングするためのオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）は、Ｖ－ＰＣＣオブジェクトレンダリング情報サンプリンググループ（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｉｎｇ ｇｒｏｕｐ）にカプセル化又は送信される。以下、その実施例について説明する。
サンプルグループ化のための‘ｖｐｏｉ’ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、実施例によるＶ－ＰＣＣトラック内のサンプルをこのサンプルグループから伝送されるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）に指定することを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが‘ｖｐｏｉ’であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合、同行する同一のｇｒｏｕｐｉｎｇ ｔｙｐｅを有するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、これはサンプルが保有するこのグループのＩＤを保有する。（Ｔｈｅ ’ｖｐｏｉ’ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｆｏｒ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ａｓｓｉｇｎｍｅｎｔ ｏｆ ｓａｍｐｌｅｓ ｉｎ Ｖ－ＰＣＣ ｔｒａｃｋ ｔｏ ｔｈｅ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｃａｒｒｉｅｄ ｉｎ ｔｈｉｓ ｓａｍｐｌｅ ｇｒｏｕｐ． Ｗｈｅｎ ａ ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ ｗｉｔｈ ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｅｑｕａｌ ｔｏ ’ｖｐｏｉ’ ｉｓ ｐｒｅｓｅｎｔ、ａｎ ａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ ｗｉｔｈ ｔｈｅ ｓａｍｅ ｇｒｏｕｐｉｎｇ ｔｙｐｅ ｉｓ ｐｒｅｓｅｎｔ，ａｎｄ ｃｏｎｔａｉｎｓ ｔｈｅ ＩＤ ｏｆ ｔｈｉｓ ｇｒｏｕｐ ｏｆ ｓａｍｐｌｅｓ ｂｅｌｏｎｇ ｔｏ．）
実施例によるＶ－ＰＣＣオブジェクトレンダリング情報サンプルグループ化情報（ＶＰＣＣＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ）は、以下の構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（’ｖｐｏｉ’） ｛
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ（）；
｝
実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）は、時間経過とともに変化する。この場合、実施例によるオブジェクトレンダリング情報は、サンプルエントリーのタイプが‘ｄｙｏｉ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）から伝送される。
仮に、Ｖ－ＰＣＣトラックが、サンプルエントリーのタイプが‘ｄｙｏｉ’である関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）を含む場合は、実施例によるオブジェクトレンダリング情報は、動的（ｄｙｎａｍｉｃ、即ちオブジェクトレンダリング情報が動的に時間経過とともに変化する場合）に考慮されるＶ－ＰＣＣトラックによって伝送されるポイントクラウドデータ（ポイントクラウドストリーム）、即ち、例えば、ＤｙｎａｍｉｃＶｉｅｗＩｎｆｏＳａｍｐｌｅＥｎｔｒｙと定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、アトラスストリームを伝送するＶ－ＰＣＣトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
仮に、実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｏｉ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックを有する場合、実施例によるオブジェクトレンダリング情報は、動的（即ち、オブジェクトレンダリング情報が動的に時間経過とともに変化する）に考慮されるＶ－ＰＣＣエレメンタリートラックによって伝送されるポイントクラウドデータ（ストリーム）によって定義される。
実施例による関連したタイム－メタデータトラック（ａｓｓｏｃｉａｔｅｄ ｔｉｍｅｄ－ｍｅｔａｄａｔａ ｔｒａｃｋ）は、Ｖ－ＰＣＣエレメンタリーストリームトラックを参照するための‘ｃｄｓｃ’トラックレファレンスを含む。
実施例によるＶ－ＰＣＣエレメンタリーストリームトラック（Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ）が‘ｄｙｖｉ’のサンプルエントリータイプを有する関連したタイム－メタデータトラックのサンプルエントリー（ｓａｍｐｌｅ ｅｎｔｒｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＤｙｎａｍｉｃＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏＳａｍｐｌｅＥｎｔｒｙ ｅｘｔｅｎｄｓ ＭｅｔａＤａｔａＳａｍｐｌｅＥｎｔｒｙ（’ｄｙｏｉ’） ｛
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ ｉｎｉｔ＿ｏｂｊ＿ｒｅｎｄｅｒｉｎｇ；
｝
初期＿オブジェクト＿レンダリング（ｉｎｉｔ＿ｏｂｊ＿ｒｅｎｄｅｒｉｎｇ）は、ポイントクラウドデータと関連する初期オブジェクトのレンダリングのためのオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
実施例による‘ｄｙｏｉ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）の構文は、以下のようである。
ａｌｉｇｎｅｄ（８） ＤｙｎａｍｉｃＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏＳａｍｐｌｅ（） ｛
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘ ｏｂｊ＿ｒｅｎｄｅｒｉｎｇ＿ｉｎｆｏ；
｝
実施例による‘ｄｙｏｉ’のサンプルエントリータイプのサンプル（ｓａｍｐｌｅ）は、実施例による時間経過とともに変化する、即ち、動的レンダリングパラメータ情報を含む。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、オブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がオブジェクトレンダリング情報を用いて実施例によるオブジェクトをレンダリングすることで、受信装置は、ユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
図３５は実施例によるポイントクラウドデータ及びポイントクラウドデータに関するメタデータをカプセル化する動作の一例を示す。
図３５は、実施例によるノン－タイムＶ－ＰＣＣデータ（例えば、イメージデータ）に対するカプセル化されたファイルの一例を意味する。
図３５は、図２０ないし図２２の実施例によるファイル／セグメントカプセル化部２０００４、２１００９及び／又はファイル／セグメントデカプセル化部２２０００がイメージ（ｉｍａｇｅ）データを伝送（ｄｅｌｉｖｅｒ）する場合、カプセル化されたファイルの構造を示す。イメージ（ｉｍａｇｅ）データを伝送（ｄｅｌｉｖｅｒ）する場合にも、実施例によるポイントクラウドデータは、シングル－アイテム（ｓｉｎｇｌｅ ｉｔｅｍ）又はマルチ－アイテム（ｍｕｌｔｉ－ｉｔｅｍ）にカプセル化される。
一方、図２８に示されたカプセル化されたファイルの一例は、図２０ないし図２２の実施例によるファイル／セグメントカプセル化部２０００４、２１００９及び／又はファイル／セグメントデカプセル化部２２０００がビデオ（ｖｉｄｅｏ）データを伝送（ｄｅｌｉｖｅｒ）する場合（例えば、シングルトラック（ｓｉｎｇｌｅ ｔｒａｃｋ）又はマルチトラック（ｍｕｌｔｉ ｔｒａｃｋ））にカプセル化されたファイルの構造を示す。
図３５はノン－タイムＶ－ＰＣＣデータ（ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ）のカプセル化の構造を示す。ノン－タイムＶ－ＰＣＣデータは、時間経過とともに変化しないポイントクラウドデータを意味する。
ノン－タイムＶ－ＰＣＣデータは、イメージアイテムと同じファイルに格納される。Ｖ－ＰＣＣアイテム、Ｖ－ＰＣＣユニットアイテム及びその他のＶ－ＰＣＣ符号化されたコンテンツ表示の存在を示すために、新しいハンドラタイプ４ＣＣコード‘ｖｐｃｃ’は、メタボックスのハンドラボックスに格納され定義される。（Ｔｈｅ ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ ｉｓ ｓｔｏｒｅｄ ｉｎ ａ ｆｉｌｅ ａｓ ｉｍａｇｅ ｉｔｅｍｓ． ａ ｎｅｗ ｈａｎｄｌｅｒ ｔｙｐｅ ４ＣＣ ｃｏｄｅ ’ｖｐｃｃ’ ｉｓ ｄｅｆｉｎｅｄ ａｎｄ ｓｔｏｒｅｄ ｉｎ ｔｈｅ ＨａｎｄｌｅｒＢｏｘ ｏｆ ｔｈｅ ＭｅｔａＢｏｘ ｉｎ ｏｒｄｅｒ ｔｏ ｉｎｄｉｃａｔｅ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ Ｖ－ＰＣＣ ｉｔｅｍｓ，Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ ａｎｄ ｏｔｈｅｒ Ｖ－ＰＣＣ ｅｎｃｏｄｅｄ ｃｏｎｔｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ．）
ノン－タイムＶ－ＰＣＣデータが含まれた実施例によるＶ－ＰＣＣアイテム（Ｖ－ＰＣＣ Ｉｔｅｍ）を説明する。
Ｖ－ＰＣＣアイテム（Ｖ－ＰＣＣ ｉｔｅｍ）は、独立して復号されるＶ－ＰＣＣアクセスユニットであるアイテムである。新しいアイテムタイプ４ＣＣコード‘ｖｐｃｉ’がＶ－ＰＣＣアイテムを示すために定義される。Ｖ－ＰＣＣアイテムは、実施例によるアトラスサブ－ビットストリーム内のＶ－ＰＣＣユニットペイロードに格納される。（ａｎ ｉｔｅｍ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ａｎ ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｄｅｃｏｄａｂｌＥ Ｖ－ＰＣＣ ａｃｃｅｓｓ ｕｎｉｔ． ａ ｎｅｗ ｉｔｅｍ ｔｙｐｅ ４ＣＣ ｃｏｄｅ ’ｖｐｃｉ’ ｉｓ ｄｅｆｉｎｅｄ ｔｏ ｉｄｅｎｔｉｆｙ Ｖ－ＰＣＣ ｉｔｅｍｓ． Ｖ－ＰＣＣ ｉｔｅｍｓ ｓｔｏｒｅ Ｖ－ＰＣＣ ｕｎｉｔ ｐａｙｌｏａｄ（ｓ） ｏｆ ａｔｌａｓ ｓｕｂ－ｂｉｔｓｔｒｅａｍ．） 仮に、初期アイテムボックスが存在する場合、そのボックス内のｉｔｅｍ＿ｉｄは、Ｖ－ＰＣＣアイテムを示すように設定される。（Ｉｆ ＰｒｉｍａｒｙＩｔｅｍＢｏｘ ｅｘｉｓｔｓ、ｉｔｅｍ＿ｉｄ ｉｎ ｔｈｉｓ ｂｏｘ ｓｈａｌｌ ｂｅ ｓｅｔ ｔｏ ｉｎｄｉｃａｔｅ ａ Ｖ－ＰＣＣ ｉｔｅｍ）Ｖ－ＰＣＣアイテムは、Ｖ３Ｃアイテム（Ｖ３Ｃ ｉｔｅｍ）、視覚容積測定ビデオ－ベースのコードされたアイテム（ｖｉｓｕａｌ ｖｏｌｕｍｅｔｒｉｃ ｖｉｄｅｏ－ｂａｓｅｄ ｃｏｄｅｄ ｉｔｅｍ）と呼ばれる。
Ｖ３Ｃユニットアイテム（Ｖ－ＰＣＣ Ｕｎｉｔ Ｉｔｅｍ）は、 Ｖ－ＰＣＣユニットデータ（Ｖ－ＰＣＣ Ｕｎｉｔ ｄａｔａ）を示すアイテムである。Ｖ－ＰＣＣユニットアイテムは、実施例による占有、ジオメトリ及び特質ビデオデータユニットのＶ－ＰＣＣユニットペイロードを格納する。Ｖ－ＰＣＣユニットアイテムは、Ｖ－ＰＣＣアクセスユニットと関連するデータを１つだけ含む。（Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｉｓ ａｎ ｉｔｅｍ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｄａｔａ． Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ ｓｔｏｒｅ Ｖ－ＰＣＣ ｕｎｉｔ ｐａｙｌｏａｄ（ｓ） ｏｆ ｏｃｃｕｐａｎｃｙ，ｇｅｏｍｅｔｒｙ，ａｎｄ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ． Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｓｈａｌｌ ｓｔｏｒｅ ｏｎｌｙ ｏｎｅ Ｖ－ＰＣＣ ａｃｃｅｓｓ ｕｎｉｔ ｒｅｌａｔｅｄ ｄａｔａ．）Ｖ－ＰＣＣユニットアイテムは、Ｖ３Ｃユニットアイテム（Ｖ３Ｃ ｕｎｉｔ ｉｔｅｍ）、視覚容積測定ビデオ－ベースのコードされたユニットアイテム（ｖｉｓｕａｌ ｖｏｌｕｍｅｔｒｉｃ ｖｉｄｅｏ－ｂａｓｅｄ ｃｏｄｅｄ ｕｎｉｔ ｉｔｅｍ）と呼ばれる。
Ｖ－ＰＣＣユニットアイテムに対するアイテムタイプ４ＣＣコードは、対応するビデオデータユニットの符号化に用いられるコーデックによって設定される。Ｖ－ＰＣＣユニットアイテムは、対応するＶ－ＰＣＣユニットヘッダアイテム属性（Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）及びコーデック特定構成アイテム属性（ｃｏｄｅｃ ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）と連関される。（Ａｎ ｉｔｅｍ ｔｙｐｅ ４ＣＣ ｃｏｄｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｉｓ ｓｅｔ ｄｅｐｅｎｄｉｎｇ ｏｎ ｔｈｅ ｃｏｄｅｃ ｕｓｅｄ ｔｏ ｅｎｃｏｄｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ． Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｓｈａｌｌ ｂｅ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｃｏｒｒｅｓｐｏｎｄｉｎｇ Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ ａｎｄ ｃｏｄｅｃ ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ．）
Ｖ－ＰＣＣユニットアイテムは、独立してディスプレイする意味のない限り、非表示アイテム（ｈｉｄｄｅｎ ｉｔｅｍｓ）として表示される。（Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ ａｒｅ ｍａｒｋｅｄ ａｓ ｈｉｄｄｅｎ ｉｔｅｍｓ、ｓｉｎｃｅ ｉｔ ｉｓ ｎｏｔ ｍｅａｎｉｎｇｆｕｌ ｔｏ ｄｉｓｐｌａｙ ｉｎｄｅｐｅｎｄｅｎｔｌｙ．）
Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニット間の関係を示すために、‘ｐｃｃｏ’、‘ｐｃｃｇ’、及び‘ｐｃｃａ’の４ＣＣコードのように３つの新しいアイテムレファレンスタイプ（ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ）が定義される。アイテムレファレンス（ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ）は、Ｖ－ＰＣＣアイテムにおいてＶ－ＰＣＣユニットアイテムとして定義される。アイテムレファレンスタイプの４ＣＣコードは、以下のようである。（Ｉｎ ｏｒｄｅｒ ｔｏ ｉｎｄｉｃａｔｅ ｔｈｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ａ Ｖ－ＰＣＣ ｉｔｅｍ ａｎｄ Ｖ－ＰＣＣ ｕｎｉｔｓ、ｔｈｒｅｅ ｎｅｗ ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅｓ ｗｉｔｈ ４ＣＣ ｃｏｄｅｓ ’ｐｃｃｏ’、’ｐｃｃｇ’ ａｎｄ ’ｐｃｃａ’ ａｒｅ ｄｅｆｉｎｅｄ． Ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ ｉｓ ｄｅｆｉｎｅｄ “ｆｒｏｍ” ａ Ｖ－ＰＣＣ ｉｔｅｍ “ｔｏ” ｔｈｅ ｒｅｌａｔｅｄ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ． Ｔｈｅ ４ＣＣ ｃｏｄｅｓ ｏｆ ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅｓ ａｒｅ：）
１） ’ｐｃｃｏ’（又はｖ３ｖｏ）：参照されたＶ－ＰＣＣユニットアイテム（ら）が占有ビデオデータユニットを含む。（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ｏｃｃｕｐａｎｃｙ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ．）
２） ’ｐｃｃｇ’（又はｖ３ｖｇ）：参照されたＶ－ＰＣＣユニットアイテム（ら）がジオメトリビデオデータユニットを含む。（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ｇｅｏｍｅｔｒｙ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ．）
３） ’ｐｃｃａ’（又はｖ３ｖａ）：参照されたＶ－ＰＣＣユニットアイテム（ら）が特質ビデオデータユニットを含む。（ｔｈｅ ｒｅｆｅｒｅｎｃｅｄ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ（ｓ） ｃｏｎｔａｉｎ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ．）
Ｖ－ＰＣＣ関連アイテム属性（Ｖ－ＰＣＣ ｒｅｌａｔｅｄ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ）を説明する。記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ）は、Ｖ－ＰＣＣパラメータセット情報及びＶ－ＰＣＣユニットヘッダ情報のそれぞれを伝送するように定義される。（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｒｅ ｄｅｆｉｎｅｄ ｔｏ ｃａｒｒｙ ｔｈｅ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｎｆｏｒｍａｔｉｏｎ，ｒｅｓｐｅｃｔｉｖｅｌｙ）Ｖ－ＰＣＣ関連アイテム属性は、例えば、Ｖ－ＰＣＣ構成アイテム属性（Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）、Ｖ－ＰＣＣユニットヘッダアイテム属性（Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）、実施例によるＶ－ＰＣＣビュー情報アイテム属性（Ｖ－ＰＣＣ ｖｉｅｗ ｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）、実施例によるＶ－ＰＣＣレンダリングパラメータアイテム属性（Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）、Ｖ－ＰＣＣオブジェクトレンダリング情報アイテム属性（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）を含む。
Ｖ－ＰＣＣ関連アイテム属性はＶ３Ｃ関連アイテム属性と呼ばれ、Ｖ－ＰＣＣユニットヘッダ情報はＶ３Ｃユニットヘッダ情報と呼ばれる。
Ｖ－ＰＣＣ構成アイテム属性（Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）を説明する。
ボックスタイプ：’ｖｐｃｐ’
属性タイプ：記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須か否か（ｐｅｒ ｉｔｅｍ）：必須である（ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’）
数量（ｐｅｒ ｉｔｅｍ）：１つ又はそれ以上（ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’）
Ｖ－ＰＣＣパラメータセットは、記述アイテム属性に格納され、Ｖ－ＰＣＣアイテムと連関される。（Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ａｒｅ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ａｒｅ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ）
Ｖ－ＰＣＣ構成アイテム属性は、Ｖ３Ｃ構成アイテム属性と呼ばれる。
実施例によるＶＰＣＣ構成属性（ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＰｒｏｐｅｒｔｙ）は、以下のような構文を有する。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ＿ｓｔｒｕｃｔ （） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ＿ｓｉｚｅ；
Ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ（）；
｝
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＰｒｏｐｅｒｔｙ
ｅｘｔｅｎｄｓ ＩｔｅｍＰｒｏｐｅｒｔｙ（’Ｖｐｃｃ’） ｛
ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ＿ｓｔｒｕｃｔ（）「」；
｝
Ｖｐｃｃ＿ユニット＿ペイロード＿サイズ（ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ＿ｓｉｚｅ）は、ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ（）のサイズを示す。
Ｖ－ＰＣＣユニットヘッダアイテム属性（Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）を説明する。
ボックスタイプ：’ｖｕｎｔ’
属性タイプ：記述アイテム属性
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須か否か（ｐｅｒ ｉｔｅｍ）：Ｙｅｓ、ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’ ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
数量（ｐｅｒ ｉｔｅｍ）：Ｏｎｅ
Ｖ－ＰＣＣユニットヘッダ（Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ）は、記述アイテム属性に格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムと連関される。（ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ．）
Ｖ－ＰＣＣユニットヘッダアイテム属性は、Ｖ３Ｃユニットヘッダアイテム属性と呼ばれる。
ａｌｉｇｎｅｄ（八） ｃｌａｓｓ ＶＰＣＣＵｎｉｔＨｅａｄｅｒＰｒｏｐｅｒｔｙ （） ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｖｕｎｔ’， ｖｅｒｓｉｏｎ＝０， ０） ｛
Ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）；
｝
ノン－タイムＶ－ＰＣＣデータ（ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ）のための実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）は、Ｖ－ＰＣＣビュー情報アイテム属性（Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）にカプセル化されて送信される。
実施例によるＶ－ＰＣＣビュー情報アイテム属性（Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）について説明する。
ボックスタイプ：’ｖｐｖｉ’
属性タイプ：記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須か否か（ｐｅｒ ｉｔｅｍ）：Ｙｅｓ、ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’ ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
数量（ｐｅｒ ｉｔｅｍ）：Ｏｎｅ
実施例によるビュー情報は、記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）に格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムと連関される。（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ．）
実施例によるＶ－ＰＣＣビュー情報アイテム属性（ＶＰＣＣＶｉｅｗＩｎｆｏｐｒｏｐｅｒｔｙ）の構文は、以下のようである。ＶｉｅｗＩｎｆｏＳｔｒｕｃｔは、実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
Ｖ－ＰＣＣビュー情報アイテム属性は、Ｖ３Ｃビュー情報アイテム属性と呼ばれる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＶｉｅｗＩｎｆｏｐｒｏｐｅｒｔｙ （） ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｖｐｖｉ’， ｖｅｒｓｉｏｎ＝０， ０） ｛
ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ（）；
｝
ノン－タイムＶ－ＰＣＣデータ（ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ）のための実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）は、Ｖ－ＰＣＣレンダリングパラメータアイテム属性（Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）にカプセル化されて送信される。
実施例によるＶ－ＰＣＣレンダリングパラメータアイテム属性（Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）について説明する。
ボックスタイプ：’ｖｐｒｐ’
属性タイプ：記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須か否か（ｐｅｒ ｉｔｅｍ）：Ｙｅｓ、ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’ ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
数量（ｐｅｒ ｉｔｅｍ）：Ｏｎｅ
実施例によるレンダリングパラメータは、記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）に格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムと連関される。（Ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ．）
実施例によるＶ－ＰＣＣレンダリングパラメータアイテム属性（ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍｓｐｒｏｐｅｒｔｙ）の構文は、以下のようである。ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔは、実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）を含む。
Ｖ－ＰＣＣレンダリングパラメータアイテム属性は、Ｖ３Ｃレンダリングパラメータアイテム属性と呼ばれる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍｓｐｒｏｐｅｒｔｙ （） ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｖｐｒｐ’， ｖｅｒｓｉｏｎ＝０， ０） ｛
ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔ（）；
｝
ノン－タイムＶ－ＰＣＣデータ（ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ）のための実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）は、Ｖ－ＰＣＣオブジェクトレンダリング情報アイテム属性（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）にカプセル化されて送信される。
実施例によるＶ－ＰＣＣオブジェクトレンダリング情報アイテム属性（Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）について説明する。
ボックスタイプ：’ｖｐｒｉ’
属性タイプ：記述アイテム属性（Ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）
コンテナ：ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ
必須か否か（ｐｅｒ ｉｔｅｍ）：Ｙｅｓ、ｆｏｒ ａ Ｖ－ＰＣＣ ｉｔｅｍ ｏｆ ｔｙｐｅ ’ｖｐｃｉ’ ａｎｄ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ
数量（ｐｅｒ ｉｔｅｍ）：Ｏｎｅ
実施例によるオブジェクトレンダリング情報は、記述アイテム属性（ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｙ）に格納され、Ｖ－ＰＣＣアイテム及びＶ－ＰＣＣユニットアイテムと連関される。（Ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ．）
実施例によるＶ－ＰＣＣオブジェクトレンダリング情報アイテム属性（ＶＰＣＣＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏｐｒｏｐｅｒｔｙ）の構文は、以下のようです。ＶＰＣＣＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏｐｒｏｐｅｒｔｙは、実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
Ｖ－ＰＣＣオブジェクトレンダリング情報アイテム属性は、Ｖ３Ｃオブジェクトレンダリング情報アイテム属性と呼ばれる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＶＰＣＣＯｂｊＲｅｎｄｅｒｉｎｇＩｎｆｏｐｒｏｐｅｒｔｙ （） Ｅｘｔｅｎｄｓ ＩｔｅｍＦｕｌｌＰｒｏｐｅｒｔｙ（’ｖｐｒｉ’， ｖｅｒｓｉｏｎ＝０， ０） ｛
ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ（）；
｝
実施例によるポイントクラウドデータ及びポイントクラウドデータのためのメタデータは、図３０ないし図３５で説明した方法に基づいてポイントクラウドデータのサービスをカプセル化することで、Ｖ－ＰＣＣビットストリームを構成し、ファイルを格納する。
実施例によれば、図２５ないし図３５に示されたように、カプセル化を行うことで、実施例による送信装置は、Ｖ－ＰＣＣビットストリームにおいてデータを処理してレンダリングを行うためのメタデータをビットストリームに送信する。
実施例による送信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウドオブジェクト及び／又はコンテンツの空間又は部分アクセスを可能にする。実施例による送信装置は、上述したビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）を提供し、受信装置がビュー情報を用いてレンダリングすることで、受信装置は、ユーザのビューポートに適応してポイントクラウドビットストリームに効率的にアクセスし処理できるという効果を提供する。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドコンテンツ（ｅ．ｇ．Ｖ－ＰＣＣコンテンツ）に対する部分アクセス及び／又は空間（ｓｐａｔｉａｌ）アクセスのための境界ボックス及びそのためのシグナル情報を提供することで、実施例によるポイントクラウドデータ受信装置がプレーヤー又はユーザインタフェースを考慮し、ポイントクラウドコンテンツを様々とアクセスできるという効果を提供する。
実施例によるポイントクラウドデータ送信装置は、ユーザのビューポートによってＶ－ＰＣＣコンテンツの空間、部分アクセス（ｓｐａｔｉａｌ ａｃｃｅｓｓ）を支援するためのＶ－ＰＣＣコンテンツの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域関連メタデータを提供する。
実施例によるポイントクラウドデータ送信装置（例えば、図２０のポイントクラウド前処理部２０００１、図２１のポイントクラウド前処理部など）は、ポイントクラウドビットストリーム内のポイントクラウドの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域関連情報シグナルなどを生成する。
ポイントクラウドの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域関連情報は、例えば、図３０、図３１に示された実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）、図３２に示された実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）及び／又は図３３ないし図３４に示された実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）など）を含む。
実施例によるポイントクラウドデータ受信装置は、ファイル（例えば、ＩＳＯＢＭＦＦ）内にポイントクラウドの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域関連情報を受信及び／又はパーシングする。
実施例によるポイントクラウドデータ受信装置は、このファイル内の情報に基づいて、実施例によるポイントクラウドデータコンテンツ（例えば、ポイントクラウドデータのポイント、オブジェクトなど）に効率的にアクセス（ａｃｃｅｓｓ）する。また、実施例によるポイントクラウドデータ受信装置は、ファイル内のイメージアイテム（ｉｍａｇｅ ｉｔｅｍ）及びイメージアイテムと関連するポイントクラウドの３Ｄ領域情報とこれに関連するビデオ又はアトラスフレーム上の２Ｄ領域関連情報（例えば、実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）、図３２に示された実施例によるレンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）及び／又は図３３、図３４に示された実施例によるオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）などを含むファイル）に基づいて、ユーザインタフェースを考慮したポイントクラウドコンテンツを提供する。
図３６は実施例によるポイントクラウドデータ送信方法及び／又はポイントクラウドデータの送信のためのデータ処理方法を示す。
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップＳ０００１、ポイントクラウドデータをカプセル化するステップＳ０００２及び／又はポイントクラウドデータ及び／又はポイントクラウドデータに対するメタデータを含むビットストリームを送信するステップＳ０００３を含む。
ポイントクラウドデータを符号化するステップ００１は、実施例によるポイントクラウドデータを符号化する。例えば、符号化するステップ００１は、図１のポイントクラウドビデオエンコーダ１０００２の動作、図３及び／又は図４に示された符号化の動作、図１５の実施例による符号化装置１００の動作の一部又は全部、図１８の実施例によるビデオ符号化部１８００６の動作、図２０のビデオ符号化２０００２及び／又はイメージ符号化２０００３の動作、図２１のビデオ符号化２１００７及び／又はイメージ符号化２１００８の動作を行う。
ポイントクラウドデータをカプセル化するステップ００２は、実施例による符号化されたポイントクラウドデータをカプセル化する。例えば、カプセル化するステップ００２は、実施例によるポイントクラウドデータを所定のフォーマット（例えば、ＩＳＯＢＭＦＦフォーマット）のファイルにカプセル化する。カプセル化するステップ００２の動作は、図１のファイル／セグメントカプセル化モジュール１０００３の動作、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９の動作を意味する。カプセル化するステップ００２は、例えば、実施例によるポイントクラウドデータを図２８に示されたファイルのフォーマットでカプセル化する動作を意味する。
実施例によるカプセル化するステップ００２は、ポイントクラウドデータのレンダリング及び／又は再構成のためのメタデータも共に１つのファイルにカプセル化する。カプセル化するステップ００２は、例えば、図３０ないし図３５で説明した方法に基づいて、実施例によるビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ）、レンダリングパラメータ（ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ）、及び／又はオブジェクトレンダリング情報（ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を所定のファイルフォーマット（例えば、ＩＳＯＢＭＦＦファイルフォーマット）に合わせてカプセル化する。
ポイントクラウドデータを送信するステップ００３は、実施例によるカプセル化されたポイントクラウドデータ（又は、カプセル化されていないポイントクラウドデータなど）を送信する。ポイントクラウドデータを送信するステップ００３は、実施例によるカプセル化されたポイントクラウドデータ及び／又はポイントクラウドデータに対するメタデータを含むビットストリームをファイル（又はビットストリーム）の形式で実施例による受信装置に送信する。
図３７は実施例によるポイントクラウドデータ受信方法及び／又はポイントクラウドデータの受信のためのデータの処理方法を示す。
実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータを受信するステップＳ１００１、ポイントクラウドデータをデカプセル化するステップＳ１００２及び／又はポイントクラウドデータを復号するステップＳ１００３を含む。
ポイントクラウドデータを受信するステップＳ１００１は、実施例によるポイントクラウドデータ受信装置がポイントクラウドデータを受信する。実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータ及び／又はポイントクラウドデータに対するメタデータを含むビットストリーム（ｂｉｔｓｔｒｅａｍ）又はファイル（ｆｉｌｅ、例えば、ＩＳＯＢＭＦＦ基盤のファイルなど）を受信する。
ポイントクラウドデータを受信するステップＳ１００１は、例えば、図１の受信機（Ｒｅｃｅｉｖｅｒ）１０００６の動作、図１９の受信部、図２０のビデオベースのポイントクラウドプレーヤーがファイルを受信する動作、図２２の伝送（ｄｅｌｉｖｅｒｙ）の動作を行う。
ポイントクラウドデータは、ビットストリームフォーマット（形式）で受信される。ビットストリームは、例えば、１つ又はそれ以上のファイル（ｆｉｌｅ）を含む。ファイル（ｆｉｌｅ）は、例えば、ＩＳＯＢＭＦＦに基づいてカプセル化されたファイルである。例えば、受信装置が受信するビットストリーム（又はファイル）は、図２４ないし図２７に示されたＶ－ＰＣＣビットストリームであってもよく、図２８ないし図２９に示されたように、１つ又はそれ以上のトラック（ｔｒａｃｋ）及び各々のトラックに対応する１つ又はそれ以上のサンプル（ｓａｍｐｌｅ）で構成されたＩＳＯＢＭＦＦに基づいてカプセル化されたファイルであってもよい。
メタデータは、実施例によるポイントクラウドデータに関するシグナル情報である。メタデータは、実施例によるポイントクラウドデータをレンダリング（ｒｅｎｄｅｒｉｎｇ）及び／又は再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）するために必要な情報を含む。例えば、メタデータは、図３０ないし図３５で説明した情報及び／又はパラメータを含む。
ポイントクラウドデータをデカプセル化するステップＳ１００２は、実施例による受信したポイントクラウドデータ（例えば、ビットストリーム、ＩＳＯＢＭＦＦファイルなど）をデカプセル化する。例えば、デカプセル化するステップＳ１００２は、受信したＩＳＯＢＭＦＦ基盤のファイルを図２４ないし図２７に示されたようなビットストリームに変換又は圧縮解除する。デカプセル化するステップＳ１００２は、図１のファイル／セグメントデカプセル化モジュール１０００７の動作、図２０のファイル／セグメントデカプセル化部２０００５の動作、図２２のファイル／セグメントデカプセル化部２２０００の動作などを行う。
ポイントクラウドデータを復号するステップＳ１００２は、デカプセル化されたポイントクラウドデータを復号する。ポイントクラウドデータを復号するステップＳ１００２は、ポイントクラウドデータを再構成（ｒｅｃｏｎｓｔｒｕｃｔ）することで、ポイントクラウドデータを復号する。ポイントクラウドデータを復号するステップＳ１００２は、実施例によってデカプセル化されたポイントクラウドデータをレンダリング、復号及び／又は再構成する。復号するステップＳ１００３は、例えば、図１の実施例によるポイントクラウドビデオデコーダ１０００８及び／又はレンダラー１０００９の動作、図１６の実施例によるＶ－ＰＣＣ復号プロセス１６０００なしい１６００８の動作の一部又は全部、図１７の復号装置２００の動作の一部又は全部、図１９のビデオ復号化部１９００１、メタデータ復号化部１９００２、ジオメトリ復元部１９００３、平滑化部１９００４、テキスチャー復元部１９００５、色平滑化部及び／又はポイントクラウドレンダラーの動作の一部又は全部、図２０のビデオ復号部２０００６、図２１のビデオ復号部２２００１、イメージ復号部２２００２の動作の一部又は全部を行う。
実施例は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は互いに補完して適用できる。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ（例えば、ＲＡＭなど）だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“，”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。更に、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。更に、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１）“Ａ”のみを意味するか、２）“Ｂ”のみを意味するか、又は３）“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“更に（ａｄｄｉｔｉｏｎａｌｌｙ）又は代わりに（ａｌｔｅｒｎａｔｉｖｅｌｙ）”を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
また、この明細で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細で説明した様々な動作を制御する。プロセッサはコントローラなどとも称される。実施例の動作はファームウェア、ソフトウェア及び／又はこれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はこれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
一方、上述した実施例による動作は、実施例による送信装置及び／又は受信装置によって行われる。送受信装置は、メディアデータを送受信する送受信部、実施例によるプロセスに対する指示（プログラムコード、アルゴリズム、フローチャート及び／又はデータ）を格納するメモリ、送／受信装置の動作を制御するプロセッサを含む。
プロセッサは、コントローラーなどと呼ばれ、例えば、ハードウェア、ソフトウェア、及び／又はそれらの組み合わせに対応する。上述した実施例による動作は、プロセッサによって行われる。また、プロセッサは、上述した実施例の動作のためのエンコーダ／デコーダなどで具現できる。
上述したように、実施例を実施するための最善の形態によってその内容を説明した。
上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。
当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。
実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。

Claims (20)

  1. ポイントクラウドデータ送信方法であって、
    ポイントクラウドデータを符号化するステップ；
    前記ポイントクラウドデータをカプセル化するステップ；及び
    前記ポイントクラウドデータを送信するステップ；を含んでなる、ポイントクラウドデータ送信方法。
  2. 前記送信するステップは、前記ポイントクラウドデータに対するメタデータを更に含んで送信し、
    前記メタデータは、前記ポイントクラウドデータに対する容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含む、請求項１に記載のポイントクラウドデータ送信方法。
  3. 前記容積測定データのための情報は、前記容積測定データを再構成するために使用される位置関連情報及び前記容積測定データに適用される方向関連情報を含む、請求項２に記載のポイントクラウドデータ送信方法。
  4. 前記メタデータは、前記ポイントクラウドデータのポイントの形態を示す情報及び前記ポイントのサイズを示す情報を含む、請求項１に記載のポイントクラウドデータ送信方法。
  5. 前記メタデータは、カメラ情報を更に含み、
    前記カメラ情報は、カメラの位置を示す情報、前記カメラのオリエンテーション方向を示す情報、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報、及び前記視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報、を含む、請求項１に記載のポイントクラウドデータ送信方法。
  6. ポイントクラウドデータ送信装置であって、
    ポイントクラウドデータを符号化するエンコーダ；
    前記ポイントクラウドデータをカプセル化するカプセル化部；及び
    前記ポイントクラウドデータを送信する送信機；を備えてなる、ポイントクラウドデータ送信装置。
  7. 前記送信部は、前記ポイントクラウドデータに対するメタデータを更に含んで送信し、
    前記メタデータは、前記ポイントクラウドデータ内の容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含む、請求項６に記載のポイントクラウドデータ送信装置。
  8. 前記容積測定データのための情報は、前記容積測定データを再構成するために使用される位置関連情報及び前記容積測定データに適用される方向関連情報を含む、請求項７に記載のポイントクラウドデータ送信装置。
  9. 前記メタデータは、前記ポイントクラウドデータのポイントの形態を示す情報及び前記ポイントのサイズを示す情報を含む、請求項６に記載のポイントクラウドデータ送信装置。
  10. 前記メタデータは、カメラ情報を含み、
    前記カメラ情報は、カメラの位置を示す情報、前記カメラのオリエンテーション方向、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報及び前記視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を含む、請求項６に記載のポイントクラウドデータ送信装置。
  11. ポイントクラウドデータ受信方法であって、
    ポイントクラウドデータを受信するステップ；
    前記ポイントクラウドデータをデカプセル化するステップ；及び
    前記ポイントクラウドデータを復号するステップ；を含む、ポイントクラウドデータ受信方法。
  12. 前記受信するステップは、前記ポイントクラウドデータに対するメタデータを更に受信し、前記復号するステップは、前記ポイントクラウドデータを再構成（ｒｅｃｏｎｓｔｒｕｃｔ）し、
    前記メタデータは、前記ポイントクラウドデータ内の容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含み、
    前記再構成するステップは、前記容積測定データのための情報に基づいて前記容積測定データを再構成する、請求項１１に記載のポイントクラウドデータ受信方法。
  13. 前記容積測定データのための情報は、前記容積測定データを再構成するために使用される位置関連情報及び前記容積測定データに適用される方向関連情報を含む、請求項１２に記載のポイントクラウドデータ受信方法。
  14. 前記メタデータは、前記ポイントクラウドデータのポイントの形態を示す情報及び前記ポイントのサイズを示す情報を含む、請求項１１に記載のポイントクラウドデータ受信方法。
  15. 前記メタデータは、カメラ情報を含み、
    前記カメラ情報は、カメラの位置を示す情報、前記カメラのオリエンテーション方向、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報及び前記視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を含む、請求項１１に記載のポイントクラウドデータ受信方法。
  16. ポイントクラウドデータ受信装置であって、
    ポイントクラウドデータを受信する受信部；
    前記ポイントクラウドデータをデカプセル化するデカプセル化部；及び
    前記ポイントクラウドデータを復号するデコーダ；を含んでなる、ポイントクラウドデータ受信装置。
  17. 前記受信部は、前記ポイントクラウドデータに対するメタデータを更に受信し、
    前記デコーダは、前記ポイントクラウドデータを再構成（ｒｅｃｏｎｓｔｒｕｃｔ）し、
    前記メタデータは、前記ポイントクラウドデータ内の容積測定データ（ｖｏｌｕｍｅｔｒｉｃ ｄａｔａ）のための情報を含み、
    前記レンダラーは、前記容積測定データのための情報に基づいて前記容積測定データを再構成する、請求項１６に記載のポイントクラウドデータ受信装置。
  18. 前記容積測定データのための情報は、前記容積測定データを再構成するために使用される位置関連情報及び前記容積測定データに適用される方向関連情報を含む、請求項１７に記載のポイントクラウドデータ受信装置。
  19. 前記メタデータは、前記ポイントクラウドデータのポイントの形態を示す情報及び前記ポイントのサイズを示す情報を含む、請求項１６に記載のポイントクラウドデータ受信装置。
  20. 前記メタデータは、カメラ情報を含み、
    前記カメラ情報は、前記カメラの位置を示す情報、前記カメラのオリエンテーション方向、視錘台の水平ＦＯＶ（ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報及び前記視錘台の垂直ＦＯＶ（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す情報を含む、請求項１６に記載のポイントクラウドデータ受信装置。



JP2022541990A 2020-01-09 2020-12-11 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 Active JP7434574B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062959130P 2020-01-09 2020-01-09
US62/959,130 2020-01-09
PCT/KR2020/018156 WO2021141258A1 (ko) 2020-01-09 2020-12-11 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Publications (2)

Publication Number Publication Date
JP2023509190A true JP2023509190A (ja) 2023-03-07
JP7434574B2 JP7434574B2 (ja) 2024-02-20

Family

ID=76763748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541990A Active JP7434574B2 (ja) 2020-01-09 2020-12-11 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Country Status (7)

Country Link
US (1) US11606547B2 (ja)
EP (1) EP4072132B1 (ja)
JP (1) JP7434574B2 (ja)
KR (1) KR102373833B1 (ja)
CN (1) CN114946179B (ja)
BR (1) BR112022013595A2 (ja)
WO (1) WO2021141258A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117978996A (zh) * 2020-04-11 2024-05-03 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
EP4124032A4 (en) * 2020-04-12 2023-05-31 LG Electronics, Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE, AND POINT CLOUD DATA RECEIVING METHOD
EP4131961A4 (en) * 2020-04-13 2023-09-13 LG Electronics, Inc. DEVICE FOR TRANSMITTING POINT CLOUD DATA, METHOD FOR TRANSMITTING POINT CLOUD DATA, DEVICE FOR RECEIVING POINT CLOUD DATA AND METHOD FOR RECEIVING POINT CLOUD DATA

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084878A (ja) * 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20180276841A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
KR20190043059A (ko) * 2017-10-17 2019-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
US20190392647A1 (en) * 2019-08-16 2019-12-26 Lg Electronics Inc. Xr device and method for controlling the same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731313B2 (en) * 2009-03-23 2014-05-20 Level Set Systems, Inc. Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
HUE053609T2 (hu) * 2014-11-07 2021-07-28 Sony Corp Átviteli készülék, átviteli eljárás, vételi készülék és vételi eljárás
CN109644262A (zh) * 2016-08-25 2019-04-16 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US10979729B2 (en) * 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN111201549B (zh) * 2017-10-16 2024-04-09 索尼公司 信息处理装置和信息处理方法
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
US10535161B2 (en) * 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
US10607373B2 (en) * 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
CN110012279B (zh) * 2018-01-05 2020-11-17 上海交通大学 基于3d点云数据的分视角压缩和传输方法及系统
WO2019183087A1 (en) * 2018-03-20 2019-09-26 Phantom AI, Inc. Data augmentation using computer simulated objects for autonomous control systems
US10939129B2 (en) * 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10984541B2 (en) * 2018-04-12 2021-04-20 Samsung Electronics Co., Ltd. 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud
EP3562159A1 (en) * 2018-04-24 2019-10-30 InterDigital VC Holdings, Inc. Method, apparatus and stream for volumetric video format
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
EP3804320A4 (en) * 2018-06-26 2021-06-30 Huawei Technologies Co., Ltd. HIGH LEVEL SYNTAX VERSIONS FOR POINT CLOUD CODING
US20200202608A1 (en) * 2018-12-21 2020-06-25 Point Cloud Compression, B.V. Method and apparatus for receiving a volumetric video stream
US11200701B2 (en) * 2019-03-19 2021-12-14 Nokia Technologies Oy Method and apparatus for storage and signaling of static point cloud data
US11243305B2 (en) * 2019-12-20 2022-02-08 Motorola Solutions, Inc. Method, system and computer program product for intelligent tracking and data transformation between interconnected sensor devices of mixed type
US11477483B2 (en) * 2020-01-08 2022-10-18 Apple Inc. Video-based point cloud compression with variable patch scaling
WO2021210513A1 (ja) * 2020-04-13 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084878A (ja) * 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20180276841A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
KR20190043059A (ko) * 2017-10-17 2019-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
US20190392647A1 (en) * 2019-08-16 2019-12-26 Lg Electronics Inc. Xr device and method for controlling the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEBASTIAN SCHWARZ, ET AL.: ""Emerging MPEG Standards for Point Cloud Compression"", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. 9, no. 1, JPN6023026842, 9 December 2018 (2018-12-09), pages 133 - 148, XP011714044, ISSN: 0005100999, DOI: 10.1109/JETCAS.2018.2885981 *

Also Published As

Publication number Publication date
BR112022013595A2 (pt) 2022-09-13
KR102373833B1 (ko) 2022-03-14
KR20210090089A (ko) 2021-07-19
EP4072132A4 (en) 2023-01-18
US20210218947A1 (en) 2021-07-15
WO2021141258A1 (ko) 2021-07-15
US11606547B2 (en) 2023-03-14
EP4072132B1 (en) 2024-03-06
CN114946179B (zh) 2024-03-08
JP7434574B2 (ja) 2024-02-20
EP4072132A1 (en) 2022-10-12
CN114946179A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
US11170556B2 (en) Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data
KR102292195B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102406846B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7434577B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
EP3926960A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7477617B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP7434578B2 (ja) ポイントクラウドデ－タ送信装置、ポイントクラウドデ－タ送信方法、ポイントクラウドデ－タ受信装置及びポイントクラウドデ－タ受信方法
US11818190B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7376705B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法
JP7434574B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US11601634B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR20210132200A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
CN115398890A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US20210320961A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11908168B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7434574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150