JP7376705B2 - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 - Google Patents
ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 Download PDFInfo
- Publication number
- JP7376705B2 JP7376705B2 JP2022521344A JP2022521344A JP7376705B2 JP 7376705 B2 JP7376705 B2 JP 7376705B2 JP 2022521344 A JP2022521344 A JP 2022521344A JP 2022521344 A JP2022521344 A JP 2022521344A JP 7376705 B2 JP7376705 B2 JP 7376705B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- information
- video
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 348
- 238000009877 rendering Methods 0.000 claims description 85
- 238000007906 compression Methods 0.000 claims description 78
- 230000006835 compression Effects 0.000 claims description 71
- 230000011664 signaling Effects 0.000 claims description 61
- 238000005538 encapsulation Methods 0.000 claims description 40
- 239000000523 sample Substances 0.000 description 238
- 230000008569 process Effects 0.000 description 206
- 239000010410 layer Substances 0.000 description 108
- 238000012545 processing Methods 0.000 description 93
- 230000005540 biological transmission Effects 0.000 description 74
- 239000013598 vector Substances 0.000 description 65
- 230000033001 locomotion Effects 0.000 description 39
- 238000009499 grossing Methods 0.000 description 35
- 238000013139 quantization Methods 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 26
- 238000001914 filtration Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 22
- 238000012856 packing Methods 0.000 description 21
- 238000007781 pre-processing Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 17
- 238000013507 mapping Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 230000002441 reversible effect Effects 0.000 description 13
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 238000007792 addition Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 8
- 238000013144 data compression Methods 0.000 description 8
- 230000006837 decompression Effects 0.000 description 8
- 238000011049 filling Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 239000011248 coating agent Substances 0.000 description 7
- 238000000576 coating method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 208000037540 Alveolar soft tissue sarcoma Diseases 0.000 description 2
- 208000008524 alveolar soft part sarcoma Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 1
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
実施例はユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)および自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供する方案を提供する。
ポイントクラウドは３Ｄ空間上のポイントの集合である。３Ｄ空間上のポイントの量が多く、ポイントクラウドデータの生成が困難であるという問題点がある。
ポイントクラウドのデータの送受信のためには、大量の処理量が求められるという問題点がある。
実施例に係る技術的課題は、上記した問題点を解決するために、ポイントクラウドを効率的に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置および受信方法を提供することにある。
実施例に係る技術的課題は、遅延時間(ｌａｔｅｎｃｙ)および符号化／復号の複雑度を解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置および受信方法を提供することにある。
実施例に係る技術的課題は、ポイントクラウドデータのビューポートに関する情報をシグナルすることで、ユーザに最適化されたポイントクラウドコンテンツを提供するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置および受信方法を提供することにある。
実施例に係る技術的課題は、Ｖ－ＰＣＣビットストリーム内のデータ処理およびレンダリングのためのビューポート情報、推薦(ｒｅｃｏｍｍｅｎｄｅｄ)ビューポート情報、初期(ｉｎｉｔｉａｌ)ビューイングオリエンテーション(即ち、視点)情報をビットストリーム内へ送信できるようにして、ユーザに最適化されたポイントクラウドコンテンツを提供するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受信装置および受信方法を提供することにある。
但し、上述した技術的課題のみに制限されず、本文書の全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
上述した目的および他の利点を達成するために、実施例に係るポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ、および前記ポイントクラウドデータとシグナリング情報を含むビットストリームを送信するステップを含んでもよい。
実施例によれば、前記ポイントクラウドデータは、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)方式によって符号化されるジオメトリデータ、特質データ、占有マップデータを含んでもよい。
実施例によれば、前記シグナリング情報は、カメラまたはユーザの位置およびオリエンテーションに応じて決められるビューポートのためのビューポートに関する情報を含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記カメラまたはユーザの３Ｄ空間上の座標情報、前記カメラまたはユーザが見ている方向を示す方向ベクトル情報、前記カメラまたはユーザの上方を示す上ベクトル情報、前記カメラまたはユーザの右側を示す右ベクトル情報のうちの少なくとも１つを含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記ビューポートを生成するための水平フィールドオブビュー(ＦＯＶ)情報と垂直ＦＯＶ情報をさらに含んでもよい。
実施例によれば、ポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダ、および前記ポイントクラウドデータとシグナリング情報を含むビットストリームを送信する送信部を含んでもよい。
実施例によれば、前記ポイントクラウドデータは、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)方式によって符号化されるジオメトリデータ、特質データ、占有マップデータを含んでもよい。
実施例によれば、前記シグナリング情報は、カメラまたはユーザの位置およびオリエンテーションに応じて決められるビューポートのためのビューポートに関する情報を含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記カメラまたはユーザの３Ｄ空間上の座標情報、前記カメラまたはユーザが見ている方向を示す方向ベクトル情報、前記カメラまたはユーザの上方を示す上ベクトル情報、前記カメラまたはユーザの右側を示す右ベクトル情報のうちの少なくとも１つを含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記ビューポートを生成するための水平ＦＯＶ情報と垂直ＦＯＶ情報をさらに含んでもよい。
実施例によれば、ポイントクラウドデータ受信方法は、ポイントクラウドデータとシグナリング情報を含むビットストリームを受信するステップ、前記ポイントクラウドデータを復号するステップ、および前記復号されたポイントクラウドデータをレンダリングするステップを含んでもよい。
実施例によれば、前記シグナリング情報は、カメラまたはユーザの位置およびオリエンテーションに応じて決められるビューポートのためのビューポートに関する情報を含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記カメラまたはユーザの３Ｄ空間上の座標情報、前記カメラまたはユーザが見ている方向を示す方向ベクトル情報、前記カメラまたはユーザの上方を示す上ベクトル情報、前記カメラまたはユーザの右側を示す右ベクトル情報のうちの少なくとも１つを含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記ビューポートを生成するための水平ＦＯＶ情報と垂直ＦＯＶ情報をさらに含んでもよい。
実施例によれば、前記復号されたポイントクラウドデータは、前記ビューポートに関する情報に基づいてレンダリングされてもよい。
実施例によれば、ポイントクラウドデータ受信装置は、ポイントクラウドデータとシグナリング情報を含むビットストリームを受信する受信部、前記ポイントクラウドデータを復号するデコーダ、および前記復号されたポイントクラウドデータをレンダリングするレンダラーを含んでもよい。
実施例によれば、前記シグナリング情報は、カメラまたはユーザの位置およびオリエンテーションに応じて決められるビューポートのためのビューポートに関する情報を含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記カメラまたはユーザの３Ｄ空間上の座標情報、前記カメラまたはユーザが見ている方向を示す方向ベクトル情報、前記カメラまたはユーザの上方を示す上ベクトル情報、前記カメラまたはユーザの右側を示す右ベクトル情報のうちの少なくとも１つを含んでもよい。
実施例によれば、前記ビューポートに関する情報は、前記ビューポートを生成するための水平ＦＯＶ情報と垂直ＦＯＶ情報をさらに含んでもよい。
実施例によれば、前記レンダラーは、前記復号されたポイントクラウドデータを前記ビューポートに関する情報に基づいてレンダリングしてもよい。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、良質のポイントクラウドサービスを提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、様々なビデオコーデック方式を達成することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、自立走行サービスなどの汎用的なポイントクラウドコンテンツを提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、Ｖ－ＰＣＣビットストリームを構成し、ファイルを送信および受信して格納できるようにすることで、最適なポイントクラウドコンテンツサービスを提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、Ｖ－ＰＣＣビットストリーム内のデータ処理およびレンダリングのためのメタデータをＶ－ＰＣＣビットストリーム内に含ませて送信および受信できるようにすることで、最適なポイントクラウドコンテンツサービスを提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、プレーヤーなどにおいてユーザビューポートなどによってポイントクラウド客体／コンテンツの空間もしくは部分のアクセスを可能にすることで、ユーザのビューポートによってポイントクラウドビットストリームに効率的に接近して処理できるという効果を提供することができる。
実施例によるポイントクラウドデータ送信方法、送信装置、ポイントクラウドデータ受信方法、受信装置は、ポイントクラウドコンテンツへの部分アクセスおよび／または空間アクセスのためのバウンディングボックスおよびそのためのシグナリング情報を提供することで、受信側においてプレーヤーまたはユーザ環境を考慮して、ポイントクラウドコンテンツを様々にアクセスできるという効果を提供することができる。
実施例によるポイントクラウドデータ送信方法および送信装置は、ユーザのビューポートに応じてポイントクラウドコンテンツの空間または部分のアクセスを支援するためのポイントクラウドコンテンツの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域に関連するメタデータを提供することができる。
実施例によるポイントクラウドデータ送信方法および送信装置は、ポイントクラウドビットストリーム内のポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域に関連する情報シグナリングなどを処理することができる。
実施例によるポイントクラウドデータ受信方法および受信装置は、ファイル内のポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域に関連する情報の格納およびシグナリングなどに基づいて、ポイントクラウドコンテンツに効率的にアクセスすることができる。
実施例によるポイントクラウドデータ受信方法および受信装置は、ファイル内イメージアイテムに関連するポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域に関連する情報に基づいて、ユーザ環境を考慮したポイントクラウドコンテンツを提供することができる。
図面は実施例をさらに理解するために添付され、実施例に関する説明と共に実施例を示す。
以下、添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというよりは、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に対する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものであり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は、実施例によるポイントクラウドコンテンツを提供するための送信／受信システム構造の一例を示す。
本文書では、ユーザに、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実)、および自立走行サービスなどの様々なサービスを提供するために、ポイントクラウドコンテンツを提供する方案を提供する。実施例によるポイントクラウドコンテンツは、客体をポイントによって表現したデータを示し、ポイントクラウド、ポイントクラウドデータ、ポイントクラウドビデオデータ、ポイントクラウドイメージデータなどと呼ぶことがある。
実施例によるポイントクラウドデータ送信装置(Ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００は、ポイントクラウドビデオ取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２、ファイル／セグメントカプセル化部１０００３および／または送信機(Ｔｒａｎｓｍｉｔｔｅｒ(ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ))１０００４を含む。実施例による送信装置は、ポイントクラウドビデオ(または、ポイントクラウドコンテンツ)を確保して処理し、送信することができる。実施例によって、送信装置は、固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器および／またはシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器および／またはサーバーなどを含んでもよい。また、実施例によって、送信装置１００００は、無線接続技術(例えば、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局および／または他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含んでもよい。
実施例によるポイントクラウドビデオ取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)１０００１は、ポイントクラウドビデオのキャプチャー、合成または生成プロセスなどによってポイントクラウドビデオを取得する。
実施例によるポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２は、ポイントクラウドビデオ取得部１０００１で取得したポイントクラウドビデオデータを符号化する。実施例によって、ポイントクラウドビデオエンコーダ１０００２は、ポイントクラウドエンコーダ、ポイントクラウドデータエンコーダ、エンコーダなどと呼ばれる。また、実施例によるポイントクラウド圧縮コーティング(符号化)は、上述した実施例に限らない。ポイントクラウドビデオエンコーダは、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは、符号化されたポイントクラウドビデオデータのみならず、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含んでもよい。
実施例によるポイントクラウドビデオエンコーダ１０００２は、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)符号化方式および／またはＶ－ＰＣＣ(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)符号化方式の両方をいずれも支援できる。また、ポイントクラウドビデオエンコーダ１０００２は、ポイントクラウド(ポイントクラウドデータまたはポイントの全てを称する)および／またはポイントクラウドに関するシグナリングデータを符号化することができる。
実施例によるファイル／セグメントカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００３は、ポイントクラウドデータをファイルおよび／またはセグメントの形式でカプセル化する。実施例によるポイントクラウドデータ送信方法／装置は、ポイントクラウドデータをファイルおよび／またはセグメントの形式で送信することができる。
実施例による送信機(Ｔｒａｎｓｍｉｔｔｅｒ(ｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｏｄｕｌｅ))１０００４は、符号化されたポイントクラウドビデオデータをビットストリームの形式で送信する。実施例によって、ファイルまたはセグメントは、ネットワークを介して受信装置へ送信されるか、またはデジタル記憶媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機は、受信装置(または、受信機(Ｒｅｃｅｉｖｅｒ)と４Ｇ、５Ｇ、６Ｇなどのネットワークを介して有／無線通信を行うが可能である。また、送信機は、ネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)に応じて必要なデータ処理の動作を行うことができる。また、送信装置は、オンデマンド(Ｏｎ Ｄｅｍａｎｄ)の方式によってカプセル化されたデータを送信することもできる。
実施例によるポイントクラウドデータ受信装置(Ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００５は、受信機(Ｒｅｃｅｉｖｅｒ)１０００６、ファイル／セグメントデカプセル化部１０００７、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)１０００８、および／またはレンダラー(Ｒｅｎｄｅｒｅｒ)１０００９を含む。実施例によって、受信装置は、無線接続技術(例えば、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局および／または他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含んでもよい。
実施例による受信機(Ｒｅｃｅｉｖｅｒ)１０００６は、ポイントクラウドビデオデータを含むビットストリームを受信する。実施例によって、受信機１０００６は、フィードバック情報(Ｆｅｅｄｂａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ)をポイントクラウドデータ送信装置１００００に送信することができる。
ファイル／セグメントデカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００７は、ポイントクラウドデータを含むファイルおよび／またはセグメントをデカプセル化する。
ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ ｖｉｄｅｏ Ｄｅｃｏｄｅｒ)１０００８は、受信したポイントクラウドビデオデータを復号する。
レンダラー(Ｒｅｎｄｅｒｅｒ)１０００９は、復号されたポイントクラウドビデオデータをレンダリングする。実施例によって、レンダラー１０００９は、受信端側で取得したフィードバック情報をポイントクラウドビデオデコーダ１０００８に送信できる。実施例によるポイントクラウドビデオデータは、フィードバック情報を受信機１０００６に送信することができる。実施例によれば、ポイントクラウド送信装置が受信したフィードバック情報は、ポイントクラウドビデオエンコーダ１０００２に提供されてもよい。
図面において点線で示した矢印は、受信装置１０００５で取得したフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報は、ポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報(例えば、ヘッドオリエンテーション情報、ビューポート情報など)を含む。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合、フィードバック情報は、コンテンツ送信側(例えば、送信装置１００００)および／またはサービス供給者に伝送されることができる。実施例によっては、フィードバック情報は送信装置１００００だけではなく受信装置１０００５で使用されることもあり、提供されないこともある。
実施例によるヘッドオリエンテーション情報は、ユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００５は、ヘッドオリエンテーション情報に基づいてビューポート情報を算出することができる。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ ｏｒ ｏｒｉｅｎｔａｔｉｏｎ)は、ユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。換言すれば、仮想カメラまたはユーザの位置と視点(ｖｉｅｗｐｏｉｎｔ ｏｒ ｏｒｉｅｎｔａｔｉｏｎ)に応じてビューポートが決定され、ポイントクラウドデータはビューポート情報に基づいて上述したビューポートでレンダリングされる。従って、受信装置１０００５は、ヘッドオリエンテーション情報の他に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００５はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例によれば、受信装置１０００５はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリングおよび／またはディスプレイプロセスで得られる。実施例によるフィードバック情報は、受信装置１０００５に含まれた一つ又はそれ以上のセンサにより確保される。また実施例によれば、フィードバック情報は、レンダラー１０００９または別の外部エレメント(またはデバイス、コンポーネントなど)により確保される。 図１に示された点線はレンダラー１０００９で確保したフィードバック情報の伝送プロセスを示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００８はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００５はフィードバック情報を送信装置に送信することができる。送信装置(またはポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは、全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などと呼ばれ、受信装置１０００５はデコーダ、受信デバイス、受信機などと呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(取得／符号化／送信／復号／レンダリングの一連のプロセスで処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータまたはポイントクラウドビデオデータとも呼ばれる。実施例によれば、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータまたはシグナリング情報を含む概念として使用することができる。
図１に示したポイントクラウドコンテンツ提供システムの要素は、ハードウェア、ソフトウェア、プロセッサおよび／またはそれらの組み合わせなどで具現できる。
実施例は、ユーザにＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、増強現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、混合現実)、および自立走行サービスなどの様々なサービスを提供するために、ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)コンテンツを提供することができる。
ポイントクラウドコンテンツサービスを提供するために、まず、ポイントクラウドビデオを取得する。取得したポイントクラウドビデオは、一連のプロセスを経て受信側へ送信され、受信側で受信したデータを再び元のポイントクラウドビデオに加工してレンダリングする。これによって、ポイントクラウドビデオをユーザに提供することができる。実施例は、これらの一連のプロセスを効果的に行うために必要な方案を提供する。
ポイントクラウドコンテンツサービスを提供するための全体のプロセス(ポイントクラウドデータ送信方法および／またはポイントクラウドデータ受信方法)は、取得プロセス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセスおよび／またはフィードバックプロセスを含む。
実施例によれば、ポイントクラウドコンテンツ(または、ポイントクラウドデータ)を提供するプロセスは、ポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)プロセスとも呼ぶ。実施例によれば、ポイントクラウド圧縮プロセスは、ビデオベースポイントクラウド圧縮(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、以下、Ｖ－ＰＣＣと呼ぶ)プロセスを意味する。
実施例によるポイントクラウドデータ送信装置およびポイントクラウドデータ受信装置の各要素は、ハードウェア、ソフトウェア、プロセッサおよび／またはそれらの組み合わせなどを意味する。
ポイントクラウド圧縮システムは、送信デバイスおよび受信デバイスを含むことができる。実施例によれば、送信デバイスは、エンコーダ、送信装置、送信機、ポイントクラウド送信装置などと呼ばれる。実施例によれば、受信デバイスは、デコーダ、受信装置、受信機、ポイントクラウド受信装置などと呼ばれる。送信デバイスはポイントクラウドビデオを符号化してビットストリームを出力することができ、これをファイルまたはストリーミング(ストリーミングセグメント)の形式でデジタル記憶媒体またはネットワークを介して受信デバイスへ伝送することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど様々な記憶媒体を含む。
送信デバイスは、図１のように、ポイントクラウドビデオ取得部、ポイントクラウドビデオエンコーダ、ファイル／セグメントカプセル化部、送信部(または、送信機)を含むことができる。受信デバイスは、図１のように、概略に受信部、ファイル／セグメントデカプセル化部、ポイントクラウドビデオデコーダおよびレンダラーを含むことができる。エンコーダは、ポイントクラウドビデオ／映像／ピクチャー／フレーム符号化装置とも呼ばれ、デコーダは、ポイントクラウドビデオ／映像／ピクチャー／フレーム復号装置とも呼ばれる。レンダラーは、ディスプレイ部を含んでもよく、レンダラーおよび／またはディスプレイ部は別のデバイスまたは外部コンポーネントとして構成されてもよい。送信デバイスおよび受信デバイスは、フィードバックプロセスのための別の内部または外部のモジュール／ユニット／コンポーネントをさらに含んでもよい。実施例による送信デバイスおよび受信デバイスに含まれた各要素は、ハードウェア、ソフトウェアおよび／またはプロセッサで構成できる。
実施例による受信デバイスの動作は、送信デバイスの動作の逆プロセスに従う。
ポイントクラウドビデオ取得部は、ポイントクラウドビデオのキャプチャー、合成又は生成プロセスなどを通じてポイントクラウドビデオを取得するプロセスを行う。取得プロセスによって、多数のポイントに対する３Ｄ位置(ｘ、ｙ、ｚ)／特質(色、反射率、透明度など)データ、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルなどが生成される。複数のフレームを有するビデオの場合、１つ以上のファイルを取得することができる。キャプチャープロセスにおいてポイントクラウドに関連するメタデータ(例えば、キャプチャーに関するメタデータなど)が生成される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを符号化するエンコーダ、およびポイントクラウドデータを(または含むビットストリーム)送信する送信機を含んでもよい。
実施例によるポイントクラウドデータ受信装置は、ポイントクラウドデータを含むビットストリームを受信する受信部、ポイントクラウドデータを復号するデコーダ、およびポイントクラウドデータをレンダリングするレンダラーを含む。
実施例による方法／装置は、ポイントクラウドデータ送信装置および／またはポイントクラウドデータ受信装置を示す。
図２は、実施例によるポイントクラウドデータのキャプチャーの一例を示す。
実施例によるポイントクラウドデータ(またはポイントクラウドビデオデータ)は、カメラなどによって取得される。実施例によるキャプチャーの方法は、例えば、内向き方式(ｉｎｗａｒｄ－ｆａｃｉｎｇ)および／または外向き方式(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)がある。
実施例による内向き方式は、ポイントクラウドデータの客体(Ｏｂｊｅｃｔ)を１つまたは１つ以上のカメラが客体の外側から内側へ撮影して取得するキャプチャー方式である。
実施例による外向き方式は、ポイントクラウドデータの客体を１つまたは１つ以上のカメラが客体の内側から外側へ撮影して取得する方式である。例えば、実施例によればカメラが４つある。
実施例によるポイントクラウドデータまたはポイントクラウドコンテンツは、様々な形式の３Ｄ空間上に表現される客体／環境のビデオまたは停止映像である。実施例によれば、ポイントクラウドコンテンツは客体(ｏｂｊｅｃｔなど)に対するビデオ／オーディオ／イメージなどを含む。
ポイントクラウドコンテンツキャプチャーのための装備としては、深さ(ｄｅｐｔｈ)が取得可能なカメラ装備(赤外線パターンプロジェクターと赤外線カメラとの組み合わせ)と深さ情報に対応する色情報が抽出可能なＲＧＢカメラの組み合わせによって構成される。または、深さ情報はレーザパルスを打ち、反射して戻る時間を測定して、反射体の位置座標を測定するレーダーシステムを用いるライダー(ＬｉＤＡＲ)によって深さ情報を抽出することができる。深さ情報より３Ｄ空間上の点で構成されたジオメトリ(ｇｅｏｍｅｔｒｙ)の形式を抽出し、ＲＧＢ情報より各点の色／反射を表現する特質(ａｔｔｒｉｂｕｔｅ)を抽出することができる。ポイントクラウドコンテンツは点に対する位置(ｘ、ｙ、ｚ)、色(ＹＣｂＣｒまたはＲＧＢ)または反射率(ｒ)情報で構成されてもよい。ポイントクラウドコンテンツは、外部環境をキャプチャーする外向き方式 (ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)と、中心客体をキャプチャーする内向き方式(ｉｎｗａｒｄ－ｆａｃｉｎｇ)とがある。ＶＲ／ＡＲ環境において客体(例えば、キャラクター、選手、物、俳優などの核心となる客体)を３６０°にユーザが自由に見られるポイントクラウドコンテンツとして構成する場合、キャプチャーカメラの構成は内向き方式を用いる。また、自立走行のように自動車において現在の周辺環境をポイントクラウドコンテンツとして構成する場合、キャプチャーカメラの構成は外向き方式を用いる。複数のカメラによってポイントクラウドコンテンツがキャプチャーされるため、カメラ間のグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するためにコンテンツをキャプチャーする前にカメラの校正プロセスが必要となることもある。
ポイントクラウドコンテンツは、様々な形態の３Ｄ空間上に示される客体／環境のビデオまたは停止映像である。
その他に、ポイントクラウドコンテンツの取得方法は、キャプチャーされたポイントクラウドビデオに基づいて任意のポイントクラウドビデオが合成できる。または、コンピューターで生成された仮想の空間に対するポイントクラウドビデオを提供しようとする場合、実際にカメラによるキャプチャーが行われないことがある。この場合、単に、関連データが生成されるプロセスによって該当キャプチャープロセスが代替できる。
キャプチャーされたポイントクラウドビデオは、コンテンツの質を向上させるための後処理が必要である。映像キャプチャープロセスにおいてカメラ装備が提供する範囲内で最大／最小の深さ値が調整できるが、その後にも所望しない領域のポイントデータが含まれることがあり、所望しない領域(例えば、背景)を除去するか、または連結された空間を認識して穴(ｓｐａｔｉａｌ ｈｏｌｅ)を埋める後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは、校正プロセスによって取得した各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセスにより、１つのコンテンツに統合できる。これにより、１つの広い範囲のポイントクラウドコンテンツを生成することもでき、またはポイントの密度の高いポイントクラウドコンテンツを取得することもできる。
ポイントクラウドビデオエンコーダ１０００２は、入力されるポイントクラウドビデオを１つ以上のビデオストリームに符号化することができる。１つのポイントクラウドビデオは、複数のフレームを含んでもよく、１つのフレームは停止映像／ピクチャーに対応する。本文書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャー／ビデオ／オーディオ／イメージなどを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用できる。ポイントクラウドビデオエンコーダ１０００２は、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手続きを行う。ポイントクラウドビデオエンコーダ１０００２は、圧縮およびコーティングの効率のために、予測、変換、量子化、エントロピー符号化などの一連の手続きを行う。符号化されたデータ(符号化されたビデオ／映像情報)は、ビットストリーム(ｂｉｔｓｔｒｅａｍ)の形態で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドビデオエンコーダ１０００２は ポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加情報(ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ)に分けて符号化する。ジオメトリビデオはジオメトリイメージを含み、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含み、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含む。付加情報(または、付加データという)は付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含む。特質ビデオ／イメージはテクスチャビデオ／イメージを含む。
カプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００３は、符号化されたポイントクラウドビデオデータおよび／またはポイントクラウドビデオ関連メタデータをファイルなどの形式でカプセル化することができる。ここで、ポイントクラウドビデオ関連メタデータは、メタデータ処理部などから伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオエンコーダ１０００２に含まれてもよく、または別のコンポーネント／モジュールで構成されてもよい。カプセル化部１０００３は、該当データをＩＳＯＢＭＦＦなどのファイルフォーマットでカプセル化してもよく、その他のＤＡＳＨセグメントなどの形式で処理してもよい。カプセル化部１０００３は、実施例によれば、ポイントクラウドビデオ関連メタデータをファイルフォーマット上に含ませてもよい。ポイントクラウドビデオ関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の多様なレベルのボックス(ｂｏｘ)に含まれるか、又はファイル内で別のトラックに含まれる。実施例によれば、カプセル化部１０００３は、ポイントクラウドビデオ関連メタデータそのものをファイルでカプセル化することができる。送信処理部はファイルフォーマットによってカプセル化されたポイントクラウドビデオデータに送信のための処理を加えてもよい。送信処理部は、送信部１０００４に含まれてもよく、または別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドビデオデータを処理する。送信のための処理には、放送網を介して伝送するための処理、ブロードバンドを介して伝送するための処理を含む。実施例による送信処理部は、ポイントクラウドビデオデータのみならず、メタデータ処理部からポイントクラウドビデオ関連メタデータが伝送され、これに送信するための処理を加える。
送信部１０００４は、ビットストリームの形式で出力された符号化されたビデオ／映像情報またはデータをファイルまたはストリーミングの形式でデジタル記憶媒体またはネットワークを介して受信デバイスの受信機１０００６へ伝送する。デジタル記憶媒体にはＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどが含まれる。送信部は所定のファイルフォーマットによってメディアファイルを生成するための要素を含み、放送／通信ネットワークを介した送信のための要素を含む。受信部はビットストリームを抽出して復号装置に伝送する。
受信機１０００６は、本発明によるポイントクラウドビデオ送信装置が送信したポイントクラウドビデオデータを受信する。送信されるチャンネルに応じて、受信部は、放送網を介してポイントクラウドビデオデータを受信してもよく、ブロードバンドを介してポイントクラウドビデオデータを受信してもよい。またはデジタル記憶媒体を介してポイントクラウドビデオデータを受信してもよい。
受信処理部は、受信したポイントクラウドビデオデータに対して送信プロトコルに従う処理を行う。受信処理部は受信機１０００６に含まれてもよく、または別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われることに対応するように、受信処理部は上述した送信処理部の逆プロセスを行う。受信処理部は取得したポイントクラウドビデオデータはデカプセル化部１０００７に伝送し、取得したポイントクラウドビデオ関連メタデータはメタデータ処理部(未図示)に伝送する。受信処理部が取得するポイントクラウドビデオ関連メタデータはシグナリングテーブルの形式であってもよい。
デカプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｍｏｄｕｌｅ)１０００７は、受信処理部から伝送されたファイル形式のポイントクラウドビデオデータをデカプセル化する。デカプセル化処理部１０００７は、ＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビデオビットストリームないしポイントクラウドビデオ関連メタデータ(メタデータビットストリーム)を取得する。取得したポイントクラウドビデオビットストリームは、ポイントクラウドビデオデコーダ１０００８に伝送し、取得したポイントクラウドビデオ関連メタデータ(メタデータビットストリーム)はメタデータ処理部(未図示)に伝送する。ポイントクラウドビデオビットストリームはメタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部はポイントクラウドビデオデコーダ１０００８に含まれてもよく、または別のコンポーネント／モジュールで構成されてもよい。デカプセル化処理部１０００７が取得するポイントクラウドビデオ関連メタデータは、ファイルフォーマット内のボックスまたはトラックの形式であってもよい。デカプセル化処理部１０００７は、必要な場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウドビデオ関連メタデータは、ポイントクラウドビデオデコーダ１０００８に伝送されてポイントクラウドビデオ復号の手続きに用いられてもよく、またはレンダラー１０００９に伝送されてポイントクラウドビデオレンダリングの手続きに用いられてもよい。
ポイントクラウドビデオデコーダ１０００８は、ビットストリームが入力され、ポイントクラウドビデオエンコーダの動作に対応する動作を行い、ビデオ／映像を復号することができる。この場合、ポイントクラウドビデオデコーダ１０００８は、ポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加情報(ａｕｘｉｌｉａｒｙ ｉｎｆｏｒｍａｔｉｏｎ)に分けて復号する。ジオメトリビデオはジオメトリイメージを含み、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含み、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含む。付加情報は付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含む。特質ビデオ／イメージはテクスチャビデオ／イメージを含む。
復号されたジオメトリイメージと占有マップおよび付加パッチ情報を用いて、３Ｄジオメトリが復元され、その後平滑化プロセスを経てもよい。平滑化された３Ｄジオメトリにテクスチャイメージを用いてカラー値を与えることで、カラーポイントクラウド映像／ピクチャーが復元される。レンダラー１０００９は、復元されたジオメトリ、カラー ポイントクラウド映像／ピクチャーをレンダリングする。レンダリングされたビデオ／映像は、ディスプレイ部(未図示)によってディスプレイされる。ユーザはＶＲ／ＡＲディスプレイまたは一般のディスプレイなどによってレンダリングされた結果の全部または一部の領域を見る。
フィードバックプロセスは、レンダリング／ディスプレイのプロセスにおいて取得可能な様々なフィードバック情報を送信側に伝送するか、受信側のデコーダに伝送するプロセスを含んでもよい。フィードバックプロセスにより、ポイントクラウドビデオの消費において相互作用(ｉｎｔｅｒａｃｔｉｖｉｔｙ)が提供される。実施例によれば、フィードバックプロセスにおいてヘッドオリエンテーション(Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ)情報、ユーザが現在見ている領域を示すビューポート(Ｖｉｅｗｐｏｒｔ)情報などが伝送される。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境上に具現されたものと相互作用できるが、この場合、その相互作用に関連する情報がフィードバックプロセスで送信側ないしサービス供給者側に伝送されることがある。実施例によってフィードバックプロセスは行わなくてもよい。
ヘッドオリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報である。この情報に基づいて、ユーザがポイントクラウドビデオ内で現在見ている領域の情報、即ち、ビューポート情報が算出される。
ビューポート情報は、ユーザがポイントクラウドビデオで現在見ている領域の情報である。これにより、ゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)が行われ、ユーザがどんな方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどのくらい凝視するかなどを確認することもできる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャンネルを介して伝送される。ＶＲ／ＡＲ／ＭＲディスプレイなどの装置は、ユーザの頭の位置／方向、装置が支援する垂直(ｖｅｒｔｉｃａｌ)または水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート領域を抽出する。
実施例によれば、上述したフィードバック情報は送信側に伝送されるだけではなく、受信側で消費されてもよい。即ち、上述したフィードバック情報を用いて受信側の復号、レンダリングのプロセスなどが行われる。例えば、ヘッドオリエンテーション情報および／またはビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドビデオのみを優先して復号およびレンダリングする。
ここで、ビューポート(ｖｉｅｗｐｏｒｔ)ないしビューポート領域とは、ユーザがポイントクラウドビデオで見ている領域である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とした領域であり、その領域が占めるサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。
本明細書は、上述のように、ポイントクラウドビデオ圧縮に関する。例えば、この明細書に開示の方法／実施例は、ＭＰＥＧ(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)のＰＣＣ(ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｒ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｄｉｎｇ)標準または次世代ビデオ／イメージコーティング標準に適用される。
本明細書においてピクチャー(ｐｉｃｔｕｒｅ)／フレーム(ｆｒａｍｅ)は、一般に特定の時間帯の１つの映像を示す単位を意味する。
ピクセル(ｐｉｘｅｌ)またはペル(ｐｅｌ)は１つのピクチャー(または映像)を構成する最小の単位を意味する。また、ピクセルに対応する用語として「サンプル(ｓａｍｐｌｅ)」が用いられる。サンプルは、一般に、ピクセルまたはピクセルの値を示し、輝度(ｌｕｍａ)成分のピクセル／ピクセル値のみを示してもよく、彩度(ｃｈｒｏｍａ)成分のピクセル／ピクセル値のみを示してもよく、または深さ(ｄｅｐｔｈ)成分のピクセル／ピクセル値のみを示してもよい。
ユニット(ｕｎｉｔ)は映像処理の基本単位を示す。ユニットはピクチャーの特定の領域およびその領域に関する情報のうちの少なくとも１つを含む。ユニットは、場合によって、ブロック(ｂｌｏｃｋ)または領域(ａｒｅａ)またはモジュールなどの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプル(またはサンプルアレイ)または変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)の集合(またはアレイ)を含む。
図３は、実施例によるポイントクラウドおよびジオメトリ、テクスチャイメージの一例を示す。
実施例によるポイントクラウドは、後述する図４のＶ－ＰＣＣ符号化プロセスに入力され、ジオメトリイメージ、テクスチャイメージが生成される。実施例によれば、ポイントクラウドはポイントクラウドデータと同一の意味で使用される。
図３において、左側の図はポイントクラウドであって、３Ｄ空間上にポイントクラウド客体が位置し、これをバウンディングボックスなどで表現するポイントクラウドを示す。図３の中間の図はジオメトリイメージを示し、右側の図はテキスチャーイメージ(ノン－パッド)を示す。本明細書は、ジオメトリイメージをジオメトリパッチフレーム／ピクチャーまたはジオメトリフレーム／ピクチャーとも呼ぶ。またテクスチャイメージを特質パッチフレーム／ピクチャーまたは特質フレーム／ピクチャーとも呼ぶ。
ビデオベースポイントクラウド圧縮(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ、Ｖ－ＰＣＣ)は、ＨＥＶＣ(Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)、ＶＶＣ(Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)などの２Ｄビデオコーデック(ｖｉｄｅｏ ｃｏｄｅｃ)に基づいて３Ｄポイントクラウドデータを圧縮する方法である。Ｖ－ＰＣＣ圧縮プロセスにおいて、以下のようなデータおよび情報が生成される。
占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)：ポイントクラウドを成す点をパッチに分けて２Ｄ平面にマップするとき、２Ｄ平面の該当位置におけるデータの存否を０または１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)を示す。占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)はアトラスに対応する２Ｄアレイを示し、占有マップの値はアトラス内の各サンプル位置が３Ｄポイントに対応するか否かを示す。アトラス(ＡＴＬＡＳ)とは、各ポイントクラウドフレームに対する２Ｄパッチに関する情報を含む対象を意味する。例えば、アトラスはパッチの２Ｄ配置およびサイズ、３Ｄポイント内の対応する３Ｄ領域の位置、プロジェクションプラン、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)パラメータなどがある。
パッチ(ｐａｔｃｈ)：ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３Ｄ空間上で互いに隣接し、２Ｄイメージへのマッピングプロセスにおいて６面の境界ボックス平面のうち同じ方向にマップされることを示す。
ジオメトリイメージ(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ)：ポイントクラウドを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表現する深さマップの形式のイメージを示す。ジオメトリイメージは１チャンネルのピクセル値で構成される。ジオメトリ(ｇｅｏｍｅｔｒｙ)はポイントクラウドフレームに連関する座標のセットを示す。
テキスチャー イメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)：ポイントクラウドを成す各点の色情報をパッチ単位で表現するイメージを示す。テクスチャイメージは複数のチャンネルのピクセル値(ｅ.ｇ. ３チャンネルＲ、Ｇ、Ｂ)で構成される。テキスチャーは特質に含まれる。実施例によれば、テキスチャーおよび／または特質は同一の対象および／または包含関係として解釈される。
付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ)：個別のパッチからポイントクラウドを再構成するために必要なメタデータを示す。付加パッチ情報は、パッチの２Ｄ／３Ｄ空間における位置、サイズなどに関する情報を含む。
実施例によるポイントクラウドデータ、例えば、Ｖ－ＰＣＣコンポーネントは、アトラス、占有マップ、ジオメトリ、特質などを含む。
アトラス(ａｔｌａｓ)は、２Ｄバウンディングボックスの集合を示す。パッチのグループ、例えば、直方形(ｒｅｃｔａｎｇｕｌａｒ)フレームにプロジェクトされたパッチである。また、３Ｄ空間において３Ｄバウンディングボックスに対応し、ポイントクラウドのサブセットを示す(ａｔｌａｓ ｒｅｐｒｅｓｅｎｔｓ ａ ｃｏｌｌｅｃｔｉｏｎ ｏｆ ２Ｄ ｂｏｕｎｄｉｎｇ ｂｏｘｅｓ， ｉ.ｅ. ｐａｔｃｈｅｓ， ｐｒｏｊｅｃｔｅｄ ｉｎｔｏ ａ ｒｅｃｔａｎｇｕｌａｒ ｆｒａｍｅ ｔｈａｔ ｃｏｒｒｅｓｐｏｎｄ ｔｏ ａ ３－ｄｉｍｅｎｓｉｏｎａｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ３Ｄ ｓｐａｃｅ， ｗｈｉｃｈ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｓｕｂｓｅｔ ｏｆ ａ ｐｏｉｎｔ ｃｌｏｕｄ).この場合、パッチは平面プロジェクション(ｐｌａｎａｒ ｐｒｏｊｅｃｔｉｏｎ)内の長方形領域(ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ)に該当するアトラス内の長方形領域(ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ)を示す。また、パッチデータは、２Ｄから３Ｄまでアトラスに含まれるパッチの変換(ｔｒａｎｓｆｏｒｍａｔｉｏｎ)が必要なデータを示す。これに加えて、パッチデータグループはアトラスとも呼ぶ。
特質(ａｔｔｒｉｂｕｔｅ)は、ポイントクラウド内の各ポイントに連関するスカラー(ｓｃａｌａｒ)またはベクトル(ｖｅｃｔｏｒ)を示し、例えば、カラー(ｃｏｌｏｕｒ)、反射率(ｒｅｆｌｅｃｔａｎｃｅ)、面法線(ｓｕｒｆａｃｅ ｎｏｒｍａｌ)、タイムスタンプ(ｔｉｍｅ ｓｔａｍｐｓ)、マテリアルＩＤ(ｍａｔｅｒｉａｌ ＩＤ)などがある。
実施例によるポイントクラウドデータは、Ｖ－ＰＣＣ(Ｖｉｄｅｏ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)方式によるＰＣＣデータを示す。ポイントクラウドデータは複数のコンポーネントを含む。例えば、占有マップ、パッチ、ジオメトリおよび／またはテキスチャーなどを含む。
図４は、実施例によるポイントクラウドビデオエンコーダの一例を示す。
図４は、占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)、ジオメトリイメージ(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ)、テクスチャイメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)、付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を生成して圧縮するためのＶ－ＰＣＣ符号化プロセス(ｅｎｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)を示す。図４のＶ－ＰＣＣ符号化プロセスは、図１のポイントクラウドビデオエンコーダ１０００２によって処理される。図４の各構成要素は、ソフトウェア、ハードウェア、プロセッサおよび／またはそれらの組み合わせによって行われる。
パッチ生成部(ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ、またはパッチゼネレーション部)１４０００は、ポイントクラウドフレーム(ポイントクラウドデータを含むビットストリームの形式であってもよい)を受信する。パッチ生成部４００００は、ポイントクラウドデータからパッチを生成する。また、パッチの生成に関する情報を含むパッチ情報を生成する。
パッチパッキング(ｐａｔｃｈ ｐａｃｋｉｎｇ、またはパッチパッキング部)４０００１は１つまたは１つ以上のパッチをパックする。また、パッチパッキングに関する情報を含む占有マップを生成する。
ジオメトリイメージ生成部(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎまたはジオメトリイメージゼネレーション部)４０００２は、ポイントクラウドデータ、パッチ情報(または、付加パッチ情報)、および／または占有マップ情報に基づいてジオメトリイメージを生成する。ジオメトリイメージは、ポイントクラウドデータに関するジオメトリを含むデータ(即ち、ポイントの３Ｄ座標値)をいい、ジオメトリフレームとも呼ぶ。
テクスチャイメージ生成(ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎまたはテキスチャーイメージゼネレーション部)４０００３は、ポイントクラウドデータ、パッチ、パックされたパッチ、パッチ情報(または付加パッチ情報)、および／または平滑化したジオメトリに基づいてテクスチャイメージを生成する。テクスチャイメージは、特質フレームとも呼ぶ。また、再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)ジオメトリイメージをパッチ情報に基づいて平滑化(番号)が平滑化処理をして生成された平滑化ジオメトリにさらに基づいて、テクスチャイメージを生成することができる。
平滑化(ｓｍｏｏｔｈｉｎｇまたは平滑化部)４０００４は、イメージデータに含まれたエラーを緩和または除去する。例えば、再構成された(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)ジオメトリイメージをパッチ情報に基づいて平滑化処理、即ち、データ間エラーを誘発するような部分を柔らかにフィルタリングして平滑化したジオメトリを生成することができる。平滑化したジオメトリは、テクスチャイメージ生成部４０００３へ出力される。
付加パッチ情報圧縮(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎまたは付加パッチ情報圧縮部)４０００５は、パッチ生成プロセスで生成されたパッチ情報に関する付加(ａｕｘｉｌｉａｒｙ)パッチ情報を圧縮する。また、付加パッチ情報圧縮部４０００５で圧縮された付加パッチ情報はマルチプルクサ４００１３へ伝送される。ジオメトリイメージ生成４０００２は、ジオメトリイメージを生成するとき、付加パッチ情報を用いる。
イメージパッド(ｉｍａｇｅ ｐａｄｄｉｎｇまたはイメージパッド部)４０００６、４０００７は、ジオメトリイメージおよびテクスチャイメージをそれぞれパッドする。即ち、パッドデータがジオメトリイメージおよびテクスチャイメージにパッドされる。
グループ拡張(ｇｒｏｕｐ ｄｉｌａｔｉｏｎまたはグループ拡張部)４０００８は、イメージパッドと同様に、テクスチャイメージにデータを付加する。付加パッチ情報がテクスチャイメージに挿入される。
ビデオ圧縮(ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎまたはビデオ圧縮部)４０００９、４００１０、４００１１は、パッドされたジオメトリイメージ、パッドされたテクスチャイメージおよび／または占有マップをそれぞれ圧縮する。換言すれば、ビデオ圧縮部４０００９、４００１０、４００１１は、入力されるジオメトリフレーム、特質フレームおよび／または占有マップフレームをそれぞれ圧縮し、ジオメトリのビデオビットストリーム、テクスチャイメージのビデオビットストリーム、占有マップのビデオビットストリームに出力する。ビデオ圧縮はジオメトリ情報、テキスチャー情報、占有情報などを符号化する。
エントロピー圧縮(ｅｎｔｒｏｐｙ ｃｏｍｐｒｅｓｓｉｏｎまたはエントロピー圧縮部)４００１２は、占有マップをエントロピー方式に基づいて圧縮する。
実施例によれば、ポイントクラウドデータがロスレス(ｌｏｓｓｌｅｓｓ)した場合および／またはロッシー(ｌｏｓｓｙ)した場合、占有マップフレームに対してエントロピー圧縮および／またはビデオ圧縮が行われる。
マルチプルクサ(ｍｕｌｔｉｐｌｅｘｅｒ)４００１３は、各圧縮部で圧縮されたジオメトリのビデオビットストリーム、圧縮されたテクスチャイメージのビデオビットストリーム、圧縮された占有マップのビデオビットストリーム、圧縮された付加パッチ情報のビットストリームを１つのビットストリームにマルチプルクスする。
上述したブロックは省略してもよく、類似または同一の機能を有するブロックによって置き換えられてもよい。また、図４に示された各ブロックは、プロセッサ、ソフトウェア、ハードウェアのうちの少なくとも１つとして動作する。
以下、実施例による図４の各々のプロセスの詳細な動作を示す。
パッチ生成(Ｐａｔｃｈ ｇｅｎｅｒａｔｉｏｎ)４００００
パッチ生成のプロセスは、ポイントクラウドを２Ｄイメージにマップ(ｍａｐｐｉｎｇ)するために、マッピングを行う単位であるパッチでポイントクラウドを分割するプロセスを意味する。パッチ生成のプロセスは、以下のようにノーマル(ｎｏｒｍａｌ)値の計算、セグメント(ｓｅｇｍｅｎｔａｔｉｏｎ)、パッチ(ｐａｔｃｈ)分割の３つのステップに分けられる。
図５を参照して、正規値の計算プロセスを具体的に説明する。
図５は、実施例によるサーフェス(Ｓｕｒｆａｃｅ)の接平面(ｔａｎｇｅｎｔ ｐｌａｎｅ)および法線ベクトル(ｎｏｒｍａｌ ｖｅｃｔｏｒ)の一例を示す。
図５のサーフェスは、図４のＶ－ＰＣＣ符号化プロセスのパッチ生成のプロセス４００００において以下のように用いられる。
パッチ生成に関連して法線(Ｎｏｒｍａｌ)計算
ポイントクラウドを成す各点(例えば、ポイント)は、固有の方向を有しているが、これは法線という３Ｄのベクトルで示される。Ｋ－Ｄ ｔｒｅｅなどを用いて求められる各点の隣接点(ｎｅｉｇｈｂｏｒｓ)を用いて、図５のようなポイントクラウドのサーフェスを成す各点の接平面(ｔａｎｇｅｎｔ ｐｌａｎｅ)および法線ベクトル(ｎｏｒｍａｌ ｖｅｃｔｏｒ)を求める。隣接点を探すプロセスにおけるサーチ範囲(ｓｅａｒｃｈ ｒａｎｇｅ)はユーザによって定義される。
接平面：サーフェスの一点を通り、サーフェス上の曲線に対する接線を完全に含んでいる平面を示す。
図６は、実施例によるポイントクラウドのバウンディングボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)の一例を示す。
実施例によるバウンディングボックスとは、ポイントクラウドデータを３Ｄ空間上で六面体に基づいて分割する単位のボックスである。
実施例による方法／装置、例えば、パッチ生成４０００がポイントクラウドデータからパッチを生成するプロセスにおいてバウンディングボックスを用いる。
バウンディングボックスは、ポイントクラウドデータの対象となるポイントクラウド客体を３Ｄ空間上の六面体に基づいて各々の六面体の平面にプロジェクトするプロセスにおいて用いる。バウンディングボックスは、図１のポイントクラウドビデオ取得部１０００１、ポイントクラウドビデオエンコーダ１０００２によって生成、処理される。また、バウンディングボックスに基づいて、図４のＶ－ＰＣＣ符号化プロセスのパッチ生成４００００、パッチパッキング４０００１、ジオメトリイメージ生成４０００２、テクスチャイメージ生成４０００３が行われる。
パッチ生成に関連して分割(Ｓｅｇｍｅｎｔａｔｉｏｎ)
分割(Ｓｅｇｍｅｎｔａｔｉｏｎ)は、初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)と改善分割(ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ)との２つのプロセスからなる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、ポイントをバウンディングボックスの一面にプロジェクトする。具体的に、ポイントクラウドを成す各点は、図６のように、ポイントクラウドを囲む６つのバウンディングボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)の面の一面にプロジェクトされるが、初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)は、各点がプロジェクトされるバウンディングボックスの平面のうちの１つを決定するプロセスである。
６つの各平面と対応する正規(ｎｏｒｍａｌ)値である
は、以下のように定義される。
(1.0， 0.0， 0.0)， (0.0， 1.0， 0.0)， (0.0， 0.0， 1.0)， (-1.0， 0.0， 0.0)， (0.0， -1.0， 0.0)， (0.0， 0.0， -1.0).
以下の数式のように、上述した正規値の計算プロセスから得た各点の正規値(
)と
の外積(ｄｏｔ ｐｒｏｄｕｃｔ)が最大の面をその面のプロジェクション平面と決定する。即ち、ポイントの法線と最も類似する方向の法線を有する平面がそのポイントのプロジェクション平面と決定される。
決定された平面は、０～５のうちのいずれか１つのインデックス(ｉｎｄｅｘ)形式の値(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)として識別される。
改善分割(Ｒｅｆｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ)は、上述した初期分割(ｉｎｉｔｉａｌ ｓｅｇｍｅｎｔａｔｉｏｎ)のプロセスで決定されたポイントクラウドを成す各点のプロジェクション平面を隣接点のプロジェクション平面を考慮して改善するプロセスである。このプロセスでは、上述した初期分割プロセスにおいてプロジェクション平面を決定するために考慮した各点のノーマルとバウンディングボックスの各平面のノーマル値との類似度を成すｓｃｏｒｅ ｎｏｒｍａｌと共に、現在点のプロジェクション平面と隣接点のプロジェクション平面との一致度を示すスコア平滑化ｓｃｏｒｅ ｓｍｏｏｔｈとが同時に考慮される。
Ｓｃｏｒｅ ｓｍｏｏｔｈはｓｃｏｒｅ ｎｏｒｍａｌに対して加重値を与えることで考慮することができ、このとき、加重値はユーザによって定義される。改善分割は繰り返し的に行われ、繰り返し回数もユーザに定義される。
パッチ生成に関連してパッチ分割(ｓｅｇｍｅｎｔ ｐａｔｃｈｅｓ)
パッチ分割は、上述した初期／改善分割のプロセスで得たポイントクラウドを成す各点のプロジェクション平面情報に基づいて、全体のポイントクラウドを隣接した点の集合であるパッチに分けるプロセスである。パッチ分割は、以下のようなステップからなる。
（１） Ｋ－Ｄ ｔｒｅｅなどを用いてポイントクラウドを成す各点の隣接点を算出する。最大の隣接点の数はユーザによって定義される。
（２） 隣接点が現在の点と同一平面にプロジェクトされる場合(同一のクラスターインデックス(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)値を有する場合)、現在の点とその隣接点を１つのパッチに抽出する。
（３） 抽出したパッチのジオメトリ値を算出する。
（４） 抽出されない点が無くなるまで（２）～（３）のプロセスを繰り返す。
パッチ分割のプロセスを通じて、各パッチのサイズおよび各パッチの占有マップ、ジオメトリイメージ、テクスチャイメージなどが決定される。
図７は、実施例による占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)の個別パッチ(ｐａｔｃｈ)の位置決めの一例を示す。
実施例によるポイントクラウドエンコーダ１０００２は、パッチパッキングおよび占有マップを生成することができる。
パッチパッキングおよび占有マップの生成(Ｐａｔｃｈ ｐａｃｋｉｎｇ ＆ Ｏｃｃｕｐａｎｃｙ ｍａｐ ｇｅｎｅｒａｔｉｏｎ)４０００１
本プロセスは、以前に分割されたパッチを１つの２Ｄイメージにマップするために、個別パッチの２Ｄイメージ内における位置を決定するプロセスである。占有マップ(Ｏｃｃｕｐａｎｃｙ ｍａｐ)は２Ｄイメージの１つであって、その位置におけるデータの存否を０または１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である。占有マップは、ブロックからなり、ブロックのサイズに応じて解像度が決定されるが、一例としてブロックのサイズが１＊１である場合、ピクセル(ｐｉｘｅｌ)単位の解像度を有する。ブロックのサイズ(ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ)はユーザによって決定される。
占有マップ内において個別パッチの位置を決定するプロセスは、以下のようである。
（１） 全体の占有マップの値をいずれも０に設定する。
（２） 占有マップ平面に存在する水平座標が[０、ｏｃｃｕｐａｎｃｙＳｉｚｅＵ－ｐａｔｃｈ.ｓｉｚｅＵ０)、垂直座標が[０、ｏｃｃｕｐａｎｃｙＳｉｚｅＶ－ｐａｔｃｈ.ｓｉｚｅＶ０)の範囲にある点(ｕ、 ｖ)にパッチを位置させる。
（３） パッチ平面に存在する水平座標が[０、ｐａｔｃｈ.ｓｉｚｅＵ０)、垂直座標が[０、ｐａｔｃｈ.ｓｉｚｅＶ０)の範囲にある点(ｘ、ｙ)を現在点として設定する。
（４） 点(ｘ、ｙ)に対して、パッチ占有マップの(ｘ、ｙ)座標値が１であり(パッチ内の該当地点にデータが存在し)、全体の占有マップの(ｕ＋ｘ、ｖ＋ｙ)座標値が１(以前のパッチにより占有マップが満たされた場合)、ラスタ順に(ｘ、ｙ)位置を変更して、（３）～（４）のプロセスを繰り返す。そうではない場合、（６）のプロセスを行う。
（５） ラスタ順に(ｕ、ｖ)位置を変更して（３）～（５）のプロセスを繰り返す。
（６） (ｕ、ｖ)を該当パッチの位置に決定し、パッチの占有マップデータを全体の占有マップの該当部分に割り当てる(ｃｏｐｙ)。
（７） 次のパッチに対して（２）～（６）のプロセスを繰り返す。
占有サイズＵ(ｏｃｃｕｐａｎｃｙＳｉｚｅＵ)：占有マップの幅(ｗｉｄｔｈ)を示し、単位は占有パッキングサイズブロック(ｏｃｃｕｐａｎｃｙ ｐａｃｋｉｎｇ ｂｌｏｃｋ ｓｉｚｅ)である。
占有サイズＶ(ｏｃｃｕｐａｎｃｙＳｉｚｅＶ)：占有マップの高さ(ｈｅｉｇｈｔ)を示し、単位は占有パッキングブロックサイズである。
パッチサイズＵ０(ｐａｔｃｈ.ｓｉｚｅＵ０)：占有マップの幅を示し、単位は占有パッキングブロックサイズである。
パッチサイズＶ０(ｐａｔｃｈ.ｓｉｚｅＶ０)：占有マップの高さを示し、単位は占有パッキングブロックサイズである。
例えば、図７のように、占有パッキングサイズブロックに該当するボックス内パッチサイズを有するパッチに対応するボックスが存在し、ボックス内ポイント(ｘ、ｙ)が位置してもよい。
図８は、実施例によるノーマル(ｎｏｒｍａｌ)、タンジェント(ｔａｎｇｅｎｔ)、バイタンジェント(ｂｉｔａｎｇｅｎｔ)軸の関係の一例を示す。
実施例によるポイントクラウドビデオエンコーダ１０００２は、 ジオメトリイメージを生成することができる。ジオメトリイメージとは、ポイントクラウドのジオメトリ情報を含むイメージデータを意味する。ジオメトリイメージの生成プロセスは、図８のパッチの３つの軸(ノーマル、タンジェント、バイタンジェント)を用いる。
ジオメトリイメージの生成(Ｇｅｏｍｅｔｒｙ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００２
本プロセスでは、個別パッチのジオメトリイメージを構成する深さ(ｄｅｐｔｈ)値を決定し、上述したパッチパッキング(ｐａｔｃｈ ｐａｃｋｉｎｇ)のプロセスで決定されたパッチの位置に基づいて全体のジオメトリイメージを生成する。個別パットのジオメトリイメージを構成する深さ値を決定するプロセスは以下のように構成される。
（１） 個別パッチの位置、サイズに関するパラメータを算出する。パラメータは以下のような情報を含む。パッチの位置はパッチ情報に含まれることを一実施例とする。
ノーマル(ｎｏｒｍａｌ)軸を示すインデックス：ノーマルは上述したパッチ生成のプロセスで求められ、タンジェント軸はノーマルと直角の軸のうちパッチイメージの水平(ｕ)軸と一致する軸であり、バイタンジェント軸はノーマルと直角の軸のうちパッチイメージの垂直(ｖ)軸と一致する軸であって、３つの軸は、図８のように示される。
図９は、実施例によるプロジェクションモードの最小モードおよび最大モード構成の一例を示す。
実施例によるポイントクラウドビデオエンコーダ１０００２は、ジオメトリイメージを生成するために、パッチに基づくプロジェクションを行い、実施例によるプロジェクションのモードは最小モードおよび最大モードがある。
パッチの３Ｄ空間座標：パッチを囲む最小サイズのバウンディングボックスによって算出される。例えば、パッチの３Ｄ空間座標にパッチのタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ)、パッチのバイタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ)、パッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)などが含まれる。
パッチの２Ｄサイズ：パッチが２Ｄイメージでパックされるときの水平、垂直方向サイズを示す。水平方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ)はバウンディングボックスのタンジェント方向の最大値と最小値との差であり、垂直方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ)はバウンディングボックスのバイタンジェント方向の最大値と最小値との差である。
（２） パッチのプロジェクションモード(ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ)を決定する。プロジェクションモードは、最小モード(ｍｉｎ ｍｏｄｅ)と最大モード(ｍａｘ ｍｏｄｅ)のいずれか１つである。パッチのジオメトリ情報は、深さ値で示されるが、パッチのノーマル方向にパッチを成す各点をプロジェクトするとき、深さ値の最大値で構成されるイメージと最小値で構成されるイメージの２つのレイヤ(ｌａｙｅｒ)のイメージが生成される。
２つのレイヤのイメージｄ０とｄ１を生成するのに、最小モードである場合、図９のように最小深さがｄ０に構成され、最小深さからサーフェス厚さ(ｓｕｒｆａｃｅ ｔｈｉｃｋｎｅｓｓ)以内に存在する最大深さがｄ１に構成される。
例えば、ポイントクラウドが、図９のように２Ｄに位置する場合、複数のポイントを含む複数のパッチがあってもよい。図９のように、同じ陰影で示されたポイントが同一のパッチに属することを示す。空欄で示されたポイントのパッチをプロジェクトするプロセスを示す。
空欄で示されたポイントを左側／右側にプロジェクトする場合、左側を基準として深さを０、１、２、..６、７、８、９のように１つずつ増加しながら右側にポイントの深さの算出のための数字を表記する。
プロジェクションモード(Ｐｒｏｊｅｃｔｉｏｎ ｍｏｄｅ)は、ユーザの定義によって、すべてのポイントクラウドに同一の方法が適用されてもよく、フレームまたはパッチごとに異なる方法が適用されてもよい。フレームまたはパッチごとに異なるプロジェクションモードが適用される場合、圧縮効率を高めたり、消失点(ｍｉｓｓｅｄ ｐｏｉｎｔ)が最小化できるプロジェクションモードが適応的に選ばれる。
（３） 個別点の深さ値を算出する。
最小モードである場合、各点のノーマル軸の最小値にパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)から（１）のプロセスで算出されたパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０とサーフェス厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合は、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
例えば、ｄ０のポイントの深さ決定において最小値が算出される(４ ２ ４ ４ ０ ６ ０ ０ ９ ９ ０ ８ ０)。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち大きい値が算出されるか、１つのポイントだけがある場合はその値が算出される(４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９)。また、パッチのポイントが符号化、再構成(ｒｅｃｏｎｓｔｒｕｃｔ)されるプロセスにおいて一部のポイントが損失される(例えば、図では８つのポイントが損失)。
最大モードである場合、各点のノーマル軸の最大値にパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)から（１）のプロセスで算出されたパッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)を引いた値であるｄｅｐｔｈ０でｄ０イメージを構成する。同一の位置にｄｅｐｔｈ０とサーフェス厚さ以内の範囲にその他の深さ値が存在する場合、この値をｄｅｐｔｈ１に設定する。存在しない場合、ｄｅｐｔｈ０の値をｄｅｐｔｈ１にも割り当てる。Ｄｅｐｔｈ１の値でｄ１イメージを構成する。
例えば、ｄ０のポイントの深さ決定において最大値が算出される(４ ４ ４ ４ ６ ６ ６ ８ ９ ９ ８ ８ ９)。また、ｄ１のポイントの深さを決定することにおいて２つ以上のポイントのうち小さい値が算出されるか、１つのポイントだけがある場合はその値が算出される(４ ２ ４ ４ ５ ６ ０ ６ ９ ９ ０ ８ ０)。また、パッチのポイントが符号化、再構成(ｒｅｃｏｎｓｔｒｕｃｔ)されるプロセスにおいて一部のポイントが損失される(例えば、図では６つのポイントが損失)。
上述したプロセスから生成された個別パッチのジオメトリイメージを、上述したパッチパッキングプロセスを通じて生成された個別パッチの位置情報を用いて、全体のジオメトリイメージに配置させることで、全体のジオメトリイメージを生成することができる。
生成された全体のジオメトリイメージのｄ１レイヤは、様々な方法によって符号化される。第一は、以前に生成したｄ１イメージの深さ値をそのまま符号化する方法(ａｂｓｏｌｕｔｅ ｄ１ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ)である。第二は、以前に生成したｄ１イメージの深さ値とｄ０イメージの深さ値との差を符号化する方法(ｄｉｆｆｅｒｅｎｔｉａｌ ｅｎｃｏｄｉｎｇ ｍｅｔｈｏｄ)である。
このようなｄ０、ｄ１の２つのレイヤの深さ値を用いた符号化の方法は、２つの深さの間にそのその他の点が存在する場合、その点のジオメトリ情報を符号化するプロセスで失うため、無損失圧縮(ｌｏｓｓｌｅｓｓ ｃｏｄｉｎｇ)のために、Ｅｎｈａｎｃｅｄ－Ｄｅｌｔａ－Ｄｅｐｔｈ(ＥＤＤ)ｃｏｄｅを用してもよい。
図１０を参照して、ＥＤＤ ｃｏｄｅを具体的に説明する。
図１０は、実施例によるＥＤＤコードの一例を示す。
ポイントクラウドビデオエンコーダ１０００２および／またはＶ－ＰＣＣ符号化の一部／全部のプロセス(例えば、ビデオ圧縮４０００９)などは、ＥＯＤコードに基づいてポイントのジオメトリ情報を符号化することができる。
ＥＤＤ ｃｏｄｅは、図１０のように、ｄ１を含みサーフェス厚さの範囲内の全ての点の位置を２進で符号化する方法である。一例として、図１０の左側から二番目の列に含まれる点の場合、Ｄ０の上方に一番目、四番目の位置に点が存在し、二番目と三番目の位置は空いているため、０ｂ１００１(＝９)のＥＤＤ ｃｏｄｅで示される。Ｄ０と共にＥＤＤ ｃｏｄｅを符号化して送信すると、受信端ではすべての点のジオメトリ情報を損失なく復元することができる。
例えば、基準点上にポイントが存在すれば１であり、ポイントが存在しなければ０となり、４つのビットに基づいてコードが表現される。
平滑化(Ｓｍｏｏｔｈｉｎｇ)４０００４
平滑化は、圧縮プロセスから生じる画質の劣化によりパット境界面で発生し得る不連続性を除去する作業であり、以下のようなプロセスにより、ポイントクラウドビデオエンコーダ１０００２または平滑化部４０００４で行われる。
（１） ジオメトリイメージよりポイントクラウドを再生成(ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)する。本プロセスは、上述したジオメトリイメージ生成の逆過程といえる。例えば、符号化の逆過程が再生成である。
（２） Ｋ－Ｄ ｔｒｅｅなどを用いて再生成されたポイントクラウドを構成する各点の隣接点を算出する。
（３） 各点に対して、その点がパッチ境界面に位置するか否かを判断する。一例として、現在点とは異なるプロジェクション平面(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)を有する隣接点が存在する場合、その点はパッチの境界面に位置していると判断できる。
（４） パッチ境界面が存在する場合、その点を隣接点の重心(隣接点の平均ｘ、ｙ、ｚ座標に位置)へ移動させる。即ち、ジオメトリ値を変更する。存在しない場合には以前のジオメトリ値を維持する。
図１１は、実施例による隣接点のカラー(ｃｏｌｏｒ)値を用いた復色(ｒｅｃｏｌｏｒｉｎｇ)の一例を示す。
実施例によるポイントクラウドビデオエンコーダ１０００２またはテクスチャイメージ生成４０００３は、復色に基づいてテクスチャイメージを生成することができる。
テクスチャイメージ生成(Ｔｅｘｔｕｒｅ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ)４０００３
テクスチャイメージ生成のプロセスは、上述したジオメトリイメージ生成のプロセスと同様に、個別パッチのテクスチャイメージを生成し、これらを決められた位置に配置することで、全体のテクスチャイメージを生成するプロセスからなる。ただし、個別パッチのテクスチャイメージを生成するプロセスにおいて、ジオメトリ生成のための深さ値に代わってその位置に対応するポイントクラウドを構成する点のカラー値(ｅ．ｇ． Ｒ、Ｇ、Ｂ)を有するイメージが生成される。
ポイントクラウドを構成する各点のカラー値を求めるプロセスにおいて、上述した平滑化のプロセスを経たジオメトリが用いられる。平滑化されたポイントクラウドはオリジナルポイントクラウドにおいて一部点の位置が移動した状態である可能性があるため、変更された位置に適するカラーを探す復色のプロセスが必要となる。復色は隣接点のカラー値を用いて行われる。一例として、図１１のように、新たなカラー値は最隣接点のカラー値と隣接点のカラー値を考慮して算出できる。
例えば、図１１を参照すれば、復色はポイントに対する最も近いオリジナルポイントの特質情報の平均および／またはポイントに対する最も近いオリジナル位置の特質情報の平均に基づいて変更された位置の適するカラー値を算出する。
テクスチャイメージもまた、ｄ０／ｄ１の２つのレイヤで生成されるジオメトリイメージのように、ｔ０／ｔ１の２つのレイヤで生成される。
付加パッチ情報圧縮(Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００５
実施例によるポイントクラウドビデオエンコーダ１０００２または付加パッチ情報圧縮部４０００５は、付加パッチ情報(ポイントクラウドに関する付加的な情報)を圧縮することができる。
付加パッチ情報圧縮部４０００５は、上述したパッチ生成、パッチパッキング、ジオメトリ生成のプロセスなどで生成した付加パッチ情報を圧縮する。付加パッチ情報には以下のようなパラメータが含まれる：
プロジェクション(ｐｒｏｊｅｃｔｉｏｎ)平面(ｎｏｒｍａｌ)を識別するインデックス(ｃｌｕｓｔｅｒ ｉｎｄｅｘ)
パッチの３Ｄ空間位置：パッチのタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｔａｎｇｅｎｔ ａｘｉｓ)、パッチのバイタンジェント方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｂｉｔａｎｇｅｎｔ ａｘｉｓ)、パッチのノーマル方向最小値(ｐａｔｃｈ ３Ｄ ｓｈｉｆｔ ｎｏｒｍａｌ ａｘｉｓ)
パッチの２Ｄ空間位置、サイズ：水平方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｕ)、垂直方向サイズ(ｐａｔｃｈ ２Ｄ ｓｉｚｅ ｖ)、水平方向最小値(ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ)、垂直方向最小値(ｐａｔｃｈ ２Ｄ ｓｈｉｆｔ ｕ)
各々のブロックとパッチのマッピング情報：候補インデックス(ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ)(上述したパッチの２Ｄ空間位置、サイズ情報に基づいてパッチを順に位置させた場合、１つのブロックに重複して複数のパッチがマップされることがある。このとき、マップされるパッチが候補リストを構成し、このリストの何番目のパッチのデータが該当ブロックに存在するかを示すインデックス)、ｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘ(フレームに存在する全体のパッチのうちの１つを示すインデックス)。表１は、ｃａｎｄｉｄａｔｅ ｌｉｓｔとｌｏｃａｌ ｐａｔｃｈ ｉｎｄｅｘを用いたブロックとパッチのマッチングプロセスを示す疑似コード(ｐｓｅｕｄｏ ｃｏｄｅ)である。
候補リストの最大数はユーザによって定義される。
図１２は、実施例によるプッシュ－プルバックグラウンドフィリング(ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ)の一例を示す。
イメージパディングおよびグループ拡張(Ｉｍａｇｅ ｐａｄｄｉｎｇ ａｎｄ ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)４０００６、４０００７、４０００８
実施例によるイメージパッダは、プッシュ－プルバックグラウンドフィリング方式に基づいてパッチ領域以外の空間を意味のない付加的なデータで満たすことができる。
イメージパディング４０００６、４０００７は、圧縮効率の向上を目的として、パッチ領域以外の空間を意味のないデータで満たすプロセスである。イメージパディングのために、パッチ内部の境界面側に該当する列または行のピクセル値がコピーされて空き空間を満たす方法が用いられる。または、図１２のように、パッドされないイメージの解像度を段階的に減らし、再び解像度が高めるプロセスにおいて低い解像度のイメージからのピクセル値で空き空間を満たすプッシュプルバックグラウンドフィリング(ｐｕｓｈ－ｐｕｌｌ ｂａｃｋｇｒｏｕｎｄ ｆｉｌｌｉｎｇ)方法が用いられてもよい。
グループ拡張(Ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)４０００８は、ｄ０／ｄ１、ｔ０／ｔ１の２つのレイヤからなるジオメトリ、テクスチャイメージの空き空間を満たす方法であって、上述したイメージパディングによって算出された２つのレイヤの空き空間の値を、２つのレイヤの同一位置に対する値の平均値で満たすプロセスである。
図１３は、実施例による４＊４サイズのブロック(ｂｌｏｃｋ)に対して可能なトラバーサルオーダー(ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ)の一例を示す。
占有マップ圧縮(Ｏｃｃｕｐａｎｃｙ ｍａｐ ｃｏｍｐｒｅｓｓｉｏｎ)４００１２、４００１１
実施例による占有マップ圧縮は、上述した占有マップを圧縮するプロセスであって、損失(ｌｏｓｓｙ)圧縮のためのビデオ圧縮(ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ)と無損失(ｌｏｓｓｌｅｓｓ)圧縮のためのエントロピー圧縮(entropy compression)との２つの方法がある。ビデオ圧縮は後述する。
エントロピー圧縮のプロセスは、以下のように行われる。
（１） 占有マップを構成する各々のブロックに対して、すべてのブロックが満たされた場合に１を符号化し、次のブロックに同じプロセスを繰り返す。そうではない場合には０を符号化し、（２）～（５）のプロセスを行う。
（２） ブロックの満たされたピクセルに対してランレングス符号化(ｒｕｎ－ｌｅｎｇｔｈ ｃｏｄｉｎｇ)を行うためのｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを決定する。図１３は、４＊４サイズのブロックに対して可能な４つのｔｒａｖｅｒｓａｌ ｏｒｄｅｒを一例として示す。
図１４は、実施例によるベストトラバーサルオーダーの一例を示す。
上述のように、実施例によるエントロピー圧縮部４００１２は、図１４のように、トラバーサルオーダー方式に基づいてブロックをコーティング(符号化)することができる。
例えば、可能なトラバーサルオーダーのうち、最小のラン(ｒｕｎ)数を有するｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒを選択し、そのインデックスを符号化する。一例として、上述した図１３の３番目のトラバーサルオーダーを選択する場合であり、この場合、ｒｕｎ数は２と最小化でき、これをベストトラバーサルオーダー(ｂｅｓｔ ｔｒａｖｅｒｓａｌ ｏｒｄｅｒ)として選択する。
ｒｕｎ数を符号化する。図１４の例では、２つのｒｕｎが存在することから、２を符号化する。
（４） １番目のｒｕｎの占有(ｏｃｃｕｐａｎｃｙ)を符号化する。図１４の例では、１番目のｒｕｎが満たされていないピクセルに該当するため、０を符号化する。
（５） 個別ｒｕｎに対する(ｒｕｎの数分だけの)長さ(ｌｅｎｇｔｈ)を符号化する。図１４の例では、１番目のｒｕｎと２番目のｒｕｎの長さである６と１０を順次に符号化する。
ビデオ圧縮(Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ)４０００９、４００１０、４００１１
実施例によるビデオ圧縮部(４０００９、４００１０、４００１１)は、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデック(ｖｉｄｅｏ ｃｏｄｅｃ)などを用いて、上述したプロセスで生成されたジオメトリイメージ、テクスチャイメージ、占有マップイメージなどのシーケンスを符号化する。
図１５は、実施例による２Ｄビデオ／イメージエンコーダ(２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ Ｅｎｃｏｄｅｒ)の一例を示し、符号化装置とも呼ぶ。
図１５は、上述したビデオ圧縮部(Ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｕｎｉｔ)４０００９、４００１０、４００１１が適用される実施例であって、ビデオ／映像信号の符号化が行われる２Ｄビデオ／イメージエンコーダ１５０００の概略なブロック図を示す。２Ｄビデオ／イメージエンコーダ１５０００は、上述したポイントクラウドビデオエンコーダ１０００２に含まれるか、または内部／外部のコンポーネントからなる。図１５の各構成要素は、ソフトウェア、ハードウェア、プロセッサおよび／またはそれらの組み合わせに対応する。
ここで、入力イメージは、上述したジオメトリイメージ、テクスチャイメージ(特質イメージ)、占有マップイメージの１つであってもよい。図１５の２Ｄビデオ／イメージエンコーダがビデオ圧縮部４０００９に適用される場合、２Ｄビデオ／イメージエンコーダ１５０００に入力されるイメージはパッドされたジオメトリイメージであり、２Ｄビデオ／イメージエンコーダ１５０００から出力されるビットストリームは圧縮されたジオメトリイメージのビットストリームである。図１５の２Ｄビデオ／イメージエンコーダがビデオ圧縮部４００１０に適用される場合、２Ｄビデオ／イメージエンコーダ１５０００に入力されるイメージはパッドされたテクスチャイメージであり、２Ｄビデオ／イメージエンコーダ１５０００から出力されるビットストリームは圧縮されたテクスチャイメージのビットストリームである。図１５の２Ｄビデオ／イメージエンコーダがビデオ圧縮部４００１１に適用される場合、２Ｄビデオ／イメージエンコーダ１５０００に入力されるイメージは占有マップイメージであり、２Ｄビデオ／イメージエンコーダ１５０００から出力されるビットストリームは圧縮された占有マップイメージのビットストリームである。
インター予測部１５０９０およびイントラ予測部１５１００を合わせて予測部と呼ぶ。即ち、予測部は、インター予測部１５０９０およびイントラ予測部１５１００を含む。変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０を合わせて、残余(ｒｅｓｉｄｕａｌ)処理部とも呼ぶ。残余処理部は、減算部１５０２０をさらに含んでもよい。図１５の映像分割部１５０１０、減算部１５０２０、変換部１５０３０、量子化部１５０４０、逆量子化部１５０５０、逆変換部１５０６０、加算部１５５、フィルタリング部１５０７０、インター予測部１５０９０、イントラ予測部１５１００およびエントロピー符号化部１５１１０は、実施例によれば、１つのハードウェアコンポーネント(例えば、エンコーダまたはプロセッサ)で構成される。また、メモリ１５０８０は、ＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)を含み、デジタル記憶媒体で構成される。
映像分割部１５０１０は、符号化装置１５０００に入力された入力映像(または、ピクチャー、フレーム)を１つ以上の処理ユニット(ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)に分割する。一例として、処理ユニットは、コーディングユニット(ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ)とも呼ぶ。この場合、コーディングユニットは、コーディングツリーユニット(ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ)または最大コーディングユニット(ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ)からＱＴＢＴ(Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ)構造によって再帰的に(ｒｅｃｕｒｓｉｖｅｌｙ)分割される。例えば、１つのコーディングユニット、Ｑｕａｄ－ｔｒｅｅ構造および／またはｂｉｎａｒｙ－ｔｒｅｅ構造に基づいて下位(ｄｅｅｐｅｒ)深さの複数のコーディングユニットに分割される。この場合、例えば、先にＱｕａｄ－ｔｒｅｅが適用されて、その後にｂｉｎａｒｙ－ｔｒｅｅが適用されてもよい。または、ｂｉｎａｒｙ－ｔｒｅｅが先に適用されてもよい。これ以上分割されない最終コーディングユニットに基づいて、本明細書によるコーディング手続きが行われてもよい。この場合、映像の特性に応じたコーディング効率などに基づいて、最大のコーディングユニットが最終符号化ユニットとして用いられてもよく、または必要に応じてコーディングユニットは再帰的に(ｒｅｃｕｒｓｉｖｅｌｙ)より下位深さのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここで、コーディング手続きとは、後述する予測、変換、および復元などの手続きを含む。その他の例として、処理ユニットは予測ユニット(ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)または変換ユニット(ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ)をさらに含んでもよい。この場合、予測ユニットおよび変換ユニットのそれぞれは、上述した最終コーディングユニットから分割またはパーティショニングされる。予測ユニットはサンプル予測の単位であり、変換ユニットは変換係数を誘導する単位および／または変換係数から残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ)を誘導する単位である。
ユニットは、場合によって、ブロック(ｂｌｏｃｋ)または領域(ａｒｅａ)またはモジュールなどの用語と混用する。一般の場合、ＭｘＮブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)の集合を示す。サンプルは、一般にピクセルまたはピクセルの値を示し、輝度(ｌｕｍａ)成分のピクセル／ピクセル値だけを示してもよく、彩度(ｃｈｒｏｍａ)成分のピクセル／ピクセル値だけを示してもよい。サンプルは１つのピクチャー(または、映像)をピクセル(ｐｉｘｅｌ)またはペル(ｐｅｌ)に対応する用語として使用する。
符号化装置１５０００の減算部１５０２０は、入力映像信号(オリジナルブロック、オリジナルさんブルアレイ)においてインター予測部１５０９０またはイントラ予測部１５１００から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ)を生成し、生成した残余信号は変換部１５０３０へ送信される。この場合、図示のように、符号化装置１５０００内で入力映像信号(オリジナルブロック、オリジナルサンプルアレイ)において予測信号(予測ブロック、予測サンプルアレイ)を減算するユニットは減算部１５０２０と呼ぶことができる。予測部は処理対象ブロック(以下、現在ブロックという)に対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック(ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ)を生成する。予測部は現在ブロックまたはＣＵ単位でイントラ予測を適用するか、またはインター予測を適用するかを決定する。予測部は、各々の予測モードに関して後述するように、予測モード情報などの予測に関する様々な情報を生成してエントロピー符号化部１５１１０に伝送する。予測に関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
予測部のイントラ予測部１５１００は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは、予測モードに応じて現在ブロックに隣接(ｎｅｉｇｈｂｏｒ)して位置するか、または離れて位置する。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードを含む。非方向性モードは、例えばＤＣモードおよび平面モード(Ｐｌａｎａｒモード)を含む。方向性モードは、予測方向の精密度に応じて、例えば３３つの方向性予測モードまたは６５つの方向性予測モードを含む。ただし、これは例示であって、設定によってその以上またはその以下の方向性予測モードが用いられる。イントラ予測部１５１００の隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定してもよい。
予測部のインター予測部１５０９０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測する。動き情報は、動きベクトルおよび参照ピクチャーインデックスを含む。動き情報はインター予測方向(Ｌ０予測、Ｌ１予測、Ｂｉ予測など)情報をさらに含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック(ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)と参照ピクチャーに存在する時間的隣接ブロック(ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)を含む。参照ブロックを含む参照ピクチャーと時間的隣接ブロックを含む参照ピクチャーは同一であってもよく、異なってもよい。時間的隣接ブロックは、同一位置参照ブロック(ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ)、同一位置ＣＵ(ｃｏｌＣＵ)などと呼ばれ、時間的隣接ブロックを含む参照ピクチャーは、同一位置ピクチャー(ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ)とも呼ばれる。例えば、インター予測部１５０９０は隣接ブロックに基づいて動き情報の候補リストを構成し、現在ブロックの動きベクトルおよび／または参照ピクチャーインデックスを導出するためにいずれの候補が使用されるかを指示する情報を生成する。様々な予測モードに基づいてインター予測が行われ、例えばスキップモードとマージモードの場合、インター予測部１５０９０は、隣接ブロックの動き情報を現在ブロックの動き情報として用いる。スキップモードの場合、マージモードとは異なり、残余信号が送信されないことがある。動き情報予測(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ)モードの場合、隣接ブロックの動きベクトルを動きベクトル予測者(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)として用いて、動きベクトル差分(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ)をシグナリングすることで現在ブロックの動きベクトルを指示する。
インター予測部１５０９０またはイントラ予測部１５１００によって生成された予測信号は、復元信号の生成のために用いられるか、残余信号の生成のために用いられる。
変換部１５０３０は残余信号に変換方法を適用して変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ)を生成する。例えば、変換方法は、ＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)、ＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)、ＫＬＴ(Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ)、ＧＢＴ(Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ)、またはＣＮＴ(Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ)のうち少なくとも１つを含む。ここで、ＧＢＴはピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは以前に復元されたすべてのピクセル(ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換プロセスは、正方形の同一サイズのピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部１５０４０は、変換係数を量子化してエントロピー符号化部１５１１０に送信し、エントロピー符号化部１５１１０は量子化した信号(量子化した変換係数に関する情報)を符号化してビットストリームに出力する。量子化した変換係数に関する情報は残余情報と呼ぶ。量子化部１５０４０は係数スキャン順(ｓｃａｎ ｏｒｄｅｒ)に基づいてブロック形態の量子化変換係数を１次元ベクトル形に再整列し、１次元ベクトル形の量子化変換係数に基づいて量子化した変換係数に関する情報を生成することもできる。
エントロピー符号化部１５１１０は、例えば、指数ゴロム(ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ)、ＣＡＢＡＣ(ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ)などのような様々な符号化方法を行う。エントロピー符号化部１５１１０は、量子化した変換係数の他にビデオ／イメージの復元に必要な情報(例えば、シンタックス要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)の値など)を共にまたは別として符号化する。符号化した情報(ｅｘ. 符号化したビデオ／映像情報)はビットストリームの形式でＮＡＬ(ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ)ユニットの単位で送信または格納される。
ビットストリームはネットワークを介して送信されてもよく、デジタル記憶媒体に記憶されてもよい。ここで、ネットワークは放送網および／または通信網などを含み、デジタル記憶媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含む。エントロピー符号化部１５１１０から出力された信号を送信する送信部(未図示)および／または記憶する記憶部(未図示)が符号化装置１５０００の内部／外部要素として構成されてもよく、または送信部はエントロピー符号化部１５１１０に含まれてもよい。
量子化部１５０４０から出力された量子化した変換係数は、予測信号を生成するために用いられる。例えば、量子化した変換係数に逆量子化部１５０４０および逆変換部１５０６０によって逆量子化および逆変換を適用することで、残余信号(残余ブロックまたは残余サンプル)を復元する。加算部１５２００は復元された残余信号をインター予測部１５０９０またはイントラ予測部１５１００から出力された予測信号に加えることで、復元(ｒｅｃｏｎｓｔｒｕｃｔｅｄ)信号(復元ピクチャー、復元ブロック、復元サンプルアレイ)を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５２００は復元部または復元ブロック生成部と呼ばれる。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてもよく、後述のようにフィルタリングを経て次のピクチャーのインター予測のために用いられてもよい。
フィルタリング部１５０７０は、加算部１５２００から出力される復元信号にフィルタリングを適用して、主観的／客観的な画質を向上させることができる。例えば、フィルタリング部１５０７０は、復元ピクチャーに様々なフィルタリング方法を適用して修正した(ｍｏｄｉｆｉｅｄ)復元ピクチャーを生成し、修正した復元ピクチャーをメモリ１５０８０、具体的にメモリ１５０８０のＤＰＢに格納する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ)、適応的ループフィルター(ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ)、双方向フィルター(ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ)などがある。フィルタリング部１５０７０は、後述する各々のフィルタリング方法のように、フィルタリングに関する様々な情報を生成してエントロピー符号化部１５１１０へ伝送する。フィルタリングに関する情報はエントロピー符号化部１５１１０で符号化されてビットストリームの形式で出力される。
メモリ１５０８０に格納された修正した(ｍｏｄｉｆｉｅｄ)復元ピクチャーは、インター予測部１５０９０において参照ピクチャーとして用いられる。符号化装置はこれによってインター予測が適用される場合、符号化装置１５０００および復号装置における予測ミスマッチを避けることができ、符号化の効率を向上させることもできる。
メモリ１５０８０のＤＰＢは、修正した復元ピクチャーをインター予測部１５０９０における参照ピクチャーとして用いるために格納する。メモリ１５０８０は、現在ピクチャー内の動き情報が導出された(または符号化された)ブロックの動き情報および／または既に復元したピクチャー内のブロックの動き情報を格納する。格納した動き情報は空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部１５０９０に伝送する。メモリ１５０８０は現在ピクチャー内において復元したブロックの復元サンプルを格納して、イントラ予測部１５１００へ伝送する。
なお、上述した予測、変換、量子化の手続きのうちの少なくとも１つが省略されてもよい。例えば、ＰＣＭ(ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ)が適用されるブロックに対しては、予測、変換、量子化の手続きを省略し、オリジナルサンプルの値をそのまま符号化してビットストリームに出力してもよい。
図１６は、実施例によるＶ－ＰＣＣ復号プロセス(ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)の一例を示す。
Ｖ－ＰＣＣ復号プロセスまたはＶ－ＰＣＣデコーダは、図４のＶ－ＰＣＣ符号化プロセス(またはエンコーダ)の逆プロセスとなる。図１６の各構成要素は、ソフトウェア、ハードウェア、プロセッサ、および／またはそれらの組み合わせに対応する。
デマルチプルクサ(ｄｅｍｕｌｔｉｐｌｅｘｅｒ)１６０００は、圧縮されたビットストリームをデマルチプルクスして圧縮されたテクスチャイメージ、圧縮されたジオメトリイメージ、圧縮された占有マップイメージ、圧縮された付加パッチ情報をそれぞれ出力する。
ビデオ復元(ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎまたはビデオ復元部)１６００１、１６００２は、圧縮されたテクスチャイメージおよび圧縮されたジオメトリイメージのそれぞれを復元する。
占有マップ復元(ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎまたは占有マップ復元部)１６００３は、圧縮された占有マップイメージを復元する。
付加パッチ情報復元(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ ｄｅｃｏｍｐｒｅｓｓｉｏｎまたは付加パッチ情報復元部)１６００４は、圧縮された付加パッチ情報を復元する。
ジオメトリ再構成(ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎまたはジオメトリ再構成部)１６００５は、復元されたジオメトリイメージ、復元された占有マップ、および／または復元された付加パッチ情報に基づいてジオメトリ情報を復元(再構成)する。例えば、符号化プロセスにおいて変更したジオメトリを再構成する。
平滑化(ｓｍｏｏｔｈｉｎｇまたは平滑化部)１６００６は、再構成されたジオメトリに対して平滑化を適用する。例えば、平滑化フィルタリングが適用される。
テキスチャー再構成(ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎまたはテキスチャー再構成部)１６００７は、復元されたテクスチャイメージおよび／または平滑化されたジオメトリからテキスチャーを再構成する。
カラー平滑化(ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇまたはカラー平滑化部)１６００８は、再構成されたテキスチャーからカラー値を平滑化する。例えば、平滑化フィルタリングが適用される。
その結果、再構成されたポイントクラウドデータが生成される。
図１６は、圧縮された占有マップ、ジオメトリイメージ、テクスチャイメージ、付加パッチ情報を復元(または復号)してポイントクラウドを再構成するためのＶ－ＰＣＣの復号プロセスを示す。
図１６に示された各ユニットは、プロセッサ、ソフトウェア、ハードウェアのうちの少なくとも１つとして動作する。実施例による図１６の各ユニットの詳細な動作は以下のようである。
ビデオ復元(Ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００１、１６００２
上述したビデオ圧縮の逆プロセスであって、ＨＥＶＣ、ＶＶＣなどの２Ｄビデオコーデックを用いて、上記プロセスで生成されたジオメトリイメージのビットストリーム、圧縮されたテクスチャイメージのビットストリームおよび／または圧縮された占有マップイメージのビットストリームをビデオ圧縮するプロセスを逆にして復号するプロセスである。
図１７は、実施例による２Ｄビデオ／イメージデコーダ(２Ｄ Ｖｉｄｅｏ／Ｉｍａｇｅ Ｄｅｃｏｄｅｒ)の一例を示し、復号装置とも呼ぶ。
２Ｄビデオ／イメージデコーダは、図１５の２Ｄビデオ／イメージエンコーダの逆過程となる。
図１７の２Ｄビデオ／イメージデコーダは、図１６のビデオ復元部(Ｖｉｄｅｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ ｕｎｉｔ)１６００１、１６００２の実施例であって、ビデオ／映像信号の復号が行われる２Ｄ ｖｉｄｅｏ／ｉｍａｇｅ ｄｅｃｏｄｅｒ１７０００の概略なブロック図を示す。２Ｄビデオ／イメージデコーダ１７０００は、上述したポイントクラウドビデオデコーダ１０００８に含まれてもよく、内部／外部コンポーネントとして構成されてもよい。図１７の各構成要素は、ソフトウェア、ハードウェア、プロセッサ よび／またはそれらの組み合わせに対応する。
ここで、入力ビットストリームは、ジオメトリイメージのビットストリーム、テクスチャイメージ(ａｔｔｒｉｂｕｔｅ（ｓ） ｉｍａｇｅ)のビットストリーム、占有マップイメージのビットストリームの１つである。図１７の２Ｄビデオ／イメージデコーダがビデオ復元部１６００１に適用される場合、２Ｄビデオ／イメージデコーダに入力されるビットストリームは圧縮されたテクスチャイメージのビットストリームであり、２Ｄビデオ／イメージデコーダから出力される復元イメージは復元されたテクスチャイメージである。図１７の２Ｄビデオ／イメージデコーダがビデオ復元部１６００２に適用される場合、２Ｄビデオ／イメージデコーダに入力されるビットストリームは圧縮されたジオメトリイメージのビットストリームであり、２Ｄビデオ／イメージデコーダから出力される復元イメージは復元されたジオメトリイメージである。図１７の２Ｄビデオ／イメージデコーダは圧縮された占有マップイメージのビットストリームが入力されて復元される。復元映像(または出力映像、復号された映像)は、上述したジオメトリイメージ、テクスチャイメージ(ａｔｔｒｉｂｕｔｅ(ｓ) ｉｍａｇｅ)、占有マップイメージに対する復元映像を示す。
図１７を参照すれば、インター予測部１７０７０およびイントラ予測部１７０８０を合わせて予測部と呼ぶ。即ち、予測部はインター予測部１７０７０およびイントラ予測部１７０８０を含む。逆量子化部１７０２０、逆変換部１７０３０を合わせて残余処理部と呼ぶ。即ち、残余処理部は逆量子化部１７０２０、逆変換部１７０３０を含む。図１７のエントロピー復号部１７０１０、逆量子化部１７０２０、逆変換部１７０３０、加算部１７０４０、フィルタリング部１７０５０、インター予測部１７０７０およびイントラ予測部１７０８０は、実施例によれば、１つのハードウェアコンポーネント(例えば、デコーダまたはプロセッサ)によって構成される。また、メモリ１７０６０はＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)を含んでもよく、デジタル記憶媒体によって構成されてもよい。
ビデオ／映像情報を含むビットストリームが入力されると、復号装置１７０００は、図１５の符号化装置においてビデオ／映像情報が処理されたプロセスに対応して映像を復元する。例えば、復号装置１７０００は、符号化装置で適用された処理ユニットを用いて復号を行う。よって、復号の処理ユニットは、例えば、コーディングユニットであり、コーディングユニットはコーディングツリーユニットまたは最大コーディングユニットからＱｕａｄ－ｔｒｅｅ構造および／またはｂｉｎａｒｙ－ｔｒｅｅ構造によって分割される。また、復号装置１７０００によって復号されて出力された復元映像信号は再生装置で再生される。
復号装置１７０００は、符号化装置から出力された信号をビットストリームの形式で受信し、受信した信号はエントロピー復号部１７０１０で復号される。例えば、エントロピー復号部１７０１０はビットストリームをパーシングして映像復元(またはピクチャー復元)に必要な情報(ｅｘ．ビデオ／映像情報)を導出する。例えば、エントロピー復号部１７０１０は指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号し、映像復元に必要なシンタックス要素の値、残余に関する変換係数の量子化された値を出力する。より詳細に、ＣＡＢＡＣエントロピー復号方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、復号対象構文要素情報と隣接および復号対象ブロックの復号情報または前のステップで復号されたシンボル／ビンの情報を用いて文脈(ｃｏｎｔｅｘｔ)モデルを決定して、決定した文脈モデルに応じてビン(ｂｉｎ)の発生確率を予測し、ビンの算術復号(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ)を行って、各構文要素の値に該当するシンボルを生成する。このとき、ＣＡＢＡＣエントロピー復号方法は、文脈モデルを決定した後、次のシンボル／ビンの文脈モデルのために復号されたシンボル／ビンの情報を用いて文脈モデルをアップデートする。エントロピー復号部１７０１０で復号された情報のうち予測に関する情報は、予測部(インター予測部１７０７０およびイントラ予測部１７０８０)に提供され、エントロピー復号部１７０１０でエントロピー復号が行われた残余値、即ち量子化された変換係数および関連パラメータ情報は、逆量子化部１７０２０へ入力される。また、エントロピー復号部１７０１０で復号された情報のうちフィルタリングに関する情報は、フィルタリング部１７０５０へ提供される。一方、符号化装置から出力された信号を受信する受信部(未図示)が復号装置１７０００の内部／外部要素としてさらに構成されてもよく、受信部はエントロピー復号部１７０１０の構成要素であってもよい。
逆量子化部１７０２０では量子化された変換係数を量子化して変換係数を出力する。逆量子化部１７０２０は量子化された変換係数を２次元のブロック形に再整列する。この場合、符号化装置で行われた係数スキャン順に基づいて再整列を行う。逆量子化部１７０２０は量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて量子化された変換係数に対する逆量子化を行い、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を取得する。
逆変換部１７０３０では変換係数を逆変換して残余信号(残余ブロック、残余サンプルアレイ)を取得する。
予測部は現在ブロックに対する予測を行い、現在ブロックに対する予測サンプルを含む予測されたブロック(ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ)を生成する。予測部はエントロピー復号部１７０１０から出力された予測に関する情報に基づいて現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定して、具体的なイントラ／インター予測モードを決定する。
予測部のイントラ予測部１７０８０は、現在ピクチャー内のサンプルを参照して現在ブロックを予測する。参照されるサンプルは予測モードに応じて、現在のブロックに隣接(ｎｅｉｇｈｂｏｒ)して位置してもよく、または離れて位置してもよい。イントラ予測において予測モードは複数の非方向性モードと複数の方向性モードとを含む。イントラ予測部１７０８０は隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定する。
予測部のインター予測部１７０７０は、参照ピクチャー上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導く。このとき、インター予測モードにおいて送信される動き情報の量を減らすために隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測する。動き情報は動きベクトルおよび参照ピクチャーインデックスを含む。動き情報はインター予測方法(Ｌ０予測、Ｌ１予測、Ｂｉ予測など)情報をさらに含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空間的隣接ブロック(ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)と参照ピクチャーに存在する時間的隣接ブロック(ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ)を含む。例えば、インター予測部１７０７０は隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて現在ブロックの動きベクトルおよび／または参照ピクチャーインデックスを導出する。様々な予測モードに基づいてインター予測が行われ、予測に関する情報は現在ブロックに対するインター予測のモードを指示する情報を含む。
加算部１７０４０は逆変換部１７０３０で取得した残余信号をインター予測部１７０７０またはイントラ予測部１７０８０から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることで復元信号(復元ピクチャー、復元ブロック、復元サンプルアレイ)を生成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がない場合、予測されたブロックが復元ブロックとして用いられる。
加算部１７０４０は復元部または復元ブロック生成部と呼ぶ。生成された復元信号は現在ピクチャー内の次の処理対象ブロックのイントラ予測のために用いられてもよく、後述のように、フィルタリングを経て次のピクチャーのインター予測のためにも用いられてもよい。
フィルタリング部１７０５０は加算部１７０４０から出力される復元信号にフィルタリングを適用して主観的／客観的な画質を向上させる。例えば、フィルタリング部１７０５０は復元ピクチャーに様々なフィルタリング方法を適用して、修正された(ｍｏｄｉｆｉｅｄ)復元ピクチャーを生成し、修正された復元ピクチャーをメモリ１７０６０、具体的にメモリ１７０６０のＤＰＢに送信する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ)、適応的ループフィルター(ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ)、双方向フィルター(ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ)などが含む。
メモリ１７０６０のＤＰＢに格納された(修正された)復元ピクチャーは、インター予測部１７０７０において参照ピクチャーとして使用される。メモリ１７０６０は、現在ピクチャー内の動き情報が導出された(または復号された)ブロックの動き情報および／または既に復元されたピクチャー内のブロックの動き情報を格納する。格納された動き情報は空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部１７０７０へ伝送する。メモリ１７０６０は現在ピクチャー内の復元されたブロックの復元サンプルを格納して、イントラ予測部１７０８０へ伝送する。
本明細書において、図１５の符号化装置１５０００のフィルタリング部１５０７０、インター予測部１５０９０およびイントラ予測部１５１００で説明した実施例は、復号装置１７０００のフィルタリング部１７０５０、インター予測部１７０７０およびイントラ予測部１７０８０にも同一又は対応する方法が適用できる。
一方、上述した予測、逆変換、逆量子化の手続きのうちの少なくとも１つが省略されてもよい。例えば、ＰＣＭ(ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ)が適用されるブロックに対しては、予測、逆変換、逆量子化の手続きを省略して、復号されたサンプルの値をそのまま復元映像のサンプルとして使用する。
占有マップ復元(Ｏｃｃｕｐａｎｃｙ ｍａｐ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００３
上述した占有マップ圧縮の逆過程であり、圧縮された占有マップビットストリームを復号して占有マップを復元するプロセスである。
付加パッチ情報復元(Ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏ ｄｅｃｏｍｐｒｅｓｓｉｏｎ)１６００４
上述した付加パッチ情報圧縮の逆過程であり、圧縮された付加パッチ情報ビットストリームを復号して付加パッチ情報を復元するプロセスである。
ジオメトリ再構成(Ｇｅｏｍｅｔｒｙ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００５
上述したジオメトリイメージ生成の逆過程である。まず、復元された占有マップと付加パッチ情報に含まれるパッチの２Ｄ位置／サイズ情報およびブロックとパッチとのマッピング情報を用いてジオメトリイメージからパッチを抽出する。この後、抽出したパッチのジオメトリイメージと付加パッチ情報に含まれるパッチの３Ｄ位置情報を用いて、ポイントクラウドを３Ｄ空間上に復元する。１つのパッチ内に存在する任意の点(ｕ、ｖ)に該当するジオメトリ値をｇ(ｕ、ｖ)といい、パッチの３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値を(δ０、ｓ０、ｒ０)とするとき、点(ｕ、ｖ)にマップされる３Ｄ空間上の位置のｎｏｒｍａｌ軸、ｔａｎｇｅｎｔ軸、ｂｉｔａｎｇｅｎｔ軸の座標値であるδ(ｕ、ｖ)、ｓ(ｕ、ｖ)、ｒ(ｕ、ｖ)は、以下のように示される。
δ(u，v) = δ0 + g(u、v)
s(u，v) = s0 + u
r(u，v) = r0 + v
平滑化(Ｓｍｏｏｔｈｉｎｇ)１６００６
上述した符号化プロセスにおける平滑化と同様であり、圧縮プロセスで発生する画質の劣化によりパッチ境界面から生じ得る不連続性を除去するためのプロセスである。
テキスチャー再構成(Ｔｅｘｔｕｒｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)１６００７
平滑化されたポイントクラウドを構成する各点にカラー値を与えてカラーポイントクラウドを復元するプロセスである。上述したジオラマ再構成のプロセスで再構成されたジオメトリイメージとポイントクラウドのマッピング情報を用いて、２Ｄ空間でジオメトリイメージと同一位置のテキスチャーイメージピクセルに該当するカラー値を、３Ｄ空間で同一位置に対応するポイントクラウドの点に付与することで行われる。
カラー平滑化(Ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ)１６００８
上述したジオメトリ平滑化のプロセスと類似し、圧縮プロセスから発生する画質の劣化によってパッチ境界面から生じ得るカラー値の不連続性を除去するためのプロセスである。カラー平滑化は、以下のように行われる。
（１） Ｋ－Ｄ ｔｒｅｅなどを用いて復元されたカラーポイントクラウドを構成する各点の隣接点を算出する。上述したジオメトリ平滑化のプロセスで算出された隣接点情報をそのまま用いてもよい。
（２） 各点に対して、その点がパッチ境界面に位置しているか否かを判断する。上述したジオメトリ平滑化のプロセスで算出された境界面情報をそのまま用いてもよい。
（３） 境界面に存在する点の隣接点に対して、カラー値の分布を調べて平滑化を行うかどうかを判断する。一例として、輝度値のエントロピーが境界値(ｔｈｒｅｓｈｏｌｄ ｌｏｃａｌ ｅｎｔｒｙ)以下である場合(類似する輝度値が多い場合)、エッジ部分ではないと判断して平滑化を行う。平滑化の方法としては、隣接点の平均値でその点のカラー値を置き換える方法がある。
図１８は、実施例によるＶ－ＰＣＣベースのポイントクラウドデータの圧縮および送信のための送信装置の動作の流れの一例を示す。
実施例による送信装置は、図１の送信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行ってもよい。送信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサおよび／またはそれらの組み合わせに対応する。
Ｖ－ＰＣＣを用いたポイントクラウドデータの圧縮および送信のための送信端の動作は図に示めすようである。
実施例によるポイントクラウドデータ送信装置は、送信装置、送信システムなどと呼ばれる。
パッチ生成部１８０００は、ポイントクラウドデータが入力されて、ポイントクラウド(ｐｏｉｎｔ ｃｌｏｕｄ)の２Ｄイメージマッピングのためのパッチ(ｐａｔｃｈ)を生成する。パッチ生成の結果物としてパッチ情報および／または付加パッチ情報が生成され、生成されたパッチ情報および／または付加パッチ情報は、ジオメトリイメージ(ｇｅｏｍｅｔｒｙ ｉｍａｇｅ)生成、テクスチャイメージ(ｔｅｘｔｕｒｅ ｉｍａｇｅ)生成、平滑化(ｓｍｏｏｔｈｉｎｇ)または平滑化のためのジオメトリ復元プロセスに用いられる。
パッチパッキング部１８００１は、パッチ生成部１８０００で生成されたパッチを２Ｄイメージ内にマップするパッチパッキングのプロセスを行う。例えば、１つまたは１つ以上のパッチがパックされる。パッチパッキングの結果物として占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)が生成され、占有マップはジオメトリイメージ生成、ジオメトリイメージパーディング、テクスチャイメージパーディング、および／または平滑化のためのジオメトリ復元プロセスに用いられる。
ジオメトリイメージ生成部１８００２は、ポイントクラウドデータ、パッチ情報(または付加パッチ情報)、および／または占有マップを用いてジオメトリイメージを生成する。生成したジオメトリイメージは、符号化前処理部１８００３で前処理した後、ビデオ符号化部１８００６で１つのビットストリーム(ｂｉｔｓｔｒｅａｍ)に符号化される。
符号化前処理部１８００３は、イメージパディングを含む。即ち、生成されたジオメトリイメージと生成されたテクスチャイメージの一部空間が意味のないデータでパッドされる。符号化前処理部１８００３は生成されたテクスチャイメージまたはイメージパディングが行われたテクスチャイメージに対するグループ拡張(ｇｒｏｕｐ ｄｉｌａｔｉｏｎ)のプロセスをさらに含んでもよい。
ジオメトリ復元部１８０１０は、ビデオ符号化部１８００６で符号化されたジオメトリビットストリーム、付加パッチ情報、および／または占有マップを用いて３Ｄジオメトリイメージを再構成(ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)する。
平滑化部１８００９は、付加パッチ情報に基づいてジオメトリ復元部１８０１０で再構成されて出力される３Ｄジオメトリイメージを平滑化してテクスチャイメージ生成部１８００４に出力する。
テクスチャイメージ生成部１８００４は、平滑化された３Ｄジオメトリ、ポイントクラウドデータ、パッチ(またはパックされたパッチ)、パッチ情報(または付加パッチ情報)および／または占有マップを用いてテクスチャイメージを生成する。生成されたテクスチャイメージは符号化前処理部１８００３で前処理された後、ビデオ符号化部１８００６で１つのビデオビットストリームに符号化される。
メタデータ符号化部１８００５は、付加パッチ情報を１つのメタデータビットストリームに符号化する。
ビデオ符号化部１８００６は、符号化前処理部１８００３から出力されるジオメトリイメージとテクスチャイメージを各々のビデオビットストリームで符号化し、占有マップを１つのビデオビットストリームに符号化する。ビデオ符号化部１８００６は各々の入力イメージに対して、図１５の２Ｄビデオ／イメージエンコーダをそれぞれ適用して符号化することを一実施例とする。
多重化部１８００７は、ビデオ符号化部１８００６から出力されるジオメトリのビデオビットストリーム、テクスチャイメージのビデオビットストリーム、占有マップのビデオビットストリームとメタデータ符号化部１８００５から出力されるメタデータ(付加パッチ情報を含む)ビットストリームを１つのビットストリームに多重化する。
送信部１８００８は、多重化部１８００７から出力されるビットストリームを受信端に送信する。または、多重化部１８００７と送信部１８００８との間にファイル／セグメントカプセル化部をさらに備え、多重化部１８００７から出力されるビットストリームをファイルおよび／またはセグメントの形式でカプセル化して送信部１８００８へ出力してもよい。
図１８のパッチ生成部１８０００、パッチパッキング部１８００１、ジオメトリイメージ生成部１８００２、テクスチャイメージ生成部１８００４、メタデータ符号化部１８００５、平滑化部１８００９は、図４のパッチ生成部４００００、パッチパッキング部４０００１、ジオメトリイメージ生成部４０００２、テクスチャイメージ生成部４０００３、付加パッチ情報圧縮部４０００５、平滑化部４０００４のそれぞれに対応する。また、図１８の符号化前処理部１８００３は、図４のイメージパディング部４０００６、４０００７およびグループ拡張部４０００８を含んでもよく、図１８のビデオ符号化部１８００６は、図４のビデオ圧縮部４０００９、４００１０、４００１１および／またはエントロピー圧縮部４００１２を含んでもよい。従って、図１８で説明しない部分は、図４乃至図１５の説明を参照すればよい。上述したブロックは省略してもよく、類似または同一の機能を有するブロックによって代替されてもよい。また、図１８に示された各ブロックは、プロセッサ、ソフトウェア、ハードウェアのうちの少なくとも１つとして動作することができる。あるいは、生成されたジオメトリ、テクスチャイメージ、占有マップのビデオビットストリームと付加パッチ情報メタデータビットストリームは１つ以上のトラックデータでファイルが生成されるか、セグメントでカプセル化されて送信部から受信端に送信される。
受信装置の動作プロセス
図１９は、実施例によるＶ－ＰＣＣベースのポイントクラウドデータの受信および復元のための受信装置の動作の流れの一例を示す。
実施例による受信装置は、図１の受信装置、図１６の復号プロセス、図１７の２Ｄビデオ／イメージエンコーダに対応するか、それらの動作の一部／全部を行う。受信装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサおよび／またはそれらの組み合わせに対応する。
Ｖ－ＰＣＣを用いたポイントクラウドデータの受信および復元のための受信端の動作プロセスは図面に従う。Ｖ－ＰＣＣ受信端の動作は、図１８のＶ－ＰＣＣ送信端の動作の逆過程である。
実施例によるポイントクラウドデータ受信装置は、受信装置、受信システムなどと呼ばれる。
受信部はポイントクラウドのビットストリーム(即ち、ｃｏｍｐｒｅｓｓｅｄ ｂｉｔｓｔｒｅａｍ)を受信し、逆多重化部１９０００は受信されたポイントクラウドビットストリームからテクスチャイメージのビットストリーム、ジオメトリイメージのビットストリーム、占有マップイメージのビットストリーム、およびメタデータ(即ち、付加パッチ情報)のビットストリームを逆多重化する。逆多重化されたテクスチャイメージのビットストリーム、ジオメトリイメージのビットストリーム、および占有マップイメージのビットストリームはビデオ復号部１９００１へ出力され、メタデータのビットストリームはメタデータ復号部１９００２へ出力される。
図１８の送信装置にファイル／セグメントカプセル化部を備える場合には、図１９の受信装置の受信部と逆多重化部１９０００との間にファイル／セグメントデカプセル化部を備えることを一実施例とする。この場合、送信装置では、ポイントクラウドビットストリームがファイルおよび／またはセグメントの形式でカプセル化されて送信され、受信装置では、ポイントクラウドビットストリームを含むファイルおよび／またはセグメントを受信してデカプセル化することを一実施例とする。
ビデオ復号部１９００１は、ジオメトリイメージのビットストリーム、テクスチャイメージのビットストリーム、占有マップイメージのビットストリームをジオメトリイメージ、テクスチャイメージ、占有マップイメージにそれぞれ復号する。ビデオ復号部１９００１は、それぞれの入力ビットストリームに対して、図１７の２Ｄビデオ／イメージデコーダをそれぞれ適用して復号することを一実施例とする。メタデータ復号部１９００２は、メタデータのビットストリームを付加パッチ情報に復号し、ジオメトリ復元部１９００３へ出力する。
ジオメトリ復元部１９００３は、ビデオ復号部１９００１とメタデータ復号部１９００２から出力されるジオメトリイメージ、占有マップ、および／または付加パッチ情報に基づいて、３Ｄジオメトリを復元(再構成)する。
平滑化部１９００４は、ジオメトリ復元部１９００３において再構成された３Ｄジオメトリを平滑化する。
テキスチャー復元部１９００５は、ビデオ復号部１９００１から出力されるテクスチャイメージおよび／または平滑化された３Ｄジオメトリを用いてテキスチャーを復元する。即ち、テキスチャー復元部１９００５は、テクスチャイメージを用いて平滑化された３Ｄジオメトリにカラー値を割り当ててカラーポイントクラウド映像／ピクチャーを復元する。その後、客観的／主観的な視覚品質を向上させるために、カラー平滑化部１９００６において、カラーポイントクラウド映像／ピクチャーに対してカラー平滑化(ｃｏｌｏｒ ｓｍｏｏｔｈｉｎｇ)をさらに行う。これにより導出された修正された(ｍｏｄｉｆｉｅｄ)ポイントクラウド映像／ピクチャーは、ポイントクラウドレンダラー(１９００７)のレンダリングプロセス後にユーザに見せられる。なお、カラー平滑化プロセスは、場合によっては省略してもよい。
上述したブロックは、省略してもよく、類似または同一の機能を有するブロックに置き換えてもよい。また、図１９に示された各ブロックは、プロセッサ、ソフトウェア、ハードウェアの少なくとも１つとして動作することができる。
図２０は、実施例によるＶ－ＰＣＣベースのポイントクラウドデータの格納およびストリーミングのためのアーキテクチャの一例を示す。
図２０のシステムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、および／または図１９の受信装置などの一部／全部を含む。図面の各構成要素は、ソフトウェア、ハードウェア、プロセッサおよびそれらの組み合わせに対応する。
図２０は、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)に基づいて圧縮されるポイントクラウドデータを格納またはストリーミングするための全体的なアーキテクチャを示す。ポイントクラウドデータの格納およびストリーミングのプロセスは、取得プロセス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセスおよび／またはフィードバックプロセスを含むことができる。
実施例は、ポイントクラウドメディア／コンテンツ／データを効率的に提供する方法を提案する。
ポイントクラウド取得部２００００は、ポイントクラウドメディア／コンテンツ／データを効率的に提供するために、まず、ポイントクラウドビデオを取得する。例えば、１つ以上のカメラによって、ポイントクラウドのキャプチャー、合成または生成プロセスなどを通じたポイントクラウドデータを取得することができる。この取得プロセスにより、各ポイントの３Ｄ位置(ｘ、ｙ、ｚ位置値などで示され、以下、ジオメトリと呼ぶ)、各ポイントの特質(色、反射率、透明度など)を含むポイントクラウドビデオを取得することができる。また、取得したポイントクラウドビデオはこれを含む、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ)ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいてポイントクラウド関連メタデータ(例えば、キャプチャーなどに関連するメタデータなど)を生成することができる。
キャプチャーしたポイントクラウドビデオは、コンテンツの品質を向上させるための後処理が必要となる場合がある。映像キャプチャーのプロセスにおいて、カメラ装備が提供する範囲内で最大／最小の深さ値を調整してもよいが、調整後にも所望しない領域のポイントデータが含まれることがあるため、所望しない領域(例えば、背景)を除去したり、連結された空間を認識して穴(ｓｐａｔｉａｌ ｈｏｌｅ)を埋める後処理を行ってもよい。また、空間座標系を共有するカメラから抽出されたポイントクラウドは校正によって取得された各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセスにより１つのコンテンツに統合してもよい。これにより、ポイントの密度の高いポイントクラウドビデオを取得することができる。
ポイントクラウド前処理部(ｐｏｉｎｔ ｃｌｏｕｄ ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)２０００１は、ポイントクラウドビデオを１つ以上のピクチャー(ｐｉｃｔｕｒｅ)／フレーム(ｆｒａｍｅ)に生成することができる。ここで、ピクチャー(ｐｉｃｔｕｒｅ)／フレーム(ｆｒａｍｅ)は、一般に特定の時間帯の１つの映像を示す単位を意味する。また、ポイントクラウド前処理部２０００１は、ポイントクラウドビデオを構成する点を１つ以上のパッチに分けて２Ｄ平面にマップする際に、２Ｄ平面のその位置にデータが存在するか否かを０または１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である占有マップピクチャー／フレームを生成することができる。ここで、パッチは、ポイントクラウドを構成する点の集合であって、同じパッチに属する点は３Ｄ空間上において互いに隣接し、２Ｄイメージへのマッピングプロセスにおいて６面のバウンディングボックスの平面のうち同じ方向にマップされる点の集合である。また、ポイントクラウド前処理部２０００１は、ポイントクラウドビデオを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成することができる。また、ポイントクラウド前処理部２０００１は、ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどのパッチに関する情報(付加情報または付加パッチ情報という)を含む。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリームまたはメタデータストリームを構成することができる。
ポイントクラウドビデオエンコーダ２０００２は、ポイントクラウドビデオに関連する１つ以上のビデオストリームに符号化することができる。１つのビデオは複数のフレームを含み、１つのフレームは停止映像／ピクチャーに対応する。本明細書において、ポイントクラウドビデオとは、ポイントクラウド映像／フレーム／ピクチャーを含み、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャーと混用することがある。ポイントクラウドビデオエンコーダ２０００２は、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手続きを行う。ポイントクラウドビデオエンコーダ２０００２は、圧縮およびコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手続きを行うことができる。符号化されたデータ(符号化されたビデオ／映像情報)は、ビットストリーム(ｂｉｔｓｔｒｅａｍ)形式で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドビデオエンコーダ２０００２は、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、またメタデータ、例えば、パッチに関する情報に分けて符号化することができる。ジオメトリビデオはジオメトリイメージを含んでもよく、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含んでもよく、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含んでもよい。付加情報であるパッチデータは、パッチに関する情報を含んでもよい。特質ビデオ／イメージは、テクスチャビデオ／イメージを含んでもよい。
ポイントクラウドイメージエンコーダ２０００３は、ポイントクラウドビデオに関連する１つ以上のイメージに符号化することができる。ポイントクラウドイメージエンコー２０００３は、ビデオベースポイントクラウド圧縮(Ｖ－ＰＣＣ)の手続きを行う。ポイントクラウドイメージエンコーダ２０００３は、圧縮およびコーティングの効率のために、予測、変換、量子化、エントロピーコーティングなどの一連の手続きを行うことができる。符号化されたイメージは、ビットストリーム(ｂｉｔｓｔｒｅａｍ)形式で出力される。Ｖ－ＰＣＣ手続きに基づく場合、ポイントクラウドイメージエンコーダ２０００３は、後述のように、ポイントクラウドイメージをジオメトリイメージ、特質(ａｔｔｒｉｂｕｔｅ)イメージ、占有(ｏｃｃｕｐａｎｃｙ)マップイメージ、またメタデータ、例えば、パッチに関する情報に分けて符号化することができる。
実施例によれば、ポイントクラウドビデオエンコーダ２０００２、ポイントクラウドイメージエンコーダ２０００３、ポイントクラウドビデオデコーダ２０００６、ポイントクラウドイメージデコーダ２０００８は、上述のように、１つのエンコーダ／デコーダによって行われてもよく、図面のように、別の経路によって行われてもよい。
カプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２０００４は、符号化されたポイントクラウドデータおよび／またはポイントクラウドに関連するメタデータをファイルまたはストリーミングのためのセグメントなどの形式でカプセル化することができる。ここで、ポイントクラウドに関連するメタデータは、メタデータ処理部(未図示)などから伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオ／イメージエンコーダ２０００２、２０００３に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。カプセル化部２０００４は、そのビデオ／イメージ／メタデータを含む１つのビットストリームまたは個別のビットストリームをＩＳＯＢＭＦＦなどのファイルフォーマットでカプセル化するか、ＤＡＳＨセグメントなどの形式で処理する。カプセル化部２０００４は、実施例によれば、ポイントクラウドに関連するメタデータをファイルフォーマット上に含ませることができる。ポイントクラウドメタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス(ｂｏｘ)に含まれるか、ファイル内において別のトラック内のデータに含まれる。実施例によれば、カプセル化部２０００４は、ポイントクラウド関連メタデータそのものをファイルにカプセル化することができる。
実施例によるカプセル化部２０００４は、１つのビットストリームまたは個別のビットストリームをファイルにおいて１つまたは複数のトラックに分割格納し、そのためのシグナリング情報も共にカプセル化する。また、ビットストリーム上に含まれているパッチ(またはアトラス)ストリームをファイル内のトラックに格納し、関連するシグナリング情報を格納してもよい。さらに、ビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナリング情報を格納してもよい。
送信処理部(未図示)は、ファイルフォーマットに応じてカプセル化されたポイントクラウドデータに送信のための処理を施してもよい。送信処理部は、送信部(未図示)に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに従ってポイントクラウドデータを処理することができる。送信のための処理には、放送網を介する伝送のための処理、ブロードバンドを介する伝送のための処理を含んでもよい。実施例によれば、送信処理部は、ポイントクラウドデータだけではなく、メタデータ処理部からポイントクラウド関連メタデータが伝送され、これに送信のための処理を施してもよい。
送信部は、ポイントクラウドビットストリームまたはそのビットストリームを含むファイル／セグメントをデジタル記憶媒体またはネットワークを介して受信装置の受信部(未図示)へ伝送することができる。送信のために、任意の送信プロトコルによる処理を行ってもよい。送信のために処理されたデータは、放送網および／またはブロードバンドを介して伝送される。このデータは、オンデマンド(Ｏｎ Ｄｅｍａｎｄ)方式で受信側に伝送される。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々なものが含まれる。送信部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含み、放送／通信ネットワークを介する送信のための要素を含んでもよい。受信部は、ビットストリームを抽出して復号装置に送信する。
受信部は、本明細書によるポイントクラウドデータ送信装置が送信したポイントクラウドデータを受信することができる。送信されるチャンネルに応じて、受信部は、放送網を介してポイントクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを受信してもよい。または、デジタル記憶媒体によってポイントクラウドビデオデータを受信してもよい。受信部は、受信したデータを復号し、これをユーザのビューポートなどに応じてレンダリングしてもよい。
受信処理部(未図示)は、受信されたポイントクラウドビデオデータに対して送信プロトコルによる処理を行うことができる。受信処理部は、受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で送信のための処理が行われたことに対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドビデオをデカプセル化部２０００５へ伝送し、取得したポイントクラウドに関連するメタデータはメタデータ処理部(未図示)へ伝送する。
デカプセル化部(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２０００５は、受信処理部から送信されたファイル形式のポイントクラウドデータをデカプセル化することができる。デカプセル化部２０００５は、ＩＳＯＢＭＦＦなどによるファイルをデカプセル化し、ポイントクラウドビットストリームまたはポイントクラウド関連メタデータ(または、別のメタデータビットストリーム)を取得することができる。取得したポイントクラウドビットストリームは、ポイントクラウドビデオデコーダ２０００６およびポイントクラウドイメージデコーダ２００８に伝送され、取得したポイントクラウド関連メタデータ(またはメタデータビットストリーム)は、メタデータ処理部(未図示)に伝送される。ポイントクラウドビットストリームは、メタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダ２０００６に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。デカプセル化部２０００５が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックスまたはトラック形式であってもよい。デカプセル化部２０００５は、必要のある場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送されることがある。ポイントクラウド関連メタデータは、ポイントクラウドビデオデコーダ２０００６および／またはポイントクラウドイメージデコーダ２０００８に伝送されてポイントクラウド復号に用いられてもよく、またはレンダラー２０００９に伝送されてポイントクラウドレンダリングに用いられてもよい。
ポイントクラウドビデオデコーダ２０００６は、ビットストリームを受信してポイントクラウドビデオエンコーダ２０００２の動作に対応する逆過程を行うことでビデオ／映像を復号することができる。この場合、ポイントクラウドビデオデコーダ２０００６は、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質(ａｔｔｒｉｂｕｔｅ)ビデオ、占有(ｏｃｃｕｐａｎｃｙ)マップビデオ、また付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)に分けて復号することができる。ジオメトリビデオはジオメトリイメージを含んでもよく、特質(ａｔｔｒｉｂｕｔｅ)ビデオは特質イメージを含んでもよく、占有(ｏｃｃｕｐａｎｃｙ)マップビデオは占有マップイメージを含んでもよい。付加情報は、付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)を含んでもよい。特質ビデオ／イメージはテクスチャビデオ／イメージを含んでもよい。
ポイントクラウドイメージデコーダ２０００８は、ビットストリームを受信し、ポイントクラウドイメージエンコーダ２０００３の動作に対応する逆過程を行う。この場合、ポイントクラウドイメージデコーダ２０００８は、ポイントクラウドイメージをジオメトリイメージ、特質(ａｔｔｒｉｂｕｔｅ)イメージ、占有(ｏｃｃｕｐａｎｃｙ)マップイメージ、またメタデータ、例えば、付加パッチ情報(ａｕｘｉｌｉａｒｙ ｐａｔｃｈ ｉｎｆｏｒｍａｔｉｏｎ)に分けて復号することができる。
復号されたジオメトリビデオ／イメージと占有マップおよび付加パッチ情報を用いて３Ｄジオメトリが復元され、その後に平滑化処理を行う。平滑化された３Ｄジオメトリに、テクスチャビデオ／イメージを用いてカラー値を割り当てることで、カラーポイントクラウド映像／ピクチャーが復元される。レンダラー２０００９は、復元されたジオメトリ、カラーポイントクラウド映像／ピクチャーをレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部でディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイ又は一般のディスプレイなどによってレンダリングされた結果の全部または一部の領域を見ることができる。
センシング／トラッキング部(Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ)２０００７は、ユーザまたは受信側からオリエンテーション情報および／またはユーザビューポート情報を取得して受信部および／または送信部に送信する。オリエンテーション情報は、ユーザの頭の位置、角度、動きなどに関する情報を示したり、ユーザが見ている装置の位置、角度、動きなどに関する情報を示すことができる。この情報に基づいて、現在ユーザが３Ｄ空間で見ている領域に関する情報、即ちビューポート情報を算出することができる。
ビューポート情報は、現在ユーザが３Ｄ空間において装置またはＨＭＤなどを介して見ている領域に関する情報であってもよい。ディスプレイなどの装置は、オリエンテーション情報、装置が支援する垂直(ｖｅｒｔｉｃａｌ)または水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート領域を抽出することができる。オリエンテーションまたはビューポート情報は、受信側で抽出または算出することができる。受信側で分析したオリエンテーションまたはビューポート情報は、フィードバックチャンネルを介して送信側へ伝送されてもよい。
受信部は、センシング／トラッキング部２０００７によって取得されたオリエンテーション情報および／またはユーザが現在見ている領域を示すビューポート情報を使用して特定の領域、即ちオリエンテーション情報および／またはビューポート情報が示す領域のメディアデータだけを効率的にファイルから抽出または復号することができる。また、送信部は、センシング／トラッキング部２０００７によって取得されたオリエンテーション情報および／またはビューポート情報を使用して特定の領域、即ちオリエンテーション情報および／またはビューポート情報が示す領域のメディアデータだけを効率的に符号化したり、ファイルを生成および送信することができる。
レンダラー２０００９は、３Ｄ空間上に復号されたポイントクラウドデータをレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされる。ユーザは、ＶＲ／ＡＲディスプレイまたは一般のディスプレイなどを介してレンダリングされた結果の全部または一部の領域を見ることができる。
フィードバックプロセスは、レンダリング／ディスプレイのプロセスから取得し得る様々なフィードバック情報を送信側に送信するか、または受信側のデコーダに送信することを含んでもよい。フィードバックプロセスによって、ポイントクラウドデータの消費において相互作用(ｉｎｔｅｒａｃｔｉｖｉｔｙ)を提供することができる。実施例によれば、フィードバックプロセスにおいて、ヘッドオリエンテーション(Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ)情報、ユーザが現在見ている領域を示すビューポート(Ｖｉｅｗｐｏｒｔ)情報などを伝送することができる。実施例によれば、ユーザは、ＶＲ／ＡＲ／ＭＲ／自立走行環境において具現されたものと相互作用することができるが、この場合、相互作用に関する情報をフィードバックプロセスにおいて送信側およびサービス供給者側に伝送することもできる。実施例によれば、フィードバックプロセスは省略してもよい。
実施例によれば、上述したフィードバック情報は、送信側に伝送されるだけではなく、受信側で消費することもできる。即ち、上述したフィードバック情報を用いて受信側のデカプセル化処理、復号、レンダリングプロセスなどを行ってもよい。例えば、オリエンテーション情報および／またはビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドデータを優先してデカプセル化、復号およびレンダリングしてもよい。
図２１は、実施例によるポイントクラウドデータの格納および送信装置の構成の一例を示す。
図２１は、実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置および／または図１９の受信装置などの一部／全部を含むことができる。また、図２０のシステムの一部／全部に含まれるか、対応することができる。
実施例によるポイントクラウドデータ送信装置は、図面のように構成される。送信装置の各構成要素は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどであってもよい。
ポイントクラウドのジオメトリ、特質、付加データ(または付加情報)、メッシュデータなどは、それぞれ独立したストリームで構成されるか、またはファイルにおいてそれぞれ異なるトラックに格納されてもよい。さらに、別のセグメントに含まれてもよい。
ポイントクラウド取得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)２１０００は、ポイントクラウドを取得する。例えば、１つ以上のカメラを介してポイントクラウドのキャプチャー、合成または生成プロセスなどによりポイントクラウドデータを取得することができる。このような取得プロセスにより、各ポイントの３Ｄ位置(ｘ、ｙ、ｚ位置値などで示され、以下、これをジオメトリと呼ぶ)、各ポイントの特質(色、反射率、透明度など)を含むポイントクラウドデータを取得することができ、これを含む、例えば、ＰＬＹ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ)ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデータの場合、１つ以上のファイルを取得することができる。このプロセスにおいて、ポイントクラウド関連メタデータ(例えば、キャプチャーなどに関連するメタデータなど)を生成することができる。パッチ生成部(Ｐａｔｃｈ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００１は、ポイントクラウドデータからパッチを生成する。パッチ生成部２１００１は、ポイントクラウドデータまたはポイントクラウドビデオを１つ以上のピクチャー(ｐｉｃｔｕｒｅ)／フレーム(ｆｒａｍｅ)で生成する。一般に、ピクチャー(ｐｉｃｔｕｒｅ)／フレーム(ｆｒａｍｅ)は、特定の時間帯の１つの映像を示す単位を意味してもよい。ポイントクラウドビデオを構成する点を１つ以上のパッチ(ポイントクラウドを構成する点の集合であり、同じパッチに属する点は３Ｄ空間において互いに隣接しており、２Ｄイメージへのマッピングプロセスにおいて６面のバウンディングボックス平面のうち同じ方向にマップされる点の集合)に分けて２Ｄ平面にマップする際、２Ｄ平面のその位置にデータが存在するか否かを０または１の値で知らせる２進マップ(ｂｉｎａｒｙ ｍａｐ)である占有(ｏｃｃｕｐａｎｃｙ)マップピクチャー／フレームを生成することができる。また、ポイントクラウドビデオを成す各点の位置情報(ｇｅｏｍｅｔｒｙ)をパッチ単位で表す深さマップ形式のピクチャー／フレームであるジオメトリピクチャー／フレームを生成することができる。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー／フレームであるテクスチャピクチャー／フレームを生成することができる。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成することができ、このメタデータは、各パッチの２Ｄ／３Ｄ空間における位置、サイズなどパッチに関する情報を含んでもよい。このようなピクチャー／フレームが時間順に連続して生成され、ビデオストリームまたはメタデータストリームを構成することができる。
また、パッチは、２Ｄイメージマッピングのために使用してもよい。例えば、ポイントクラウドデータが立方体の各面にプロジェクトされてもよい。 パッチ生成後、生成されたパッチに基づいて、ジオメトリイメージ、１つまたは１つ以上の特質イメージ、占有マップ、付加データおよび／またはメッシュデータなどを生成することができる。
ポイントクラウド前処理部２０００１または制御部(ｃｏｎｔｒｏｌｌｅｒ)(未図示)によって、ジオメトリイメージ生成(Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ)、特質イメージ生成(Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ)、占有マップ生成(Ｏｃｃｕｐａｎｃｙ Ｍａｐ Ｇｅｎｅｒａｔｉｏｎ)、付加データ生成(Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ) および／またはメッシュデータ生成(Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ)が行われる。ポイントクラウド前処理部２０００１は、パッチ生成部２１００１、ジオメトリイメージ生成部２１００２、特質イメージ生成部２１００３、占有マップ生成部２１００４、付加データ生成部２１００５、およびメッシュデータ生成部２１００６を含むことを一実施例とする。
ジオメトリイメージ生成部(Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００２は、パッチ生成の結果物に基づいてジオメトリイメージを生成する。ジオメトリは、３Ｄ空間上のポイントを示す。パッチに基づいてパッチの２Ｄイメージパッキングに関連する情報を含む占有マップ、付加データ(または付加情報といい、パッチデータを含む)および／またはメッシュデータなどを使用して、ジオメトリイメージを生成する。ジオメトリイメージは、パッチ生成後に生成されたパッチの深さ(ｅ．ｇ．、近さ、遠さ)などの情報に関連する。
特質イメージ生成部(Ａｔｔｒｉｂｕｔｅ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００３は、特質イメージを生成する。例えば、特質はテキスチャー(Ｔｅｘｔｕｒｅ)を示すことができる。テキスチャーは、各ポイントに対応するカラー値であってもよい。実施例によれば、テキスチャーを含む複数(Ｎ個)の特質(色、反射率など)イメージを生成することができる。複数の特質は、マテリアル(材質に関する情報)、反射率などを含むことができる。また、実施例によれば、特質は、同じテキスチャーでも視覚、光によってカラーが変わる情報をさらに含んでもよい。
占有マップ生成部(Ｏｃｃｕｐａｎｃｙ Ｍａｐ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００４は、パッチから占有マップを生成する。占有マップは、そのジオメトリまたは特質イメージなどのピクセルにデータの存否を示す情報を含む。
付加データ生成部(Ａｕｘｉｌｉａｒｙ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００５は、パッチに関する情報を含む付加データ(または付加パッチ情報という)を生成する。即ち、付加データは、ポイントクラウド客体のパッチに関するメタデータを示す。例えば、パッチに対する法線(ｎｏｒｍａｌ)ベクトルなどの情報を示すことができる。具体的に、実施例によれば、付加データは、パッチからポイントクラウドを再構成するために必要な情報を含む(例えば、パッチの２Ｄ／３Ｄ空間上の位置、サイズなどに関する情報、プロジェクション平面(ｎｏｒｍａｌ)識別情報、パッチマッピング情報など)。
メッシュデータ生成部(Ｍｅｓｈ Ｄａｔａ Ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)２１００６は、パッチからメッシュデータを生成する。メッシュは、隣接したポイント間の連結情報を示す。例えば、三角形のデータを示してもよい。例えば、実施例によるメッシュデータは、各ポイント間の接続(ｃｏｎｎｅｃｔｉｖｉｔｙ)情報を意味する。
ポイントクラウド前処理部２０００１または制御部は、パッチ生成、ジオメトリイメージ生成、特質イメージ生成、占有マップ生成、付加データ生成、メッシュデータ生成に関連するメタデータ(Ｍｅｔａｄａｔａ)を生成する。
ポイントクラウド送信装置は、ポイントクラウド前処理部２０００１で生成された結果物に対応して、ビデオ符号化および／またはイメージ符号化を行う。ポイントクラウド送信装置は、ポイントクラウドビデオデータだけではなく、ポイントクラウドイメージデータを生成することができる。実施例によれば、ポイントクラウドデータは、ビデオ データのみを、イメージデータのみを、および／またはビデオデータおよびイメージデータの両方を含んでもよい。
ビデオ符号化部２１００７は、ジオメトリビデオ圧縮、特質ビデオ圧縮、占有マップビデオ圧縮、付加データ圧縮および／またはメッシュデータ圧縮を行う。ビデオ符号化部２１００７は、符号化された各々のビデオデータを含むビデオトリームを生成する。
具体的に、ジオメトリビデオ圧縮は、ポイントクラウドジオメトリビデオデータを符号化する。特質ビデオ圧縮は、ポイントクラウドの特質ビデオデータを符号化する。付加データ圧縮は、ポイントクラウドビデオデータに関連する付加データを符号化する。メッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)は、ポイントクラウドビデオデータのメッシュデータを符号化する。ポイントクラウドビデオ符号化部の各動作は、並列に行われる。
イメージ符号化部２１００８は、ジオメトリイメージ圧縮、特質イメージ圧縮、占有マップイメージ圧縮、付加データ圧縮および／またはメッシュデータ圧縮を行う。イメージ符号化部は、符号化された各々のイメージデータを含むイメージを生成する。
具体的に、ジオメトリイメージ圧縮は、ポイントクラウドジオメトリイメージデータを符号化する。特質イメージ圧縮は、ポイントクラウドの特質イメージデータを符号化する。付加データ圧縮は、ポイントクラウドイメージデータに関連する付加データを符号化する。メッシュデータ圧縮(Ｍｅｓｈ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ)は、ポイントクラウドイメージデータに関連するメッシュデータを符号化する。ポイントクラウドイメージ符号化部の各動作は、並列に行われる。
ビデオ符号化部２１００７および／またはイメージ符号化部２１００８は、ポイントクラウド前処理部２０００１からメタデータを受信することができる。ビデオ符号化部２１００７および／またはイメージ符号化部２１００８は、メタデータに基づいて各々の符号化プロセスを行うことができる。
ファイル／セグメントカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ Ｅｎｃａｐｓｕｌａｔｉｏｎ)２１００９は、ビデオストリームおよび／またはイメージをファイルおよび／またはセグメント形式にカプセル化する。ファイル／セグメントカプセル化部２１００９は、ビデオトラックカプセル化、メタデータトラックカプセル化および／またはイメージカプセル化を行う。
ビデオトラックカプセル化は、１つまたは１つ以上のビデオストリームを１つまたは１つ以上のトラックカプセル化することができる。
メタデータトラックカプセル化は、ビデオストリームおよび／またはイメージに関連するメタデータを１つまたは１つ以上のトラックにカプセル化することができる。メタデータは、ポイントクラウドデータのコンテンツに関連するデータを含む。例えば、初期ビューイングオリエンテーションメタデータ(Ｉｎｉｔｉａｌ Ｖｉｅｗｉｎｇ Ｏｒｉｅｎｔａｔｉｏｎ Ｍｅｔａｄａｔａ)を含む。実施例によれば、メタデータは、メタデータトラックにカプセル化されてもよく、ビデオトラックまたはイメージトラックに共にカプセル化されてもよい。
イメージカプセル化は、１つまたは１つ以上のイメージを１つまたは１つ以上のトラックまたはアイテムにカプセル化することができる。
例えば、実施例によれば、４つのビデオストリームと２つのイメージがカプセル化部に入力される場合、４つのビデオストリームおよび２つのイメージを１つのファイル内にカプセル化する。
ファイル／セグメントカプセル化部２１００９は、ポイントクラウド前処理部２０００１からメタデータを受信することができる。ファイル／セグメントカプセル化部２１００９は、メタデータに基づいてカプセル化を行うことができる。
ファイル／セグメントカプセル化によって生成されたファイルおよび／またはセグメントは、ポイントクラウド送信装置または送信部によって送信される。例えば、ＤＡＳＨベースのプロトコルに基づいてセグメントが送信(Ｄｅｌｉｖｅｒｙ)できる。
送信部(Ｄｅｌｉｖｅｒｙ)は、ポイントクラウドビットストリームまたはそのビットストリームを含むファイル／セグメントをデジタル記憶媒体またはネットワークを介して受信装置の受信部に伝送することができる。送信のために、任意の送信プロトコルによる処理を行う。送信のための処理を終えたデータは、放送網および／またはブロードバンドを介して伝送することができる。このデータは、オンデマンド(Ｏｎ Ｄｅｍａｎｄ)方式で受信側へ伝送してもよい。デジタル記憶媒体には、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体がある。
実施例によるカプセル化部２１００９は、１つのビットストリームまたは個別のビットストリームをファイル内に１つまたは複数のトラックに分割格納し、そのためのシグナリング情報も共にカプセル化することができる。また、ビットストリーム上に含まれているパッチ(またはアトラス)ストリームをファイル内のトラックに格納し、関連するシグナリング情報を格納することができる。さらに、ビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに格納し、関連するシグナリング情報を格納することができる。
送信部は、所定のファイルフォーマットでメディアファイルを生成するための要素を含むことができ、放送／通信ネットワークを介する送信のための要素を含むことができる。送信部は、受信部からオリエンテーション情報および／またはビューポート情報を受信する。送信部は、取得したオリエンテーション情報および／またはビューポート情報(またはユーザが選択した情報)をポイントクラウド前処理部２０００１、ビデオ符号化部２１００７、イメージ符号化部２１００８、ファイル／セグメントカプセル化部２１００９および／またはポイントクラウド符号化部に伝送することができる。オリエンテーション情報および／またはビューポート情報に基づいて、ポイントクラウド符号化部はすべてのポイントクラウドデータを符号化するか、またはオリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを符号化することができる。オリエンテーション情報および／またはビューポート情報に基づいて、ファイル／セグメントカプセル化部はすべてのポイントクラウドデータをカプセル化するか、またはオリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータをカプセル化することができる。オリエンテーション情報および／またはビューポート情報に基づいて、送信部はすべてのポイントクラウドデータを送信するか、またはオリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを送信することができる。
例えば、ポイントクラウド前処理部２０００１は、すべてのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータに対して動作を行ってもよい。ビデオ符号化部２１００７および／またはイメージ符号化部２１００８は、すべてのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータに対して上述した動作を行わってもよい。ファイル／セグメントカプセル化部２１００９は、すべてのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータに対して上述した動作を行ってもよい。送信部は、すべてのポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータに対して上述した動作を行ってもよい。
図２２は、実施例によるポイントクラウドデータ受信装置の構成の一例を示す。
図２２は、実施例によるポイントクラウドシステムを示し、システムの一部／全部は、図１の送受信装置、図４の符号化プロセス、図１５の２Ｄビデオ／イメージエンコーダ、図１６の復号プロセス、図１８の送信装置、および／または図１９の受信装置などの一部／全部を含むことができる。また、図２０および図２１のシステムの一部／全部に包含または対応されることができる。
受信装置の各構成は、モジュール／ユニット／コンポーネント／ハードウェア／ソフトウェア／プロセッサなどであってもよい。送信クライアント(Ｄｅｌｉｖｅｒｙ Ｃｌｉｅｎｔ)２２００６は、実施例によるポイントクラウドデータ送信装置が送信したポイントクラウドデータ、ポイントクラウドビットストリームまたはそのビットストリームを含むファイル／セグメントを受信することができる。送信されるチャンネルに応じて、受信装置は、放送網を介してポイントクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを受信してもよい。または、デジタル記憶媒体によってポイントクラウドデータを受信してもよい。受信装置は、受信したデータを復号し、これをユーザのビューポートなどに従ってレンダリングするプロセスを含んでもよい。送信クライアント２２００６(または受信処理部という)は、受信されたポイントクラウドデータに対して送信プロトコルに従う処理を行うことができる。受信処理部は受信部に含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。送信側で行った送信のための処理に対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドデータをファイル／セグメントデカプセル化部２２０００に伝送し、取得したポイントクラウド関連メタデータはメタデータ処理部(未図示)に伝送することができる。
センシング／トラッキング部(Ｓｅｎｓｉｎｇ／Ｔｒａｃｋｉｎｇ)２２００５は、オリエンテーション情報および／またはビューポート情報を取得する。センシング／トラッキング部２２００５は、取得したオリエンテーション情報および／またはビューポート情報を送信クライアント２２００６、ファイル／セグメントデカプセル化部２２０００、ポイントクラウド復号部２２００１、２２００２、ポイントクラウドプロセシング部２２００３に伝送することができる。
送信クライアント２２００６は、オリエンテーション情報および／またはビューポート情報に基づいて、すべてのポイントクラウドデータを受信してもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを受信してもよい。ファイル／セグメントデカプセル化部２２０００は、オリエンテーション情報および／またはビューポート情報に基づいて、すべてのポイントクラウドデータをデカプセル化するか、またはオリエンテーション 情報および／またはビューポート情報が示すポイントクラウドデータをデカプセル化することができる。ポイントクラウド復号部(ビデオ復号部２２００１および／またはイメージ復号部２２００２)は、オリエンテーション情報および／またはビューポート情報に基づいて、すべてのポイントクラウドデータを復号するか、またはオリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを復号することができる。ポイントクラウドプロセシング部２２００３は、すべてのポイントクラウドデータを処理するか、またはオリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを処理することができる。
ファイル／セグメントデカプセル化部(Ｆｉｌｅ／Ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)２２０００は、ビデオトラックデカプセル化(Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)、メタデータトラックデカプセル化(Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)および／またはイメージデカプセル化(Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ)を行う。ファイル／セグメントデカプセル化部２２０００は、受信処理部が伝送したファイル形式のポイントクラウドデータをデカプセル化することができる。ファイル／セグメントデカプセル化部２２０００は、ＩＳＯＢＭＦＦなどによるファイルまたはセグメントをデカプセル化し、ポイントクラウドビットストリームおよびポイントクラウド関連メタデータ(または別のメタデータビットストリーム)を取得することができる。取得したポイントクラウドビットストリームは、ポイントクラウド復号部２２００１、２２００２)に伝送し、取得したポイントクラウド関連メタデータ(またはメタデータビットストリーム)は、メタデータ処理部(未図示)に伝送することができる。ポイントクラウドビットストリームは、メタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部は、ポイントクラウドビデオデコーダに含まれてもよく、別のコンポーネント／モジュールで構成されてもよい。ファイル／セグメントデカプセル化部２２０００が取得するポイントクラウド関連メタデータは、ファイルフォーマット内のボックスまたはトラックの形態であってもよい。ファイル／セグメントデカプセル化部２２０００は、必要のある場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送されてもよい。ポイントクラウド関連メタデータは、ポイントクラウド復号部２２００１、２２００２に伝送されて、ポイントクラウド復号に用いられてもよく、ポイントクラウドレンダリング部２２００４に伝送されて、ポイントクラウドレンダリングに用いられてもよい。ファイル／セグメントデカプセル化部２２０００は、ポイントクラウドデータに関連するメタデータを生成することができる。
ファイル／セグメントデカプセル化部２２０００内のビデオトラックデカプセル化(Ｖｉｄｅｏ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ファイルおよび／またはセグメントに含まれたビデオトラックをデカプセル化する。ジオメトリビデオ、特質ビデオ、占有マップ、付加データおよび／またはメッシュデータを含むビデオストリームをデカプセル化する。
ファイル／セグメントデカプセル化部２２０００内のメタデータトラックデカプセル化(Ｍｅｔａｄａｔａ Ｔｒａｃｋ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ポイントクラウドデータに関連するメタデータおよび／または付加データなどを含むビットストリームをデカプセル化する。
ファイル／セグメントデカプセル化部２２０００内のイメージデカプセル化(Ｉｍａｇｅ Ｄｅｃａｐｓｕｌａｔｉｏｎ)は、ジオメトリイメージ、特質イメージ、占有マップ、付加データおよび／またはメッシュデータを含むイメージをデカプセル化する。
実施例によるデカプセル化部２２０００は、１つのビットストリームまたは個別のビットストリームをファイル内の１つまたは複数のトラックに基づいて分割パーシング(デカプセル化)し、そのためのシグナリング情報も共にデカプセル化する。また、ビットストリーム上に含まれているパッチ(またはアトラス)ストリームをファイル内のトラックに基づいてデカプセル化し、関連するシグナリング情報をパーシングすることができる。さらに、ビットストリーム上に存在するＳＥＩメッセージをファイル内のトラックに基づいてデカプセル化し、関連するシグナリング情報を共に取得することができる。
ビデオ復号部(Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ ｕｎｉｔ)２２００１は、ジオメトリビデオ復元、特質ビデオ復元、占有マップ復元、付加データ復元および／またはメッシュデータ復元を行う。ビデオ復号部は、実施例によるポイントクラウド送信装置のビデオ符号化付加を行うプロセスに対応して、ジオメトリビデオ、特質ビデオ、付加データおよび／またはメッシュデータを復号する。
イメージ復号部(Ｉｍａｇｅ Ｄｅｃｏｄｉｎｇ)２２００２は、ジオメトリイメージ復元、特質イメージ復元、占有マップ復元、付加データ復元および／またはメッシュデータ復元を行う。イメージ復号部は、実施例によるポイントクラウド送信装置のイメージ符号化部が行うプロセスに対応して、ジオメトリイメージ、特質イメージ、付加データおよび／またはメッシュデータを復号する。
実施例によるビデオ復号部２２００１、イメージ復号部２２００２は、上述のように、１つのビデオ／イメージデコーダによって処理されてもよく、図のように別のパスで行われてもよい。
ビデオ復号部２２００１および／またはイメージ復号部２２００２は、ビデオデータおよび／またはイメージデータに関連するメタデータを生成することができる。
ポイントクラウドプロセシング部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)２２００３は、ジオメトリ再構成(Ｇｅｏｍｅｔｒｙ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)および／または特質再構成(Ａｔｔｒｉｂｕｔｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を行う。
ジオメトリ再構成は、復号されたビデオデータおよび／または復号されたイメージデータから、占有マップ、付加データおよび／またはメッシュデータに基づいて、ジオメトリビデオおよび／またはジオメトリイメージを復元する。
特質再構成は、復号された特質ビデオおよび／または復号された特質イメージから、占有マップ、付加データおよび／またはメッシュデータに基づいて、特質ビデオおよび／または特質イメージを復元する。実施例によれば、例えば、特質はテキスチャーであることがある。実施例によれば、特質は複数の特質情報を意味してもよい。複数の特質がある場合、実施例によるポイントクラウドプロセシング部２２００３は、複数の特質再構成を行う。
ポイントクラウドプロセシング部２２００３は、ビデオ復号部２２００１、イメージ復号部２２００２および／またはファイル／セグメントデカプセル化部２２０００からメタデータを受信して、メタデータに基づいてポイントクラウドを処理することができる。
ポイントクラウドレンダリング部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｒｅｎｄｅｒｉｎｇ ｕｎｉｔ)２２００４は、再構成されたポイントクラウドをレンダリングする。ポイントクラウドレンダリング部２２００４は、ビデオ復号部２２００１、イメージ復号部２２００２および／またはファイル／セグメントデカプセル化部２２０００からメタデータを受信し、メタデータに基づいてポイントクラウドをレンダリングすることができる。
ディスプレイは、レンダリングされた結果を実際のディスプレイ装置上にディスプレイする。
実施例による方法／装置によれば、図２０ないし図２２に示されているように、送信側ではポイントクラウドデータをビットストリームに符号化し、ファイルおよび／またはセグメント形式でカプセル化して送信し、受信側ではファイルおよび／またはセグメント形式をポイントクラウドを含むビットストリームにデカプセル化し、ポイントクラウドデータに復号することができる。例えば、実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータをファイルに基づいてカプセル化し、このとき、ファイルには、ポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラックおよび占有マップを含む占有トラックが含まれてもよい。
また、実施例によるポイントクラウドデータ受信装置は、ファイルに基づいてポイントクラウドデータをデカプセル化し、このとき、ファイルには、ポイントクラウドに関するパラメータを含むＶ－ＰＣＣトラック、ジオメトリを含むジオメトリトラック、特質を含む特質トラックおよび占有マップを含む占有トラックが含まれてもよい。
上述したカプセル化の動作は、図２０のファイル／セグメントカプセル化部２０００４、図２１のファイル／セグメントカプセル化部２１００９などによって行われてもよく、上述したデカプセル化の動作は、図２０のファイル／セグメントデカプセル化部２０００５、図２２のファイル／セグメントデカプセル化部２２０００などによって行われてもよい。
図２３は、実施例によるポイントクラウドデータの送受信方法／装置と連動可能な構造の一例を示す。
実施例による構造では、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)サーバー２３６００、ロボット２３１００、自立走行車両２３２００、ＸＲ装置２３３００、スマートフォン２３４００、家電２３５００および／またはＨＭＤ２３７００のうちの少なくとも１つ以上がクラウドネットワーク２３０００と接続する。ここで、ロボット２３１００、自立走行車両２３２００、ＸＲ装置２３３００、スマートフォン２３４００または家電２３５００などを装置と呼ぶことができる。また、ＸＲ装置２３３００は、実施例によるポイントクラウド圧縮データ(ＰＣＣ)装置に対応するか、ＰＣＣ装置と連動してもよい。
クラウドネットワーク２３０００は、クラウドコンピューティングインフラの一部を構成するか、クラウドコンピューティングインフラ内に存在するネットワークを意味してもよい。ここで、クラウドネットワーク２３０００は、３Ｇネットワーク、４ＧまたはＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ)ネットワークまたは５Ｇネットワークなどを用いて構成されてもよい。
ＡＩサーバー２３６００は、ロボット２３１００、自立走行車両２３２００、ＸＲ装置２３３００、スマートフォン２３４００、家電２３５００および／またはＨＭＤ２３７００のうちの少なくとも１つ以上とクラウドネットワーク２３０００を介いて接続され、接続された装置２３１００～２３７００のプロセシングの少なくとも一部を補助することができる。
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)２３７００は、実施例によるＸＲ装置２３３００および／またはＰＣＣ装置が具現できるタイプの１つを示す。実施例によるＨＭＤタイプの装置は、コミュニケーションユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット、またパワー供給ユニットなどを含む。
以下、上記技術が適用される装置２３１００～２３５００の様々な実施例について説明する。ここで、図２３に示された装置２３１００～２３５００は、上述した実施例によるポイントクラウドデータの送受信装置と連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置２３３００は、ＰＣＣおよび／またはＸＲ(ＡＲ＋ＶＲ)技術が適用され、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどで具現されることもできる。
ＸＲ／ＰＣＣ装置２３３００は、様々なセンサにより又は外部装置から取得した３Ｄポイントクラウドデータまたはイメージデータを分析して３Ｄポイントに対する位置データ及び特質データを生成することで周辺空間又は現実客体に関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置２３３００は認識された物体に関する付加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両２３２００はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両２３２００は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味してもよい。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両２３２００はＸＲ装置２３３００とは区分され、互いに連動できる。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両２３２００は、カメラを含むセンサからセンサ情報を取得し、取得したセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両２３２００はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することで、搭乗者に現実客体又は画面内の客体に対応するＸＲ／ＰＣＣ客体を提供することができる。
このとき、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力されることがある。一方、ＸＲ／ＰＣＣ客体が自律走行車両２３２００内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力されることがある。例えば、自律走行車両２３２００は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。一方、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は、現実世界に仮想客体を混ぜて見せるという点では上述したＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体との区別が明らかであり、現実客体を補完する形式で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体とが同等な性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
ただし、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術と呼んでいる。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術ベースの符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両２３２００に適用できる。
自律走行サービスを提供する自立走行車両２３２００はＰＣＣ装置と有無線通信可能に接続される。
実施例によるポイントクラウド圧縮データ(ＰＣＣ)送受信装置は、自立走行車両２３２００と有無線通信可能に接続された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して自立走行車両２３２００に送信することができる。また、ポイントクラウドデータ送受信装置が自立走行車両２３２００に搭載された場合は、ポイントクラウド送受信装置は、ユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信することができる。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含んでもよい。
上述のように、図１、図４、図１８、図２０または図２１に示すＶ－ＰＣＣベースポイントクラウドビデオエンコーダは、３Ｄポイントクラウドデータ(またはコンテンツ)を２Ｄ空間にプロジェクション(ｐｒｏｊｅｃｔｉｏｎ)させてパッチを生成する。２Ｄ空間に生成されたパッチは、位置情報を示すジオメトリイメージ(これをジオメトリフレームまたはジオメトリパッチフレームという)と、色情報を示すテクスチャイメージ(これを特質フレームまたは特質パッチフレームという)とに区分して生成する。ジオメトリイメージとテクスチャイメージは、各々のフレーム別にビデオ圧縮されて、ジオメトリイメージのビデオビットストリーム(またはジオメトリビットストリームという)と、テクスチャイメージのビデオビットストリーム(または特質ビットストリームという)とに出力される。また、受信側で２Ｄパッチを復号するために必要な各パッチプロジェクション平面情報およびパッチサイズ情報を含む付加パッチ情報(またはパッチ情報やメタデータという)もビデオ圧縮されて、付加パッチ情報のビットストリームに出力される。これに加えて、各ピクセルに対するポイントの存否を０または１に示す占有マップ(ｏｃｃｕｐａｎｃｙ ｍａｐ)は、ロスレス(ｌｏｓｓｌｅｓｓ)モードかロッシー(ｌｏｓｓｙ)モードかに応じて、エントロピー圧縮またはビデオ圧縮され、占有マップのビデオビットストリーム(または占有マップビットストリームという)に出力される。圧縮されたジオメトリビットストリーム、圧縮された特質ビットストリーム、圧縮された付加パッチ情報ビットストリーム、また圧縮された占有マップビットストリームは、Ｖ－ＰＣＣビットストリームの構造として多重化される。
実施例によれば、Ｖ－ＰＣＣビットストリームは、そのまま受信側に送信されてもよく、または図１、図１８、図２０または図２１のファイル／セグメントカプセル化部においてファイル／セグメントの形式でカプセル化されて受信装置へ送信されてもよく、デジタル記憶媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納されてもよい。本明細書においてファイルは、ＩＳＯＢＭＦＦファイルフォーマットであることを一実施例とする。
実施例によれば、Ｖ－ＰＣＣビットストリームは、ファイルのマルチプルトラックを介して送信されてもよく、１つのシングルトラックを介して送信されてもよい。詳細は後述する。
図２４は、実施例によるＶ－ＰＣＣビットストリーム構造の一例を示す。図２４のＶ－ＰＣＣビットストリームは、図１、図４、図１８、図２０または図２１のＶ－ＰＣＣベースポイントクラウドビデオエンコーダから出力されることを一実施例とする。
Ｖ－ＰＣＣビットストリームは、１つ以上のＶ－ＰＣＣユニットからなる。即ち、Ｖ－ＰＣＣビットストリームは、Ｖ－ＰＣＣユニットの集合である。各々のＶ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダとＶ－ＰＣＣユニットペイロードとからなる。本明細書は、Ｖ－ＰＣＣユニットヘッダによってそのＶ－ＰＣＣユニットペイロードに含まれるデータを区分し、そのためにＶ－ＰＣＣユニットヘッダは、そのＶ－ＰＣＣユニットのタイプを指示するタイプ情報を含む。各々のＶ－ＰＣＣユニットペイロードは、そのＶ－ＰＣＣユニットヘッダのタイプ情報に従って、ジオメトリビデオデータ(即ち、圧縮されたジオメトリビットストリーム)、特質ビデオデータ(即ち、圧縮された特質ビットストリーム)、占有ビデオデータ(即ち、圧縮された占有マップビットストリーム)、パッチデータグループ(Ｐａｔｃｈ Ｄａｔａ Ｇｒｏｕｐ、ＰＤＧ)、シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ)のうちの少なくとも１つを含むことができる。パッチデータグループはアトラス(ａｔｌａｓ)とも呼ぶ。本明細書において、アトラスをパッチデータグループに置き換えることができる。
少なくともジオメトリビデオデータ、特質ビデオデータ、また占有マップビデオデータ(または占有ビデオデータという)を含むＶ－ＰＣＣユニットペイロードは、適宜なビデオデコーダ(ａｐｐｒｏｐｒｉａｔｅ ｖｉｄｅｏ ｄｅｃｏｄｅｒ)によって復号されるビデオデータユニット(例えば、ＨＥＶＣ ＮＡＬユニット)に該当する。
ジオメトリビデオデータ、特質ビデオデータ、また占有マップビデオデータは、符号化されたポイントクラウドのジオメトリ、特質、占有マップコンポーネントのための２Ｄビデオ符号化情報と呼び、パッチデータグループ(またはアトラス)は、ノン－ビデオ(ｎｏｎ－ｖｉｄｅｏ)符号化された情報と呼ぶことにする。パッチデータグループは、付加パッチ情報を含む。シーケンスパラメータセットは、ビットストリームの全体的な符号化情報を含み、構成およびメタデータ情報(ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ ｍｅｔａｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ)と呼ぶこともある。上記シーケンスパラメータセットとパッチデータグループは、シグナリング情報と呼んでもよく、ポイントクラウドビデオエンコーダ内のメタデータ処理部で生成されてもよく、またはポイントクラウドビデオエンコーダ内の別のコンポーネント／モジュールで生成されてもよい。また、本明細書において、シーケンスパラメータセットとパッチデータグループは、初期化情報と呼び、ジオメトリビデオデータ、特質ビデオデータ、占有マップビデオデータは、ポイントクラウドデータと呼ぶ。
一実施例として、Ｖ－ＰＣＣユニットヘッダのタイプ情報がパッチデータグループ(ＶＰＣＣ－ＰＤＧ)を指示する場合、そのＶ－ＰＣＣユニットペイロードは、パッチデータグループを含むことができ、逆に、Ｖ－ＰＣＣユニットペイロードがパッチデータグループを含む場合は、そのＶ－ＰＣＣユニットヘッダのタイプ情報がこれを識別することができる。これは設計者の選択事項であるため、本明細書は上記実施例に限らない。また、その他のＶ－ＰＣＣユニットも同一または類似に適用される。
パッチデータグループは、パッチデータグループユニット()フォーマットでＶ－ＰＣＣユニットペイロードに含まれる。パッチデータグループは、１つ以上のパッチタイルグループ(ｐａｔｃｈ ｔｉｌｅ ｇｒｏｕｐ)の情報と、パッチシーケンスパラメータセット、パッチフレームパラメータセット、パッチフレームジオメトリパラメータセット、ジオメトリパッチパラメータセット、パッチフレーム特質パラメータセット、特質パッチパラメータセットのうちの少なくとも１つを含むことができる。
一方、ポイントクラウドデータの対象となるパッチフレーム(またはポイントクラウド客体という)は、１つ以上のタイル(ｏｎｅ ｏｒ ｍｕｌｔｉｐｌｅ ｔｉｌｅｓ)に分割されてもよい。実施例によるタイルは、３Ｄ空間上で一定の領域を示してもよく、２Ｄ平面上で一定の領域を示してもよい。また、タイルは、１つのバウンディングボックス内の直六面体(ｒｅｃｔａｎｇｕｌａｒ ｃｕｂｏｉｄ)またはサブ－バウンディングボックスまたはパッチフレームの一部となることがある。本明細書において、パッチフレーム(またはポイントクラウド客体)を１つ以上のタイルに分割することは、図１のポイントクラウドビデオエンコーダ、図１８のパッチ生成部、図２０のポイントクラウド前処理部、または図２１のパッチ生成部で行われてもよく、別のコンポーネント／モジュールで行われてもよい。
実施例によれば、図２４のような構造のＶ－ＰＣＣビットストリームは、そのまま受信側へ送信されてもよく、ファイル／セグメント形式でカプセル化されて受信側へ送信されてもよい。
本明細書において、Ｖ－ＰＣＣビットストリームは、ファイルフォーマットでカプセル化して送信することを一実施例とする。例えば、Ｖ－ＰＣＣビットストリームは、ＩＳＯＢＭＦＦ(ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ)ベースのファイルフォーマットでカプセル化することができる。
Ｖ－ＰＣＣビットストリームをファイルにカプセル化することは、図１のファイル／セグメントカプセル化部１０００３、図１８の送信部１８００８、図２０のファイル／セグメントカプセル化部２０００４、または図２１のファイル／セグメントカプセル化部２１００９で行うことを一実施例とする。ファイルをＶ－ＰＣＣビットストリームにデカプセル化することは、図１のファイル／セグメントデカプセル化部１０００７、図１９の受信部、図２０のファイル／セグメントデカプセル化部２０００５、または図２２のファイル／セグメントデカプセル化部２２０００で行うことを一実施例とする。
図２５は、実施例によるマルチプルトラックＶ－ＰＣＣファイル構造を視覚化した図である。即ち、マルチプルトラック(ｍｕｌｔｉｐｌｅ ｔｒａｃｋｓ)を含むＩＳＯＢＭＦＦベースのファイルのレイアウト(ｌａｙｏｕｔ)の一例を示す。
実施例によるＩＳＯＢＭＦＦベースのファイルは、コンテナ、コンテナファイル、メディアファイル、Ｖ－ＰＣＣファイルなどと呼んでもよい。具体的に、ファイルは、ｆｔｙｐ、ｍｅｔａ、ｍｏｏｖ、ｍｄａｔと呼ぶボックスおよび／または情報などで構成されてもよい。
ｆｔｙｐボックス(ファイルタイプボックス)は、そのファイルに対するファイルタイプまたはファイル互換性に関連する情報を提供することができる。受信側では、ｆｔｙｐボックスを参照してそのファイルを区分することができる。
ｍｅｔａボックスは、ｖｐｃｇ｛０、１、２、３｝ボックス(Ｖ－ＰＣＣグループボックス、以下に詳細に説明する)を含むことができる。
ｍｄａｔボックスは、メディアデータボックスともいい、ビデオコードされたジオメトリビットストリーム、ビデオコードされた特質ビットストリーム、ビデオコードされた占有マップビットストリーム、パッチデータグループビットストリームを含むことができる。
ｍｏｏｖボックスは、ｍｏｖｉｅボックスともいい、そのファイルのメディアデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム、占有マップビットストリームなど)に対するメタデータを含むことができる。例えば、そのメディアデータの復号および再生に必要な情報を含むことができ、そのファイルのサンプルに関する情報を含むことができる。ｍｏｏｖボックスはすべてのメタデータのためのコンテナの役割を果たすことができる。ｍｏｏｖボックスは、メタデータ関連ボックスのうち最上位レイヤのボックスであることがある。実施例によれば、ｍｏｏｖボックスはファイル内に１つだけ存在する。
図２５のようなＩＳＯＢＭＦＦコンテナ構造において、Ｖ－ＰＣＣビットストリームに含まれるＶ－ＰＣＣユニットはそれらのタイプに基づいてファイル内の個別トラック(ｉｎｄｉｖｉｄｕａｌ ｔｒａｃｋｓ)にマップされることを一実施例とする。
図２５のようなレイアウトに基づき、Ｖ－ＰＣＣビットストリームのためのＩＳＯＢＭＦＦコンテナは、以下を含むことができる。
１) Ｖ－ＰＣＣトラックを含むことができる。Ｖ－ＰＣＣトラックは、シーケンスパラメータセットおよびノン－ビデオ符号化情報を含むＶ－ＰＣＣユニット(例えば、Ｖ－ＰＣＣユニットヘッダ内のそのＶ－ＰＣＣユニットのタイプを指示するタイプ情報がシーケンスパラメータセットまたはパッチデータグループを指示)のペイロードを伝送するサンプルを含む。Ｖ－ＰＣＣトラックはまた、ビデオ圧縮情報を含むＶ－ＰＣＣユニット(例えば、Ｖ－ＰＣＣユニットヘッダ内のタイプ情報がジオメトリビデオデータ、特質ビデオデータ、または占有マップビデオデータを指示)のペイロードを伝送(ｃａｒｒｙ)するサンプルを含むその他のトラックに対するトラックレファレンスを提供することができる。
２) ジオメトリビデオデータのための１つ以上の制限されたビデオスキームトラック(ｏｎｅ ｏｒ ｍｏｒｅ ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ ｔｒａｃｋｓ)を含むことができる。このトラックに含まれるサンプルは、ジオメトリビデオデータのためのビデオコードされたエレメンタリストリームのためのＮＡＬユニットを含む。この場合、Ｖ－ＰＣＣユニットヘッダ内のタイプ情報は、ジオメトリビデオデータを指示し、上記ＮＡＬユニットはジオメトリビデオデータを伝送(ｃａｒｒｙ)するペイロードに対応する。
３) 特質ビデオデータのための１つ以上の制限されたビデオスキームトラックを含むことができる。このトラックに含まれるサンプルは、特質ビデオデータのためのビデオコードされたエレメンタリストリームのためのＮＡＬユニットを含む。この場合、Ｖ－ＰＣＣユニットヘッダ内のタイプ情報は、特質ビデオデータを指示し、上記ＮＡＬユニットは特質ビデオデータを伝送するペイロードに対応する。
４) 占有マップビデオデータのための１つの制限されたビデオスキームトラックを含むことができる。このトラックに含まれるサンプルは、占有マップビデオデータのためのビデオコードされたエレメンタリストリームのためのＮＡＬユニットを含む。この場合、Ｖ－ＰＣＣユニットヘッダ内のタイプ情報は、占有マップビデオデータを指示し、上記ＮＡＬユニットは占有マップビデオデータを伝送するペイロードに対応する。
実施例によれば、ジオメトリビデオデータ、特質ビデオデータ、占有マップビデオデータのためのビデオコードされたエレメンタリストリームを含むトラックをコンポーネントトラックと呼ぶことにする。
かかるコンポーネントトラックに含まれるエレメンタリストリーム(ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍｓ)の間の同期化は、ＩＳＯＢＭＦＦトラックタイミング構造(ムービーフラグメント(ｍｏｖｉｅ ｆｒａｇｍｅｎｔｓ)内ｓｔｔｓ、ｃｔｔｓ、ｃｓｌｇ、または等価メカニズム(ｅｑｕｉｖａｌｅｎｔ ｍｅｃｈａｎｉｓｍｓ)によって処理(ｈａｎｄｌｅ)されることを一実施例とする。異なるビデオ符号化コンポーネントトラック(ｄｉｆｆｅｒｅｎｔ ｖｉｄｅｏ ｅｎｃｏｄｅｄ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)およびＶ－ＰＣＣトラックを横切る同一のポイントクラウドフレームに寄与するサンプルは、同一のコンポジションタイム(ｓａｍｅ ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ)を有することができる。
このサンプルに対して使用されるＶ－ＰＣＣパラメータセットは、そのフレームのコンポジションタイムと同一であるか、以前の復号タイムを有することができる。
Ｖ－ＰＣＣコンテンツを伝送するＩＳＯＢＭＦＦファイルは、Ｖ－ＰＣＣ定義ブランドで区分することができる。Ｖ－ＰＣＣコンテンツのトラックは、Ｖ－ＰＣＣ特定のグループ化４ＣＣ値('ｖｐｃｇ')を有するファイル－レベルのＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘであるＶＰＣＣＧｒｏｕｐＢｏｘ内にグループ化できる。ＶＰＣＣＧｒｏｕｐＢｏｘはコンテナ内のＶ－ＰＣＣコンテンツに接近するためのエントリーポイントとして提供されることができ、Ｖ－ＰＣＣコンテンツを特定する初期メタデータを含むことができる。ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘであるＶＰＣＣＧｒｏｕｐＢｏｘは、ＭｅｔａＢｏｘボックスまたはＭｏｏｖボックスに含まれることができる。
エンティティグループ(ｅｎｔｉｔｙ ｇｒｏｕｐ)は、トラックをグループ化するアイテムのグループである。エンティティグループ内のエンティティは、グループ化タイプによって指示される特定の特性(ｐａｒｔｉｃｕｌａｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ)を共有するか、特定の関係(ｐａｒｔｉｃｕｌａｒ ｒｅｌａｔｉｏｎｓｈｉｐ)を有することができる。
エンティティグループはＧｒｏｕｐｓＬｉｓｔＢｏｘ内で指示される。ＧｒｏｕｐｓＬｉｓｔＢｏｘは、ファイルレベルＭｅｔａＢｏｘボックス、Ｍｏｖｉｅ－レベルＭｅｔａＢｏｘボックス、トラック－レベルＭｅｔａＢｏｘボックスの少なくとも１に含まれる。ｆｉｌｅ－ｌｅｖｅｌ ＭｅｔａＢｏｘのＧｒｏｕｐｓＬｉｓｔＢｏｘで特定されるエンティティグループは、トラックまたはファイル－レベルアイテム(ｆｉｌｅ－ｌｅｖｅｌ ｉｔｅｍｓ)を参照する。ｍｏｖｉｅ－ｌｅｖｅｌ ＭｅｔａＢｏｘのＧｒｏｕｐｓＬｉｓｔＢｏｘで特定されるエンティティグループは、Ｍｏｖｉｅレベルアイテム(ｍｏｖｉｅ－ｌｅｖｅｌ ｉｔｅｍｓ)を参照する。ｔｒａｃｋ－ｌｅｖｅｌ ＭｅｔａＢｏｘのＧｒｏｕｐｓＬｉｓｔＢｏｘ内で特定されるエンティティグループは、そのトラックのトラックレベルアイテム(ｔｒａｃｋ－ｌｅｖｅｌ ｉｔｅｍｓ)を参照する。
ＧｒｏｕｐｓＬｉｓｔＢｏｘは、以下のようにＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘｅｓを含み、各々は１つのエンティティグループを特定する。
Groups List box
Box Type: 'grpl'
Container: MetaBox that is not contained in AdditionalMetadataContainerBox
Mandatory: No
Quantity: Zero or One
ＧｒｏｕｐｓＬｉｓｔＢｏｘは、そのファイルのために特定される(ｓｐｅｃｉｆｉｅｄ)エンティティグループを含む。このボックスはフルボックスのセットを含む。それぞれは定義されたグループ化タイプを示す４－キャラクターコードを有するＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘと呼ばれる。
ＧｒｏｕｐｓＬｉｓｔＢｏｘは、ＡｄｄｉｔｉｏｎａｌＭｅｔａｄａｔａＣｏｎｔａｉｎｅｒＢｏｘ内に存在しなし。
ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルメタボックス(ｆｉｌｅ－ｌｅｖｅｌ ＭｅｔａＢｏｘ)内に存在する場合、以下のようにＴｒａｃｋＨｅａｄｅｒＢｏｘ内のトラックＩＤ値と同一のファイルレベルメタボックスにおけるＩｔｅｍＩｎｆｏＢｏｘ内にアイテムＩＤ値がないことがある。
aligned(8) class GroupsListBox extends Box('grpl') ｛
｝
Box Type: As specified below with the grouping_type value for the EntityToGroupBox
Container: GroupsListBox
Mandatory: No
Quantity: One or more
ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘはエンティティグループを特定する。
ボックスタイプ(ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ)は、エンティティグループのグループ化タイプを示す。各ｇｒｏｕｐｉｎｇ＿ｔｙｐｅコードは、グループ化を説明するセマンティクス(ｓｅｍａｎｔｉｃｓ)に関連する。以下、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ ｖａｌｕｅについて説明する：
'ａｌｔｒ'：このグループ化にマップされるアイテムおよびトラックは互いに置き換えることができ、それらのうちのただ１つは、プレイ(マップされたアイテムおよびトラックがプレゼンテーションの一部となる場合、例えば、ディスプレイ可能なアイテムまたはトラック)されるか、その他の方法(ｏｔｈｅｒ ｍｅａｎｓ)(マップされたアイテムまたはトラックがプレゼンテーションの一部ではない場合、例えば、メタデータ)によって処理できる。プレーヤーは、エンティティＩＤ値(ｅｎｔｉｔｙ＿ｉｄ)のリストから第１のエンティティを選択し、処理することができる。例えば、プレゼンテーションの一部であるマップされたアイテムおよびトラックに対して復号およびプレイする。またアプリケーションのニーズに適合する。エンティティＩＤ値は、タイプ 'ａｌｔｒ'の１つのグループ化のみにマップされる。エンティティの代替グループ(ａｌｔｅｒｎａｔｅ ｇｒｏｕｐ)は、タイプ‘ａｌｔｒ’の同一のエンティティグループにマップされるアイテムおよびトラックからなる。
ノート：ＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘはｇｒｏｕｐｉｎｇ＿ｔｙｐｅに特定な拡張を含む。
aligned(8) class EntityToGroupBox(grouping_type、version、flags) extends FullBox(grouping_type、version、flags) ｛
unsigned int(32) group_id;
unsigned int(32) num_entities_in_group;
for(i=0; i<num_entities_in_group; i++)
unsigned int(32) entity_id;
｝
実施例によるグループＩＤ(ｇｒｏｕｐ＿ｉｄ)は、他のＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘのグループＩＤ(ｇｒｏｕｐ＿ｉｄ)、ＧｒｏｕｐｓＬｉｓｔＢｏｘを含む階層レベル(ｆｉｌｅ、ｍｏｖｉｅ、またはｔｒａｃｋ)のアイテムＩｄ(ｉｔｅｍ＿ＩＤ)値またはトラックＩＤ(ｔｒａｃｋ＿ＩＤ)値(ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれる場合)と同一ではない特定のグループ化に割り当てられるノン－ネガティブ整数(ｎｏｎ－ｎｅｇａｔｉｖｅ ｉｎｔｅｇｅｒ)である。
実施例によるｎｕｍ＿ｅｎｔｉｔｉｅｓ＿ｉｎ＿ｇｒｏｕｐは、このエンティティグループにマップされるエンティティＩＤ(ｅｎｔｉｔｙ＿ｉｄ)値の数を示す。
実施例によるｅｎｔｉｔｙ＿ｉｄは、エンティティＩＤ(ｅｎｔｉｔｙ＿ｉｄ)と同一のアイテムＩＤ(ｉｔｅｍ＿ＩＤ)を有するアイテムがＧｒｏｕｐｓＬｉｓｔＢｏｘを含む階層レベル(ｆｉｌｅ、ｍｏｖｉｅまたはｔｒａｃｋ)内に存在する場合、エンティティＩＤと同一のトラックＩＤ(ｔｒａｃｋ＿ＩＤ)を有するトラックが存在し、ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれる場合にアイテムで解決される(ｉｓ ｒｅｓｏｌｖｅｄ ｔｏ ａｎ ｉｔｅｍ、ｗｈｅｎ ａｎ ｉｔｅｍ ｗｉｔｈ ｉｔｅｍ＿ＩＤ ｅｑｕａｌ ｔｏ ｅｎｔｉｔｙ＿ｉｄ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ｈｉｅｒａｒｃｈｙ ｌｅｖｅｌ (ｆｉｌｅ、ｍｏｖｉｅ ｏｒ ｔｒａｃｋ) ｔｈａｔ ｃｏｎｔａｉｎｓ ｔｈｅ ＧｒｏｕｐｓＬｉｓｔＢｏｘ、ｏｒ ｔｏ ａ ｔｒａｃｋ、ｗｈｅｎ ａ ｔｒａｃｋ ｗｉｔｈ ｔｒａｃｋ＿ＩＤ ｅｑｕａｌ ｔｏ ｅｎｔｉｔｙ＿ｉｄ ｉｓ ｐｒｅｓｅｎｔ ａｎｄ ｔｈｅ ＧｒｏｕｐｓＬｉｓｔＢｏｘ ｉｓ ｃｏｎｔａｉｎｅｄ ｉｎ ｔｈｅ ｆｉｌｅ ｌｅｖｅｌ)。
以下、Ｖ－ＰＣＣグループボックスについて説明する。
Box Type: 'vpcg'
Container: GroupListBox
Mandatory: Yes
Quantity: One or more
上記Ｖ－ＰＣＣグループボックスは、ＧｒｏｕｐｓＬｉｓｔＢｏｘに含まれ、Ｖ－ＰＣＣコンテンツを含むトラックのリストを提供する(Ｔｈｉｓ ｂｏｘ ｉｓ ｉｎｃｌｕｄｅｄ ｉｎ ＧｒｏｕｐｓＬｉｓｔＢｏｘ ａｎｄ ｐｒｏｖｉｄｅｓ ａ ｌｉｓｔ ｏｆ ｔｈｅ ｔｒａｃｋｓ ｔｈａｔ ｃｏｍｐｒｉｓｅ ａ Ｖ－ＰＣＣ ｃｏｎｔｅｎｔ)。
Ｖ－ＰＣＣコンテンツ特定情報、例えば、特質タイプとレイヤを関連トラックにマップするような情報はこのボックスにリストされる。この情報はＶ－ＰＣＣコンテンツを最初に理解するために便利な方法を提供する(Ｖ－ＰＣＣ ｃｏｎｔｅｎｔ ｓｐｅｃｉｆｉｃ ｉｎｆｏｒｍａｔｉｏｎ、ｓｕｃｈ ａｓ ｍａｐｐｉｎｇ ｏｆ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｔｙｐｅｓ ａｎｄ ｌａｙｅｒｓ ｔｏ ｔｈｅ ｒｅｌａｔｅｄ ｔｒａｃｋｓ、ａｒｅ ｌｉｓｔｅｄ ｉｎ ｔｈｉｓ ｂｏｘ. Ｔｈｉｓ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｖｉｄｅｓ ａ ｃｏｎｖｅｎｉｅｎｔ ｗａｙ ｔｏ ｈａｖｅ ａｎ ｉｎｉｔｉａｌ ｕｎｄｅｒｓｔａｎｄｉｎｇ ｏｆ ｔｈｅ Ｖ－ＰＣＣ ｃｏｎｔｅｎｔ)。様々なクライアント機能を支援するＶ－ＰＣＣコンテンツの柔軟な構成のために、符号化されたＶ－ＰＣＣコンポーネントのマルチプルバージョンがこのボックスにリストされる。Ｖ－ＰＣＣで定義されたプロファイル、階層、およびレベル情報も以下のようにこのボックスにおいて伝送される。
aligned(8) class VPCCGroupBox() extends EntityToGroupBox(‘vpcg’、version、flags) ｛
for (i=0;i<num_entities_in_group;i++)｛
unsigned int(4) data_type;
unsigned int(4) attribute_type;
unsigned int(1) multiple_layer_present_flag;
unsigned int(4) layer_count_munus1;
for (i=0;i<layer_count_minus1+1;i++)｛
unsigned int(4) layer_id;
｝
unsigned int(32) entity_id;
｝
unsigned int(4) CC_layer_count_minus1;
vpcc_profile_tier_level()
｝
実施例によるｄａｔａ＿ｔｙｐｅは、参照されたトラック内のＰＣＣデータのトラックタイプを示す。
図２６は、実施例によるデータタイプ(ｄａｔａ＿ｔｙｐｅ)に割り当てられるＰＣＣデータのトラックタイプの一例を示すテーブルである。例えば、ｄａｔａ＿ｔｙｐｅの値が１であるとＶ－ＰＣＣトラックを、２であるとジオメトリビデオトラックを、３であるとは特質ビデオトラックを、４であると占有マップビデオトラックを指示することができる。
実施例によるｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シングルジオメトリまたは特質レイヤまたはマルチプルジオメトリまたは特質レイヤが関連エンティティ(またはトラック)に伝送されるか否かを指示する。例えば、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０の場合は、シングルジオメトリまたは特質レイヤが関連エンティティ(またはトラック)に伝送されることを指示し、１である場合は、マルチプルジオメトリまたは特質レイヤに関連エンティティ(またはトラック)に伝送されることを指示することができる。実施例によるＶ－ＰＣＣトラック(即ち、ｄａｔａ＿ｔｙｐｅがＶ－ＰＣＣトラックを指示)はその値が０のｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを有する。また他の例として、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合は上記ジオメトリビデオトラックはシングルジオメトリレイヤを伝送し、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合は上記ジオメトリビデオトラックはマルチプルジオメトリレイヤを伝送することを指示することができる。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合は上記特質ビデオトラックはシングル特質レイヤを伝送し、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合は上記特質ビデオトラックはマルチプル特質レイヤを伝送することを指示することができる。
実施例によるｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は、関連エンティティ(またはトラック)に伝送されるジオメトリおよび／または特質レイヤの数を指示する。実施例によるＶ－ＰＣＣトラックはその値が０であるｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１を有する。例えば、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １はジオメトリビデオトラックに伝送されるジオメトリレイヤの数を指示することができる。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は特質ビデオトラックに伝送される特質レイヤの数を指示することができる。
実施例によるｌａｙｅｒ＿ｉｄは、関連エンティティ(またはトラック)内のジオメトリおよび／または特質レイヤのレイヤ識別者(ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ)を示す。実施例によるＶ－ＰＣＣトラックは、その値が０であるｌａｙｅｒ＿ｉｄを有する。Ｖ－ＰＣＣコンポーネントトラックタイプのためのｌａｙｅｒ＿ｉｄ値のセットは、増加順に整列され、０から始まる連続するセットの整数である。例えば、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｌａｙｅｒ＿ｉｄはジオメトリレイヤのレイヤ識別者を指示することができる。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｌａｙｅｒ＿ｉｄは特質レイヤのレイヤ識別者を指示することができる。
実施例によるｐｃｃ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｕｎｕｓ１ ｐｌｕｓ １は、ポイントクラウドストリームのジオメトリコンポーネントおよび／または特質コンポーネントを符号化するために使用されたレイヤの数を示す。例えば、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｐｃｃ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｕｎｕｓ１ ｐｌｕｓ １はポイントクラウドストリームのジオメトリコンポーネントを符号化するために使用されたレイヤの数を指示することができる。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｐｃｃ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｕｎｕｓ１ ｐｌｕｓ １はポイントクラウドストリームの特質コンポーネントを符号化するために使用されたレイヤの数を指示することができる。
実施例によるａｔｔｒｉｂｕｔｅ＿ｔｙｐｅは、参照されたエンティティ(またはトラック)内に伝送される特質ビデオデータの特質タイプを示す。
図２７は、 実施例によれば、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅに割り当てられた特質タイプの一例を示す。例えば、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅの値が０である場合はテキスチャーを、１である場合はマテリアルＩＤを、２である場合は透明度を、３である場合は反射率を、４である場合はノーマルを指示することができる。
実施例によるｅｎｔｉｔｙ＿ｉｄは、関連するアイテムまたはトラックのための識別者を示す。ｅｎｔｉｔｙ＿ｉｄと同一のｉｔｅｍ＿ＩＤを有するアイテムがＧｒｏｕｐｓＬｉｓｔＢｏｘを含む階層レベル(ファイル、ムービーまたはトラック)内に存在する場合はアイテムで解決される。または、ｅｎｔｉｔｙ＿ｉｄと同一のｔｒａｃｋ＿ＩＤを有するトラックが存在し、ＧｒｏｕｐｓＬｉｓｔＢｏｘがファイルレベルに含まれる場合はトラックで解決される。
ｖｐｃｃ＿ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ()は、シーケンスパラメータセット(ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())に特定されたｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ()と同様である。
図２８は、実施例によるプロファイルティアレベル(ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ)()のシンタックス構造の一例を示す。
ｐｔｌ＿ｔｉｅｒ＿ｆｌａｇフィールドは、Ｖ－ＰＣＣコンテンツを符号化するために使用されるコーデックプロファイルティアを示す。
ｐｔｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃフィールドは、コードされたポイントクラウドシーケンスが従うプロファイル情報を示す。
ｐｔｌ＿ｌｅｖｅｌ＿ｉｄｃフィールドは、コードされたポイントクラウドシーケンスが従うコーデックプロファイルのレベルを示す。
以下、Ｖ－ＰＣＣトラックについて説明する。
各々のＶ－ＰＣＣコンテンツのエントリーポイントはユニークなＶ－ＰＣＣトラックで表現できる。ＩＳＯＢＭＦＦファイルはマルチプルＶ－ＰＣＣコンテンツを含むことができ、よってマルチプルＶ－ＰＣＣトラックは上記ファイル内に存在する。Ｖ－ＰＣＣトラックは、メディアボックスのハンドラボックス内のボリュームビジュアルメディアボハンドラタイプ‘ｖｏｌｍ’ハンドラタイプによって識別される。
Box Type: 'vohd'
Container: MediaInformationBox
Mandatory: Yes
Quantity: Exactly one
Volumetric tracks use the VolumetricMediaHeaderBox in the MediaInformationBox
aligned(8) class VolumetricMediaHeaderBox extends FullBox('vohd'、version = 0、1) ｛
／／ if we don't need anything here、then use Null Media Header
｝
／／random access point for the patch stream
Ｖ－ＰＣＣトラックのためのランダムアクセスポイントは、空のデコーダバッファ(ｅｍｐｔｙ ｄｅｃｏｄｅｒ ｂｕｆｆｅｒ)内のＩパッチフレームを伝送するサンプルであってもよい。Ｖ－ＰＣＣトラックのためのランダムアクセスポイントを指示するために、ｓｙｎｃｓａｍｐｌｅＢｏｘが存在する。このシンクサンプルはＩパッチフレームを伝送するシンクサンプルを示す。
トラックフラグメントを含むトラック内の一部のサンプルが非シンクサンプルであるが、トラックフラグメント内のサンプルのｆｌａｇ ｓａｍｐｌｅ＿ｉｓ＿ｎｏｎ＿ｓｙｎｃ＿ｓａｍｐｌｅが有効(ｖａｌｉｄ)であり、そのサンプルを説明し、しかもＳｙｎｃＳａｍｐｌｅＢｏｘが存在しない場合でも、上記ＳｙｎｃＳａｍｐｌｅＢｏｘはＳａｍｐｌｅＴａｂｌｅＢｏｘ内に存在する(Ｔｈｅ ＳｙｎｃＳａｍｐｌｅＢｏｘ ｓｈｏｕｌｄ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＳａｍｐｌｅＴａｂｌｅＢｏｘ ｉｆ ｓｏｍｅ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｔｒａｃｋ、ｉｎｃｌｕｄｉｎｇ ａｎｙ ｔｒａｃｋ ｆｒａｇｍｅｎｔｓ、ａｒｅ ｎｏｎ ｓｙｎｃ ｓａｍｐｌｅｓ、ｂｕｔ ｔｈｅ ｆｌａｇ ｓａｍｐｌｅ＿ｉｓ＿ｎｏｎ＿ｓｙｎｃ＿ｓａｍｐｌｅ ｏｆ ｓａｍｐｌｅｓ ｉｎ ｔｒａｃｋ ｆｒａｇｍｅｎｔｓ ｉｓ ｖａｌｉｄ ａｎｄ ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｓａｍｐｌｅｓ、ｅｖｅｎ ｉｆ ｔｈｅ ＳｙｎｃＳａｍｐｌｅＢｏｘ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ)。トラックがフラグメントされず、ＳｙｎｃＳａｍｐｌｅＢｏｘが存在しない場合には、トラック内のすべてのサンプルはシンクサンプルである。
Box Type: 'stbl'
Container: MediaInformationBox
Mandatory: Yes
Quantity: Exactly one
aligned(8) class SampleTableBox extends Box('stbl') ｛
｝
Box Type: 'stss'
Container: SampleTableBox
Mandatory: No
Quantity: Zero or one
このボックスはストリーム内シンクサンプルのコンパクトマーキング(ｃｏｍｐａｃｔ ｍａｒｋｉｎｇ)を提供する。このテーブルは厳しくサンプル番号(ｓａｍｐｌｅ ｎｕｍｂｅｒ)の昇順に配列される。ＳｙｎｃＳａｍｐｌｅＢｏｘが存在しない場合にはすべてのサンプルはシンクサンプルである。
aligned(8) class SyncSampleBox
extends FullBox('stss'、version = 0、0) ｛
unsigned int(32) entry_count;
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(32) sample_number;
｝
｝
ｖｅｒｓｉｏｎは整数であり、このボックスのバージョンを示す。
ｅｎｔｒｙ＿ｃｏｕｎｔは整数であり、以下のテーブルのエントリーの数を提供(ｇｉｖｅ)する。ｅｎｔｒｙ＿ｃｏｕｎｔの値が０である場合は、そのストリーム内シンクサンプルはなく、以下のテーブルは空(ｅｍｐｔｙ)である。
ｓａｍｐｌｅ＿ｎｕｍｂｅｒは、ストリーム内の各シンクサンプル別に、そのサンプル番号を提供する。特に、ｓａｍｐｌｅ＿ｎｕｍｂｅｒはＶ－ＰＣＣトラック内Ｉパッチフレームを伝送する各シンクサンプル別に、そのサンプル番号を提供する(ｓａｍｐｌｅ＿ｎｕｍｂｅｒ ｇｉｖｅｓ、ｆｏｒ ｅａｃｈ ｓｙｎｃ ｓａｍｐｌｅ ｃａｒｒｙｉｎｇ Ｉ－ｐａｔｃｈ ｆｒａｍｅ ｉｎ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ、ｉｔｓ ｓａｍｐｌｅ ｎｕｍｂｅｒ)。
以下、Ｖ－ＰＣＣトラックサンプルエントリーについて説明する。
Sample Entry Type: 'vpc1'
Container: SampleDescriptionBox ('stsd')
Mandatory: A 'vpc1' sample entry is mandatory
Quantity: one or more
トラックサンプルエントリータイプ'ｖｐｃ１'が使用される。Ｖ－ＰＣＣトラックサンプルエントリーは、以下の定義のように、ＶＰＣＣ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｂｏｘを含む。これは、定義のように、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを含む。オプションのＢｉｔＲａｔｅＢｏｘがＶ－ＰＣＣビデオストリームのビットレート情報をシグナルするためにＶ－ＰＣＣトラックサンプルエントリーに存在することがある。
aligned(8) class VPCCDecoderConfigurationRecord ｛
unsigned int(8) configurationVersion = 1;
unsigned int(8) numOfSequenceParameterSets;
for (i=0; i<numOfSequenceParameterSets; i++) ｛
sequence_parameter_set();
｝
／／ additional fields
｝
class VPCCConfigurationBox extends Box('vpcc') ｛
VPCCDecoderConfigurationRecord() VPCCConfig;
｝
aligned(8) class VPCCSampleEntry() extends VolumetricSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
｝
class VolumetricSampleEntry(codingname) extends SampleEntry (codingname)｛
｝
ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎはバージョンフィールドである。そのレコードに対する非互換性変更(Ｉｎｃｏｍｐａｔｉｂｌｅ ｃｈａｎｇｅｓ ｔｏ ｔｈｅ ｒｅｃｏｒｄ)は、バージョン番号の変更によって指示される。
ｎｕｍＯｆＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔｓはデコーダＣｏｎｆｉｇｕｒａｔｉｏｎレコードにシグナルされたＶ－ＰＣＣシーケンスパラメータセットの数を示す。
ベースクラスＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ内コンプレッサ名は、推奨される値“＼０１２ＶＰＣＣ Ｃｏｄｉｎｇ”において使用されたコンプレッサの名前を示す。
Ｖ－ＰＣＣ明細(ｓｐｅｃｉｆｉｃａｔｉｏｎ)はＶＰＣＣ＿ＳＰＳユニットのマルチプルインスタンス(１～１５までｉｄｓ 内)を許容する。従って、ＶＰＣＣＳａｍｐｌｅＥｎｔｒｙはマルチプルｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔユニットペイロードを含む。
以下、Ｖ－ＰＣＣサンプルフォーマットについて説明する。
Ｖ－ＰＣＣトラック内の各サンプルはシングルポイントクラウドフレームに対応する。
様々なコンポーネントトラック内においてこのフレームに対応するサンプルは、Ｖ－ＰＣＣトラック内フレームのためのＶ－ＰＣＣトラックサンプルと同一のコンポジションタイムを有する。
各Ｖ－ＰＣＣサンプルは、そのＶ－ＰＣＣユニットヘッダ内タイプ情報がパッチデータグループ(ＰＤＧ)を指示する１つのＶ－ＰＣＣユニットペイロードのみを含む。このＶ－ＰＣＣユニットペイロードは、図２４のように、１つ以上のパッチタイルグループユニットペイロードを含む。
aligned(8) class vpcc_unit_payload_struct ｛
vpcc_unit_payload();
｝
aligned(8) class VPCCSample ｛
vpcc_unit_payload_struct();
｝
ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ()は、そのＶ－ＰＣＣユニットヘッダ内のタイプ情報がパッチデータグループ(ＰＤＧ)を指示するＶ－ＰＣＣユニットのペイロードであり、１つのｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ()インスタンスを含む。
Ｖ－ＰＣＣトラックに対して、Ｉパッチフレームを伝送するサンプルはシンクサンプルとして定義される。
以下、Ｖ－ＰＣＣトラック参照について説明する。
Ｖ－ＰＣＣトラックをコンポーネントビデオトラックにリンクするために、ＩＳＯＢＭＦＦ規格のトラック参照ツールを使用する。３つのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓがＶ－ＰＣＣトラックのトラックボックス内のＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘに各コンポーネント別に１回追加される。
ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘは、Ｖ－ＰＣＣトラックを参照するビデオトラックを指定する(ｄｅｓｉｇｎａｔｉｎｇ)ｔｒａｃｋ＿ＩＤｓのアレイを含む。
ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅはそのコンポーネント(即ち、ジオメトリ、特質、または占有マップ)のタイプを識別する。新しいトラック参照タイプの４ＣＣには'ｐｃｃａ'、'ｐｃｃｇ'、'ｐｃｃｏ'などがある。
'ｐｃｃａ'タイプにおいて、参照された(ｒｅｆｅｒｅｎｃｅｄ)トラックはビデオコードされた特質Ｖ－ＰＣＣコンポーネントを含む。
'ｐｃｃｇ'タイプにおいて、参照されたトラックはビデオコードされたジオメトリＶ－ＰＣＣコンポーネントを含む。
'ｐｃｃｏ'タイプにおいて、参照されたトラックはビデオコードされた占有マップＶ－ＰＣＣコンポーネントを含む。
以下、ビデオ符号化されたＶ－ＰＣＣコンポーネントトラック(ｖｉｄｅｏ ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)について説明する。
プレーヤー側でポイントクラウドを再構成せず、特質、ジオメトリまたは占有マップトラックから復号されたフレームをディスプレイすることは意味がないため、制限されたビデオスキームタイプがそのビデオ－コードされたトラックのために定義される。Ｖ－ＰＣＣビデオトラックは４ＣＣ識別者'ｐｃｃｖ'を含む。この４ＣＣ識別者'ｐｃｃｖ'が、制限されたサンプルエントリーのＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘのＳｃｈｅｍｅＴｙｐｅＢｏｘのｓｃｈｅｍｅ＿ｔｙｐｅ ｆｉｅｌｄに含まれる。
制限されたビデオサンプルエントリータイプ'ｒｅｓｖ'のためのＶ－ＰＣＣビデオスキームの使用は、復号されたピクチャーがポイントクラウドの特質、ジオメトリ、または占有マップデータを含むことを示す。
Ｖ－ＰＣＣビデオスキームの使用は、ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘのＳｃｈｅｍｅＴｙｐｅＢｏｘにおいて'ｐｃｃｖ'(ビデオベースポイントクラウドビデオ)と同一のｓｃｈｅｍｅ＿ｔｙｐｅによって表現される。
このボックスは、このトラックのＶ－ＰＣＣ特定情報を示すボックスを含むコンテナである。ＶＰＣＣＶｉｄｅｏＢｏｘは、トラック内のすべてのサンプルに適用可能なＰＣＣ特定パラメータを提供する。
Box Type: 'pccv'
Container: SchemeInformationBox
Mandatory: Yes、when scheme_type is equal to 'pccv'
Quantity: Zero or one
aligned(8) class VPCCVideoBox extends FullBox(’vpcc’、0、0) ｛
unsigned int(4) data_type;
unsigned int(4) attribute_count;
for(int i=0; i<attribute_count+1;i++) ｛
unsigned int(4) attribute_type;
｝
unsigned int(1) multiple_layer_present_flag;
unsigned int(4) layer_count_minus1;
for (i = 0 ; i< layer_count_minus1+1 ; i++) ｛
unsigned int(4) layer_id;
｝
｝
ｄａｔａ＿ｔｙｐｅは、該当トラックに含まれたビデオサンプルが包含するデータタイプを示す。
図２９は、実施例による参照されたトラック内ＰＣＣデーのタイプの一例を示す。例えば、ｄａｔａ＿ｔｙｐｅの値が１である場合はＶ－ＰＣＣトラックを、２である場合はジオメトリビデオトラックを、３である場合は特質ビデオトラックを、４である場合は占有マップビデオトラックを指示する。
ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シングルジオメトリまたは特質レイヤまたはマルチプルジオメトリまたは特質レイヤがこのトラックに伝送されるか否かを指示する。例えば、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０であればシングルジオメトリまたは特質レイヤがこのトラックに伝送されることを指示し、１であればマルチプルジオメトリまたは特質レイヤがこのトラックに伝送されることを指示する。また他の例として、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であれば、上記ジオメトリビデオトラックはシングルジオメトリレイヤを伝送し、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であれば、上記ジオメトリビデオトラックはマルチプルジオメトリレイヤを伝送することを指示する。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であれば、上記特質ビデオトラックはシングル特質レイヤを伝送し、ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であれば、上記特質ビデオトラックはマルチプル特質レイヤを伝送することを指示する。
ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は、このトラックに伝送されるジオメトリおよび／または特質レイヤの数を指示する。例えば、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １はジオメトリビデオトラックに伝送されるジオメトリレイヤの数を指示する。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は特質ビデオトラックに伝送される特質レイヤの数を指示する。
ｌａｙｅｒ＿ｉｄは、このトラック内サンプルに関連するジオメトリおよび／または特質レイヤのレイヤ識別者(ｌａｙｅｒ ｉｄｅｎｔｉｆｉｅｒ)を示す。例えば、上記ｄａｔａ＿ｔｙｐｅがジオメトリビデオトラックを指示する場合、ｌａｙｅｒ＿ｉｄはジオメトリレイヤのレイヤ識別者を指示する。また他の例として、上記ｄａｔａ＿ｔｙｐｅが特質ビデオトラックを指示する場合、ｌａｙｅｒ＿ｉｄは特質レイヤのレイヤ識別者を指示する。ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔは、該当トラックに含まれたポイントクラウドストリームの特質データの数を示すことができる。１つのトラックに１つ以上の特質データが含まれてもよい。この場合、上記ｄａｔａ＿ｔｙｐｅは特質ビデオトラックを指示することを一実施例とする。
ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅは、該当トラックに伝送される特質ビデオデータの特質タイプを示す。
図３０は、実施例による特質タイプの一例を示す。例えば、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅフィールドの値が０であればテキスチャーを、１であればマテリアルＩＤを、２であれば透明度を、３であれば反射率を、４であればノーマルを示す。
ＶＰＣＣＶｉｄｅｏＢｏｘ内に存在するフィールド値がアイテムに関連するシグナリングに含まれる場合、該当アイテム(イメージ)に対する上記情報を示すことができる。
以下、特質サンプルグループ化(ａｔｔｒｉｂｕｔｅ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
トラックがポイントクラウドの特質データを含む場合、１つ以上の特質タイプのデータを含むことができる。この場合、以下のように、該当トラックに含まれたサンプルが包含するデータ特質タイプをシグナリングすることができる。
class PCCAttributeSampleGroupEntry extends VisualSampleGroupEntry('pcca') ｛
unsigned int(4) attribute_type;
｝
ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅは、該当トラック内の関連するサンプルに伝送される特質ビデオデータの特質タイプを示す。
図３１は、実施例による特質タイプの一例を示す。例えば、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅフィールドの値が０であればテキスチャーを、１であればマテリアルＩＤを、２であれば透明度 を、３であれば反射率を、４であればノーマルを示す。
以下、レイヤサンプルグループ化について説明する。
トラックのポイントクラウドの同一のデータタイプ(例えば、ジオメトリデータ、特質データ)の１つ以上のレイヤと関連するデータを含むことができる。この場合、以下のように、該当トラックに含まれたサンプルが包含するデータのレイヤ関連情報をシグナリングすることができる。
class PCCLayerSampleGroupEntry extends VisualSampleGroupEntry('pccl') ｛
unsigned int(4) pcc_layer_count_minus1;
unsigned int(4) layer_id;
｝
ｐｃｃ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は、ポイントクラウドストリームのジオメトリと特質コンポーネントを符号化するために使用されたレイヤの数を示す。
ｌａｙｅｒ＿ｉｄは該当トラック内の関連したサンプルのためのレイヤ識別者を示す。
以下、レイヤトラッキンググループ化について説明する。
Ｖ－ＰＣＣの観点より、ジオメトリに加えて、すべての他のタイプの情報(占有とパッチ情報以外)は、同一数のレイヤを有してもよい。また、同一レイヤインデックスがタグ(ｔａｇ)されたすべての情報(ジオメトリ／特質)は互いに関係する。即ち、同一レイヤインデックスがタグされた情報は、３Ｄ空間において同様に再構成されたポイントを参照する。
レイヤインデックスＭを有する特質を再構成するために、インデックスＭを有するジオメトリレイヤも利用される(ｂｅ ａｖａｉｌａｂｌｅ)。もし、ある理由によってそのジオメトリレイヤが無くなる場合、両方は互いに‘ｌｉｎｋｅｄ’であるため、その特質情報は必要ない。
レンダリングの観点より、その情報は‘ａｕｇｍｅｎｔｉｎｇ’再構成されたポイントクラウドとみなされる。これは一部のレイヤを捨てることで(ｂｙ ｄｉｓｃａｒｄｉｎｇ ｓｏｍｅ ｌａｙｅｒｓ)、合理的な再構成(ｒｅａｓｏｎａｂｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)が得られることを意味する。しかし、レイヤ０は廃棄(ｄｉｓｃａｒｄ)しないことを一実施例とする。
同一のレイヤに属するトラックは、ｔｒａｃｋ＿ｇｒｏｕｐ＿ｔｙｐｅ ’ｐｃｃｌ'に対して同一値のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄを有し、１つのレイヤからのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄは、相違するレイヤからのトラックのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄとは異なることを一実施例とする。
基本的に(ｂｙ ｄｅｆａｕｌｔ)、このトラックグループ化がファイル内のトラック(ａｎｙ ｔｒａｃｋ)に対して指示されない場合、そのファイルは一レイヤのみのためのコンテンツを含むものとみなされる。
aligned(8) class PCCLayerTrackGroupBox extends TrackGroupTypeBox('pccl') ｛
unsigned int(4) pcc_layer_count_minus1;
unsigned int(4) layer_id;
｝
ｐｃｃ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１ ｐｌｕｓ １は、ポイントクラウドストリームのジオメトリおよび／または特質コンポーネントを符号化するために使用されたレイヤの数を示す。
ｌａｙｅｒ＿ｉｄは、該当トラックに伝送される関連ｐｃｃデータ(例えば、ジオメトリおよび／または特質)レイヤのためのレイヤ識別者を示す。
これは、図２０のプレーヤーまたは図１、図１９、図２０、あるいは図２２のレンダラーに、同一のトラックグループに属するトラックのデータは同一レイヤのポイントクラウドを復元するのに使用されることを知らせることができる。
今までの説明のように、本明細書は、クライアント／プレーヤーが、必要に応じて、特質非ストリームを選択して使用できるようにするためのシグナリング情報をＶ－ＰＣＣトラックと特質トラックのうちの少なくとも１つにシグナリングしている。
また、本明細書は、Ｖ－ＰＣＣトラック内サンプルのうちランダムアクセスポイントに関連するシグナリング情報をＶ－ＰＣＣトラックと特質トラックのうちの少なくとも１つにシグナリングしている。
よって、クライアント／プレーヤーは、ランダムアクセスポイントに関連するシグナリング情報を取得し、シグナリング情報に基づいて必要な特質ビットストリームを取得して使用することができるため、効率的でより早いデータ処理が可能となる。
また、本明細書は、ファイル内ジオメトリおよび／または特質ビデオデータがマルチプルレイヤからなる場合、共に使用されるトラックグループ化情報をＶ－ＰＣＣトラックと該当ビデオトラック(即ち、ジオメトリトラックまたは特質トラック)のうちの少なくとも１つにシグナリングしている。
また、本明細書は、１つのトラックにジオメトリおよび／または特質ビデオデータがマルチプルレイヤとして構成される場合、これに対するサンプルグループ化情報をＶ－ＰＣＣトラックと該当ビデオトラック(即ち、ジオメトリトラックまたは特質トラック)のうちの少なくとも１つにシグナリングしている。
また、本明細書は、１つのトラックに複数の特質ビデオデータが含まれる場合、これに対するサンプルグループ化情報をＶ－ＰＣＣトラックと特質トラックのうちの少なくとも１つにシグナリングしている。
一方、ポイントクラウドデータの対象となるパッチフレーム(またはポイントクラウド客体またはアトラスフレームという)は、上述のように、１つ以上のタイル(ｏｎｅ ｏｒ ｍｕｌｔｉｐｌｅ ｔｉｌｅｓ)に分割されてもよい。実施例によるタイルは、３Ｄ空間上で一定の領域を示してもよく、２Ｄ平面上で一定の領域を示してもよい。また、タイルは１つのバウンディングボックス内の直六面体(ｒｅｃｔａｎｇｕｌａｒ ｃｕｂｏｉｄ)またはサブ－バウンディングボックスまたはパッチフレームの一部になってもよい。本明細書において、パッチフレーム(またはポイントクラウド客体)を１つ以上のタイルに分割することは、図１のポイントクラウドビデオエンコーダ、図１８のパッチ生成部、図２０のポイントクラウド前処理部、または図２１のパッチ生成部において行われてもよく、別のコンポーネント／モジュールで行われてもよい。
図３２は、パッチフレームの１つ以上をロー方向に分割して、１つ以上をカラム方向に分割し、１つのパッチフレームを複数のタイルに分割する例を示す。１つのタイルは１つのパッチフレーム内の直方形領域(ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ)であり、タイルグループはパッチフレーム内の複数のタイル(ａ ｎｕｍｂｅｒ ｏｆ ｔｉｌｅｓ)を含むことができる。本明細書は、タイルグループはパッチフレームの直方形(または四角形)領域を集合的に(ｃｏｌｌｅｃｔｉｖｅｌｙ)形成するパッチフレームの複数のタイルを含む。特に、図３２のパッチフレームは２４つのタイル(＝カラム方向の６つのタイル＊ロー方向の４つのタイル)に分割され、９つの直方形(または四角形)パッチタイルグループに分割された例を示す。
このとき、図２４のＰＣＣユニットヘッダのタイプ情報が少なくとも１つ以上のパッチを含むパッチデータグループ(ＶＰＣＣ－ＰＤＧ)を指示する場合、該当Ｖ－ＰＣＣユニットペイロードはパッチデータグループを含み、逆に、Ｖ－ＰＣＣユニットペイロードがパッチデータグループを含む場合、該当Ｖ－ＰＣＣユニットヘッダのタイプ情報がこれを識別することができる。
このパッチデータグループは、１つ以上のパッチタイルグループ(ｐａｔｃｈ ｔｉｌｅ ｇｒｏｕｐ)の情報とパッチシーケンスパラメータセット(ｐａｔｃｈ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、パッチフレームパラメータセット、パッチフレームジオメトリパラメータセット、ジオメトリパッチパラメータセット、パッチフレーム特質パラメータセット、特質パッチパラメータセットのうちの少なくとも１つを含んでもよい。
図３３は、実施例による各Ｖ－ＰＣＣユニットのシンタックス構造の一例を示す。各Ｖ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダとＶ－ＰＣＣユニットペイロードとからなる。図３３のＶ－ＰＣＣユニットは、より多いデータを含むことができ、この場合、ｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓフィールドをさらに含むことができる。実施例によるｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓフィールドは０ｘ００に該当するバイトである。
図３４は、実施例によるＶ－ＰＣＣユニットヘッダのシンタックス構造の一例を示す。図３４のＶ－ＰＣＣユニットヘッダ(ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ())は、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドを含むことを一実施例とする。ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドは、該当Ｖ－ＰＣＣユニットのタイプを指示する。
図３５は、実施例によるｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドに割り当てられるＶ－ＰＣＣユニットのタイプを一例を示す。
図３５を参照すれば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が０であれば、該当Ｖ－ＰＣＣユニットのＶ－ＰＣＣユニットペイロードに含まれるデータはシーケンスパラメータセット(ＶＰＣＣ＿ＳＰＳ)であることを指示し、１であればパッチデータグループ(ＶＰＣＣ＿ＰＤＧ)であることを指示し、２であれば占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)であることを指示し、３であれば特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)であることを指示し、４であればジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)であることを指示することを一実施例とする。
ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドに割り当てられる値の意味、手順、削除、追加などは当業者によって容易に変更可能であるため、本発明は上記実施例に限らない。
このとき、Ｖ－ＰＣＣユニットペイロードは、ＨＥＶＣ ＮＡＬユニットのフォーマットに従う。即ち、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールド値による占有、ジオメトリまた特質ビデオデータＶ－ＰＣＣユニットペイロードは、その占有、ジオメトリ、また特質パラメータセットＶ－ＰＣＣユニットにおいて特定された(ｓｐｅｃｉｆｉｅｄ)ビデオデコーダによって復号可能なビデオデータユニット(例えば、ＨＥＶＣ ＮＡＬユニット)に該当する。
ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドが特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)またはジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)または占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)またはパッチデータグループ(ＶＰＣＣ＿ＰＤＧ)を指示する場合、該当Ｖ－ＰＣＣユニットヘッダはｖｐｃｃ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドをさらに含むことを一実施例とする。
このｖｐｃｃ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドは、アクティブシーケンスパラメータセット(ＶＰＣＣ ＳＰＳ)の識別者(即ち、ｓｐｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ)を示す(ｓｐｅｃｉｆｙ)。ｓｐｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドの値は０～１５の範囲内であってもよい。
ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドが特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示する場合、Ｖ－ＰＣＣユニットヘッダは、ｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘフィールドとｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘフィールドをさらに含むことを一実施例とする。
このｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘフィールドは、特質ビデオデータユニットに伝送(ｃａｒｒｙ)される特質ビデオデータのインデックスを示す。このｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘフィールドの値は０から(ａｉ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔ‐１)までの範囲内であってもよい。
このｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘフィールドは、特質ビデオデータユニットに伝送(ｃａｒｒｙ)される特質ディメンジョングループのインデックスを示す。このｖｐｃｃ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘフィールドの値は０～１２７の範囲内であってもよい。
図３４のＶ－ＰＣＣユニットヘッダのｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドは、ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドとｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(１１)フィールドを含むか否かを指示する。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示し、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｔｒｕｅ(例、０)であれば、該当Ｖ－ＰＣＣユニットヘッダにｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドとｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(１１)フィールドをさらに含む。即ち、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｔｒｕｅであれば、特質ビデオデータまたはジオメトリビデオデータのためのマルチプルレイヤが存在することを意味する。この場合、現在レイヤのインデックスを示すフィールド(例、ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘ)が必要である。
このｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドは、特質ビデオデータの現在レイヤのインデックスを示す。ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドは０～１５の間の値を有する。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示し、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｆａｌｓｅ(例、１)であれば、該当Ｖ－ＰＣＣユニットヘッダにｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(１５)フィールドをさらに含む。即ち、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｆａｌｓｅであれば、特質ビデオデータおよび／またはジオメトリビデオデータのためのマルチプルレイヤが存在しないことを意味する。この場合、現在レイヤのインデックスを示すフィールドは不要である。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)を指示し、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｔｒｕｅ(例、０)であれば、該当Ｖ－ＰＣＣユニットヘッダにｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドとｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(１８)フィールドをさらに含む。
ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドは、ジオメトリビデオデータの現在レイヤのインデックスを示す。ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドは０から１５の間の値を有する。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)を指示し、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｆａｌｓｅ(例、１)であれば、該当Ｖ－ＰＣＣユニットヘッダにｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(２２)フィールドをさらに含む。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)を指示するか、パッチデータグループ(ＶＰＣＣ＿ＰＤＧ)を指示する場合、該当Ｖ－ＰＣＣユニットヘッダにｖｐｃｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２３ｂｉｔｓフィールドをさらに含み、そうではない場合は、ｖｐｃｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２７ｂｉｔｓフィールドをさらに含む。
一方、図３４のＶ－ＰＣＣユニットヘッダは、ｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドをさらに含んでもよい。
例えば、このｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が１であれば、関連するジオメトリビデオデータユニットまたは特質ビデオデータユニットは、ＰＣＭ(Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ)コードされたポイント(ｐｏｉｎｔｓ)のみを含むことを指示することができる。別の例として、ｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が０であれば、関連するジオメトリビデオデータユニットまたは特質ビデオデータユニットは、ｎｏｎ－ＰＣＭコードされたポイントを含むことを指示することができる。ｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドが存在しない場合は、そのフィールド値は０であることが推論できる。
図３６は、実施例によるＶ－ＰＣＣユニットヘッダに含まれるｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(ｂｉｔＣｏｕｎｔ)のシンタックス構造の一例を示す。
図３６において、ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａのｂｉｔＣｏｕｎｔは、上述のように、図３４のＶ－ＰＣＣユニットヘッダ内のｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールド値に応じて異なる。
ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｄａｔａ(ｂｉｔＣｏｕｎｔ)は、ｓｐｓ＿ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｔｒｕｅであり、ｖｐｃｃ＿ｌａｙｅｒ＿ｉｎｄｅｘフィールドではない場合、ｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドとｖｐｃｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔｃｏｕｎｔ＿ｂｉｔｓフィールドを含み、そうでばない場合は、ｖｐｃｃ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｂｉｔｃｏｕｎｔｐｌｕｓ１＿ｂｉｔｓフィールドを含むことができる。
このｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が１であれば、関連するジオメトリまたは特質ビデオデータユニットがＰＣＭコードされたポイントビデオのみであることを指示することができる。また、このｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が０であれば、関連するジオメトリまたは特質ビデオデータユニットがＰＣＭコードされたポイントを含むことを指示することができる。このｖｐｃｃ＿ｐｃｍ＿ｖｉｄｅｏ＿ｆｌａｇフィールドが存在しない場合は、その値は０であるとみなされる。
図３７は、実施例によるＶ－ＰＣＣユニットペイロードのシンタックス構造の一例を示す。
図３７のＶ－ＰＣＣユニットペイロードは、該当Ｖ－ＰＣＣユニットヘッダのｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールド値に応じてシーケンスパラメータセット(ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())、パッチデータグループ(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ())、ビデオデータユニット(ｖｉｄｅｏ＿ｄａｔａ＿ｕｎｉｔ())のうちの１つを含む。
例えば、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドがシーケンスパラメータセット(ＶＰＣＣ＿ＳＰＳ)を指示する場合、Ｖ－ＰＣＣユニットペイロードは、シーケンスパラメータセット(ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含み、パッチデータグループ(ＶＰＣＣ＿ＰＤＧ)を指示する場合は、パッチデータグループ(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ())を含む。また、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドが占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)を指示する場合、Ｖ－ＰＣＣユニットペイロードは、占有ビデオデータを伝送する占有ビデオデータユニット(ｖｉｄｅｏ＿ｄａｔａ＿ｕｎｉｔ())を含み、ジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)を指示する場合は、ジオメトリビデオデータを伝送するジオメトリビデオデータユニット(ｖｉｄｅｏ＿ｄａｔａ＿ｕｎｉｔ())を含み、特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示する場合は、特質ビデオデータを伝送する特質ビデオデータユニット(ｖｉｄｅｏ＿ｄａｔａ＿ｕｎｉｔ())を含むことを一実施例とする。
図３８は、実施例によるＶ－ＰＣＣユニットペイロードに含まれるシーケンスパラメータセット()のシンタックス構造の一例を示す。
図３８のシーケンスパラメータセット(ＳＰＳ)は、コードされたジオメトリビデオデータユニット、特質ビデオデータユニット、占有ビデオデータユニットのシーケンスを含むコードされたポイントクラウドシーケンスに適用することができる。
図３８のシーケンスパラメータセット(ＳＰＳ)は、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ()、ｓｐｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールド、ｓｐｓ＿ｆｒａｍｅ＿ｗｉｄｔｈフィールド、ｓｐｓ＿ｆｒａｍｅ＿ｈｅｉｇｈｔフィールド、ｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドを含むことができる。
このｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ()は、シーケンスパラメータセットを圧縮するために使用されるコーデック情報を示す。
このｓｐｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドは、他のシンタックス要素 による参照のためにシーケンスパラメータセットの識別者を提供する。
このｓｐｓ＿ｆｒａｍｅ＿ｗｉｄｔｈフィールドは、整数(ｉｎｔｅｇｅｒ)ルーマサンプルに関連して(ｉｎ ｔｅｒｍｓ ｏｆ) ｎｏｍｉｎａｌフレームの幅を示す。
このｓｐｓ＿ｆｒａｍｅ＿ｈｅｉｇｈｔフィールドは、整数ルーマサンプルに関連して(ｉｎ ｔｅｒｍｓ ｏｆ) ｎｏｍｉｎａｌフレームの高さを示す。
このｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドはこのビットストリームに平均名目フレームレート情報(ａｖｅｒａｇｅ ｎｏｍｉｎａｌ ｆｒａｍｅ ｒａｔｅ ｉｎｆｏｒｍａｔｉｏｎ)の有無を指示する。例えば、ｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が０であれば、このビットストリームには平均名目フレームレート情報がないことを示す。このｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が１であれば、平均名目フレームレート情報がこのビットストリームにおいて表示されることを示すことができる。例えば、ｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値がｔｒｕｅ、即ち1であれば、シーケンスパラメータセットは、ｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅフィールド、ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｆｏｒ＿ｄｅｐｔｈ＿ｆｌａｇフィールド、ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドをさらに含むことができる。
このｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅフィールドは、２５６秒当たりポイントクラウドフレームの単位で、平均名目ポイントクラウドフレームレート(ａｖｅｒａｇｅ ｎｏｍｉｎａｌ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ ｒａｔｅ)を指示する。このｓｐｓ＿ａｖｇ＿ｆｒａｍｅ＿ｒａｔｅフィールドが存在しない場合、そのフィールドの値は０となる。再構成フェーズの間、復号された占有、ジオメトリ、また特質ビデオは、適切なスケーリングを使用して名目幅、高さ、およびフレームレートに変換される。
ｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｆｏｒ＿ｄｅｐｔｈ＿ｆｌａｇフィールドは、復号された占有マップビデオが２つの深さレイヤの間の中間深さ位置(ｉｎｔｅｒｍｅｄｉａｔｅ ｄｅｐｔｈ ｐｏｓｉｔｉｏｎｓ)が占有(ｏｃｃｕｐｉｅｄ)されるか否かの情報を含むことを指示する。例えば、このｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｆｏｒ＿ｄｅｐｔｈ＿ｆｌａｇフィールドの値が１であれば、復号された占有マップビデオが２つの深さレイヤの間の中間深さ位置が占有されるか否かに関する情報の有無を指示することができる。このｓｐｓ＿ｅｎｈａｎｃｅｄ＿ｏｃｃｕｐａｎｃｙ＿ｍａｐ＿ｆｏｒ＿ｄｅｐｔｈ＿ｆｌａｇフィールドの値が０であれば、復号された占有マップビデオが２つの深さレイヤの間の中間深さ位置が占有されるか否かに関する情報を含まないことを指示することができる。
ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドは、ジオメトリと特質ビデオデータを符号化するために使用されたレイヤの数が異なるか否かを指示する。例えば、ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドの値が１であれば、ジオメトリと特質ビデオデータを符号化するために使用されたレイヤの数が異なることを示すことができる。一例として、２つのレイヤはジオメトリビデオデータの符号化のために用いられてもよく、１つのレイヤはは特質ビデオデータの符号化のためにもちいられてもよい。また、ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドの値が１であれば、ジオメトリと特質ビデオデータを符号化するために用いられたレイヤの数がパッチシーケンスデータユニットにシグナリングされるか否かを指示する。
ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドは、ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｇｅｏｍｅｔｒｙ＿ｍｉｎｕｓ１フィールドとｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドの有無を指示する。例えば、ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドの値がｔｒｕｅ(例、１)であれば、ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｇｅｏｍｅｔｒｙ＿ｍｉｎｕｓ１フィールドをさらに含み、ｆａｌｓｅ(例、０)であれば、ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドをさらに含むことができる。
ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｇｅｏｍｅｔｒｙ＿ｍｉｎｕｓ１フィールドは、ジオメトリビデオデータを符号化するために使用されたレイヤの数を示す。
ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドは、ジオメトリと特質ビデオデータを符号化するために使用されたレイヤの数を示す。
ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドの値が０より大きい場合、シーケンスパラメータセットは、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドとｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ [０]＝１フィールドをさらに含むことができる。
ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドは、ジオメトリレイヤまたは特質レイヤがシングルビデオストリームに位置するか、または別のビデオストリームに位置するかを指示する。例えば、ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が０であれば、すべてのジオメトリレイヤまたは特質レイヤがシングルジオメトリビデオストリームまたはシングル特質ビデオストリームにそれぞれ位置(ａｒｅ ｐｌａｃｅｄ)することを指示する。ｓｐｓ＿ｍｕｌｔｉｐｌｅ＿ｌａｙｅｒ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が１であれば、すべてのジオメトリレイヤまたは特質レイヤが別のビデオストリーム(ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ)に位置(ａｒｅ ｐｌａｃｅｄ)することを指示することができる。
また、シーケンスパラメータセット(ＳＰＳ)は、ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドの値だけ繰り返される繰り返し文を含むが、この繰り返し文は、ｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドを含む。このとき、ｉは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｉ値がｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１フィールドの値になるまで繰り返し文が繰り返されることを一実施例とする。これに加えて、ｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドの値が０であり、ｉ値が０より大きいと、ｓｐｓ＿ｌａｙｅｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆフィールドをさらに含み、そうではない場合は、ｓｐｓ＿ｌａｙｅｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆフィールドを含まない。
ｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ 「ｉ]フィールドの値１であれば、インデックスｉを有するジオメトリレイヤがどんな形式のレイヤであるかを予測せずに(ｗｉｔｈｏｕｔ ａｎｙ ｆｏｒｍ ｏｆ ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ)コードされることを指示できる。ｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ [ｉ]フィールドの値が０であれば、インデックスｉを有するジオメトリレイヤが、コーディングの前に、他の(ａｎｏｔｈｅｒ)、先(ｅａｒｌｉｅｒ)にコードされたレイヤから一番目に予測されることを指示できる。
ｓｐｓ＿ｌａｙｅｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆ [ｉ]フィールドは、ｓｐｓ＿ｌａｙｅｒ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ [ｉ]フィールドの値が０であれば、インデックスｉを有するジオメトリレイヤの予測機(ｐｒｅｄｉｃｔｏｒ)の算出のために使用されることを示す。
本明細書によるシーケンスパラメータセット(ＳＰＳ)は、ｓｐｓ＿ｐｃｍ＿ｐａｔｃｈ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドをさらに含んでもよい。ｓｐｓ＿ｐｃｍ＿ｐａｔｃｈ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドは、ｓｐｓ＿ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールド、ｏｃｃｕｐａｎｃｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()、ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()、およびｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔフィールドの有無を指示する。例えば、ｓｐｓ＿ｐｃｍ＿ｐａｔｃｈ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドが１であれば、ｓｐｓ＿ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールド、ｏｃｃｕｐａｎｃｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()、ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()、およびｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔフィールドをさらに含んでもよい。即ち、ｓｐｓ＿ｐｃｍ＿ｐａｔｃｈ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドが１であれば、ＰＣＭコードされたポイントを有するパッチがそのビットストリームに存在することを指示する。
ｓｐｓ＿ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドは、ＰＣＭコードされたジオメトリビデオデータと特質ビデオデータが別のビデオストリームに格納されるか否かを指示する。例えば、ｓｐｓ＿ｐｃｍ＿ｓｅｐａｒａｔｅ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が１であれば、ＰＣＭコードされたジオメトリビデオデータと特質ビデオデータが別のビデオストリーム(ｓｅｐａｒａｔｅ ｖｉｄｅｏ ｓｔｒｅａｍ)に格納されることを指示する。
ｏｃｃｕｐａｎｃｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()は、占有マップに関する情報を含む。
ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()は、ジオメトリビデオデータに関する情報を含む。
ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔフィールドは、そのポイントクラウドに関連する特質の数を指示する。
また、本明細書によるシーケンスパラメータセット(ＳＰＳ)は、ｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔフィールドの値だけ繰り返される繰り返し文を含むが、この繰り返し文は、ｓｐｓ＿ｇｅｏｍｅｔｒｙ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｆｆｅｒｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇフィールドが１であれば、ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｍｉｎｕｓ１フィールドとａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()を含むことを一実施例とする。この繰り返し文において、ｉは０に初期化され、繰り返し文が行われるたびに１ずつ増加し、ｉ値がｓｐｓ＿ａｔｔｒｉｂｕｔｅ＿ｃｏｕｎｔフィールドの値になるまで繰り返されることを一実施例とする。
ｓｐｓ＿ｌａｙｅｒ＿ｃｏｕｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｍｉｎｕｓ１ [ｉ]フィールドは、該当ポイントクラウドに関連するｉ番目の特質ビデオデータを符号化するために使用されたレイヤの数を示す。
ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ(ｉ)は、該当ポイントクラウドに関連するｉ番目の特質ビデオデータに関する情報を含む。
本明細書によるシーケンスパラメータセット(ＳＰＳ)は、 ｓｐｓ＿ｐａｔｃｈ＿ｓｅｑｕｅｎｃｅ＿ｏｒｉｅｎｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールド、ｓｐｓ＿ｐａｔｃｈ＿ｉｎｔｅｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールド、ｓｐｓ＿ｐｉｘｅｌ＿ｄｅｉｎｔｅｒｌｅａｖｉｎｇ＿ｆｌａｇフィールド、ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールド、ｓｐｓ＿ｒｅｍｏｖｅ＿ｄｕｐｌｉｃａｔｅ＿ｐｏｉｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールド、およびｂｙｔｅ＿ａｌｉｇｎｍｅｎｔ()フィールドをさらに含むことを一実施例とする。
ｓｐｓ＿ｐａｔｃｈ＿ｓｅｑｕｅｎｃｅ＿ｏｒｉｅｎｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドは、フレキシブルオリエンテーション(ｆｌｅｘｉｂｌｅ ｏｒｉｅｎｔａｔｉｏｎ)がパッチシーケンスデータユニットにシグナリングされるか否かを指示する。例えば、ｓｐｓ＿ｐａｔｃｈ＿ｓｅｑｕｅｎｃｅ＿ｏｒｉｅｎｔａｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドの値が１であれば、ｆｌｅｘｉｂｌｅ ｏｒｉｅｎｔａｔｉｏｎがパッチシーケンスデータユニットにシグナリングされることを示し、０であればシグナリングされないことを示す。
ｓｐｓ＿ｐａｔｃｈ＿ｉｎｔｅｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドの値が１であれば、以前に符号化されたパッチフレームからのパッチ情報を用いて、パッチ情報のためのインター予測が用いられることを示す。
ｓｐｓ＿ｐｉｘｅｌ＿ｄｅｉｎｔｅｒｌｅａｖｉｎｇ＿ｆｌａｇフィールドの値が１であれば、シングルストリームに対応する復号されたジオメトリと特質ビデオが２つのレイヤからインターリーブされたピクセルを含むことを示す。ｓｐｓ＿ｐｉｘｅｌ＿ｄｅｉｎｔｅｒｌｅａｖｉｎｇ＿ｆｌａｇフィールドの値が０であれば、シングルストリームに対応する復号されたジオメトリと特質ビデオがシングルレイヤからインターリーブされたピクセルのみを含むことを示す。
ｓｐｓ＿ｐｏｉｎｔ＿ｌｏｃａｌ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドの値が１であれば、ローカル再構成モードがポイントクラウド再構成プロセスの間に使用されることを示す。
ｓｐｓ＿ｒｅｍｏｖｅ＿ｄｕｐｌｉｃａｔｅ＿ｐｏｉｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇフィールドの値が１であれば、重複された(ｄｕｐｌｉｃａｔｅｄ)ポイントが再構成されないことを示す。ここで、重複されたポイントは、下位層(ｌｏｗｅｒ ｌａｙｅｒ)からの他のポイント(ａｎｏｔｈｅｒ ｐｏｉｎｔ)と同一の２Ｄおよび３Ｄジオメトリ座標(ｇｅｏｍｅｔｒｙ ｃｏｏｒｄｉｎａｔｅｓ)を有するポイントである。
図３９は、実施例によるパッチデータグループ(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ())のシンタックス構造の一例を示す。
上述のように、Ｖ－ＰＣＣユニットヘッダ内のｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチデータグループを指示する場合、図３７のＶ－ＰＣＣユニットペイロードは、図３９のパッチデータグループ(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ())を含む。
パッチデータグループ(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ())は、ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールド、ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値に応じてシグナリングされる情報が異なるｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ(ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅ)、およびｐｄｇ＿ｔｅｒｍｉｎａｔｅ＿ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｆｌａｇフィールドを含むことを一実施例とする。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドは、パッチデータグループのタイプを示す。
ｐｄｇ＿ｔｅｒｍｉｎａｔｅ＿ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｆｌａｇフィールドは、パッチデータグループのエンド(ｅｎｄ)を指示する。ｐｄｇ＿ｔｅｒｍｉｎａｔｅ＿ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｆｌａｇフィールドの値が０であれば、さらなるパッチデータグループユニットが該当パッチデータグループに存在することを示す。また、ｐｄｇ＿ｔｅｒｍｉｎａｔｅ＿ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｆｌａｇフィールドの値が１であれば、該当パッチデータグループにこれ以上のパッチデータグループユニットが存在せず、これが現在パッチデータグループユニットのエンドであることを示す。
図４０は、図３９のパッチデータグループのｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドに割り当てられたパッチデータグループのタイプの一例を示す。
例えば、ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が０であれば、パッチシーケンスパラメータセット(ＰＤＧ＿ＰＳＰＳ)を、１であればパッチフレームパラメータセット(ＰＤＧ＿ＰＦＰＳ)を、２であればパッチフレームジオメトリパラメータセット(ＰＤＧ＿ＰＦＧＰＳ)を、３であればパッチフレーム特質パラメータセット(ＰＤＧ＿ＰＦＡＰＳ)を、４であればジオメトリパッチパラメータセット(ＰＤＧ＿ＧＰＰＳ)を、５であれば特質パッチパラメータセット(ＰＤＧ＿ＡＰＰＳ)を、６であればパッチタイルグループレイヤユニット(ＰＤＧ＿ＰＴＧＬＵ)を、７であればプレフィックスＳＥＩメッセージ(ＰＤＧ＿ＰＲＥＦＩＸ＿ＳＥＩ)を、８であればサーフィックスＳＥＩメッセージ(ＰＤＧ＿ＳＵＦＦＩＸ＿ＳＥＩ)を示す。
パッチシーケンスパラメータセット(ＰＤＧ＿ＰＳＰＳ)は、シーケンスレベルパラ、エータを含み、パッチフレームパラメータセット(ＰＤＧ＿ＰＦＰＳ)は、フレームレベルパラメータを含むことができる。パッチフレームジオメトリパラメータセット(ＰＤＧ＿ＰＦＧＰＳ)は、フレームレベルジオメトリタイプパラメータを含み、パッチフレーム特質パラメータセット(ＰＤＧ＿ＰＦＡＰＳ)は、フレームレベル特質タイプパラメータを含むことができる。ジオメトリパッチパラメータセット(ＰＤＧ＿ＧＰＰＳ)は、パッチレベルジオメトリタイプパラメータを含み、特質パッチパラメータセット(ＰＤＧ＿ＡＰＰＳ)は、パッチレベル特質タイプパラメータを含むことができる。
図４１は、実施例によるパッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ(ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅ))のシンタックス構造の一例を示す。
図３９のパッチデータグループのｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチシーケンスパラメータセット(ＰＤＧ＿ＰＳＰＳ)を指示する場合、パッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、パッチシーケンスパラメータセット(ｐａｔｃｈ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がジオメトリパッチパラメータセット(ＰＤＧ＿ＧＰＰＳ)を指示する場合、パッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、ジオメトリパッチパラメータセット(ｇｅｏｍｅｔｒｙ＿ｐａｔｃｈ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が特質パッチパラメータセット(ＰＤＧ＿ＡＰＰＳ)を指示する場合、パッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、特質パッチパラメータセット(ａｔｔｒｉｂｕｔｅ＿ｐａｔｃｈ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチフレームパラメータセット(ＰＤＧ＿ＰＦＰＳ)を指示する場合、パッチデータグループユニットペイロード (ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、パッチフレームパラメータセット(ｐａｔｃｈ＿ｆｒａｍｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチフレーム特質パラメータセット(ＰＤＧ＿ＰＦＡＰＳ)を指示する場合、パッチデータグループユニットペイロード (ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、パッチフレーム特質パラメータセット(ｐａｔｃｈ＿ｆｒａｍｅ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチフレームジオメトリパラメータセット(ＰＤＧ＿ＰＦＧＰＳ)を指示する場合、パッチデータグループユニットペイロード (ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、パッチフレームジオメトリパラメータセット(ｐａｔｃｈ＿ｆｒａｍｅ＿ｇｅｏｍｅｔｒｙ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がパッチタイルグループレイヤユニット(ＰＤＧ＿ＰＴＧＬＵ)を指示する場合、パッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())は、パッチタイルグループレイヤユニット(ｐａｔｃｈ＿ｔｉｌｅ＿ｇｒｏｕｐ＿ｌａｙｅｒ＿ｕｎｉｔ())を含むことができる。
ｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がプレフィックスＳＥＩメッセージ(ＰＤＧ＿ＰＲＥＦＩＸ＿ＳＥＩ)を指示するか、サーフィックスＳＥＩメッセージ(ＰＤＧ＿ＳＵＦＦＩＸ＿ＳＥＩ)を指示する場合、パッチデータグループユニットペイロード(ｐａｔｃｈ＿ｄａｔａ＿ｇｒｏｕｐ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())はｓｅｉ＿ｍｅｓｓａｇｅ()を含むことができる。
図４２は、実施例によるＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ(ＳＥＩ)メッセージ(ｓｅｉ＿ｍｅｓｓａｇｅ())のシンタックス構造の一例を示す。即ち、図３９のパッチデータグループに含まれたｐｄｇ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値がプレフィックスＳＥＩメッセージ(ＰＤＧ＿ＰＲＥＦＩＸ＿ＳＥＩ)またはサーフィックスＳＥＩメッセージ(ＰＤＧ＿ＳＵＦＦＩＸ＿ＳＥＩ)を指示する場合、図４１のパッチデータグループユニットペイロードは、ＳＥＩメッセージ(ｓｅｉ＿ｍｅｓｓａｇｅ())を含む。
実施例による各ＳＥＩメッセージは、ＳＥＩメッセージヘッダとＳＥＩメッセージペイロードとからなる。ＳＥＩメッセージヘッダは、ｓｍ＿ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅフィールドとｓｍ＿ｐａｙｌｏａｄ＿ｓｉｚｅ＿ｂｙｔｅフィールドを含む。
ｓｍ＿ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅフィールドは、該当ＳＥＩメッセージのペイロードタイプのバイトである。例えば、ｓｍ＿ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅフィールドの値に基づいて、プレフィックスＳＥＩメッセージであるかサーフィックスＳＥＩメッセージであるかを識別することができる。
ｓｍ＿ｐａｙｌｏａｄ＿ｓｉｚｅ＿ｂｙｔｅフィールドは、該当ＳＥＩメッセージのペイロードサイズのバイトである。
図４２のＳＥＩメッセージは、ペイロードタイプ(ＰａｙｌｏａｄＴｙｐｅ)値を０に初期化した後、繰り返し文の中のｓｍ＿ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅフィールドの値をペイロードタイプの値に設定し、ｓｍ＿ｐａｙｌｏａｄ＿ｔｙｐｅ＿ｂｙｔｅフィールドの値が０ｘＦＦであれば上記繰り返し文を終了する。
また、図４２のＳＥＩメッセージは、ペイロードサイズ値を０に初期化した後、繰り返し文の中のｓｍ＿ｐａｙｌｏａｄ＿ｓｉｚｅ＿ｂｙｔｅフィールドの値をペイロードサイズの値に設定し、ｓｍ＿ｐａｙｌｏａｄ＿ｓｉｚｅ＿ｂｙｔｅフィールドの値が０ｘＦＦであれば上記繰り返し文を終了する。
それから、上記２つの繰り返し文で設定さｒたペイロードタイプとペイロードサイズに対応する情報をＳＥＩメッセージのペイロード(ｓｅｉ＿ｐａｙｌｏａｄ(ｐａｙｌｏａｄＴｙｐｅ、ｐａｙｌｏａｄＳｉｚｅ))によってシグナリングする。
図４３は、本明細書の他の実施例によるＶ－ＰＣＣビットストリーム構造の一例を示す。図４３のＶ－ＰＣＣビットストリームは、図１、図４、図１８、図２０または図２１のＶ－ＰＣＣベースのポイントクラウドビデオエンコーダから生成されて出力されることを一実施例とする。
実施例によるＶ－ＰＣＣビットストリームは、コードされたポイントクラウドシーケンス(ｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｓｅｑｕｅｎｃｅ、ＣＰＣＳ)を含み、サンプルストリームＶ－ＰＣＣユニットからなる。このサンプルストリームＶ－ＰＣＣユニットは、Ｖ－ＰＣＣパラメータセット(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ)データ、アトラスビットストリーム(ａｎ ａｔｌａｓ ｂｉｔｓｔｒｅａｍ)、２Ｄビデオ符号化された占有マップビットストリーム(ａ ２Ｄ ｖｉｄｅｏ ｅｎｃｏｄｅｄ ｏｃｃｕｐａｎｃｙ ｍａｐ ｂｉｔｓｔｒｅａｍ)、２Ｄビデオ符号化されたジオメトリビットストリーム(ａ ２Ｄ ｖｉｄｅｏ ｅｎｃｏｄｅｄ ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)、０以上の２Ｄビデオ符号化された特質ビットストリーム(ｚｅｒｏ ｏｒ ｍｏｒｅ ２Ｄ ｖｉｄｅｏ ｅｎｃｏｄｅｄ ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍｓ)を伝送する。
図４３において、Ｖ－ＰＣＣビットストリームは、１つのサンプルストリームＶ－ＰＣＣヘッダ４００１０と、１つ以上のサンプルストリームＶ－ＰＣＣユニット４００２０を含むことができる。説明の便宜のために、１つ以上のサンプルストリームＶ－ＰＣＣユニット４００２０は、サンプルストリームＶ－ＰＣＣペイロードと呼んでもよい。即ち、サンプルストリームＶ－ＰＣＣペイロードは、サンプルストリームＶ－ＰＣＣユニットの集合であると呼んでもよい。
各サンプルストリームＶ－ＰＣＣユニット４００２１は、Ｖ－ＰＣＣユニットサイズ情報４００３０とＶ－ＰＣＣユニット４００４０とからなる。Ｖ－ＰＣＣユニットサイズ情報４００３０は、Ｖ－ＰＣＣユニット４００４０のサイズを指示する。説明の便宜のために、Ｖ－ＰＣＣユニットサイズ情報４００３０は、サンプルストリームＶ－ＰＣＣユニットヘッダと呼んでもよく、Ｖ－ＰＣＣユニット４００４０は、サンプルストリームＶ－ＰＣＣユニットペイロードと呼んでもよい。
各Ｖ－ＰＣＣユニット４００４０は、Ｖ－ＰＣＣユニットヘッダ４００４１とＶ－ＰＣＣユニットペイロード４００４２とからなる。
本明細書は、Ｖ－ＰＣＣユニットヘッダ４００４１によって該当Ｖ－ＰＣＣユニットペイロード４００４２に含まれるデータを区分し、そのためにＶ－ＰＣＣユニットヘッダ４００４１は、該当Ｖ－ＰＣＣユニットのタイプを指示するタイプ情報を含む。各Ｖ－ＰＣＣユニットペイロード４００４２は、該当Ｖ－ＰＣＣユニットヘッダ４００４１のタイプ情報に応じて、ジオメトリビデオデータ(即ち、２Ｄビデオ符号化されたジオメトリビットストリーム)、特質ビデオデータ(即ち、２Ｄビデオ符号化された特質ビットストリーム)、占有ビデオデータ(即ち、２Ｄビデオ符号化された占有マップビットストリーム)、アトラスデータ、Ｖ－ＰＣＣパラメータセット(ＶＰＳ)のうちの少なくとも１つを含むことができる。
実施例によるＶ－ＰＣＣパラメータセット(ＶＰＳ)は、シーケンスパラメータセット(ＳＰＳ)とも呼び、混用してもよい。
実施例によるアトラスデータは、ポイントクラウドデータの特質(例えば、テキスチャー(パッチ))および／または深さなどで構成されたデータを意味してもよく、パッチデータグループと呼んでもよい。
図４４は、実施例によるＶ－ＰＣＣビットストリーム内のサンプルストリームＶ－ＰＣＣユニットによって伝送されるデータの一例を示す。
図４４のＶ－ＰＣＣビットストリームは、Ｖ－ＰＣＣパラメータセット(ＶＰＳ)を伝送するサンプルストリームＶ－ＰＣＣユニット、アトラスデータ(ＡＤ)を伝送するサンプルストリームＶ－ＰＣＣユニット、占有ビデオデータ(ＯＶＤ)を伝送するサンプルストリームＶ－ＰＣＣユニット、ジオメトリビデオデータ(ＧＶＤ)を伝送するサンプルストリームＶ－ＰＣＣユニット、特質ビデオデータ(ＡＶＤ)を伝送するサンプルストリームＶ－ＰＣＣユニットを含む例示である。
実施例によれば、各サンプルストリームＶ－ＰＣＣユニットは、Ｖ－ＰＣＣパラメータセット(ＶＰＳ)、アトラスデータ(ＡＤ)、占有ビデオデータ(ＯＶＤ)、ジオメトリビデオデータ(ＧＶＤ)、特質ビデオデータ(ＡＶＤ)のうちの１つのタイプのＶ－ＰＣＣユニットを含む。
図４５は、実施例によるＶ－ＰＣＣビットストリームに含まれるサンプルストリームＶ－ＰＣＣヘッダのシンタックス構造の一例を示す。
実施例によるサンプルストリームＶ－ＰＣＣヘッダ()は、ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１フィールドおよびｓｓｖｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿５ｂｉｔｓ フィールドを含むことができる。
ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１フィールドは、このフィールド値に１を加算し、すべてのサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素の精度をバイト単位で示すことができる。このフィールドの値は０～７の範囲内である。
ｓｓｖｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿５ｂｉｔｓフィールドは未来の使用に備えるための予備フィールドである。
図４６は、実施例によるサンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
各サンプルストリームＶ－ＰＣＣユニットのコンテンツは、該当サンプルストリームＶ－ＰＣＣユニットに含まれるＶ－ＰＣＣユニットのようなアクセスユニットに関連する(Ｔｈｅ ｃｏｎｔｅｎｔ ｏｆ ｅａｃｈ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ ｓａｍｅ ａｃｃｅｓｓ ｕｎｉｔ ａｓ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｃｏｎｔａｉｎｅｄ ｉｎ ｔｈｅ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔ)。
実施例によるサンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())は、ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅフィールドとｖｐｃｃ＿ｕｎｉｔ(ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ)を含むことができる。
ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅフィールドは、図４３のＶ－ＰＣＣユニットサイズ情報４００３０に該当し、後続する(ｓｕｂｓｅｑｕｅｎｔ)Ｖ－ＰＣＣユニット４００４０のサイズをバイト単位で示す(ｓｐｅｃｉｆｉｅｓ)。ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅフィールドを示すために使用されるビットの数は、(ｓｓｖｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １) ＊ ８のようである。
ｖｐｃｃ＿ｕｎｉｔ(ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ)は、ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅフィールドの値に該当する長さを有し、Ｖ－ＰＣＣパラメータセット(ＶＰＳ)、アトラスデータ(ＡＤ)、占有ビデオデータ(ＯＶＤ)、ジオメトリビデオデータ(ＧＶＤ)、特質ビデオデータ(ＡＶＤ)のうちの１つを伝送する。
図４７は、実施例によるＶ－ＰＣＣユニットのシンタックス構造の一例を示す。１つのＶ－ＰＣＣユニットは、Ｖ－ＰＣＣユニットヘッダ(ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ())とＶ－ＰＣＣユニットペイロード(ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())とからなる。実施例によるＶ－ＰＣＣユニットは、より多いデータを含むことができ、この場合、ｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓフィールドをさらに含むことができる。実施例によるｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓフィールドは、０ｘ００に該当するバイトである。
図４８は、実施例によるＶ－ＰＣＣユニットヘッダのシンタックス構造の一例を示す。図４８のＶ－ＰＣＣユニットヘッダ(ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ())は、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドを含むことを一実施例とする。ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドは、該当Ｖ－ＰＣＣユニットのタイプを指示する。実施例によるｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドは、ｖｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅフィールドとも呼ぶ。
図４９は、実施例によるｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドに割り当てられるＶ－ＰＣＣユニットのタイプの一例を示す。
図４９を参照すれば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドの値が０であれば該当Ｖ－ＰＣＣユニットのＶ－ＰＣＣユニットペイロードに含まれるデータはＶ－ＰＣＣパラメータセット(ＶＰＣＣ＿ＶＰＳ)であることを指示し、１であればアトラスデータ(ＶＰＣＣ＿ＡＤ)であることを指示し、２であれば占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)であることを指示し、３であればジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)であることを指示し、４であれば特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)であることを指示することを一実施例とする。
ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドに割り当てられる値の意味、手順、削除、追加などは、当業者によって容易に変更可能であるため、本発明は上記実施例に限らない。
実施例によるＶ－ＰＣＣユニットヘッダは、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドが特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)またはジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)または占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)またはアトラスデータ(ＶＰＣＣ＿ＡＤ)を指示する場合、ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドとｖｕｈ＿ａｔｌａｓ＿ｉｄフィールドをさらに含んでもよい。
ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄフィールドは、アクティブＶ－ＰＣＣパラメータセット(ＶＰＣＣ ＶＰＳ)の識別者(即ち、ｖｕｈ＿ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ)を示す(ｓｐｅｃｉｆｙ)。
ｖｕｈ＿ａｔｌａｓ＿ｉｄフィールドは、現在Ｖ－ＰＣＣユニットに該当するアトラスのインデックスを示す(ｓｐｅｃｉｆｉｅｓ)。
実施例によるＶ－ＰＣＣユニットヘッダは、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドが特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示する場合、ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘフィールド、ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘフィールド、ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘフィールド、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドをさらに含んでもよい。
ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｉｎｄｅｘフィールドは、特質ビデオデータユニットに伝送(ｃａｒｒｙ)される特質ビデオデータのインデックスを示す。
ｖｕｈ＿ａｔｔｒｉｂｕｔｅ＿ｄｉｍｅｎｓｉｏｎ＿ｉｎｄｅｘフィールドは、特質ビデオデータユニットに伝送(ｃａｒｒｙ)される特質ディメンジョングループのインデックスを示す。
ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘフィールドは、このフィールドが存在する場合、現在の特質ストリームのインデックスを指示する。
ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドは、ＲＡＷコードされたポイントの有無を指示することができる。例えば、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が１であれば、関連する特質ビデオデータユニットは、ＲＡＷコードされたポイント(ｐｏｉｎｔｓ)のみを含むことを指示できる。他の例として、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が０であれば、関連する特質ビデオデータユニットはＲＡＷコードされたポイントを含むことを指示できる。なお、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドが存在しない場合は、そのフィールドの値は０と推論することができる。実施例によれば、ＲＡＷコードされたポイントは、ＰＣＭ(Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ)コードされたポイントとも呼ぶ。
実施例によるＶ－ＰＣＣユニットヘッダは、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドがジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)を指示する場合、ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘフィールド、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールド、およびｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１２ｂｉｔｓフィールドをさらに含んでもよい。
ｖｕｈ＿ｍａｐ＿ｉｎｄｅｘフィールドは、このフィールドが存在する場合、現在のジオメトリストリームのインデックスを指示する。
ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドは、ＲＡＷコードされたポイントの有無を指示することができる。例えば、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が１であれば、関連するジオメトリビデオデータユニットは、ＲＡＷコードされたポイント(ｐｏｉｎｔｓ)のみを含むことを指示できる。別の例として、ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドの値が０であれば、関連するジオメトリビデオデータユニットはＲＡＷコードされたポイントを含むことを指示できる。ｖｕｈ＿ｒａｗ＿ｖｉｄｅｏ＿ｆｌａｇフィールドが存在しない場合、そのフィールドの値は０であると推論することができる。実施例によれば、ＲＡＷコードされたポイントは、ＰＣＭ(Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ)コードされたポイントとも呼ぶ。
ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１２ｂｉｔｓフィールドは 未来の使用に備えるための予備フィールドである。
実施例によるＶ－ＰＣＣユニットヘッダは、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドが占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)を指示するか、またはアトラスデータ(ＶＰＣＣ＿ＡＤ)を指示する場合、ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１７ｂｉｔｓフィールドをさらに含み、そうではない場合、ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２７ｂｉｔｓフィールドをさらに含むことができる。
ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１７ｂｉｔｓフィールドおよびｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２７ｂｉｔｓフィールドは未来の使用に備えるための予備フィールドである。
図５０は、実施例によるＶ－ＰＣＣユニットペイロード(ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ())のシンタックス構造の一例を示す。
図５０のＶ－ＰＣＣユニットペイロードは、該当Ｖ－ＰＣＣユニットヘッダのｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールド値に応じて、Ｖ－ＰＣＣパラメータセット(ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())、アトラスサブビットストリーム(ａｔｌａｓ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())、ビデオサブビットストリーム(ｖｉｄｅｏ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())のうちの１つを含んでもよい。
例えば、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドがＶ－ＰＣＣパラメータセット(ＶＰＣＣ＿ＶＰＳ)を指示する場合、Ｖ－ＰＣＣユニットペイロードは、ビットストリームの全体的な符号化情報を含むＶ－ＰＣＣパラメータセット(ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ())を含み、アトラスデータ(ＶＰＣＣ＿ＡＤ)を指示する場合、アトラスデータを伝送するアトラスサブビットストリーム(ａｔｌａｓ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())を含む。また、ｖｕｈ＿ｕｎｉｔ＿ｔｙｐｅフィールドが占有ビデオデータ(ＶＰＣＣ＿ＯＶＤ)を指示する場合、Ｖ－ＰＣＣユニットペイロードは、占有ビデオデータを伝送する占有ビデオサブビットストリーム(ｖｉｄｅｏ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())を含み、ジオメトリビデオデータ(ＶＰＣＣ＿ＧＶＤ)を指示する場合、ジオメトリビデオデータを伝送するジオメトリビデオサブビットストリーム(ｖｉｄｅｏ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())を含み、特質ビデオデータ(ＶＰＣＣ＿ＡＶＤ)を指示する場合、特質ビデオデータを伝送する特質ビデオサブビットストリーム(ｖｉｄｅｏ＿ｓｕｂ＿ｂｉｔｓｔｒｅａｍ())を含むことを一実施例とする。
実施例によれば、アトラスサブビットストリームはアトラスサブストリームと、占有ビデオサブビットストリームは占有ビデオサブストリームと、ジオメトリビデオサブビットストリームはジオメトリビデオサブストリームと、特質ビデオサブビットストリームは特質ビデオサブストリームとも呼ぶ。実施例によるＶ－ＰＣＣユニットペイロードは、ＨＥＶＣ(Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ) ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニットのフォーマットに従う。
図５１は、実施例によるアトラスサブストリーム構造の一例を示す。図５１のアトラスサブストリームは、ＨＥＶＣ ＮＡＬユニットのフォーマットに従うことを一実施例とする。
実施例によるアトラスサブストリームは、アトラスシーケンスパラメータセット(ＡＳＰＳ)を含むサンプルストリームＮＡＬユニット、アトラスフレームパラメータセット(ＡＦＰＳ)を含むサンプルストリームＮＡＬユニット、１つ以上のアトラスタイルグループ情報を含む１つ以上のサンプルストリームＮＡＬユニット、および／または１つ以上のＳＥＩメッセージを含む１つ以上のサンプルストリームＮＡＬユニットからなる。
実施例による１つ以上のＳＥＩメッセージは、プレフィックスＳＥＩメッセージおよびサーフィックスＳＥＩメッセージを含むことができる。
実施例によるアトラスサブストリームは、１つ以上のＮＡＬユニットの前にサンプルストリームＮＡＬヘッダをさらに含むことができる。
図５２は、実施例によるアトラスサブストリームに含まれるサンプルストリームＮＡＬヘッダ(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｈｅａｄｅｒ())のシンタックス構造の一例を示す。
実施例によるサンプルストリームＮＡＬヘッダ()は、ｓｓｎｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１フィールドおよびｓｓｎｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿５ｂｉｔｓフィールドを含むことができる。
ｓｓｎｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１フィールドは、このフィールド値に１を加算し、すべてのサンプルストリームＮＡＬユニット内のｓｓｎｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素の精度をバイト単位で示すことができる。このフィールドの値は、０～７の範囲内である。
ｓｓｎｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿５ｂｉｔｓフィールドは未来の使用に備えるための予備フィールドである。
図５３は、実施例によるサンプルストリームＮＡＬユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
実施例によるサンプルストリームＮＡＬユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ())は、ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅフィールドおよびｎａｌ＿ｕｎｉｔ(ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ)を含むことができる。
ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅフィールドは、後続する(ｓｕｂｓｅｑｕｅｎｔ)ＮＡＬユニットのサイズをバイト単位で示す(ｓｐｅｃｉｆｉｅｓ)。ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅフィールドを示すために使用されるビットの数は、(ｓｓｎｈ＿ｕｎｉｔ＿ｓｉｚｅ＿ｐｒｅｃｉｓｉｏｎ＿ｂｙｔｅｓ＿ｍｉｎｕｓ１ ＋ １) ＊ ８のようである。
ｎａｌ＿ｕｎｉｔ(ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅ)は、ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅフィールドの値に該当する長さを有し、アトラスシーケンスパラメータセット(ＡＳＰＳ)、アトラスフレームパラメータセット(ＡＦＰＳ)、アトラスタイルグループ情報、ＳＥＩメッセージのうちの１つを伝送する。即ち、各サンプルストリームＮＡＬユニットは、アトラスシーケンスパラメータセット(ＡＳＰＳ)、アトラスフレーム パラメータセット(ＡＦＰＳ)、アトラスタイルグループ情報、ＳＥＩメッセージを含むことができる。実施例において、アトラスシーケンスパラメータセット(ＡＳＰＳ)、アトラスフレームパラメータセット(ＡＦＰＳ)、アトラスタイルグループ情報、ＳＥＩメッセージは、アトラスデータ(またはアトラスに対するメタデータ)と呼ぶ。
実施例によるＳＥＩメッセージは、復号(ｄｅｃｏｄｉｎｇ)、再構成(ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、ディスプレイ(ｄｉｓｐｌａｙ)、またはその他の目的(ｏｔｈｅｒ ｐｕｒｐｏｓｅｓ)に関連するプロセスを補助することができる。
実施例による各ＳＥＩメッセージは、ＳＥＩメッセージヘッダとＳＥＩメッセージペイロード(ｓｅｉ＿ｐａｙｌｏａｄ)とからなる。ＳＥＩメッセージヘッダは、ペイロードタイプ情報(ｐａｙｌｏａｄＴｙｐｅ)およびペイロードサイズ情報(ｐａｙｌｏａｄＳｉｚｅ)を含んでもよい。
ペイロードタイプ情報(ｐａｙｌｏａｄＴｙｐｅ)は、該当ＳＥＩメッセージのペイロードタイプを指示する。例えば、ペイロードタイプ情報(ｐａｙｌｏａｄＴｙｐｅ)に基づいてプレフィックスＳＥＩメッセージでるかサーフィックスＳＥＩメッセージであるかを識別することができる。
ペイロードサイズ情報(ｐａｙｌｏａｄＳｉｚｅ)は、該当ＳＥＩメッセージのペイロードサイズを指示する。
図５４は、実施例によるＳＥＩメッセージペイロード(ｓｅｉ＿ｐａｙｌｏａｄ())のシンタックス構造の一例を示す。
実施例によるＳＥＩメッセージは、プレフィックスＳＥＩメッセージまたはサーフィックスＳＥＩメッセージを含んでもよい。また、各々のＳＥＩメッセージペイロードは、ペイロードタイプ情報(ｐａｙｌｏａｄＴｙｐｅ)とペイロードサイズ情報(ｐａｙｌｏａｄＳｉｚｅ)に対応する情報をＳＥＩメッセージペイロード(ｓｅｉ＿ｐａｙｌｏａｄ(ｐａｙｌｏａｄＴｙｐｅ、ｐａｙｌｏａｄＳｉｚｅ))によってシグナリングする。
実施例によるプレフィックスＳＥＩメッセージは、ペイロードタイプ情報が０であればｂｕｆｆｅｒｉｎｇ＿ｐｅｒｉｏｄ(ｐａｙｌｏａｄＳｉｚｅ)を、１であればｐｉｃ＿ｔｉｍｉｎｇ(ｐａｙｌｏａｄＳｉｚｅ)を、２であればｆｉｌｌｅｒ＿ｐａｙｌｏａｄ(ｐａｙｌｏａｄＳｉｚｅ)を、１０であればｓｅｉ＿ｐｒｅｆｉｘ＿ｉｎｄｉｃａｔｉｏｎ(ｐａｙｌｏａｄＳｉｚｅ)を、1３であれば３Ｄ＿ｒｅｇｉｏｎ＿ｍａｐｐｉｎｇ(ｐａｙｌｏａｄＳｉｚｅ)を含んでもよい。
実施例によるサーフィックスＳＥＩメッセージは、ペイロードタイプ情報が２であればｆｉｌｌｅｒ＿ｐａｙｌｏａｄ(ｐａｙｌｏａｄＳｉｚｅ)を、３であればｕｓｅｒ＿ｄａｔａ＿ｒｅｇｉｓｔｅｒｅｄ＿ｉｔｕ＿ｔ＿ｔ３５(ｐａｙｌｏａｄＳｉｚｅ)を、４であればｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ(ｐａｙｌｏａｄＳｉｚｅ)を、１１であればｄｅｃｏｄｅｄ＿ｐｃｃ＿ｈａｓｈ（ｐａｙｌｏａｄＳｉｚｅ)を含んでもよい。
なお、図２４または図４３に示す構造を有するＶ－ＰＣＣビットストリームは、図１、図１８、図２０または図２１のファイル／セグメントカプセル化部においてＩＳＯＢＭＦＦファイルフォーマットでカプセル化されることを一実施例とする。
このとき、Ｖ－ＰＣＣストリームは、ファイルのマルチプルトラックを介して送信されてもよく、１つのシングルトラックを介して送信されてもよい。
実施例によるＩＳＯＢＭＦＦベースのファイルは、ｆｔｙｐ、ｍｅｔａ、ｍｏｏｖ、ｍｄａｔとも呼ぶボックスおよび／または情報などで構成することができる。
ｆｔｙｐボックス(ファイルタイプボックス)は、該当ファイルに対するファイルタイプ またはファイル互換性に関連する情報を提供することができる。受信側ではｆｔｙｐボックスを参照することで該当ファイルを区分することができる。
ｍｅｔａボックスは、ｖｐｃｇ｛０、１、２、３｝ ボックス(Ｖ－ＰＣＣ Ｇｒｏｕｐ Ｂｏｘ)を含んでもよい。
ｍｄａｔボックスは、メディアデータボックスとも呼び、ビデオコードされたジオメトリビットストリーム、ビデオコードされた特質ビットストリーム、ビデオコードされた占有マップビットストリーム、および／またはアトラスデータビットストリームを含んでもよい。
ｍｏｏｖボックスは、ｍｏｖｉｅボックスとも呼び、該当ファイルのメディアデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム、占有マップビットストリームなど)に対するメタデータを含んでもよい。例えば、該当メディアデータの復号および再生に必要な情報を含んでもよく、該当ファイルのサンプルに関する情報を含んでもよい。ｍｏｏｖボックスは、すべてのメタデータのためのコンテナとして機能することができる。ｍｏｏｖボックスは、メタデータ関連ボックスのうち最上位レイヤのボックスであることがある。実施例によれば、ｍｏｏｖボックスはファイル内に１つだけ存在してもよい。
実施例によるボックスは、該当ファイルのトラックに関連する情報を提供するトラック(ｔｒａｋ)ボックスを含み、トラック(ｔｒａｋ)ボックスは該当トラックのメディア情報を提供するメディア(ｍｄｉａ)ボックスおよび該当トラックと該当トラックに対応するファイルのサンプルを接続(ｒｅｆｅｒｅｎｃｅ)するためのトラックレファレンスコンテナ(ｔｒｅｆ)ボックスを含んでもよい。
メディア(ｍｄｉａ)ボックスは、該当メディアデータの情報を提供するメディア情報コンテナ(ｍｉｎｆ)ボックスを含み、メディア情報コンテナ(ｍｉｎｆ) ボックスは、ｍｄａｔボックスのサンプルに関連するメタデータを提供するサンプルテーブル(ｓｔｂｌ)ボックスを含んでもよい。
ｓｔｂｌボックスは、使用されたコーディングタイプ(ｃｏｄｉｎｇ ｔｙｐｅ)に関する情報と該当コーディングタイプのために必要な初期情報(ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ)を提供するサンプルディスクリプション(ｓｔｓｄ)ボックスを含んでもよい。
ｓｔｓｄボックスは、実施例によるＶ－ＰＣＣビットストリームを格納するトラックのためのサンプルエントリー(ｓａｍｐｌｅ ｅｎｔｒｙ)を含んでもよい。
実施例によれば、Ｖ－ＰＣＣビットストリームをファイル内のシングルトラックまたはマルチプルトラックに格納するために、以下のようにＶｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ、Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈｅａｄｅｒ、Ｖｏｌｕｍｅｔｒｉｃ ｓａｍｐｌｅ ｅｎｔｒｙ、Ｖｏｌｕｍｅｔｒｉｃ ｓａｍｐｌｅｓ、Ｖ－ＰＣＣトラックのサンプルおよびサンプルエントリーなどを定義する。
本明細書において使用するＶ－ＰＣＣの用語は、ビジュアルボリュームビデオベースコーディング(Ｖｉｓｕａｌ Ｖｏｌｕｍｅｔｒｉｃ Ｖｉｄｅｏ－ｂａｓｅｄ Ｃｏｄｉｎｇ （Ｖ３Ｃ))と同様であり、相互に補完して称することができる。
実施例によれば、Ｖ－ＰＣＣは、ポイントクラウドビジュアル情報のボリューム符号化(ｖｏｌｕｍｅｔｒｉｃ ｅｎｃｏｄｉｎｇ)を示す(ｖｉｄｅｏ－ｂａｓｅｄ ｐｏｉｎｔ ｃｌｏｕｄ ｃｏｍｐｒｅｓｓｉｏｎ ｒｅｐｒｅｓｅｎｔｓ ａ ｖｏｌｕｍｅｔｒｉｃ ｅｎｃｏｄｉｎｇ ｏｆ ｐｏｉｎｔ ｃｌｏｕｄ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ)。
即ち、ｍｏｏｖボックスのトラックボックス内のｍｉｎｆボックスは、ボリュームビジュアルメディアヘッダ(ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈｅａｄｅｒ)ボックスをさらに含んでもよい。このボリュームビジュアルメディアヘッダボックスは、ボリュームビジュアルシーン(ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓｃｅｎｅ)を含むボリュームビジュアルトラック(ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ)に関する情報を含む。
各々のボリュームビジュアルシーン(ｓｃｅｎｅ)は、固有のボリュームビジュアルトラック(ｕｎｉｑｕｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ)によって表現されてもよい。ＩＳＯＢＭＦＦファイルは、マルチプルシーンを含んでもよく、よってマルチプルボリュームビジュアルトラックがそのＩＳＯＢＭＦＦファイル内に存在することができる(Ｅａｃｈ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓｃｅｎｅ ｉｓ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａ ｕｎｉｑｕｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ． Ａｎ ＩＳＯＢＭＦＦ ｆｉｌｅ ｍａｙ ｃｏｎｔａｉｎ ｍｕｌｔｉｐｌｅ ｓｃｅｎｅｓ ａｎｄ ｔｈｅｒｅｆｏｒｅ ｍｕｌｔｉｐｌｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋｓ ｍａｙ ｂｅ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＩＳＯＢＭＦＦ ｆｉｌｅ)。
実施例によれば、ボリュームビジュアルトラックは、メディアボックスのハンドラボックスに含まれたボリュームビジュアルメディアハンドラ(ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈａｎｄｌｅｒ)タイプ‘ｖｏｌｖ’によって識別することができる(Ａ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｔｒａｃｋ ｉｓ ｉｄｅｎｔｉｆｉｅｄ ｂｙ ｔｈｅ ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｍｅｄｉａ ｈａｎｄｌｅｒ ｔｙｐｅ ’ｖｏｌｖ’ ｉｎ ｔｈｅ ＨａｎｄｌｅｒＢｏｘ ｏｆ ｔｈｅ ＭｅｄｉａＢｏｘ)。
実施例によるボリュームビジュアルメディアヘッダボックスのシンタックスは、以下のようである。
Box Type: 'vvhd'
Container: MediaInformationBox
Mandatory: Yes
Quantity: Exactly one
実施によるボリュームビジュアルトラックは、以下のように、メディア情報ボックス(ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎＢｏｘ)内のボリュームビジュアルメディアハンドラボックス(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＭｅｄｉａＨｅａｄｅｒＢｏｘ)を用いることができる。
aligned(8) class VolumetricVisualMediaHeaderBox
extends FullBox('vvhd'、version = 0、1) ｛
｝
上記バージョン(ｖｅｒｓｉｏｎ)は、このボックスのバージョンを示す整数であることがある。
実施例によるボリュームビジュアルトラックは、以下のようにボリュームビジュアルサンプルエントリー(ＶｏｌｕｍｅｔｒｉｃＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ)を用いることができる。
class VolumetricVisualSampleEntry(codingname)
extends SampleEntry (codingname)｛
unsigned int(8)[32] compressor_name;
｝
ｃｏｍｐｒｅｓｓｏｒ＿ｎａｍｅは、固定の３２バイトフィールドで形成され 、ディスプレイされる複数のバイトでセットされる第１のバイトに後続して、ＵＴＦ－８を用いて符号化されたディスプレイ可能なデータの複数のバイトが来て、サイズバイトを含む３２バイトを完了(ｃｏｍｐｌｅｔｅ)するためにパッドされる(ｃｏｍｐｒｅｓｓｏｒ＿ｎａｍｅ ｉｓ ａ ｎａｍｅ、ｆｏｒ ｉｎｆｏｒｍａｔｉｖｅ ｐｕｒｐｏｓｅｓ． Ｉｔ ｉｓ ｆｏｒｍａｔｔｅｄ ｉｎ ａ ｆｉｘｅｄ ３２－ｂｙｔｅ ｆｉｅｌｄ、ｗｉｔｈ ｔｈｅ ｆｉｒｓｔ ｂｙｔｅ ｓｅｔ ｔｏ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｙｔｅｓ ｔｏ ｂｅ ｄｉｓｐｌａｙｅｄ、ｆｏｌｌｏｗｅｄ ｂｙ ｔｈａｔ ｎｕｍｂｅｒ ｏｆ ｂｙｔｅｓ ｏｆ ｄｉｓｐｌａｙａｂｌｅ ｄａｔａ ｅｎｃｏｄｅｄ ｕｓｉｎｇ ＵＴＦ－８、ａｎｄ ｔｈｅｎ ｐａｄｄｉｎｇ ｔｏ ｃｏｍｐｌｅｔｅ ３２ ｂｙｔｅｓ ｔｏｔａｌ （ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｓｉｚｅ ｂｙｔｅ）)。このフィールドは０に設定できる。
実施例によるボリュームビジュアルサンプル(Ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｓａｍｐｌｅ)のフォーマットは、コーディングシステムによって定義することができる。
実施例によれば、Ｖ－ＰＣＣユニットヘッダボックス(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｂｏｘ)は、サンプルエントリーに含まれたＶ－ＰＣＣトラックおよびスキーム情報に含まれたすべてのビデオコードしたＶ－ＰＣＣコンポーネントトラックに存在することができる。Ｖ－ＰＣＣユニットヘッダボックス(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｂｏｘ)は、各々のトラックによって送信されるデータのためのＶ－ＰＣＣユニットヘッダを以下のように含むことができる。
aligned(8) class VPCCUnitHeaderBox
extends FullBox('vunt'、version = 0、0) ｛
vpcc_unit_header() unit_header;
｝
即ち、ＶＰＣＣユニットヘッダボックスは、ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ()を含んでもよい。図３４および図４８は、Ｖ－ＰＣＣユニットヘッダ(ｖｐｃｃ＿ｕｎｉｔ＿ｈｅａｄｅｒ())のシンタックス構造の実施例を示す。
実施例によれば、Ｖ－ＰＣＣトラックサンプルエントリーは、ＶＰＣＣコンフィギュレーションボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ)を含んでもよい。
実施例によれば、ＶＰＣＣコンフィギュレーションボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ)は、以下のように、ＶＰＣＣデコーダコンフィギュレーションレコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)を含んでもよい。
aligned(8) class VPCCDecoderConfigurationRecord ｛
unsigned int(8) configurationVersion = 1;
unsigned int(3) sampleStreamSizeMinusOne;
unsigned int(5) numOfVPCCParameterSets;
for (i=0; i< numOfVPCCParameterSets; i++) ｛
sample_stream_vpcc_unit VPCCParameterSet;
｝
unsigned int(8) numOfAtlasSetupUnits;
for (i=0; i< numOfAtlasSetupUnits; i++) ｛
sample_stream_vpcc_unit atlas_setupUnit;
｝
｝
ＶＰＣＣデコーダコンフィギュレーションレコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)に含まれたｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎは、バージョンフィールドを示す。そのレコードに対する非互換性変更(Ｉｎｃｏｍｐａｔｉｂｌｅ ｃｈａｎｇｅｓ ｔｏ ｔｈｅ ｒｅｃｏｒｄ)は、バージョン番号(ｖｅｒｓｉｏｎ ｎｕｍｂｅｒ)の変更によって指示される。
ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅの値に１を加算すると、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄまたはＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄが適用されるストリームのＶ－ＰＣＣサンプルに含まれるすべてのサンプルストリームＶ－ＰＣＣユニット内のｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ要素の精度をバイト単位で示すことができる(ｓａｍｐｌｅＳｔｒｅａｍＳｉｚｅＭｉｎｕｓＯｎｅ ｐｌｕｓ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｐｒｅｃｉｓｉｏｎ、ｉｎ ｂｙｔｅｓ、ｏｆ ｔｈｅ ｓｓｖｕ＿ｖｐｃｃ＿ｕｎｉｔ＿ｓｉｚｅ ｅｌｅｍｅｎｔ ｉｎ ａｌｌ ｓａｍｐｌｅ ｓｔｒｅａｍ Ｖ－ＰＣＣ ｕｎｉｔｓ ｉｎ ｅｉｔｈｅｒ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ｏｒ ａ Ｖ－ＰＣＣ ｓａｍｐｌｅ ｉｎ ｔｈｅ ｓｔｒｅａｍ ｔｏ ｗｈｉｃｈ ｔｈｉｓ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｒｅｃｏｒｄ ａｐｐｌｉｅｓ)。
ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓは、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄにシグナリングされるＶＰＳ(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ)の数を示す。
ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔは、ＶＰＣＣ＿ＶＰＳタイプのＶ－ＰＣＣユニットのためのサンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())インスタンスである。Ｖ－ＰＣＣユニットは、ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()を含んでもよい。即ち、ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔアレイは、ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()を含んでもよい。図４６は、サンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
ｎｕｍＯｆＡｔｌａｓＳｅｔｕｐＵｎｉｔｓは、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄにシグナリングされたアトラスストリームのためのセットアップアレイの数を示す。
Ａｔｌａｓ＿ｓｅｔｕｐＵｎｉｔは、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、またはＳＥＩアトラスＮＡＬユニットを含むｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ()インスタンスである。図４６は、サンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
即ち、アトラスセットアップユニット(ａｔｌａｓ＿ｓｅｔｕｐＵｎｉｔ)アレイは、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄが存在するサンプルエントリーおよびアトラス ストリームＳＥＩメッセージによって参照されるストリームに対して一定のアトラスパラメータセットを含んでもよい。実施例によれば、アトラスセットアップユニットは、簡略してセットアップユニットとも呼ぶ。
他の実施例によれば、ＶＰＣＣデコーダコンフィギュレーションレコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)は、以下のように示すことができる。
aligned(8) class VPCCDecoderConfigurationRecord ｛
unsigned int(8) configurationVersion = 1;
unsigned int(3) sampleStreamSizeMinusOne;
bit(2) reserved = 1;
unsigned int(3) lengthSizeMinusOne;
unsigned int(5) numOVPCCParameterSets;
for (i=0; i< numOVPCCParameterSets; i++) ｛
sample_stream_vpcc_unit VPCCParameterSet;
｝
unsigned int(8) numOfSetupUnitArrays;
for (j=0; j<numOfSetupUnitArrays; j++) ｛
bit(1) array_completeness;
bit(1) reserved = 0;
unsigned int(6) NAL_unit_type;
unsigned int(8) numNALUnits;
for (i=0; i<numNALUnits; i++) ｛
sample_stream_nal_unit setupUnit;
｝
｝
ｃｏｎｆｉｇｕｒａｔｉｏｎＶｅｒｓｉｏｎは、バージョンフィールドである。そのレコードに対する非互換性変更(Ｉｎｃｏｍｐａｔｉｂｌｅ ｃｈａｎｇｅｓ ｔｏ ｔｈｅ ｒｅｃｏｒｄ)は、バージョン番号の変更によって指示される。
ｌｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅの値に１を加算すると、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄまたはＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄが適用されるストリームのＶ－ＰＣＣサンプルに含まれるすべてのサンプルストリームＮＡＬユニット内のｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅの精度をバイト単位で示すことができる。図５３は、ｓｓｎｕ＿ｎａｌ＿ｕｎｉｔ＿ｓｉｚｅフィールドを含むサンプルストリームＮＡＬユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
ｎｕｍＯｆＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔｓは、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄにシグナリングされるＶＰＳ(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ)の数を示す。
ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔは、ＶＰＣＣ＿ＶＰＳタイプのＶ－ＰＣＣユニットのためのサンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())インスタンスである。Ｖ－ＰＣＣユニットは、ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()を含んでもよい。即ち、ＶＰＣＣＰａｒａｍｅｔｅｒＳｅｔアレイは、ｖｐｃｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ()を含んでもよい。図４６は、サンプルストリームＶ－ＰＣＣユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｖｐｃｃ＿ｕｎｉｔ())のシンタックス構造の一例を示す。
ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓは、指示されたタイプのアトラスＮＡＬユニットのアレイの数を指示する。
ｎｕｍＯｆＳｅｔｕｐＵｎｉｔＡｒｒａｙｓの値だけ繰り返される繰り返し文は、ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓを含んでもよい。
ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓの値が１であれば、与えられたタイプのすべてのアトラスＮＡＬユニットが次のアレイに存在して該当ストリームには存在しないことを示し、ａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓの値が０であれば、指示されたタイプの追加アトラスＮＡＬユニットがそのストリーム内に存在できることを指示する(ｗｈｅｎ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ ｏｆ ｔｈｅ ｇｉｖｅｎ ｔｙｐｅ ａｒｅ ｉｎ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｒｒａｙ ａｎｄ ｎｏｎｅ ａｒｅ ｉｎ ｔｈｅ ｓｔｒｅａｍ； ｗｈｅｎ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｄｄｉｔｉｏｎａｌ ａｔｌａｓ ＮＡＬ ｕｎｉｔｓ ｏｆ ｔｈｅ ｉｎｄｉｃａｔｅｄ ｔｙｐｅ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｓｔｒｅａｍ)。デフォルトおよび許容値は、そのサンプルエントリー名によって制約される(ｔｈｅ ｄｅｆａｕｌｔ ａｎｄ ｐｅｒｍｉｔｔｅｄ ｖａｌｕｅｓ ａｒｅ ｃｏｎｓｔｒａｉｎｅｄ ｂｙ ｔｈｅ ｓａｍｐｌｅ ｅｎｔｒｙ ｎａｍｅ)。
ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅは、次のアレイ(ｆｏｌｌｏｗｉｎｇ ａｒｒａｒｙ)に含まれたアトラスＮＡＬユニットのタイプを指示する。ＮＡＬ＿ｕｎｉｔ＿ｔｙｐｅは、ａ ＮＡＬ＿ＡＳＰＳ、ＮＡＬ＿ＰＲＥＦＩＸ＿ＳＥＩ、またはＮＡＬ＿ＳＵＦＦＩＸ＿ＳＥＩ ａｔｌａｓ ＮＡＬ ｕｎｉｔを指示する値の１つに制限される(ｉｔ ｉｓ ｒｅｓｔｒｉｃｔｅｄ ｔｏ ｔａｋｅ ｏｎｅ ｏｆ ｔｈｅ ｖａｌｕｅｓ ｉｎｄｉｃａｔｉｎｇ ａ ＮＡＬ＿ＡＳＰＳ、ＮＡＬ＿ＰＲＥＦＩＸ＿ＳＥＩ、ｏｒ ＮＡＬ＿ＳＵＦＦＩＸ＿ＳＥＩ ａｔｌａｓ ＮＡＬ ｕｎｉｔ)。
ｎｕｍＮＡＬＵｎｉｔｓは、ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄを適用するストリームのためのＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄに含まれるｉｎｄｉｃａｔｅｄ ｔｙｐｅのアトラスＮＡＬユニットの数を指示する。即ち、ストリーム全体に関する情報を提供する。ＳＥＩアレイは、‘ｄｅｃｌａｒａｔｉｖｅ’ネーチャー(ｎａｔｕｒｅ)のＳＥＩメッセージのみを含む。このようなＳＥＩの例示がユーザ－データＳＥＩである(Ｔｈｅ ＳＥＩ ａｒｒａｙ ｓｈａｌｌ ｏｎｌｙ ｃｏｎｔａｉｎ ＳＥＩ ｍｅｓｓａｇｅｓ ｏｆ ａ ‘ｄｅｃｌａｒａｔｉｖｅ’ ｎａｔｕｒｅ、ｔｈａｔ ｉｓ、ｔｈｏｓｅ ｔｈａｔ ｐｒｏｖｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ ａｂｏｕｔ ｔｈｅ ｓｔｒｅａｍ ａｓ ａ ｗｈｏｌｅ)。
セットアップユニットは、アトラスシーケンスパラメータセット、またはアトラスフレームパラメータセットまたｄｅｃｌａｒａｔｉｖｅ ＳＥＩアトラスＮＡＬユニットを含むサンプルストリームＮＡＬユニット(ｓａｍｐｌｅ＿ｓｔｒｅａｍ＿ｎａｌ＿ｕｎｉｔ())インスタンスである。
実施例によれば、Ｖ－ＰＣＣビットストリームのマルチトラックコンテナ(ｍｕｌｔｉ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒまたはｍｕｌｔｉ ｔｒａｃｋ ＩＳＯＢＭＦＦ Ｖ－ＰＣＣ ｃｏｎｔａｉｎｅｒという)の一般的なレイアウトは、それらのタイプに基づいて、コンテナファイル内の個別トラック(ｉｎｄｉｖｉｄｕａｌ ｔｒａｃｋ)にマップされてもよい(Ｔｈｅ ｇｅｎｅｒａｌ ｌａｙｏｕｔ ｏｆ ａ ｍｕｌｔｉ－ｔｒａｃｋ ＩＳＯＢＭＦＦ Ｖ－ＰＣＣ ｃｏｎｔａｉｎｅｒ、ｗｈｅｒｅ Ｖ－ＰＣＣ ｕｎｉｔｓ ｉｎ ａ Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ａｒｅ ｍａｐｐｅｄ ｔｏ ｉｎｄｉｖｉｄｕａｌ ｔｒａｃｋｓ ｗｉｔｈｉｎ ｔｈｅ ｃｏｎｔａｉｎｅｒ ｆｉｌｅ ｂａｓｅｄ ｏｎ ｔｈｅｉｒ ｔｙｐｅｓ)。実施例によれば、ｍｕｌｔｉ－ｔｒａｃｋ ＩＳＯＢＭＦＦ Ｖ－ＰＣＣコンテナには、２つタイプのトラックがある。そのうちの１つはＶ－ＰＣＣトラックであり、もう１つはＶ－ＰＣＣコンポーネントトラックである。
実施例によるＶ－ＰＣＣトラックは、アトラスサブ－ビットストリームおよびシーケンスパラメータセットを含むＶ－ＰＣＣビットストリーム内のボリュームビジュアル情報(ｖｏｌｕｍｅｔｒｉｃ ｖｉｓｕａｌ ｉｎｆｏｒｍａｔｉｏｎ)を伝送するトラックである。
実施例によるＶ－ＰＣＣコンポーネントトラックは、Ｖ－ＰＣＣビットストリームの占有マップ、ジオメトリ、特質サブビットストリームに対する２Ｄビデオ符号化されたデータを伝送する制限されたビデオスキームトラックである。これに加えて、Ｖ－ＰＣＣコンポーネントトラックは以下の条件を満たすことができる。
ａ) サンプルエントリーにおいて、このトラックに含まれたビデオストリームのロール(ｒｏｌｅ)を説明する新たなボックスがＶ－ＰＣＣシステムにインサートされる。
ｂ) トラックレファレンスがＶ－ＰＣＣトラックからＶ－ＰＣＣコンポーネントトラックに紹介される。これはＶ－ＰＣＣトラックによって表現される特定のポイント－クラウドに含まれたＶ－ＰＣＣコンポーネントトラックのメンバシップを確立するためである。
ｃ) トラック－ヘッダフラグが０にセットされる。これはトラックがＶ－ＰＣＣシステムには寄与するものの、ムービーの全般的なレイアップに直接寄与しないことを示すためである。
同一のＶ－ＰＣＣシーケンスが属するトラックは、時間順に整列される。異なるビデオ符号化されたＶ－ＰＣＣコンポーネントトラックと同一のポイントクラウドフレームに寄与するサンプルおよびＶ－ＰＣＣトラックは、同一のプレゼンテーション時間を有する。サンプルに対して使用されるＶ－ＰＣＣアトラスシーケンスパラメータセットおよびアトラスフレームパラメータセットは、ポイントクラウドフレームのコンポジションタイムと同一または以前の復号タイムを有する。さらに、同一のＶ－ＰＣＣシーケンスに属するすべてのトラックは、同一の含蓄または明瞭な編集リストを有する(Ｔｒａｃｋｓ ｂｅｌｏｎｇｉｎｇ ｔｏ ｔｈｅ ｓａｍｅ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅ ａｒｅ ｔｉｍｅ－ａｌｉｇｎｅｄ． Ｓａｍｐｌｅｓ ｔｈａｔ ｃｏｎｔｒｉｂｕｔｅ ｔｏ ｔｈｅ ｓａｍｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ ａｃｒｏｓｓ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｖｉｄｅｏ－ｅｎｃｏｄｅｄ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｔｒａｃｋ ｈａｓ ｔｈｅ ｓａｍｅ ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅ． Ｔｈｅ Ｖ－ＰＣＣ ａｔｌａｓ ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ａｎｄ ａｔｌａｓ ｆｒａｍｅ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ｕｓｅｄ ｆｏｒ ｓｕｃｈ ｓａｍｐｌｅｓ ｈａｖｅ ａ ｄｅｃｏｄｉｎｇ ｔｉｍｅ ｅｑｕａｌ ｏｒ ｐｒｉｏｒ ｔｏ ｔｈｅ ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ ｏｆ ｔｈｅ ｐｏｉｎｔ ｃｌｏｕｄ ｆｒａｍｅ． Ｉｎ ａｄｄｉｔｉｏｎ、ａｌｌ ｔｒａｃｋｓ ｂｅｌｏｎｇｉｎｇ ｔｏ ｔｈｅ ｓａｍｅ Ｖ－ＰＣＣ ｓｅｑｕｅｎｃｅ ｈａｖｅ ｔｈｅ ｓａｍｅ ｉｍｐｌｉｅｄ ｏｒ ｅｘｐｌｉｃｉｔ ｅｄｉｔ ｌｉｓｔｓ)。
Ｎｏｔｅ：コンポーネントトラック内のエレメンタリストリーム間の同期間は、ＩＳＯＢＭＦＦトラックタイミング構造(ｓｔｔｓ、ｃｔｔｓ、およびｃｓｌｇ)によって処理されてもよく、ムービーフラグメント内の同等なメカニズムによって処理されてもよい。
このようなレイアウトに基づいて、Ｖ－ＰＣＣ ＩＳＯＢＭＦＦコンテナは、以下を含んでもよい。
－ Ｖ－ＰＣＣパラメータセットＶ－ＰＣＣユニット(ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ＿ＶＰＳ)およびアトラスＶ－ＰＣＣユニット(ｕｎｉｔ ｔｙｐｅ ＶＰＣＣ＿ＡＤ)のペイロードを伝送するサンプルおよびサンプルエントリーに含まれたＶ－ＰＣＣパラメータセットを含むＶ－ＰＣＣトラック。また、トラックは、ｕｎｉｔ ｔｙｐｅｓ ＶＰＣＣ＿ＯＶＤ、ＶＰＣＣ＿ＧＶＤ、およびＶＰＣＣ＿ＡＶＤのようなビデオ圧縮されたＶ－ＰＣＣユニットのペイロードを伝送する他のトラックに対するトラックレファレンスを含む。
－ タイプＶＰＣＣ＿ＯＶＤのＶ－ＰＣＣユニットのペイロードである占有マップデータのためのビデオコードされたエレメンタリストリームのアクセスユニットを含むサンプルのある制限されたビデオスキームトラック。
- タイプＶＰＣＣ＿ＧＶＤのＶ－ＰＣＣユニットのペイロードであるジオメトリデータのビデオコードされたエレメンタリストリームのアクセスユニットを含むサンプルのある１つまたは１つ以上の制限されたビデオスキームトラック。
－ タイプＶＰＣＣ＿ＡＶＤのＶ－ＰＣＣユニットのペイロードである特質データのビデオコードされたエレメンタリストリームのアクセスユニットを含むサンプルのあるゼロまたは１つ以上の制限されたビデオスキームトラック。
以下、Ｖ－ＰＣＣトラック(Ｖ－ＰＣＣ ｔｒａｃｋｓ)について説明する。
実施例によれば、Ｖ－ＰＣＣトラックサンプルエントリー(Ｖ－ＰＣＣ Ｔｒａｃｋ Ｓａｍｐｌｅ Ｅｎｔｒｙ)のシンタックス構造は、以下のようである。
サンプルエントリータイプ(Ｓａｍｐｌｅ Ｅｎｔｒｙ Ｔｙｐｅ)：'ｖｐｃ１'、'ｖｐｃｇ'
コンテナ(Ｃｏｎｔａｉｎｅｒ)：サンプルディスクリプションボックス(ＳａｍｐｌｅＤｅｓｃｒｉｐｔｉｏｎＢｏｘ)
義務有無(Ｍａｎｄａｔｏｒｙ): 'ｖｐｃ１'または'ｖｐｃｇ'サンプルエントリーは義務である
量(Ｑｕａｎｔｉｔｙ)：１つまたは１つ以上のサンプルエントリーが存在してもよい
Ｖ－ＰＣＣトラックは、ボリュームビジュアルサンプルエントリーを拡張するＶＰＣＣＳａｍｐｌｅＥｎｔｒｙを用いる。サンプルエントリータイプは'ｖｐｃ１'または'ｖｐｃｇ'である。
Ｖ－ＰＣＣサンプルエントリーは、Ｖ－ＰＣＣコンフィギュレーションボックス(ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ)を含む。このボックスはＶ－ＰＣＣデコーダコンフィギュレーションレコード(ＶＰＣＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ)を含む。
'ｖｐｃ１'サンプルエントリー下において、すべてのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット、またはＶ－ＰＣＣ ＳＥＩはセットアップユニットアレイ(ｓｅｔｕｐＵｎｉｔ ａｒｒａｙ)内にある。
'ｖｐｃｇ'サンプルエントリー下において、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、Ｖ－ＰＣＣ ＳＥＩがこのアレイ内またはストリーム内にあってもよい。
オプションのビットレートボックス(ＢｉｔＲａｔｅＢｏｘ)は、Ｖ－ＰＣＣトラックのビットレート情報をシグナリングするために、Ｖ－ＰＣＣボリュームサンプルエントリー内に存在してもよい。
Volumetric Sequences:
class VPCCConfigurationBox extends Box('vpcC') ｛
VPCCDecoderConfigurationRecord() VPCCConfig;
｝
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
｝
図５５は、実施例によるＶ－ＰＣＣサンプルエントリー構造の一例を示す。図５５において、Ｖ－ＰＣＣサンプルエントリーは、１つのＶ－ＰＣＣパラメータセットを含み、オプションのアトラスシーケンスパラメータセット(ＡＳＰＳ)、アトラスフレームパラメータセット(ＡＦＰＳ)またはＳＥＩを含んでもよい。
実施例によるＶ－ＰＣＣビットストリームは、サンプルストリームＶ－ＰＣＣヘッダ、サンプルストリームＮＡＬヘッダ、Ｖ－ＰＣＣユニットヘッダボックスをさらに含んでもよい。
以下、Ｖ－ＰＣＣトラックサンプルフォーマット(Ｖ－ＰＣＣ ｔｒａｃｋ ｓａｍｐｌｅ ｆｏｒｍａｔ)について説明する。
Ｖ－ＰＣＣトラック内の各々のサンプルは、シングルポイントクラウドフレームに対応する。様々なコンポーネントトラックにおいてこのフレームに対応するサンプルは、Ｖ－ＰＣＣトラックサンプルと同一のコンポジションタイムを有する。各々のＶ－ＰＣＣサンプルは、以下のように、１つまたは１つ以上のアトラスＮＡＬユニットを含む。
aligned(8) class VPCCSample ｛
unsigned int PointCloudPictureLength = sample_size; ／／ size of samble (e.g.、from SampleSizeBox)
for (i=0; i<PointCloudPictureLength; ) ｛
sample_stream_nal_unit nalUnit
i += (VPCCDecoderConfigurationRecord.lengthSizeMinusOne+1) +
nalUnit.ssnu_nal_unit_size;
nalUnit.ssnu_nal_unit_size;
｝
｝
aligned(8) class VPCCSample
｛
unsigned int PictureLength = sample_size; ／／ size of samble (e.g.、from SampleSizeBox)
for (i=0; i<PictureLength; ) ／／ ピクチャーの最後までシグナリングされる
｛
unsigned int((VPCCDecoderConfigurationRecord.LengthSizeMinusOne+1)*8)
NALUnitLength;
bit(NALUnitLength * 8) NALUnit;
i += (VPCCDecoderConfigurationRecord.LengthSizeMinusOne+1) + NALUnitLength;
｝
｝
実施例によるＶ－ＰＣＣトラック内のシンクサンプル(ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ)は、Ｖ－ＰＣＣ ＩＲＡＰコードされたパッチデータアクセスユニットである。アトラスパラメータセットは、必要のある場合、ランダムアクセスを許容するために、シンクサンプルにおいて繰り返すことができる。
以下、ビデオ符号化されたＶ－ＰＣＣコンポーネントトラックについて説明する。
ＭＰＥＧ特定のコーデックを用いてコードされたビデオトラックの伝送はＩＳＯ ＢＭＦＦの規格に従う。例えば、ＡＶＣおよびＨＥＶＣコードされたビデオの伝送は、ＩＳＯ／ＩＥＣ １４４９６－１５を参照することができる。ＩＳＯＢＭＦＦは、他のコーデックタイプが必要な場合、拡張メカニズムをさらに提供することができる。
プレーヤー側でポイントクラウドを再構成することなく、特質、ジオメトリ、または占有マップトラックから復号されたフレームをディスプレイすることは意味がないため、制限されたビデオスキームタイプは、このようなビデオ-コードされたトラックに対して定義できる。
以下、制限されたビデオスキーム(Ｒｅｓｔｒｉｃｔｅｄ ｖｉｄｅｏ ｓｃｈｅｍｅ)について説明する。
Ｖ－ＰＣＣコンポーネントビデオトラックは、制限されたビデオとしてファイル内で表現される。また、制限されたビデオサンプルエントリーの制限されたスキーム情報ボックス(ＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ)のＳｃｈｅｍｅＴｙｐｅＢｏｘのｓｃｈｅｍｅ＿ｔｙｐｅフィールド内の'ｐｃｃｖ'値によって識別できる。
特質、ジオメトリ、および占有マップＶ－ＰＣＣコンポーネントを符号化するために用いられるビデオコーデック上の制限(ｒｅｓｔｒｉｃｔｉｏｎ)はない。さらに、コンポーネントは異なるビデオコーデックを使用して符号化できる。
実施例によれば、スキーム情報(Ｓｃｈｅｍｅ ｉｎｆｏｒｍａｔｉｏｎ、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ)が存在し、ＶＰＣＣＵｎｉｔＨｅａｄｅｒＢｏｘを含んでもよい。
以下、Ｖ－ＰＣＣコンポーネントトラックのレファレンシング(Ｒｅｆｅｒｅｎｃｉｎｇ Ｖ－ＰＣＣ ｃｏｍｐｏｎｅｎｔ ｔｒａｃｋｓ)について説明する。
Ｖ－ＰＣＣトラックをコンポーネント ビデオトラックにリンクするために、３つのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘｅｓが各々のコンポーネントのためにＶ－ＰＣＣトラックのトラックボックス内のトラックレファレンスボックスに追加されてもよい。トラックレファレンスタイプボックスは、Ｖ－ＰＣＣトラックレファレンスに関するビデオトラックを格納するｔｒａｃｋ＿ＩＤのアレイを含む。ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは、占有マップ、ジオメトリ、特質、または占有マップなどのコンポーネントのタイプを識別する。トラックレファレンスタイプは、以下のようである：
'ｐｃｃｏ'において、参照されたトラックがビデオ-コードされた占有マップＶ－ＰＣＣコンポーネントを含む。
'ｐｃｃｇ'において、参照されたトラックがビデオ-コードされたジオメトリＶ－ＰＣＣコンポーネントを含む。
'ｐｃｃａ'において、参照されたトラックがビデオ-コードされた特質Ｖ－ＰＣＣコンポーネントを含む。
参照された制限されたビデオトラックによって伝送され、トラックのＲｅｓｔｒｉｃｔｅｄＳｃｈｅｍｅＩｎｆｏＢｏｘ内でシグナリングされるＶ－ＰＣＣコンポーネントのタイプは、Ｖ－ＰＣＣトラックからトラックレファレンスのレファレンスタイプにマッチングされる。
以下、Ｖ－ＰＣＣビットストリームのシングルトラックコンテナ(Ｓｉｎｇｌｅ ｔｒａｃｋ ｃｏｎｔａｉｎｅｒ ｏｆ Ｖ－ＰＣＣ Ｂｉｔｓｔｒｅａｍ)について説明する。
Ｖ－ＰＣＣデータのシングル－トラックカプセル化は、シングル－トラック宣言によって表現されるＶ－ＰＣＣ符号化されたエレメンタリビットストリームを求める(Ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｅｎｃａｐｓｕｌａｔｉｏｎ ｏｆ Ｖ－ＰＣＣ ｄａｔａ ｒｅｑｕｉｒｅｓ ｔｈｅ Ｖ－ＰＣＣ ｅｎｃｏｄｅｄ ｅｌｅｍｅｎｔａｒｙ ｂｉｔｓｔｒｅａｍ ｔｏ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ａ ｓｉｎｇｌｅ－ｔｒａｃｋ ｄｅｃｌａｒａｔｉｏｎ)。
ＰＣＣデータのシングル－トラックカプセル化は、Ｖ－ＰＣＣ符号化されたビットストリームのシンプルＩＳＯＢＭＦＦのカプセル化に用いられる。このようなビットストリームは、追加の処理なくシングルトラックに直ちに格納される。Ｖ－ＰＣＣユニットヘッダデータ構造はビットストリーム内にあってもよい。Ｖ－ＰＣＣデータのためのシングルトラックコンテナは、追加の処理(ｅ．ｇ．、ｍｕｌｔｉ－ｔｒａｃｋ ｆｉｌｅ ｇｅｎｅｒａｔｉｏｎ、ｔｒａｎｓｃｏｄｉｎｇ、ＤＡＳＨ ｓｅｇｍｅｎｔａｔｉｏｎ、ｅｔｃ.)のためのメディアワークフローに提供される。
シングル－トラックカプセル化されたＶ－ＰＣＣデータを含むＩＳＯＢＭＦＦファイルは、ファイルタイプボックスのｃｏｍｐａｔｉｂｌｅ＿ｂｒａｎｄｓ[]リスト内'ｐｃｓｔ'を含んでもよい。
Ｖ－ＰＣＣ エレメンタリ ストリーム トラック(Ｖ－ＰＣＣ elementary stream track):
Sample Entry Type: 'vpe1'、'vpeg'
Container: SampleDescriptionBox
Mandatory: A 'vpe1' or 'vpeg' sample entry is mandatory
Quantity: One or more sample entries may be present
Ｖ－ＰＣＣエレメンタリストリームトラックは、サンプルエントリータイプ'ｖｐｅ１'または'ｖｐｅｇ'を有するボリュームビジュアルサンプルエントリーを使用する。
Ｖ－ＰＣＣエレメンタリストリームサンプルエントリーは、ＶＰＣＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含む。
'ｖｐｅ１' サンプルエントリー下において、すべてのアトラスシーケンスパラメータセット、アトラスフレームパラメータセット、ＳＥＩがセットアップユニットアレイ 内にあってもよい。'ｖｐｅｇ'サンプルエントリー下において、アトラスシーケンスパラメータセット、アトラスフレームパラメータセット、ＳＥＩがこのアレイまたはストリーム内に存在してもよい。
Volumetric Sequences:
class VPCCConfigurationBox extends Box('vpcC') ｛
VPCCDecoderConfigurationRecord() VPCCConfig;
｝
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
VPCCBoundingInformationBox ３Ｄ_bb;
｝
以下、Ｖ－ＰＣＣエレメンタリストリームサンプルフォーマット(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓａｍｐｌｅ ｆｏｒｍａｔ)について説明する。
Ｖ－ＰＣＣエレメンタリストリームサンプルは、同一のプレゼンテーションタイムに属する１つ以上のＶ－ＰＣＣユニットで構成されてもよい。各々のサンプルは、ユニークなプレゼンテーションタイム、サイズ、デュレーションを有する。サンプルは、例えば、シンクサンプルであるか、他のＶ－ＰＣＣエレメンタリストリームサンプルに依存して復号される。
以下、Ｖ－ＰＣＣエレメンタリストリームシンクサンプル(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｙｎｃ ｓａｍｐｌｅ)について説明する。
Ｖ－ＰＣＣエレメンタリストリームシンクサンプルは、以下の条件を満たす：
－ 独立して復号可能背である。
－ 復号順にシンクサンプルの以後に来るサンプルは、シンクサンプルの以前のサンプルに対する復号依存性を有しない。
－ 復号順にシンクサンプルの以後に来るすべてのサンプルは成功的に復号可能である。
以下、Ｖ－ＰＣＣエレメンタリストリームサブ－サンプル(Ｖ－ＰＣＣ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｓｕｂ－ｓａｍｐｌｅ)について説明する。
Ｖ－ＰＣＣエレメンタリストリームサブ-サンプルは、Ｖ－ＰＣＣエレメンタリストリームサンプル内に含まれるＶ－ＰＣＣユニットである。
Ｖ－ＰＣＣエレメンタリストリームトラックは、Ｖ－ＰＣＣエレメンタリストリームサブ-サンプルを並べるＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘｅｓのＴｒａｃｋＦｒａｇｍｅｎｔＢｏｘ内または各ＳａｍｐｌｅＴａｂｌｅＢｏｘ内のＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘを含む。
サブ－サンプルを表現するＶ－ＰＣＣユニットの３２-ビットユニットヘッダはＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブ－サンプルエントリーの３２－ビットｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドにコピーされる。各々のサブ-サンプルのＶ－ＰＣＣユニットタイプは、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内のサブ－サンプルエントリーのｃｏｄｅｃ＿ｓｐｅｃｉｆｉｃ＿ｐａｒａｍｅｔｅｒｓフィールドをパーシングすることで識別できる。
以下、ポイントクラウドデータのレンダリングについて説明する。
実施例によれば、ポイントクラウドデータのレンダリングは、図１のレンダラー１０００９、図１９のポイントクラウドレンダラー１９００７、図２０のレンダラー２０００９、または図２２のポイントクラウドレンダリング部２２００４で行われる。実施例によれば、メタデータに基づいて３Ｄ空間上にポイントクラウドデータをレンダリングすることができる。ユーザはＶＲ／ＡＲディスプレイまたは一般のディスプレイなどによってレンダリングされた結果の全部または一部の領域を見ることができる。特に、ポイントクラウドデータは、ユーザのビューポートなどによってレンダリングされる。
ここで、ビューポート(ｖｉｅｗｐｏｒｔ)およびビューポート領域とは、ユーザがポイントクラウドビデオで見ている領域を意味する。視点(ｖｉｅｗｐｏｉｎｔ)は、ユーザがポイントクラウドビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは、視点を中心とする領域であるが、その領域が占めるサイズ、形態などは、ＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)によって決定できる。
実施例によるビューポート情報は、現在、ユーザが３Ｄ空間上で装置またはＨＭＤなどによって見ている領域に関する情報である。これにより、ゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)が行われ、ユーザがどんな方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどのくらい凝視するかなどを確認することもできる。ゲイズ分析は、受信側で行われて送信側へフィードバックチャンネルを介して送信されてもよい。ＶＲ／ＡＲ／ＭＲのようなディスプレイ装置は、オリエンテーション情報、ユーザの値の位置／方向、装置が支援する垂直(ｖｅｒｔｉｃａｌ)または水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート領域を抽出することができる。オリエンテーションまたはビューポート情報は、受信装置で抽出または算出される。受信装置で分析したオリエンテーションまたはビューポート情報は、送信装置へフィードバックチャンネルを介して送信されてもよい。
実施例による受信装置のポイントクラウドビデオデコーダは、オリエンテーション情報および／またはユーザが現在見ている領域を示すビューポート情報を用いて、特定の領域、即ちオリエンテーション情報および／またはビューポート情報が示す領域のメディアデータのみを効率的にファイルから抽出または復号する。実施例による送信装置のポイントクラウドビデオエンコーダは、受信装置でフィードバックされるオリエンテーション情報 および／またはビューポート情報を用いて、特定の領域、即ちオリエンテーション情報および／またはビューポート情報が示す領域のメディアデータのみを符号化してもよく、符号化されたメディアデータをファイルにカプセル化して送信してもよい。
実施例によれば、送信装置のファイル／セグメントカプセル化部は、オリエンテーション情報および／またはビューポート情報に基づいて、すべてのポイントクラウドデータをファイル／セグメントにカプセル化してもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータをファイル／セグメントにカプセル化してもよい。
実施例によれば、受信装置のファイル／セグメントデカプセル化部は、オリエンテーション情報および／またはビューポート情報に基づいて、すべてのポイントクラウドデータを含むファイルをデカプセル化してもよく、オリエンテーション情報および／またはビューポート情報が示すポイントクラウドデータを含むファイルをデカプセル化してもよい。
実施例によれば、ビューポート情報は、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ情報、ビュー情報と同様または類似する意味で用いられる。
実施例によるビューポート情報は、ビューポートに関する情報またはビューポート情報に関連するメタデータとも呼ぶ。実施例によるビューポートに関する情報は、ビューポート情報、レンダリングパラメータ、客体レンダリング情報のうちの少なくとも１つを含むことができる。
実施例によれば、ビューポートに関する情報(ｖｉｅｗｐｏｒｔ ｒｅｌａｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ)は、図１８のポイントクラウドデータ送信装置のメタデータ符号化部１８００５、または図２１のＶ－ＰＣＣシステムのポイントクラウド前処理部２０００１および／またはビデオ／イメージ符号化部２１００７、２１００８で生成／符号化され、図１９のポイントクラウドデータ受信装置のメタデータ復号化部１９００２、または図２２のＶ－ＰＣＣシステムのビデオ／イメージ復号部２２００１、２２００２および／またはポイントクラウド後処理部２２００３で取得／復号できる。
本明細書は、ポイントクラウドデータのビューポート(または、ビュー)情報に関連するメタデータを定義し、ファイル内の該当ビューポート情報に関連するメタデータを格納およびシグナリングする実施例を説明する。
本明細書は、ファイル内の時間経過とともに動的に変化するポイントクラウドデータのビューポート情報に関連するメタデータを格納する実施例を説明する。
本明細書は、ポイントクラウドデータのレンダリングパラメータに関連するメタデータを定義し、ファイル内のレンダリングパラメータに関連するメタデータを格納およびシグナリングする実施例を説明する。
本明細書は、ファイル内の時間経過とともに動的に変化するポイントクラウドデータのレンダリングパラメータに関連するメタデータを格納する実施例を説明する。
本明細書は、ファイル内のポイントクラウドデータ関連客体レンダリング情報に関するメタデータを定義し、ファイル内客体レンダリング情報に関連するメタデータを格納 およびシグナリングする実施例を説明する。
本明細書は、ファイル内の時間経過とともに動的に変化するポイントクラウドデータの客体レンダリング情報に関連するメタデータを格納する実施例を説明する。
図５６は、実施例による仮想カメラとＶｉｅｗＩｎｆｏＳｔｒｕｃｔ情報を用いてビューを生成する一例を示す。
実施例によるＶｉｅｗＩｎｆｏＳｔｒｕｃｔ情報は、レンダリングされて提供されるビューを生成するために、詳細な情報を含んでもよい。特に、ビューを生成するための仮想カメラの３Ｄ上における位置情報、仮想カメラの垂直／水平ＦＯＶ(ｆｉｅｌｄ ｏｆ ｖｉｅｗ)、仮想カメラが見る方向情報(ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ)、仮想カメラの上方を示す上ベクトル(ｕｐ ｖｅｃｔｏｒ情報)などを含む。仮想カメラはユーザの目(Ｅｙｅ)、即ち、３Ｄ上の一部の領域を見るユーザの視覚と類似する。この情報に基づいて視錘台(ｖｉｅｗ ｆｒｕｓｔｕｍ)を類推することができる。視錘台(ｖｉｅｗ ｆｒｕｓｔｕｍ)は、実際にレンダリングされディスプレイされるポイントクラウドデータの全体または一部を含む３Ｄ空間上の領域を意味する。実施例によれば、類推された視錘台(ｖｉｅｗ ｆｒｕｓｔｕｍ)が２Ｄフレームの形式でプロジェクションされることで、ビュー(即ち、実際にディスプレイされる２Ｄイメージ／ビデオフレーム)が生成される。
以下、ＶｉｅｗＩｎｆｏＳｔｒｕｃｔ情報に含まれる情報の例を示すシンタックスである。
aligned(8) class ViewInfoStruct()｛
unsigned int(16) view_pos_x;
unsigned int(16) view_pos_y;
unsigned int(16) view_pos_z;
unsigned int(8) view_vfov;
unsigned int(8) view_hfov;
unsigned int(16) view_dir_x;
unsigned int(16) view_dir_y;
unsigned int(16) view_dir_z;
unsigned int(16) view_up_x;
unsigned int(16) view_up_y;
unsigned int(16) view_up_z;
｝
ｖｉｅｗ＿ｐｏｓ＿ｘ、ｖｉｅｗ＿ｐｏｓ＿ｙ、ｖｉｅｗ＿ｐｏｓ＿ｚは、ビュー(例えば、実際にディスプレイされる２Ｄイメージ／ビデオフレーム)を生成可能な仮想カメラの３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗ＿ｖｆｏｖ、ｖｉｅｗ＿ｈｆｏｖは、ビューを生成可能な仮想カメラの垂直ＦＯＶ(ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ)、水平ＦＯＶ(ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ情報)を示す。
ｖｉｅｗ＿ｄｉｒ＿ｘ、ｖｉｅｗ＿ｄｉｒ＿ｙ、ｖｉｅｗ＿ｄｉｒ＿ｚは、仮想カメラが見る方向を示す方向ベクトル(ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ)を示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗ＿ｕｐ＿ｘ、ｖｉｅｗ＿ｕｐ＿ｙ、ｖｉｅｗ＿ｕｐ＿ｚは、仮想カメラの上方を示す上ベクトル(ｕｐ ｖｅｃｔｏｒ)を示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
実施例によるＶｉｅｗＩｎｆｏＳｔｒｕｃｔ()情報は、以下のように、ポイントクラウドビットストリーム上にＳＥＩなどの形式で送信できる。
V－PCC view information box
aligned(8) class VPCCViewInfoBox extends FullBox('vpvi',0,0) ｛
ViewInfoStruct();
｝
以下、静的Ｖ－ＰＣＣビューポート情報について説明する。
実施例によるビューポート情報がポイントクラウドシーケンス内で変化しない場合、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラック(ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ ｔｒａｃｋ)のサンプルエントリーに、以下のようにＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘが含まれる。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
VPCCViewInfoBox view_info;
｝
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘは、トラック内のサンプルに格納されたアトラスフレームに関連するポイントクラウドデータがレンダリングされ提供されるビューを生成するための詳細な情報は、以下のようである。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
VPCCViewInfoBox view_info;
｝
ＶＰＣＣＶｉｅｗＩｎｆｏＢｏｘは、トラック内のサブサンプルに格納されたアトラスフレーム、ビデオフレームに関連するポイントクラウドデータがレンダリングされ提供されるビューを生成するための詳細な情報を含む。
以下、Ｖ－ＰＣＣビュー情報サンプルグループ化(Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｖｓ'ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、このサンプルグループに伝送されるビュー情報にＶ－ＰＣＣトラック内のサンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｖｓ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合、同じグループ化タイプを有するａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループのＩＤを含む。
aligned(8) class VPCCViewInfoSampleGroupDescriptionEntry() extends SampleGroupDescriptionEntry('vpvs') ｛
ViewInfoStruct();
｝
以下、動的Ｖ－ＰＣＣビュー情報(Ｄｙｎａｍｉｃ Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ)を説明する。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｖｉ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義されたビュー情報は、動的として考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、ビュー情報は、時間経過とともに動的に変化できる。
関連するタイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣ要素ストリームトラックがサンプルエントリータイプ'ｄｙｖｉ'を有する関連するタイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義されたビュー情報は、動的として考慮されたＶ－ＰＣＣ基本トラックによって伝送される。即ち、ビュー情報は、時間経過とともに動的に変化する。
関連するタイムド－メタデータトラックは、Ｖ－ＰＣＣ基本サンプルトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicViewInfoSampleEntry extends MetaDataSampleEntry('dyvi') ｛
VPCCViewInfoBox init_view_info;
｝
ｉｎｉｔ＿ｖｉｅｗ＿ｉｎｆｏは、ポイントクラウドデータの初期ビューを生成するビュー情報(ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ())を含んでもよい。
このサンプルエントリータイプ'ｄｙｖｉ'のサンプルシンタックスは、以下のようである。
aligned(8) DynamicViewInfoSample() ｛
VPCCViewInfoBox view_info;
｝
各々のサンプルは、時間経過とともに変化するビュー情報(ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ())を含んでもよい。
実施例によれば、レンダリングのためのレンダリングパラメータであるＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔは、ポイントクラウドデータのレンダリング時に適用可能なパラメータ情報を含んでもよい。これはポイントクラウドデータがレンダリング時にポイントのサイズ、ポイントのレンダリングタイプ、重複ポイントをどのように処理するか、例えば、ディスプレイするか否かなどを、以下のように含む。
aligned(8) class RenderingParamStruct()｛
unsigned int(16) point_size;
unsigned int(7) point_type;
unsigned int(2) duplicated_point;
｝
Ｐｏｉｎｔ＿ｓｉｚｅは、レンダリング／ディスプレイされるポイントのサイズを示す。
Ｐｏｉｎｔ＿ｔｙｐｅは、レンダリング／ディスプレイされるポイントのタイプを示すことができる。例えば、Ｐｏｉｎｔ＿ｔｙｐｅの値が０であればｃｕｂｏｉｄ、１であればｃｉｒｃｌｅ、２であればポイントを指示する。
Ｄｕｐｌｉｃａｔｅｄ＿ｐｏｉｎｔは、同一の３Ｄ上のｘ、ｙ、ｚ値を有するポイントが複数である場合の処理方法を示す。例えば、Ｄｕｐｌｉｃａｔｅｄ＿ｐｏｉｎｔの値が０であれば、重複ポイントを無視する。一実施例として、Ｄｕｐｌｉｃａｔｅｄ＿ｐｏｉｎｔの値が１であればポイントを１つだけランダムに選択してレンダリング／ディスプレイすることができる。一実施例として、Ｄｕｐｌｉｃａｔｅｄ＿ｐｏｉｎｔの値が２であれば、重複ポイントの特質値を平均して該当平均値に基づいてレンダリング／ディスプレイすることができる。
ＲｅｎｄｅｒｉｎｇＰａｒａｍＳｔｒｕｃｔ()情報は、以下のように、ポイントクラウドビットストリーム上にＳＥＩなどで送信できる。
V－PCC rendering parameter box
aligned(8) class VPCCRenderingParamBox extends FullBox('vprp',0,0) ｛
RenderingParamStruct();
｝
以下、静的Ｖ－ＰＣＣレンダリングパラメータ(Ｓｔａｔｉｃ Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ)について説明する。
実施例によれば、レンダリング関連パラメータがポイントクラウドシーケンス内で変化しない場合、以下のように、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラックのサンプルエントリーにＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘが含まれてもよい。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
VPCCRenderingParamBox rendering_param;
｝
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘは、トラック内のサンプルに格納されたアトラスフレームに関連するポイントクラウドデータのレンダリング時に適用可能なレンダリングパラメータの詳細な情報を以下のように含んでもよい。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
VPCCRenderingParamBox rendering_param;
｝
ＶＰＣＣＲｅｎｄｅｒｉｎｇＰａｒａｍＢｏｘは、トラック内のサブサンプルに格納されたアトラスフレーム、ビデオフレームおよびポイントクラウドデータのレンダリング時に適用可能なレンダリングパラメータの詳細な情報を含んでもよい。
以下、Ｖ－ＰＣＣレンダリングパラメータサンプルグループ化(Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｒｐ'ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、サンプルグループに伝送されるレンダリングパラメータにＶ－ＰＣＣトラック内サンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｖｓ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合、同じグループ化タイプを有するａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループＩＤを含んでもよい。
aligned(8) class VPCCRenderingParamSampleGroupDescriptionEntry() extends SampleGroupDescriptionEntry('vprp') ｛
RenderingParamStruct();
｝
以下、動的Ｖ－ＰＣＣレンダリングパラメータ情報(Ｄｙｎａｍｉｃ Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｒｐ'を有する関連するタイムド－メタデータトラックを有する場合、ポイントクラウドストリームのために定義されたレンダリングパラメータは、動的レンダリングパラメータとして考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、レンダリングパラメータは、時間経過とともに動的に変化する。
関連するタイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣエレメンタリストリームトラックがサンプルエントリータイプ'ｄｙｒｐ'を有する関連するタイムド－メタデータトラックを有する場合、ポイントクラウドストリームのために定義されたレンダリングパラメータは、動的レンダリングパラメータとして考慮されたＶ－ＰＣＣエレメンタリストリームトラックによって伝送される。即ち、レンダリングパラメータは、時間経過とともに動的に変化する。
関連するタイムド－メタデータトラックは、Ｖ－ＰＣＣエレメンタリストリームトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicRenderingParamSampleEntry extends MetaDataSampleEntry('dyrp') ｛
VPCCRenderingParamBox init_rendering_param;
｝
ｉｎｉｔ＿ｒｅｎｄｅｒｉｎｇ＿ｐａｒａｍは、ポイントクラウドデータの初期レンダリングパラメータを含んでもよい。
実施例によれば、サンプルエントリータイプ'ｄｙｖｉ'のサンプルシンタックスは、以下のようである。
aligned(8) DynamicRenderingParamSample() ｛
VPCCRenderingParamBox rendering_param;
｝
各々のサンプルは、時間経過とともに変化するレンダリングパラメータを含んでもよい。
図５７は、実施例によるＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ()情報を用いてビューを生成する一例を示す。
実施例によれば、客体レンダリング情報であるＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔは、ポイントクラウドデータレンダリング時にポイントクラウドデータに適用される詳細な情報を含んでもよい。実施例によれば、ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔは、以下のように、ポイントクラウドデータが使用する座標系情報、該当座標系に基づいてポイントクラウドデータの３Ｄ空間上における位置、ポイントクラウドデータの法線ベクトル、ポイントクラウドデータの上方を示す上ベクトルなどに関する情報を含んでもよい。
aligned(8) class ObjectRenderingInfoStruct()｛
unsigned int(8) obj_id;
unsinged int(4) obj_coord_type;
bit(4) reserved = 1;
unsigned int(16) obj_pos_x;
unsigned int(16) obj_pos_y;
unsigned int(16) obj_pos_z;
unsigned int(16) obj_dir_x;
unsigned int(16) obj_dir_y;
unsigned int(16) obj_dir_z;
unsigned int(16) obj_up_x;
unsigned int(16) obj_up_y;
unsigned int(16) obj_up_z;
unsigned int(16) obj_scale_x;
unsigned int(16) obj_scale_y;
unsigned int(16) obj_scale_z;
｝
ｏｂｊ＿ｉｄは、ポイントクラウドデータの識別者を示す。
ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅは、ポイントクラウドレンダリング時に使用する座標系を示す。例えば、ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅの値が０であれば、グローバル座標系を使用できる。例えば、ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅの値が１であれば、ビュー座標系(即ち、ビューポートデータの生成に使用される仮想カメラの座標系)を使用する。
ｏｂｊ＿ｐｏｓ＿ｘ、ｏｂｊ＿ｐｏｓ＿ｙ、ｏｂｊ＿ｐｏｓ＿ｚは、ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅが称する座標系上においてポイントクラウドデータのバウンディングボックスの原点のｘ、ｙ、ｚ座標値を示す。実施例によれば、ｏｂｊ＿ｃｏｏｒｄ＿ｔｙｐｅが称する座標系上においてポイントクラウドデータのバウンディングボックスの中心点のｘ、ｙ、ｚ座標値を示す。
ｏｂｊ＿ｄｉｒ＿ｘ、ｏｂｊ＿ｄｉｒ＿ｙ、ｏｂｊ＿ｄｉｒ＿ｚは、ポイントクラウドデータの正面に向かう方向を示す方向ベクトル(または法線ベクトル)を示す３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｏｂｊ＿ｕｐ＿ｘ、ｏｂｊ＿ｕｐ＿ｙ、ｏｂｊ＿ｕｐ＿ｚは、ポイントクラウドデータの上方を示す上ベクトルを示す３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｏｂｊ＿ｓｃａｌｅ＿ｘ、ｏｂｊ＿ｓｃａｌｅ＿ｙ、ｏｂｊ＿ｓｃａｌｅ＿ｚは、レンダリング／ディスプレイ時にポイントクラウドデータの元もソースに対してｘ、ｙ、軸に適用するスケーリング係数(ｓｃａｌｉｎｇ ｆａｃｔｏｒ)を示す。
実施例によれば、ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ()情報は、ポイントクラウドビットストリーム上にＳＥＩなどの形式で送信できる。
実施例によれば、Ｖ－ＰＣＣ客体レンダリング情報ボックス(Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ)は、ＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＳｔｒｕｃｔ()情報を含んでもよい。
aligned(8) class VPCCObjectRenderingInfoBox extends FullBox('vpoi',0,0) ｛
ObjectRenderingInfoStruct();
｝
以下、静的Ｖ－ＰＣＣ客体レンダリング情報(Ｓｔａｔｉｃ Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、ポイントクラウドデータレンダリング時にポイントクラウドデータに適用される客体レンダリング情報(ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)がポイントクラウドシーケンス内で変化しない場合、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラックのサンプルエントリーにＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘが含まれてもよい。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
VPCCObjectRenderingInfoBox obj_rendering_info;
｝
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘは、トラック内のサンプルに格納されたアトラスフレーム関連ポイントクラウドデータに関する客体レンダリング情報(ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)を含んでもよい。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
VPCCObjectRenderingInfoBox obj_rendering_info;
｝
ＶＰＣＣＯｂｊｅｃｔＲｅｎｄｅｒｉｎｇＩｎｆｏＢｏｘは、トラック内サブサンプルに格納されたアトラスフレームおよび／またはビデオフレーム関連ポイントクラウドデータに関する客体レンダリング情報(ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)を含んでもよい。
以下、Ｖ－ＰＣＣ客体レンダリング情報サンプルグループ化(Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｏｉ'ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、上記サンプルグループに伝送される客体レンダリング情報にＶ－ＰＣＣトラック内サンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｏｉ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合は、同じグループ化タイプを有するａｃｃｏｍｐａｎｙｉｎｇ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループのＩＤを含んでもよい。
aligned(8) class VPCCObjRenderingInfoSampleGroupDescriptionEntry() extends SampleGroupDescriptionEntry('vpoi') ｛
VPCCObjectRenderingInfoStruct();
｝
以下、動的Ｖ－ＰＣＣビュー情報(Ｄｙｎａｍｉｃ Ｖ－ＰＣＣ ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｏｉ'を有する関連するタイムド－メタデータトラックを有する場合、ポイントクラウドストリームのために定義された客体レンダリング情報は、動的レンダリング情報として考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、客体レンダリング情報は、時間経過とともに変化する。
関連するタイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣエレメンタリストリームトラックがサンプルエントリータイプ'ｄｙｏｉ'を有する関連するタイムド－メタデータトラックを有する場合、ポイントクラウドストリームのために定義された客体レンダリング情報は、動的レンダリング情報として考慮されたＶ－ＰＣＣエレメンタリストリームトラックによって伝送される。即ち、客体レンダリング情報は、時間経過とともに変化する。
関連するタイムド－メタデータトラックは、Ｖ－ＰＣＣエレメンタリストリームトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicObjRenderingInfoSampleEntry extends MetaDataSampleEntry('dyoi') ｛
VPCCObjectRenderingInfoBox init_obj_rendering;
｝
ｉｎｉｔ＿ｏｂｊ＿ｒｅｎｄｅｒｉｎｇは、ポイントクラウドデータに関連する初期客体レンダリング情報(ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ)を含まれてもよい。
このサンプルエントリータイプ'ｄｙｖｉ'のサンプルシンタックスは、以下のようである(Ｔｈｅ ｓａｍｐｌｅ ｓｙｎｔａｘ ｏｆ ｔｈｉｓ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ ’ｄｙｖｉ’ ｉｓ ｓｐｅｃｉｆｉｅｄ ａｓ ｆｏｌｌｏｗｓ)：
aligned(8) DynamicObjRenderingInfoSample() ｛
VPCCObjectRenderingInfoBox obj_rendering_info;
｝
各々のサンプルには、時間経過とともに変化するポイントクラウドデータの客体レンダリング情報が含まれてもよい。
以下、ノン－タイムド(ｎｏｎ－ｔｉｍｅｄ)Ｖ－ＰＣＣデータのキャリッジについて説明する。
図５８は、実施例によるｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣデータをカプセル化する構造の一例を示す。
実施例によれば、ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣデータは、イメージアイテムとしてファイルに格納できる(Ｔｈｅ ｎｏｎ－ｔｉｍｅｄ Ｖ－ＰＣＣ ｄａｔａ ｉｓ ｓｔｏｒｅｄ ｉｎ ａ ｆｉｌｅ ａｓ ｉｍａｇｅ ｉｔｅｍｓ)。
実施例によれば、新たなハンドラタイプ４ｃｃ ｃｏｄｅ'ｖｐｃｃ'は、メタボックスのハンドラボックスで定義されて格納される。これは、Ｖ－ＰＣＣ ｉｔｅｍｓ、Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ、および他のＶ－ＰＣＣ ｅｎｃｏｄｅｄ ｃｏｎｔｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎの存否を指示するためである。
実施例によるＶ－ＰＣＣアイテムは、独立して復号可能なＶ－ＰＣＣアクセスユニットを示すアイテムである(Ａ Ｖ－ＰＣＣ ｉｔｅｍ ｉｓ ａｎ ｉｔｅｍ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ａｎ ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｄｅｃｏｄａｂｌｅ Ｖ－ＰＣＣ ａｃｃｅｓｓ ｕｎｉｔ)。
実施例によれば、新たなアイテムタイプ４ＣＣコード'ｖｐｃｉ’がＶ－ＰＣＣアイテムを識別するために定義される。実施例によれば、Ｖ－ＰＣＣアイテムは、アトラスサブ－ビットストリームのＶ－ＰＣＣユニットペイロードを格納する。
ＰｒｉｍａｒｙＩｔｅｍＢｏｘが存在する場合は、このボックス内のｉｔｅｍ＿ｉｄは、Ｖ－ＰＣＣアイテムを指示するために設定される。
実施例によるＶ－ＰＣＣユニットアイテムは、Ｖ－ＰＣＣユニットデータを示すアイテムである(Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｉｓ ａｎ ｉｔｅｍ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｄａｔａ)。実施例によれば、Ｖ－ＰＣＣユニットアイテムは、占有、ジオメトリ、特質ビデオデータユニットのＶ－ＰＣＣユニットペイロードを格納する。
実施例によるＶ－ＰＣＣユニットアイテムは、１つのＶ－ＰＣＣアクセスユニットに関連するデータのみを格納する(ｕｎｉｔ ｉｔｅｍ ｓｈａｌｌ ｓｔｏｒｅ ｏｎｌｙ ｏｎｅ Ｖ－ＰＣＣ ａｃｃｅｓｓ ｕｎｉｔ ｒｅｌａｔｅｄ ｄａｔａ)。
実施例によれば、Ｖ－ＰＣＣユニットアイテムのためのアイテムタイプ４ＣＣコードが該当ビデオデータユニットを符号化するために使用されたコーデックによって設定される(Ａｎ ｉｔｅｍ ｔｙｐｅ ４ＣＣ ｃｏｄｅ ｆｏｒ ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｉｓ ｓｅｔ ｄｅｐｅｎｄｉｎｇ ｏｎ ｔｈｅ ｃｏｄｅｃ ｕｓｅｄ ｔｏ ｅｎｃｏｄｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｖｉｄｅｏ ｄａｔａ ｕｎｉｔｓ)。
実施例によれば、Ｖ－ＰＣＣユニットアイテムは、該当Ｖ－ＰＣＣユニットヘッダアイテムプロパティ(ｐｒｏｐｅｒｔｙ)およびコーデック固有の構成アイテム属性(ｃｏｄｅｃ ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)に関連付けられる(Ａ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍ ｓｈａｌｌ ｂｅ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｃｏｒｒｅｓｐｏｎｄｉｎｇ Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ ａｎｄ ｃｏｄｅｃ ｓｐｅｃｉｆｉｃ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)。
実施例によれば、Ｖ－ＰＣＣユニットアイテムは、非表示アイテムとしてマークされる。これは、独立してディスプレイすることは意味がないためである(Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ ａｒｅ ｍａｒｋｅｄ ａｓ ｈｉｄｄｅｎ ｉｔｅｍｓ、ｓｉｎｃｅ ｉｔ ｉｓ ｎｏｔ ｍｅａｎｉｎｇｆｕｌ ｔｏ ｄｉｓｐｌａｙ ｉｎｄｅｐｅｎｄｅｎｔｌｙ)。
実施例によれば、Ｖ－ＰＣＣアイテムとＶ－ＰＣＣユニットとの間の関係を指示するために、４ＣＣコード'ｐｃｃｏ'、'ｐｃｃｇ'および'ｐｃｃａ'を有する３つの新たなアイテムレファレンスタイプが以下のように定義される。実施例によるアイテムレファレンスは、Ｖ－ＰＣＣアイテムから関連するＶ－ＰＣＣユニットアイテムまで定義される(Ｉｔｅｍ ｒｅｆｅｒｅｎｃｅ ｉｓ ｄｅｆｉｎｅｄ “ｆｒｏｍ” ａ Ｖ－ＰＣＣ ｉｔｅｍ “ｔｏ” ｔｈｅ ｒｅｌａｔｅｄ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ)。
実施例によるアイテムレファレンスタイプの４ＣＣコードは、以下のようである。
'ｐｃｃｏ'タイプにおいて、参照されたＶ－ＰＣＣユニットアイテムは占有 ビデオデータユニットを含む。
'ｐｃｃｇ'タイプにおいて、参照されたＶ－ＰＣＣユニットアイテムはジオメトリビデオデータユニットを含む。
'ｐｃｃａ'タイプにおいて、参照されたＶ－ＰＣＣユニットアイテムは特質ビデオデータユニットを含む。
以下、Ｖ－ＰＣＣに関連するアイテム属性(Ｖ－ＰＣＣ－ｒｅｌａｔｅｄ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ)について説明する。
実施例によれば、叙述アイテム属性は、Ｖ－ＰＣＣパラメータセット情報とＶ－ＰＣＣユニットヘッダ情報とをそれぞれ伝送するために定義される(ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｒｅ ｄｅｆｉｎｅｄ ｔｏ ｃａｒｒｙ ｔｈｅ Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｎｆｏｒｍａｔｉｏｎ、ｒｅｓｐｅｃｔｉｖｅｌｙ)：
以下、Ｖ－ＰＣＣコンフィギュレーションアイテム属性(Ｖ－ＰＣＣ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)のシンタックス構造の一例である。
Box Types: 'vpcp'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a V－PCC item of type 'vpci'
Quantity (per item): One or more for a V－PCC item of type 'vpci'
実施例によれば、Ｖ－ＰＣＣパラメータセットは、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムに関連する(Ｖ－ＰＣＣ ｐａｒａｍｅｔｅｒ ｓｅｔｓ ａｒｅ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ａｒｅ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ).
実施例によれば、必須は'ｖｐｃｐ'アイテム属性のために１に設定される(ｅｓｓｅｎｔｉａｌ ｉｓ ｓｅｔ ｔｏ １ ｆｏｒ ａ ’ｖｐｃｐ’ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)。
aligned(8) class vpcc_unit_payload_struct () ｛
unsigned int(16) vpcc_unit_payload_size;
vpcc_unit_payload();
｝
aligned(8) class VPCCConfigurationProperty
extends ItemProperty('vpcc') ｛
vpcc_unit_payload_struct()[];
｝
ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏａｄ＿ｓｉｚｅは、ｖｐｃｃ＿ｕｎｉｔ＿ｐａｙｌｏｄ()のサイズをバイトで示す。
以下、Ｖ－ＰＣＣユニットヘッダアイテム属性(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)のシンタックス構造の一例である。
Box Types: 'vunt'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a V－PCC item of type 'vpci' and for a Ｖ－ＰＣＣ unit item
Quantity (per item): One
実施例によれば、Ｖ－ＰＣＣユニットヘッダは、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムに関連する(Ｖ－ＰＣＣ ｕｎｉｔ ｈｅａｄｅｒ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ)。
実施例によれば、必須は'ｖｕｎｔ'アイテム属性のために１に設定される(ｅｓｓｅｎｔｉａｌ ｉｓ ｓｅｔ ｔｏ １ ｆｏｒ ａ ’ｖｕｎｔ’ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)。
aligned(8) class VPCCUnitHeaderProperty () ｛
extends ItemFullProperty('vunt'、version=0、0) ｛
vpcc_unit_header();
｝
以下、Ｖ－ＰＣＣビュー情報アイテム属性(Ｖ－ＰＣＣ ｖｉｅｗ ｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)のシンタックス構造の一例である。
Box Types: 'vpvi'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a V－PCC item of type 'vpci' and for a V－PCC unit item
Quantity (per item): One
実施例によれば、Ｖ－ＰＣＣビュー情報は、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムに関連する(ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ)。
aligned(8) class VPCCViewInfoproperty () ｛
extends ItemFullProperty('vpvi'、version=0、0) ｛
ViewInfoStruct();
｝
以下、Ｖ－ＰＣＣレンダリングパラメータアイテム属性(Ｖ－ＰＣＣ ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)のシンタックス構造の一例である。
Box Types: 'vprp'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a Ｖ－ＰＣＣ item of type 'vpci' and for a V－PCC unit item
Quantity (per item): One
実施例によれば、Ｖ－ＰＣＣレンダリングパラメータは、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムに関連する(Ｒｅｎｄｅｒｉｎｇ ｐａｒａｍｅｔｅｒ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ)。
aligned(8) class VPCCRenderingParamsproperty () ｛
extends ItemFullProperty('vprp'、version=0、0) ｛
RenderingParamStruct();
｝
以下、Ｖ－ＰＣＣ客体レンダリング情報アイテム属性(Ｖ－ＰＣＣ ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)のシンタックス構造の一例を示す。
Box Types: 'vpri'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a V－PCC item of type 'vpci' and for a V－PCC unit item
Quantity (per item): One
実施例によれば、Ｖ－ＰＣＣ客体レンダリング情報は、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムに関連する(Ｏｂｊｅｃｔ ｒｅｎｄｅｒｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｔｏｒｅｄ ａｓ ｄｅｓｃｒｉｐｔｉｖｅ ｉｔｅｍ ｐｒｏｐｅｒｔｉｅｓ ａｎｄ ｉｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｔｈｅ Ｖ－ＰＣＣ ｉｔｅｍｓ ａｎｄ ｔｈｅ Ｖ－ＰＣＣ ｕｎｉｔ ｉｔｅｍｓ)。
aligned(8) class VPCCObjRenderingInfoproperty () ｛
extends ItemFullProperty('vpri'、version=0、0) ｛
ObjectRenderingInfoStruct();
｝
上述のように、実施例によるポイントクラウドデータ送信装置は、ユーザのビューポートに応じてＶ－ＰＣＣコンテンツの空間アクセス(ｓｐａｔｉａｌ ａｃｃｅｓｓ)を支援するためのＶ－ＰＣＣコンテンツの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域関連メタデータを提供することができる。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドビットストリーム内のポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域関連情報シグナリングなどを処理することができる。
実施例によるポイントクラウドデータ受信装置は、ファイル内ポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域関連情報の格納およびシグナリングなどに基づいて、ポイントクラウドコンテンツに効率的にアクセスすることができる。
実施例によるポイントクラウドデータ受信装置は、ファイル内のイメージアイテムに関連するポイントクラウドの３Ｄ領域情報と、これに関連するビデオまたはアトラスフレーム上の２Ｄ領域関連情報に基づいて、ユーザ環境を考慮したポイントクラウドコンテンツを提供することができる。
一方、実施例によれば、ビューポート情報は、６ＤＯＦ(Ｓｉｘ Ｄｅｇｒｅｅｓ Ｏｆ Ｆｒｅｅｄｏｍ)ビューポート情報と同一または類似する意味で使用される。実施例によれば、ビューポート情報は、６ＤＯＦのみならず、３ＤＯＦ＋コンテンツに対しても適用可能である。
実施例によるビューポート情報は、ビューポートに関する情報またはビューポート情報に関連するメタデータとも呼ぶ。実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション情報のうちの少なくとも１つを含むことができる。
実施例によれば、ビューポートに関する情報(ｖｉｅｗｐｏｒｔ ｒｅｌａｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ)は、図１８のポイントクラウドデータ送信装置のメタデータ符号化部１８００５または図２１のＶ－ＰＣＣシステムのポイントクラウド前処理部２０００１および／またはビデオ／イメージ符号化部２１００７、２１００８で生成／符号化され、図１９のポイントクラウドデータ受信装置のメタデータ復号化部１９００２または図２２のＶ－ＰＣＣシステムのビデオ／イメージ復号部２２００１、２２００２および／またはポイントクラウド後処理部２２００３で取得／復号することができる。
本明細書は、ポイントクラウドデータまたは３ＤＯＦ＋ビデオのビューポート情報に関連するメタデータを定義し、ファイル内の該当ビューポート情報に関連するメタデータを格納およびシグナリングする実施例を説明する。
本明細書は、ファイルにおいて時間経過とともに変化するポイントクラウドデータまたは３ＤＯＦ＋ビデオのビューポート情報に関連するメタデータを格納する実施例を説明する。
本明細書は、ポイントクラウドデータまたは３ＤＯＦ＋ビデオの推薦ビューポート情報に関連するメタデータを定義し、ファイル内の該当推薦ビューポート情報に関連するメタデータを格納およびシグナリングする実施例を説明する。
本明細書は、ファイルにおいて時間経過とともに変化するポイントクラウドデータまたは３ＤＯｆ＋ビデオの推薦ビューポート情報に関連するメタデータを格納する実施例を説明する。
本明細書は、ポイントクラウドデータまたは３ＤＯＦ＋ビデオの初期ビューイングオリエンテーション情報に関連するメタデータを定義し、ファイルにおいて該当初期ビューイングオリエンテーション情報に関連するメタデータを格納およびシグナリングする実施例を説明する。
本明細書は、ファイルにおいて時間経過とともに変化するポイントクラウドデータまたは３ＤＯｆ＋ビデオの初期ビューイングオリエンテーション情報に関連するメタデータを格納する実施例を説明する。
図５９は、実施例による視錘台(ｖｉｅｗｉｎｇ ｆｒｕｓｔｕｍ)内のポイントクラウドデータの空間部分がビューポート上において実際にディスプレイされる一例を示す。
実施例によれば、ポイントクラウドデーが実際に提供されるビューポートは、図５９のおうに、視錘台に基づいて定義される。図５９において太い線で示された部分が視錘台であり、該当視錘台内に存在するポイントクラウドデータなどが実際にレンダリングされてユーザに提供される。
従って、６ＤＯＦビューポートは、以下のようなビューポート情報を用いて示すことができる。該当ビューポート情報に基づいて、視錘台(ｖｉｅｗ ｆｒｕｓｔｕｍ)(即ち、実際にレンダリングされディスプレイされるポイントクラウドデータのい全部または一部を含む３Ｄ空間上の領域)を類推することができ、該当視錘台(ｖｉｅｗ ｆｒｕｓｔｕｍ)が２Ｄフレームの形式でプロジェクションされるにつれてビュー(即ち、実際にディスプレイされる２Ｄイメージ／ビデオフレーム)を生成する。
－ 仮想カメラまたはユーザ／ユーザビュー(目)の３Ｄ空間上の位置(ｘ、ｙ、ｚ)
－ 仮想カメラまたはユーザ／ユーザビュー(目)の上方を示す上ベクトル(図５９においてｕｐ矢印)
－ 仮想カメラまたはユーザ／ユーザビュー(目)の右側を示す右ベクトル(図５９においてｕｐ矢印)
－ 仮想カメラまたはユーザ／ユーザビュー(目)が見ている位置(ｘ、ｙ、ｚ)(図５９においてＦｃ)
－ 仮想カメラまたはユーザ／ユーザビュー(目)の位置から近接平面(ｎｅａｒ ｐｌａｎｅ)までの距離
－ 仮想カメラまたはユーザ／ユーザビュー(目)の位置から遠平面(ｆａｒ ｐｌａｎｅ)までの距離
－ 仮想カメラまたはユーザ／ユーザビュー(目)の水平ＦＯＶ(ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ)
－ 仮想カメラまたはユーザ／ユーザビュー(目)の垂直ＦＯＶ(ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ)
図６０は、実施例による視錘台のトップビュー(ｔｏｐ ｖｉｅｗ)の一例を示す。即ち、図６０は、仮想カメラまたはユーザ／ユーザビュー(目)の水平ＦＯＶの一例を示す。
図６１は、実施例による視錘台のサイドビュー(ｓｉｄｅ ｖｉｅｗ)の一例を示す。即ち、図６１は、仮想カメラまたはユーザ／ユーザビュー(目)の垂直ＦＯＶの一例を示す。
実施例によれば、ビューポート情報であるＶｉｅｗｐｏｒｔＩｎｆｏＳｔｒｕｃｔは、レンダリングされユーザに提供されるビューポートを生成するための詳細な情報を含んでもよい。実施例によれば、ビューポート情報(ＶｉｅｗｐｏｒｔＩｎｆｏＳｔｒｕｃｔ)は、６ＤＯＦビューポート情報を含んでもよい。例えば、ビューポート情報は、ビューポートを生成するための仮想カメラの３Ｄ上の位置情報、仮想カメラの垂直／水平ＦＯＶ(ｆｉｅｌｄ ｏｆ ｖｉｅｗ)、仮想カメラが見ている方向情報(ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ)、仮想カメラの上方を示す上ベクトル情報、仮想カメラの右側を示す右ベクトルなどを含むことができる。また、ビューポート情報は、レンダリング可能な空間の近接平面／遠平面までの距離などを含むことができる。実施例によれば、仮想カメラは、ユーザの目、即ち、３Ｄ空間上においてユーザが見ている視覚／ビューと一致することがある。即ち、３Ｄ空間上においてユーザのビュー／目であってもよい。
以下、ビューポート情報であるＶｉｅｗＩｎｆｏＳｔｒｕｃｔ情報に含まれる情報の一例を示すシンタックスである。
aligned(8) class 6DOFViewportInfoStruct()｛
unsigned int(16) viewport_pos_x;
unsigned int(16) viewport_pos_y;
unsigned int(16) viewport_pos_z;
unsigned int(16) viewport_dir_x;
unsigned int(16) viewport_dir_y;
unsigned int(16) viewport_dir_z;
unsigned int(16) viewport_up_x;
unsigned int(16) viewport_up_y;
unsigned int(16) viewport_up_z;
unsigned int(16) viewport_right_x;
unsigned int(16) viewport_right_y;
unsigned int(16) viewport_right_z;
unsigned int(8) viewport_vfov;
unsigned int(8) viewport_hfov;
unsigned int(16) viewport_near_distance;
unsigned int(16) viewport_far_distance
｝
ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｚ は、ビューポート(例えば、実際にディスプレイされる２Ｄイメージ／ビデオフレーム)を生成可能な仮想カメラ (またはユーザまたはユーザビュー／目)の３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)が見ている方向を示す方向ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)の上方を示す上ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)の右側を示す右ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
方向ベクトル、上ベクトル、右ベクトルに基づいて、仮想カメラ(またはユーザ、ユーザビュー／目)の座標系(ｃｏｏｒｄｉａｎｔｅ ｓｙｓｔｅｍ)を生成することができる。即ち、右ベクトルがｘ軸、上ベクトルがｙ軸、方向ベクトルがｚ軸であってもよい。または、追加のシグナリングによって、仮想カメラのｘ、ｙ、ｚ軸をシグナリングすることができる。
Ｖｉｅｗｐｏｒｔ＿ｈｆｏｖは、図６０のように、ビューポートを生成可能な仮想カメラ(またはユーザ、ユーザビュー／目)の水平ＦＯＶ(ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ)情報を示す。
Ｖｉｅｗｐｏｒ＿ｖｆｏｖは、図６１のように、ビューポートを生成可能な仮想カメラ(またはユーザ、ユーザビュー／目)の垂直ＦＯＶ(ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ)情報を示す。
実施例による６ＤＯＦビューポート情報(ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ)は、以下のような情報を含んでもよい。
aligned(8) class 6DOFViewportInfoStruct ()｛
unsigned int(1) viewport_right_vector_flag;
unsigned int(1) dimension_flag;
unsigned int(16) viewport_pos_x;
unsigned int(16) viewport_pos_y;
unsigned int(16) viewport_pos_z;
unsigned int(16) viewport_dir_x;
unsigned int(16) viewport_dir_y;
unsigned int(16) viewport_dir_z;
unsigned int(16) viewport_up_x;
unsigned int(16) viewport_up_y;
unsigned int(16) viewport_up_z;
if(viewport_right_vector_flag)｛
unsigned int(16) viewport_right_x;
unsigned int(16) viewport_right_y;
unsigned int(16) viewport_right_z;
｝
if(dimension_flag)｛
unsigned int(8) viewport_vfov;
unsigned int(8) viewport_hfov;
unsigned int(16) viewport_near_distance;
unsigned int(16) viewport_far_distance
｝
｝
Ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｖｅｃｔｏｒ＿ｆｌａｇは、ビューポート情報がビューポートの右側を示す右ベクトル情報を含むか否かを示すフラグであってもよい。
Ｄｉｍｅｎｓｉｏｎ＿ｆｌａｇは、ビューポート情報がビューポートの垂直ＦＯＶ、水平ＦＯＶ、近接平面、遠平面に関する情報を含むか否かを示すフラグであってもよい。
ＶｉｅｗｐｏｒｔＩｎｆｏＳｔｒｕｃｔ()情報は、ポイントクラウドビットストリーム上にＳＥＩなどに含まれて送信できる。
以下、６ＤＯＦビューポート情報ボックス(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｂｏｘ)について説明する。
６ＤＯＦビューポート情報ボックスは、ポイントクラウドデータ(Ｖ－ＰＣＣを含んでもよい)のビューポート情報または３ＤＯＦ＋ビデオのコンテンツのビューポート情報を含んでもよい。
aligned(8) class 6DOFViewportInfoBox extends FullBox('vpvi',0,0) ｛
6DOFViewportInfoStruct();
｝
以下、静的６ＤＯＦビューポート情報(Ｓｔａｔｉｃ ６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、ビューポート情報がポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンス内で変化しない場合、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラックのサンプルエントリーに、以下のように６ＤＯＦＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘが含まれてもよい。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
6DOFViewportInfoBox 6dof_viewport;
｝
実施例による６ＤＯＦＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘは、トラック内サンプルに格納されたアトラスフレームと関連するポイントクラウドデータまたは３ＤＯｆ＋ビデオがレンダリングされて提供されるビューポートを生成するための詳細な情報を含んでもよい。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
6DOFViewportInfoBox 6dof_viewport;
｝
実施例による６ＤＯＦＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘは、トラック内サブサンプルに格納されたアトラスフレームおよび／またはビデオフレームと関連するポイントクラウドデータまたは３ＤＯＦ＋ビデオがレンダリングされて提供されるビューポートを生成するための詳細な情報を含んでもよい。
以下、６ＤＯＦビューポート情報サンプルグループ化(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｖｓ'ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、このサンプルグループに伝送されるビューポート情報へのＶ－ＰＣＣトラック内サンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｖｓ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合は、同じグループ化タイプを有する付随する(ａｃｃｏｍｐａｎｙｉｎｇ)ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループのＩＤを含む。
aligned(8) class 6DOFViewportInfoSampleGroupDescriptionEntry() extends SampleGroupDescriptionEntry('vpvs') ｛
6DOFViewportInfoStruct();
｝
以下、動的６ＤＯＦビューポート情報(Ｄｙｎａｍｉｃ ６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、ポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンスの時間経過とともに変化するビューポート情報をシグナリングする。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｖｐ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義されたビューポート情報は、動的として考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、ビューポート情報は時間経過とともに動的に変化することができる。
関連タイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣエレメンタリストリームトラックがサンプルエントリータイプ'ｄｙｖｐ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義されたビューポート情報は、動的として考慮されたＶ－ＰＣＣエレメンタリストリームトラックによって伝送される。即ち、ビューポート情報は時間経過とともに動的に変化することができる。
関連タイムド－メタデータトラックは、Ｖ－ＰＣＣエレメンタリストリームトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicViewportInfoSampleEntry extends MetaDataSampleEntry('dyvp') ｛
6DOFViewportInfoBox init_6dof_viewport;
｝
ｉｎｉｔ＿６ｄｏｆ＿ｖｉｅｗｐｏｒｔは、ポイントクラウドデータまたは３ＤＯＦ＋ビデオの初期ビューポートを生成するビューポート情報(ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ())を含んでもよい。
実施例によれば、サンプルエントリータイプ'ｄｙｖｐ'のサンプルシンタックスは、以下のように示す。
aligned(8) DynamicViewInfoSample() ｛
6DOFViewportInfoBox 6dof_viewport;
｝
各々のサンプルは、時間経過とともに変化するポイントクラウドデータまたは３ＤＯＦ＋ビデオのビューポート情報、即ち、ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ()を含んでもよい。
以下、６ＤＯＦ推薦ビューポート情報(６ＤＯＦ ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)のシグナリングについて説明する。
実施例による６ＤＯＦ推薦ビューポート情報ボックスは、ポイントクラウドデータまたは３ＤＯＦ＋ビデオのコンテンツの制作者の意図またはビューイング統計などから推薦されるビューポート情報(６ＤＯＦ ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)を含んでもよい。
aligned(8) class 6DOFRecommendedViewportInfoBox extends FullBox('vpvi',0,0) ｛
6DOFViewportInfoStruct();
｝
以下、静的６ＤＯＦ推薦ビューポート情報について説明する。
実施例による推薦ビューポート情報がポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンス内で変化しない場合、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラックのサンプルエントリーに６ＤＯＦＲｅｃｏｍｍｅｎｄｅｄＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘが含まれてもよい。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
6DOFRecommendedViewportInfoBox 6dof_rec_viewport;
｝
実施例による６ＤＯＦＲｅｃｏｍｍｅｎｄｅｄＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘは、トラック内サンプルに格納されたアトラスフレームと関連するポイントクラウドデータまたは３ＤＯＦ＋ビデオがレンダリングされて提供される推薦ビューポート(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ)を生成するための詳細な情報を含んでもよい。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
6DOFRecommendedViewportInfoBox 6dof_rec_viewport;
｝
実施例による６ＤＯＦＲｅｃｏｍｍｅｎｄｅｄＶｉｅｗｐｏｒｔＩｎｆｏＢｏｘは、トラック内サブサンプルに格納されたアトラスフレームおよび／またはビデオフレームと関連するポイントクラウドデータまたは３ＤＯＦ＋ビデオがレンダリングされて提供される推薦ビューポート(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ)を生成するための詳細な情報を含んでもよい。
以下、６ＤＯＦビューポート情報サンプルグループ化(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｖｓ' ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、サンプルグループに伝送される推薦ビューポート情報へのＶ－ＰＣＣトラック内サンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｒｖ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合は、同じグループ化タイプを有する不随ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループのＩＤを含んでもよい。
aligned(8) class 6DOFRecommendedViewportInfoSampleGroupDescriptionEntry()
extends SampleGroupDescriptionEntry('vprv') ｛
6DOFViewportInfoStruct();
｝
以下、動的６ＤＯＦ推薦ビューポート情報(Ｄｙｎａｍｉｃ ６ＤＯＦ ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、ポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンスの時間経過とともに変化する推薦ビューポート情報(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)をシグナリングする。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｒｐ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義された推薦ビューポート情報(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)は、動的として考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、推薦ビューポート情報は、時間経過とともに変化することができる。
関連タイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣエレメンタリストリームトラックがサンプルエントリータイプ'ｄｙｒｖ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義された推薦ビューポート情報(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)は、動的として考慮されたＶ－ＰＣＣエレメンタリストリームトラックによって伝送される。即ち、推薦ビューポート情報は、時間経過とともに変化することができる。
関連タイムド－メタデータトラックは、Ｖ－ＰＣＣエレメンタリストリームトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicRecommendedViewportInfoSampleEntry extends MetaDataSampleEntry('dyrv') ｛
6DOFRecommendedViewportInfoBox init_6dof_rec_viewport;
｝
ｉｎｉｔ＿６ｄｏｆ＿ｒｅｃ＿ｖｉｅｗｐｏｒｔは、ポイントクラウドデータまたは３ＤＯＦ＋ビデオの初期推薦ビューポートを生成するｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ()を含んでもよい。
このサンプルエントリータイプ'ｄｙｒｖ'のサンプルシンタックスは、以下のように示す。
aligned(8) DynamicViewInfoSample() ｛
6DOFRecommendedViewportInfoBox 6dof_rec_viewport;
｝
各々のサンプルは、時間経過とともに変化するポイントクラウドデータまたは３ＤＯＦ＋ビデオの推薦ビューポート情報、即ち、ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ()を含んでもよい。
以下、６ＤＯＦ初期ビューイングオリエンテーションのシグナリングについて説明する。
実施例によれば、６ＤＯＦ初期ビューイングオリエンテーション情報ボックスは、ポイントクラウドデータまたは３ＤＯＦ＋ビデオのコンテンツの初期ビューイングオリエンテーション情報を含んでもよい。
Aligned(8) class 6DOFInitialViewingOrientationStruct()｛
6DOFViewportInfoStruct();
｝
または、６ＤＯＦ初期ビューイングオリエンテーション情報ボックスに含まれる情報は、以下のようである。
Aligned(8) class 6DOFInitialViewingOrientationStruct()｛
unsigned int(16) viewport_pos_x;
unsigned int(16) viewport_pos_y;
unsigned int(16) viewport_pos_z;
unsigned int(16) viewport_dir_x;
unsigned int(16) viewport_dir_y;
unsigned int(16) viewport_dir_z;
unsigned int(16) viewport_up_x;
unsigned int(16) viewport_up_y;
unsigned int(16) viewport_up_z;
unsigned int(16) viewport_right_x;
unsigned int(16) viewport_right_y;
unsigned int(16) viewport_right_z;
｝
ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｐｏｓ＿ｚは、ビューポート(例えば、実際にディスプレイされる２Ｄイメージ／ビデオフレーム)を生成可能な仮想カメラ(またはユーザまたはユーザビュー／目)の３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｄｉｒ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)が見ている方向を示す方向ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｕｐ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)の上方を示す上ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｘ、ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｙ、ｖｉｅｗｐｏｒｔ＿ｒｉｇｈｔ＿ｚは、仮想カメラ(またはユーザまたはユーザビュー／目)の右側を示す右ベクトルを示すための３Ｄ空間上のｘ、ｙ、ｚ座標値を示す。
この方向ベクトル、上ベクトル、右ベクトルに基づいて、仮想カメラ(またはユーザ、ユーザビュー／目)の座標系を生成することができる。即ち、右ベクトルがｘ軸、上ベクトルがｙ軸、方向ベクトルがｚ軸であってもよい。または、追加のシグナリングによって仮想カメラのｘ、ｙ、ｚ軸をシグナリングしてもよい。
aligned(8) class 6DOFInitialViewingInfoBox extends FullBox('vpiv',0,0) ｛
6DOFInitialViewingOrientationStruct ();
｝
以下、静的６ＤＯＦ初期ビューイングオリエンテーション情報(Ｓｔａｔｉｃ ６ＤＯＦ ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、初期ビューイングオリエンテーション情報がポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンス内で変化しない場合、Ｖ－ＰＣＣトラックのサンプルエントリーまたはＶ－ＰＣＣエレメンタリストリームトラックのサンプルエントリーに６ＤＯＦＩｎｉｔｉａｌＶｉｅｗｉｎｇＩｎｆｏＢｏｘが含まれてもよい。
aligned(8) class VPCCSampleEntry() extends VolumetricVisualSampleEntry ('vpc1') ｛
VPCCConfigurationBox config;
VPCCUnitHeaderBox unit_header;
6DOFInitialViewingInfoBox 6dof_init_orientation;
｝
実施例によれば、６ＤＯＦＩｎｉｔｉａｌＶｉｅｗｉｎｇＩｎｆｏＢｏｘは、トラック内サンプルに格納されたアトラスフレームと連関するポイントクラウドデータまたは３ＤＯＦ＋ビデオがレンダリングされて提供される初期ビューイングオリエンテーションを生成するための詳細な情報を含んでもよい。
aligned(8) class VPCCElementaryStreamSampleEntry() extends VolumetricVisualSampleEntry ('vpe1') ｛
VPCCConfigurationBox config;
6DOFInitialViewingInfoBox 6dof_intial_orientaton;
｝
実施例によれば、６ＤＯＦＩｎｉｔｉａｌＶｉｅｗｉｎｇＩｎｆｏＢｏｘは、トラック内サブサンプルに格納されたアトラスフレームおよび／またはビデオフレームと連関するポイントクラウドデータまたは３ＤＯＦ＋ビデオがレンダリングされて提供される初期ビューイングオリエンテーションを生成するための詳細な情報を含んでもよい。
以下、６ＤＯＦビューポート情報サンプルグループ化(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｓａｍｐｌｅ ｇｒｏｕｐｉｎｇ)について説明する。
実施例によれば、サンプルグループ化のための'ｖｐｖｓ'ｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、サンプルグループに伝送される初期ビューイングオリエンテーション情報へのＶ－ＰＣＣトラック内サンプルの割り当てを示す。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが'ｖｐｒｖ'であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが存在する場合は、同じグループ化タイプを有する不随するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、このサンプルのグループのＩＤを含んでもよい。
aligned(8) class 6DOFInitialViewingInfoSampleGroupDescriptionEntry() extends SampleGroupDescriptionEntry('vprv') ｛
6DOFViewportInfoStruct();
｝
以下、動的６ＤＯＦ初期ビューイングオリエンテーション情報(６ＤＯＦ ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ)について説明する。
実施例によれば、ポイントクラウドデータまたは３ＤＯＦ＋ビデオシーケンスの時間経過とともに変化する初期ビューイングオリエンテーション情報をシグナリングする。
Ｖ－ＰＣＣトラックがサンプルエントリータイプ'ｄｙｉｖ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義された初期ビューイングオリエンテーション情報は、動的として考慮されたＶ－ＰＣＣトラックによって伝送される。即ち、初期ビューイングオリエンテーション情報は、時間経過とともに動的に変化することができる。
関連タイムド－メタデータトラックは、アトラスストリームを伝送するＶ－ＰＣＣトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
Ｖ－ＰＣＣエレメンタリストリームトラックがサンプルエントリータイプ'ｄｙｉｖ'を有する関連タイムド－メタデータトラックを有する場合は、ポイントクラウドストリームのために定義された初期ビューイングオリエンテーション情報は、動的として考慮されたＶ－ＰＣＣエレメンタリストリームトラックによって伝送される。即ち、初期ビューイングオリエンテーション情報は、時間経過とともに動的に変化することができる。
関連タイムド－メタデータトラックは、Ｖ－ＰＣＣエレメンタリストリームトラックに対する'ｃｄｓｃ'トラックレファレンスを含む。
aligned(8) class DynamicInitialViewingInfoSampleEntry extends MetaDataSampleEntry('dyiv') ｛
6DOFInitialViewingInfoBox init_6dof_orientation;
｝
ｉｎｉｔ＿６ｄｏｆ＿ｏｒｉｅｎｔａｔｉｏｎは、ポイントクラウドデータまたは３ＤＯＦ＋ビデオのＩｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ()を含んでもよい。
実施例によれば、このサンプルエントリータイプ'ｄｙｖｉ'のサンプルシンタックスは、以下のようである(Ｔｈｅ ｓａｍｐｌｅ ｓｙｎｔａｘ ｏｆ ｔｈｉｓ ｓａｍｐｌｅ ｅｎｔｒｙ ｔｙｐｅ ’ｄｙｒｖ’ ｉｓ ｓｐｅｃｉｆｉｅｄ ａｓ ｆｏｌｌｏｗｓ)：
aligned(8) DynamicViewInfoSample() ｛
6DOFInitialViewingInfoBox 6dof_viewing_orienation;
｝
各々のサンプルは、時間経過とともに変化するポイントクラウドデータまたは３ＤＯＦ＋ビデオのビューイングオリエンテーション情報、即ち、ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ()を含んでもよい。
以下、６ＤＯＦビューポート情報アイテム属性(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)について説明する。
実施例によれば、ポイントクラウドイメージアイテムまたは３ＤＯ＋ビデオイメージのビューポートに関する情報(６ＤＯＦ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)を以下のシグナリングによって送信できる。
Box Types: 'vpvi'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a V－PCC item of type 'vpci' and for a Ｖ－ＰＣＣ unit item
Quantity (per item): One
実施例によれば、ビューポート情報は、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムと関連する。
aligned(8) class 6DOFViewPortInfoproperty () ｛
extends ItemFullProperty('vpvi'、version=0、0) ｛
ViewportInfoStruct();
｝
以下、６ＤＯＦ推薦ビューポート情報アイテム属性(６ＤＯＦ ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔy)について説明する。
実施例によれば、ポイントクラウドイメージアイテムまたは３ＤＯ＋ビデオイメージの推薦ビューポートに関する情報(６ＤＯＦ ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)を以下のシグナリングによって送信できる。
Box Types: 'vprv'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a Ｖ－ＰＣＣ item of type 'vpci' and for a Ｖ－ＰＣＣ unit item
Quantity (per item): One
実施例によれば、推薦ビューポート情報(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｐｏｒｔ ｉｎｆｏｒｍａｔｉｏｎ)は、叙述アイテム属性として格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムと関連する。
aligned(8) class 6DOFRecommendedViewPortInfoproperty () ｛
extends ItemFullProperty('vprv'、version=0、0) ｛
ViewportInfoStruct();
｝
以下、６ＤＯＦ初期ビューイングオリエンテーション情報アイテム属性(６ＤＯＦ ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｉｔｅｍ ｐｒｏｐｅｒｔｙ)について説明する。
実施例によれば、ポイントクラウドイメージアイテムまたは３ＤＯ＋ビデオイメージの初期ビューイングオリエンテーションに関する情報(６ＤＯＦ ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ)を以下のシグナリングによって送信できる。
Box Types: 'vpiv'
Property type: Descriptive item property
Container: ItemPropertyContainerBox
Mandatory (per item): Yes、for a Ｖ－ＰＣＣ item of type 'vpci' and for a V－PCC unit item
Quantity (per item): One
実施例によれば、初期ビューイングオリエンテーション情報は、叙述アイテムとして格納され、Ｖ－ＰＣＣアイテムおよびＶ－ＰＣＣユニットアイテムと関連する。
aligned(8) class 6DOFRecommendedViewPortInfoproperty () ｛
extends ItemFullProperty('vpiv'、version=0、0) ｛
6DOFInitialViewingOrientationStruct ();
上述したメタデータ(またはシグナリング情報)などは、ポイントクラウドデータ送信方法／装置のＰＣＣプロセスによって生成(または符号化、カプセル化など)され、実施例によるポイントクラウドデータ受信方法／装置のプロセスに用いられ、ユーザに最適化したＰＣＣ コンテンツを提供することができる。
図６２は、実施例によるポイントクラウドデータの送信方法の一例を示す。
実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化するステップ７１００１、および／またはポイントクラウドデータとシグナリング情報を含むビットストリームを送信するステップ７１００２を含んでもよい。
実施例によるステップ７１００１は、ポイントクラウドデータを符号化することができる。実施例によるステップ７１００１は、受信装置においてフィードバックされるオリエンテーション情報および／または上述したビューポートに関する情報を用いて、特定の領域、即ちオリエンテーション情報および／またはビューポートに関する情報が示す領域のメディアデータのみを符号化することができる。実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション(即ち、視点)情報のうちの少なくとも１つを含むことができる。ビューポートに関する情報に含まれる詳細な情報の説明は、十分に上述したため、ここでは省略する。例えば、図１の送信装置１００００および／またはポイントクラウドビデオエンコーダ１０００２が符号化を行うことができる。実施例によれば、図３のようなポイントクラウドデータが符号化される。ポイントクラウドデータは、図４のＶ－ＰＣＣ符号化プロセスによって符号化できる。図５ないし図１４のような方式に基づいて、ポイントクラウドデータが符号化できる。また、図１５のエンコーダによってポイントクラウドデータが符号化できる。実施例によるステップ７１００２は、ポイントクラウドデータまたはポイントクラウドデータとシグナリング情報を含むビットストリームを送信することができる。図１の送信装置１００００および送信機１０００４によってポイントクラウドデータを含むビットストリームが送信できる。シグナリング情報は、メタ データとも呼び、上述したシンタックス(即ち、ビューポート に関する情報を含む)を含むことができる。また、ファイル／セグメントカプセル化部１０００３によってポイントクラウドデータ(またはポイントクラウドデータを含むビットストリーム)がファイル／セグメントの形式で送信できる。
実施例によるステップ７１００２は、オリエンテーション情報および／またはビューポートに関する情報に基づいて、すべてのポイントクラウドデータをファイル／セグメントにカプセル化するか、またはオリエンテーション情報および／またはビューポートに関する情報が示すポイントクラウドデータをファイル／セグメントにカプセル化することができる。実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション情報のうちの少なくとも１つを含むことができる。ビューポートに関する情報に含まれる詳細な情報の説明は、十分に上述したため、ここでは省略する。ポイントクラウドデータの送信プロセスは、図１８の送信装置によって行われてもよい。また、図２０ないし図２２のＶ－ＰＣＣシステムによってポイントクラウドデータが送信できる。さらに、図２３のネットワークを介して様々なデバイスと結合して、ポイントクラウドデータがユーザにサービスできる。
実施例によるポイントクラウドデータ送信方法／装置は、上述した実施例の全部／一部と組み合わされて、ポイントクラウドコンテンツを提供することができる。
図６３は、実施例によるポイントクラウドデータの受信方法の一例を示す。
実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータとシグナリング情報を含むビットストリームを受信するステップ８１００１、ポイントクラウドデータを復号するステップ８１００２、および／またはポイントクラウドデータをレンダリングするステップ８１００３を含んでもよい。
実施例によるステップ８１００１は、ポイントクラウドデータを含むビットストリームを受信することができる。ポイントクラウドデータ受信方法は、ポイントクラウドデータを含むビットストリームがファイル／セグメントの形式で受信できる。実施例によれば、ステップ８１００１は、オリエンテーション情報および／またはビューポートに関する情報に基づいて、すべてのポイントクラウドデータを含むファイルをデカプセル化するか、またはオリエンテーション情報および／またはビューポートに関する情報が示すポイントクラウドデータを含むファイルをデカプセル化することができる。実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション情報のうちの少なくとも１つを含むことができる。ビューポートに関する情報に含まれる詳細な情報の説明は、十分に上述したため、ここでは省略する。図１の受信装置１０００５および受信機１０００６がビットストリーム(またはビットストリームを含むファイル／セグメント)を受信することができる。図１のファイル／セグメントデカプセル化部１０００７がファイル／セグメントの形式のポイントクラウドデータをデカプセル化することができる。受信するプロセスからレンダリングするプロセスまで、図１９の受信プロセスを実施例による受信装置が行うことを上述した。
実施例によるステップ８１００２は、ポイントクラウドデータを復号する。実施例によるステップ８１００２は、オリエンテーション情報および／またはユーザが現在見ている領域を示すビューポートに関する情報を用いて、特定の領域、即ちオリエンテーション情報および／またはビューポートに関する情報が示す領域のメディアデータのみを置く率的にファイルから抽出または復号することができる。実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション情報のうちの少なくとも１つを含むことができる。ビューポートに関する情報に含まれる詳細な情報の説明は、十分に上述したため、ここでは省略する。図１のポイントクラウドビデオデコーダ１０００８がポイントクラウドデータを復号することができる。図１６のようなプロセスによってデコーダがＶ－ＰＣＣ復号プロセスを行うことができる。ポイントクラウドデータを含むビットストリームは、図１７のように、デコーダによって復号できる。図２０ないし図２２のように、ポイントクラウドデータを処理するシステムによってポイントクラウドデータが処理できる。また、図２３のように、ネットワークを介して接続する様々な装置／環境によって、ポイントクラウドデータがユーザに提供できる。
実施例によるステップ８１００３は、ポイントクラウドデータをレンダリング／ディスプレイする。
実施例によるステップ８１００３において、ポイントクラウドデータのレンダリングは、図１のレンダラー１０００９、図１９のポイントクラウドレンダラー１９００７、図２０のレンダラー２０００９、または図２２のポイントクラウドレンダリング部２２００４で行われる。実施例によれば、メタデータに基づいて３Ｄ空間上にポイントクラウドデータをレンダリングすることができる。ユーザは、ＶＲ／ＡＲディスプレイまたは一般のディスプレイなどを介してレンダリングされた結果の全部または一部の領域をみることができる。特に、ポイントクラウドデータは、ユーザのビューポートなどによってレンダリングできる。
実施例によるビューポートに関する情報は、現在、ユーザが３Ｄ空間上で装置またはＨＭＤなどを介して見ている領域に関する情報であってもよい。これにより、ゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)が行われ、ユーザがどんな方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどのくらい凝視しているかなどを確認することもできる。ゲイズ分析は、受信側で行われて送信側へフィードバックチャンネルを介して送信できる。ＶＲ／ＡＲ／ＭＲのようなディスプレイ装置は、オリエンテーション情報、ユーザの値の位置／方向、装置が支援する垂直(ｖｅｒｔｉｃａｌ)または水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいて、ビューポート領域を抽出することができる。オリエンテーションまたはビューポートに関する情報は、受信装置において抽出または算出されるできる。受信装置において分析されたオリエンテーションまたはビューポートに関する情報は、送信装置へフィードバックチャンネルを介して送信できる。
実施例によるビューポートに関する情報は、ビューポート情報、推薦ビューポート情報、初期ビューイングオリエンテーション情報のうちの少なくとも１つを含むことができる。ビューポートに関する情報に含まれる詳細な情報の説明は、十分に上述したため、ここでは省略する。
実施例によるポイントクラウドデータ受信方法／装置は、上述した実施例の全部／一部と結合してポイントクラウドコンテンツを提供することができる。
上述した各部、モジュールまたはユニットは、メモリ(または格納ユニット)に格納された連続した実行プロセスを行うソフトウェア、プロセッサ、ハードウェア部であってもよい。上述の実施例に示された各ステップは、プロセッサ、ソフトウェア、ハードウェア部によって行われることができる。上述した実施例に示された各モジュール／ブロック／ユニットは、プロセッサ、ソフトウェア、ハードウェアとして動作することができる。また、実施例が示す方法は、コードとして行われることができる。このコードは、プロセッサが読み取られる記憶媒体に書き込まれ、よって装置(ａｐｐａｒａｔｕｓ)が提供するプロセッサによって読み取られる。
また、この明細書において、ある部分がある構成要素を“含む”ということは、特に反対記載のない限り他の構成要素を除外するのではなく、他の構成要素をさらに含むことを意味する。また、明細書に記載の“…部”などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェア、ソフトウェアまたはハードウェアおよびソフトウェアの組み合わせによって具現することができる。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。
実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。
実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような伝送波の形式で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“、”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。
さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素はハードウェア回路のようなシングルチップ上で行われてもよい。実施例により、実施例は選択的に個別のチップ上で行われてもよい。実施例により、実施例の要素のうちの少なくとも１つは、実施例による動作を行うインストラクションを含む１つまたは１つ以上のプロセッサ内で行われることができる。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。
実施例を説明するために使用される、「~である場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
また、この明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフトウェア及び／又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。
当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。
実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。
Claims (20)
- ポイントクラウドデータを符号化するステップと、
前記符号化されたポイントクラウドデータを含むビットストリームをファイルにカプセル化するステップと、
前記ファイルを送信するステップと、を含み、
前記ビットストリームは、前記ファイルの複数のトラックの少なくとも１つに格納され、各トラックは、サンプルエントリーとサンプルとを含み、
前記ファイルは、シグナリング情報をさらに含み、
前記シグナリング情報は、前記ポイントクラウドデータのためのビューポートに関する情報を含み、
前記ビューポートに関する情報は、少なくとも、初期ビューポートに関する情報、又は時間経過とともに変化する動的ビューポートに関する情報を含み、
前記複数のトラックの１つのトラックは、タイムド－メタデータトラックが前記ビューポートに関する情報用であることを示す値のサンプルエントリータイプを有するタイムド－メタデータトラックであり、
前記初期ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルエントリーを介して伝送され、
前記動的ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルを介して伝送される、ポイントクラウドデータを送信する方法。 - 前記ポイントクラウドデータは、Ｖ－ＰＣＣ（video based point cloud compression）方式によって符号化されるジオメトリデータ、特質データ及び占有マップデータを含む、請求項１に記載の方法。
- 前記ビューポートに関する情報は、カメラの位置情報を含む、請求項１に記載の方法。
- 前記ビューポートに関する情報は、前記カメラの方向情報をさらに含む、請求項３に記載の方法。
- 前記ビューポートに関する情報は、ビューポートを生成するための水平ＦＯＶ（field of view）情報と垂直ＦＯＶ情報をさらに含む、請求項３に記載の方法。
- ポイントクラウドデータを符号化するためのエンコーダと、
前記符号化されたポイントクラウドデータを含むビットストリームをファイル内にカプセル化するためのカプセル化部と、
前記ファイルを送信するための送信部と、を備え、
前記ビットストリームは、前記ファイルの複数のトラックの少なくとも１つに格納され、各トラックは、サンプルエントリーとサンプルとを含み、
前記ファイルは、シグナリング情報をさらに含み、
前記シグナリング情報は、前記ポイントクラウドデータのためのビューポートに関する情報を含み、
前記ビューポートに関する情報は、少なくとも、初期ビューポートに関する情報、又は時間経過とともに変化する動的ビューポートに関する情報を含み、
前記複数のトラックの１つのトラックは、タイムド－メタデータトラックが前記ビューポートに関する情報用であることを示す値のサンプルエントリータイプを有するタイムド－メタデータトラックであり、
前記初期ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルエントリーを介して伝送され、
前記動的ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルを介して伝送される、ポイントクラウドデータを送信する装置。 - 前記ポイントクラウドデータは、Ｖ－ＰＣＣ（video based point cloud compression）方式によって符号化されるジオメトリデータ、特質データ及び占有マップデータを含む、請求項６に記載の装置。
- 前記ビューポートに関する情報は、カメラの位置情報を含む、請求項６に記載の装置。
- 前記ビューポートに関する情報は、前記カメラの方向情報をさらに含む、請求項８に記載の装置。
- 前記ビューポートに関する情報は、ビューポートを生成するための水平ＦＯＶ（field of view）情報と垂直ＦＯＶ情報をさらに含む、請求項８に記載の装置。
- ファイルを受信するステップと、
前記ファイルを符号化されたポイントクラウドデータを含むビットストリームにデカプセル化するステップであって、
前記ビットストリームは、前記ファイルの複数のトラックの少なくとも１つに格納され、各トラックは、サンプルエントリーとサンプルとを含み、
前記ファイルは、シグナリング情報をさらに含み、
前記シグナリング情報は、前記ポイントクラウドデータのためのビューポートに関する情報を含む、ステップと、
前記符号化されたポイントクラウドデータを復号するステップと、
前記ビューポートに関する情報に基づいて、前記復号されたポイントクラウドデータをレンダリングするステップと、を含み、
前記ビューポートに関する情報は、少なくとも、初期ビューポートに関する情報、又は時間経過とともに変化する動的ビューポートに関する情報を含み、
前記複数のトラックの１つのトラックは、タイムド－メタデータトラックが前記ビューポートに関する情報用であることを示す値のサンプルエントリータイプを有するタイムド－メタデータトラックであり、
前記初期ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルエントリーを介して伝送され、
前記動的ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルを介して伝送される、ポイントクラウドデータを受信する方法。 - 前記ビューポートに関する情報は、カメラの位置情報を含む、請求項１１に記載の方法。
- 前記ビューポートに関する情報は、前記カメラの方向情報をさらに含む、請求項１２に記載の方法。
- 前記ビューポートに関する情報は、ビューポートを生成するための水平ＦＯＶ（field of view）情報と垂直ＦＯＶ情報をさらに含む、請求項１２に記載の方法。
- 前記復号されたポイントクラウドデータは、Ｖ－ＰＣＣ（video based point cloud compression）方式によって復号されるジオメトリデータ、特質データ及び占有マップデータを含む、請求項１１に記載の方法。
- ファイルを受信するための受信部と、
前記ファイルを符号化されたポイントクラウドデータを含むビットストリームにデカプセル化するためのデカプセル化部であって、
前記ビットストリームは、前記ファイルの複数のトラックの少なくとも１つに格納され、各トラックは、サンプルエントリーとサンプルとを含み、
前記ファイルは、シグナリング情報をさらに含み、
前記シグナリング情報は、前記ポイントクラウドデータのためのビューポートに関する情報を含む、デカプセル化部と、
前記符号化されたポイントクラウドデータを復号するためのデコーダと、
前記ビューポートに関する情報に基づいて、前記復号されたポイントクラウドデータをレンダリングするためのレンダラーと、を含み、
前記ビューポートに関する情報は、少なくとも、初期ビューポートに関する情報、又は時間経過とともに変化する動的ビューポートに関する情報を含み、
前記複数のトラックの１つのトラックは、タイムド－メタデータトラックが前記ビューポートに関する情報用であることを示す値のサンプルエントリータイプを有するタイムド－メタデータトラックであり、
前記初期ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルエントリーを介して伝送され、
前記動的ビューポートに関する情報は、前記タイムド－メタデータトラックのサンプルを介して伝送される、ポイントクラウドデータを受信する装置。 - 前記ビューポートに関する情報は、カメラの位置情報を含む、請求項１６に記載の装置。
- 前記ビューポートに関する情報は、前記カメラの方向情報をさらに含む、請求項１７に記載の装置。
- 前記ビューポートに関する情報は、ビューポートを生成するための水平ＦＯＶ（field of view）情報と垂直ＦＯＶ情報をさらに含む、請求項１７に記載の装置。
- 前記復号されたポイントクラウドデータは、Ｖ－ＰＣＣ（video based point cloud compression）方式によって復号されるジオメトリデータ、特質データ及び占有マップデータを含む、請求項１６に記載の装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023183920A JP2023178464A (ja) | 2019-10-07 | 2023-10-26 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962911939P | 2019-10-07 | 2019-10-07 | |
| US62/911,939 | 2019-10-07 | ||
| US202062959130P | 2020-01-09 | 2020-01-09 | |
| US62/959,130 | 2020-01-09 | ||
| US202062990434P | 2020-03-16 | 2020-03-16 | |
| US62/990,434 | 2020-03-16 | ||
| PCT/KR2020/013685 WO2021071257A1 (ko) | 2019-10-07 | 2020-10-07 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023183920A Division JP2023178464A (ja) | 2019-10-07 | 2023-10-26 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022551690A JP2022551690A (ja) | 2022-12-13 |
| JP7376705B2 true JP7376705B2 (ja) | 2023-11-08 |
Family
ID=75437973
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022521344A Active JP7376705B2 (ja) | 2019-10-07 | 2020-10-07 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 |
| JP2023183920A Pending JP2023178464A (ja) | 2019-10-07 | 2023-10-26 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023183920A Pending JP2023178464A (ja) | 2019-10-07 | 2023-10-26 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11380019B2 (ja) |
| EP (1) | EP4044603A4 (ja) |
| JP (2) | JP7376705B2 (ja) |
| KR (1) | KR102518819B1 (ja) |
| CN (1) | CN114503587A (ja) |
| WO (1) | WO2021071257A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114930396A (zh) * | 2020-01-08 | 2022-08-19 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置以及三维数据解码装置 |
| CN113114608B (zh) * | 2020-01-10 | 2022-06-10 | 上海交通大学 | 点云数据封装方法及传输方法 |
| WO2021206365A1 (ko) * | 2020-04-11 | 2021-10-14 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2022250276A1 (ko) * | 2021-05-28 | 2022-12-01 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 |
| WO2023014085A1 (ko) * | 2021-08-03 | 2023-02-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2023137321A2 (en) * | 2022-01-11 | 2023-07-20 | Bytedance Inc. | Method, apparatus, and medium for video processing |
| JP2024058010A (ja) * | 2022-10-13 | 2024-04-25 | Kddi株式会社 | メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170347122A1 (en) | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
| WO2019055963A1 (en) | 2017-09-18 | 2019-03-21 | Apple Inc. | COMPRESSION OF CLOUD OF POINTS |
| US20190297132A1 (en) | 2018-03-26 | 2019-09-26 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for signaling viewports and regions of interest |
| US20190313081A1 (en) | 2018-04-05 | 2019-10-10 | Lg Electronics Inc. | Multiple-viewpoints related metadata transmission and reception method and apparatus |
| WO2020162495A1 (ja) | 2019-02-05 | 2020-08-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8731313B2 (en) * | 2009-03-23 | 2014-05-20 | Level Set Systems, Inc. | Method and apparatus for accurate compression and decompression of three-dimensional point cloud data |
| US20160373771A1 (en) * | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Design of tracks and operation point signaling in layered hevc file format |
| WO2017142353A1 (ko) * | 2016-02-17 | 2017-08-24 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| EP3451675A4 (en) * | 2016-04-26 | 2019-12-04 | LG Electronics Inc. -1- | METHOD FOR TRANSFERRING 360 DEGREE VIDEOS, METHOD FOR RECEIVING 360 DEGREE VIDEOS, DEVICE FOR TRANSMITTING 360 DEGREE VIDEOS AND DEVICE FOR RECEIVING 360 DEGREE VIDEOS |
| US10623635B2 (en) * | 2016-09-23 | 2020-04-14 | Mediatek Inc. | System and method for specifying, signaling and using coding-independent code points in processing media contents from multiple media sources |
| WO2018060334A1 (en) * | 2016-09-29 | 2018-04-05 | Koninklijke Philips N.V. | Image processing |
| US10560660B2 (en) * | 2017-01-04 | 2020-02-11 | Intel Corporation | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission |
| WO2018182144A1 (ko) * | 2017-03-29 | 2018-10-04 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| US11070846B2 (en) * | 2017-05-01 | 2021-07-20 | Realnetworks, Inc. | Multi-layered video streaming systems and methods |
| EP3422724B1 (en) * | 2017-06-26 | 2024-05-01 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
| WO2019078000A1 (ja) * | 2017-10-16 | 2019-04-25 | ソニー株式会社 | 情報処理装置および方法 |
| US10535161B2 (en) * | 2017-11-09 | 2020-01-14 | Samsung Electronics Co., Ltd. | Point cloud compression using non-orthogonal projection |
| US10783668B2 (en) | 2017-12-22 | 2020-09-22 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
| WO2019158821A1 (en) * | 2018-02-19 | 2019-08-22 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| US10916041B2 (en) * | 2018-03-30 | 2021-02-09 | Samsung Electronics Co., Ltd. | Method for depth image di coding |
| US11381621B2 (en) * | 2018-04-11 | 2022-07-05 | Samsung Electronics Co., Ltd. | Device and method for processing data in multimedia system |
| US11178373B2 (en) * | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
| US11200700B2 (en) * | 2019-01-10 | 2021-12-14 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data |
| US11310560B2 (en) * | 2019-05-17 | 2022-04-19 | Samsung Electronics Co., Ltd. | Bitstream merger and extractor |
| WO2021002657A1 (ko) * | 2019-07-04 | 2021-01-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11588871B2 (en) * | 2019-07-16 | 2023-02-21 | Apple Inc. | Streaming of volumetric point cloud content based on session description protocols and real time protocols |
| US11831861B2 (en) * | 2019-08-12 | 2023-11-28 | Intel Corporation | Methods for viewport-dependent adaptive streaming of point cloud content |
| KR20190101927A (ko) * | 2019-08-13 | 2019-09-02 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
| US20200154121A1 (en) * | 2020-01-10 | 2020-05-14 | Jill Boyce | Multi-dimensional video transcoding |
-
2020
- 2020-10-07 CN CN202080070476.6A patent/CN114503587A/zh active Pending
- 2020-10-07 EP EP20875306.1A patent/EP4044603A4/en active Pending
- 2020-10-07 US US17/064,855 patent/US11380019B2/en active Active
- 2020-10-07 JP JP2022521344A patent/JP7376705B2/ja active Active
- 2020-10-07 WO PCT/KR2020/013685 patent/WO2021071257A1/ko unknown
- 2020-10-07 KR KR1020200129707A patent/KR102518819B1/ko active IP Right Grant
-
2023
- 2023-10-26 JP JP2023183920A patent/JP2023178464A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170347122A1 (en) | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
| WO2019055963A1 (en) | 2017-09-18 | 2019-03-21 | Apple Inc. | COMPRESSION OF CLOUD OF POINTS |
| US20190297132A1 (en) | 2018-03-26 | 2019-09-26 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for signaling viewports and regions of interest |
| US20190313081A1 (en) | 2018-04-05 | 2019-10-10 | Lg Electronics Inc. | Multiple-viewpoints related metadata transmission and reception method and apparatus |
| WO2020162495A1 (ja) | 2019-02-05 | 2020-08-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102518819B1 (ko) | 2023-04-06 |
| KR20210041528A (ko) | 2021-04-15 |
| CN114503587A (zh) | 2022-05-13 |
| WO2021071257A1 (ko) | 2021-04-15 |
| JP2023178464A (ja) | 2023-12-14 |
| EP4044603A1 (en) | 2022-08-17 |
| US20210209806A1 (en) | 2021-07-08 |
| US11380019B2 (en) | 2022-07-05 |
| JP2022551690A (ja) | 2022-12-13 |
| EP4044603A4 (en) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151742B2 (en) | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method | |
| KR102406846B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| US11170556B2 (en) | Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data | |
| JP7434577B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| JP7376705B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法 | |
| US20220159261A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| JP7477617B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| JP7434578B2 (ja) | ポイントクラウドデ－タ送信装置、ポイントクラウドデ－タ送信方法、ポイントクラウドデ－タ受信装置及びポイントクラウドデ－タ受信方法 | |
| KR102585498B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP7434574B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| US11418564B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| US11601634B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| KR102677294B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| KR20240095364A (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7376705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |