WO2020071111A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム

Info

Publication number
WO2020071111A1
WO2020071111A1 PCT/JP2019/036465 JP2019036465W WO2020071111A1 WO 2020071111 A1 WO2020071111 A1 WO 2020071111A1 JP 2019036465 W JP2019036465 W JP 2019036465W WO 2020071111 A1 WO2020071111 A1 WO 2020071111A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
attribute
stream
shape
dimensional structure
Prior art date
Application number
PCT/JP2019/036465
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
平林　光浩
央二 中神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980063613.0A priority Critical patent/CN112789656A/zh
Priority to JP2020550265A priority patent/JP7439762B2/ja
Priority to US17/278,989 priority patent/US20220038517A1/en
Priority to EP19868888.9A priority patent/EP3862971A4/en
Publication of WO2020071111A1 publication Critical patent/WO2020071111A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、クライアントにおける処理を効率良く行うことができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。 ３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成されるまた、そのファイルは、形状情報および属性情報の境界を明示したサンプル構造で生成される。本技術は、例えば、Point Cloudを配信するためのデータを生成するデータ生成装置、および、Point Cloudを再生するデータ再生装置に適用できる。

Description

情報処理装置および情報処理方法、並びにプログラム
　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、クライアントにおける処理を効率良く行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
　従来、非特許文献１で開示されているように、３次元空間上に形状情報および属性情報（特に色情報）を同時に持った点の集合であるPoint Cloudの圧縮方法が規定されている。
　また、Point Cloudの圧縮方法の一つとして、Point Cloudデータを、３次元形状を示すgeometryと、属性情報として色や反射情報などを示すattributeとに分離して、それらを符号化する方法がある。この方法は、G-PCC（Geometry based Point Cloud Coding）と称されている。
　そして、この符号化によって生成されたG-PCCのストリームを、ダウンロード再生したり、over IP（Internet Protocol） networkで配信したりするユースケースが期待されている。そこで、非特許文献２で開示されているように、既存の配信プラットフォームへのインパクトを抑制し、早期のサービス実現を目指すべく、MPEG（Moving Picture Experts Group）において、既存の枠組みであるISOBMFF/DASH（ISO Base Media File Format / Dynamic Adaptive Streaming over HTTP）による配信技術についての検討が開始された。
MPEG-I Part5 Point Cloud Compression (ISO/IEC 23090-5) w17675, First idea on Systems technologies for Point Cloud Coding, April 2018, San Diego, US
　ところで、従来、生成されたG-PCCのストリームは、連続する１つのストリームであり、クライアントが、geometryおよびattributeそれぞれに独立してアクセスすることができない構造となっていた。そのため、例えば、geometryだけを用いるユースケースや、複数のattributeのうちの１つだけを用いるユースケースなどであっても、クライアントが、それらに個別にアクセスして取得することができない。従って、G-PCCのストリームを構成するgeometryおよびattributeの全てを取得した上で処理を行う必要があり、クライアントにおいて処理のオーバヘッドが発生し、処理を効率良く行うことは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、クライアントにおける処理を効率良く行うことができるようにするものである。
　本開示の第１の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、生成された複数の前記識別情報を含むファイルを生成するファイル生成部を備える。
　本開示の第１の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、生成された複数の前記識別情報を含むファイルを生成することとを含む。
　本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成される。
　本開示の第２の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部とを備える。
　本開示の第２の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することとを含む。
　本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成されて含まれるファイルから、ユースケースに応じて、識別情報をもとに、形状情報および属性情報が識別して抽出され、その抽出された形状情報または属性情報を用いて、３次元構造が構築される。
従来のstream構造を示す図である。 新たに定義するPC sampleについて説明する図である。 PC sampleの一例を示す図である。 headerに格納される情報の一例を示す図である。 attributeの種類をシグナルするフィールドを追加した例について説明する図である。 Attribute parameter setの一例を示す図である。 G-PCC streamをISOBMFFの1 trackに格納する際の一例を示す図である。 codec_specific_parametersの定義を示す図である。 新たに定義するPCSampleEntryの構造を示す図である PCParamSetBoxの一例を示す図である。 ファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。 Point Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。 ファイル生成処理を説明するフローチャートである。 Point Cloud再生処理を説明するフローチャートである。 第２の識別可能方法において1 trackに格納するISOBMFF構造の一例を示す図である。 1 trackに格納するISOBMFF構造の変形例を示す図である。 geometry bitstreamおよびattribute bitstreamを、ISOBMFFの2 tracksに格納する一例を示す図である。 PCMultiStreamBoxのシンタックスの一例を示す図である。 第２の識別可能方法において2 trackに格納するISOBMFF構造の第１の例を示す図である。 PCMultiStreamBoxの変形例を示す図である。 PCAttributeTrackGroupBoxのシンタックスの一例を示す図である。 PCMultiStreamBoxの変形例を示す図である。 track groupで紐づくgeometry trackおよびattribute trackをシグナルする例を示す図である。 新たに定義されるPCStreamGroupBoxの一例を示す図である。 第２の識別可能方法において2 trackに格納するISOBMFF構造の第２の例を示す図である。 DASHのシグナリングについて説明する図である。 DASHのシグナリングについて説明する図である。 SubSampleInformationBoxの概要を示す図である。 Sample Groupの概要を示す図である。 データ生成装置の構成例を示すブロック図である。 データ再生装置の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜従来のstream構造＞
　本技術を適用したstream構造について説明する前に、図１を参照して、従来のstream構造について説明する。
　図１には、G-PCCで符号化されたstream構造が示されており、このようなstreamは、G-PCC stream（または、単にPC stream）と称される。
　例えば、G-PCC streamは、1 streamで構成されており、デコード順に並んだpoint cloud frameの連続である。ここで、point cloud frame（以下、PC frameとも記載する）とは、同時刻に表示されるPoint Cloudのことである。PC frameは、3次元情報を示すgeometry bitstream（図１に示すGeom）と、色や反射といった属性情報を示すattribute bitstream（図１に示すAttr）から構成される連続する１つのbitstreamである。
　なお、１つのPC frameは、１つのgeometry bitstreamと複数のattribute bitstream（図１の例では、２つのattribute bitstream）とを有する。また、SPS（Sequence Parameter Set）には、geometry bitstreamおよびattribute bitstreamのデコードに必要な共通情報として、G-PCC streamのシーケンスごとのメタ情報が格納されている。そして、GPS（Geometry Parameter Set）には、geometry bitstreamのデコードに必要な情報が格納されており、APS（Attribute Parameter Set）には、attribute bitstreamのデコードに必要な情報が格納されている。
　そして、クライアントは、G-PCC stream内のgeometry bitstreamおよびattribute bitstreamを、それぞれ個別のデコーダでデコードする。まず、クライアントは、geometry bitstreamをデコードし、色のないPoint Cloudコンテンツを生成する。その後、クライアントは、デコードされたgeometry bitstreamの情報を参照した上でattribute bitstreamをデコードし、その情報に基づいて色や反射といった属性を付加する。
　ところで、G-PCC streamのユースケースとして、色付きのPoint Cloudデータを再生するという一般的なユースケースの他に、色や反射といった属性情報が不要で、Point Cloudデータの３次元形状情報だけを利用するユースケースがある。例えば、LiDAR（Light Detection and Ranging）およびカメラで取得した色付きの地図情報をPoint Cloudデータとして保持し、その中の地形情報（即ち、３次元形状情報）のみを抽出して自動車の運転制御などに利用するユースケースが考えられる。
　また、色や反射といった属性情報が複数ついている場合には、例えば、プレビュー用にはgeometryとともに、反射の属性を利用せずに、色の属性だけ利用したいユースケースがある。また、複数の色属性がある場合には、それらのうちの１つの色属性だけ利用するなど、１つのattributeのみ抽出して利用したいユースケースもある。
　しかしながら、例えば、G-PCC stream構造においては、attribute付きのPC frameをデコードするためには、geometryと複数のattributeを含めて１つのbitstreamとして扱う必要があり、明示的な境界情報も存在しない。このため、これらのユースケースにおいても、クライアントは、PC frameを構成するgeometryおよびattributeを全て取得した上で、ストリームの先頭から順に全てをデコードしなくてはならならず、利用しないattribute bitstreamをデコードすることになるため、処理効率が悪くなってしまう。
　そこで、本開示では、このように効率が悪くなることを解決するため、生成されるgeometry bitstreamおよびattribute bitstreamに関する情報を、新たに識別情報として生成し、その生成された識別情報を含むファイルを生成する手法を提案する。以下で説明する具体的な実施の形態は、このようなユースケースであっても、geometryおよびattributeをそれぞれに独立してアクセス可能とすることで、クライアントにおける処理を効率良く行うことができるようにするものである。
　＜PC sampleの定義＞
　図２を参照して、ISOBMFFで定義されるSampleに相当するものとして、新たに定義するPoint Cloud sample（以下、PC sampleと称する）について説明する。
　例えば、同時刻に表示されるPoint Cloudデータを構成する単位であるPC frameについて、1 PC frameは1 PC sampleから構成されると定義する。つまり、G-PCC streamは、複数のPC sampleから構成され、1 PC sampleは、図２に示す1 PC frameと同様な構造を有する。そして、クライアントは、1 PC frameと同様に、1 PC sampleをデコードすることで、同時刻に表示されるPoint Cloudとして構築することが可能となる。
　このように、PC sampleは、同時刻に表示されるPoint Cloudデータを構成するgeometry bitstreamおよびattribute bitstreamから構成される。
　＜第１の識別可能方法＞
　図３乃至図６を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第１の識別可能方法として、geometryおよびattributeの境界を明示したsample構造について説明する。
　図３には、1 PC sampleが、１つのgeometry subsampleと２つのattribute subsampleによって構成される構成例が示されている。
　図３に示すように、1 PC sampleは、geometry subsample、１つ目のattribute subsample、および、２つ目のattribute subsampleが連続的に配置された構成となっている。そして、各subsampleは、各bitstreamを分割するため各bitstreamに関する情報を格納したheader情報と対応するbitstreamから構成される構造となっている。
　図４には、図３のheaderに格納される情報の一例が示されている。
　図４に示すように、headerには、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報（size_of_bitstream）と、PC sampleを構成する各bitstreamのタイプを示すタイプ情報（type）とが識別情報として格納される。例えば、bitstreamのタイプを示す情報が０である場合、geometry bitstreamであることを示し、bitstreamのタイプを示す情報が１である場合、attribute bitstreamであることを示す。この識別情報は、各bitstreamを識別するための情報であり、bitstreamごとに生成される。
　なお、PC sampleに格納されないSPS, GPS, APSは、例えば、ISOBMFFであればsample entryに格納（後述する図９および図１０参照）される。
　そして、これらのシグナリングによれば、クライアントは、headerから各bitstreamの境界を識別可能である。従って、クライアントは、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。そして、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力することができる。
　さらに、headerを拡張し、図５において太字で示すように、type=1（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類をシグナルするフィールド（attribute_type）を追加してもよい。例えば、attributeの種類をシグナルするフィールドが０である場合、attributeの種類が色であることを示し、attributeの種類をシグナルするフィールドが１である場合、attributeの種類が反射であることを示す。また、attributeの種類をシグナルするフィールドを用いて、その他の種類を示すこともできる。
　また、G-PCC streamのHigh level syntaxを拡張し、属性の種類をシグナルしてもよい。
　例えば、Attribute parameter setを拡張し、図６において太字で示すように、attr_typeをシグナルすることができる。また、参照されるAttribute parameter setは、attribute bitstream内で識別子としてシグナルされる。なお、セマンティクスは、上述したattribute_typeと同様である。
　以上のような第１の識別可能方法により、クライアントは、headerを参照して、geometryおよびattributeを識別して個別にアクセスすることができ、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
　＜第２の識別可能方法＞
　図７乃至図２４を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第２の識別可能方法として、sub sample information、geometry、およびattributeを格納するISOBMFFのtrackの拡張について説明する。
　まず、図７乃至図１５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 tracksに格納するケースについて説明する。
　図７には、G-PCC streamをISOBMFFの1 trackに格納する際の一例が示されている。
　例えば、ISOBMFFのmoovには、新たに定義するPCSampleEntry（図９参照）が格納され、PCSampleEntryは、図１０に示すPCParamSetBoxからなる。
　また、ISOBMFFのmoofには、subs（SubSampleInformationBox）が格納され、図７に示すように、SubSampleInformationBoxを利用して、PC sample内のgeometry subsample、および、attribute subsample #0乃至#Nそれぞれの境界をシグナルすることができる。なお、SubSampleInformationについては、後述の図２８に示すSubSampleInformationBoxの概要を参照して説明する。
　そして、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
　ここで、図８に示すように、SubSampleInformationBoxにおいて、コーデックごとに決まるsubsampleの情報であるcodec_specific_parametersが定義される。即ち、codec_specific_parametersの値が０であるとき、subsampleはgeometry subsampleであることを示し、codec_specific_parametersの値が１であるとき、subsampleはattribute subsampleであることを示す。
　なお、subsample informationは、連続するattribute subsample群の単位で提供されてもよい。また、codec_specific_parametersをさらに拡張し、subsampleが何のattribute bitstreamなのか（色のattributeや、反射のattributeなど）をシグナルできるようにしてもよい。
　図９には、本開示で新たに定義するPCSampleEntryの構造が示されている。
　図９に示す構成において、G-PCC streamを格納するISOBMFFのtrackのsample entryは、例えば、’pcbs’となる。
　PCParamSetBoxには、図１０に示すような各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）が格納される。例えば、これらのparameter setは、PC sampleをデコードする際に参照される。また、parameter setは、通常、PC sample単位で変更される情報ではないため、PCSampleEntryに格納することで、PC sampleごとに同じ情報を繰り返しシグナルする必要が不要となり、ファイルサイズを削減することができる。なお、これらのparameter setの格納先としては、PCParamSetBoxにおけるseq_parameter_set_rbsp()，geometry_parameter_set()、およびattribute_parameter_set()が挙げられる。
　これらのシグナリングによれば、クライアントは、subsampleの中身をパースすることなく、geometryのsubsampleとattibuteのsubsampleとの境界（または、attibuteのsubsampleどうしの境界）を識別可能となる。つまり、クライアントは、システムレイヤのシグナリングのみを参照するという簡略化された処理で、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。また、クライアントは、geometry bitstreamおよびattribute bitstreamを、それぞれ対応する異なるデコーダに容易に入力することができる。
　＜情報処理装置の構成例＞
　図１１は、コンテンツを提供するサーバ側で、Point CloudデータからPC streamを生成し、そのPC streamをISOBMFFで定義されるファイルに格納したファイルを生成するファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。
　図１１に示すように、情報処理装置１１は、分離部２１、符号化部２２、PC stream生成部２３、およびファイル生成部２４を備えて構成される。
　分離部２１は、入力されるPoint Cloudデータからgeometryおよびattributeを分離して、符号化部２２に供給する。
　符号化部２２は、分離部２１から供給されるgeometryおよびattributeをそれぞれ符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、geometry bitstreamおよびattribute bitstreamを復号する際に参照される各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）を生成する。例えば、符号化部２２は、geometryはOctreeで、attributeはLifting codingやRegion Adaptive Haar Transformで符号化を行う。このとき、符号化部２２は、２台のエンコーダ２５－１および２５－２によって、geometryの符号化とattributeの符号化とを並列的に行うことができる。
　PC stream生成部２３は、符号化部２２により符号化されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位でインターリーブし、図３に示したようなPC sampleを生成する。そして、PC stream生成部２３は、複数のPC sampleからなるPC streamを生成して、ファイル生成部２４に供給する。
　ファイル生成部２４は、geometry bitstreamおよびattribute bitstreamを、ISOBMFFで定義されるファイルの1 trackに格納し、ファイルを生成する。このとき、ファイル生成部２４は、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報、および、PC sampleを構成する各bitstreamのタイプを示すタイプ情報を生成し、上述した識別情報として、生成するファイルのheaderに格納する。
　このように構成される情報処理装置１１は、Point CloudデータからPC streamを生成し、そのPC streamを1 trackに格納したファイルを出力することができる。
　また、情報処理装置１１において、G-PCC streamを、メタデータを含むBoxをシグナルしたISOBMFFで定義されるファイルに格納する際、ISOBMFFで定義されるファイルsampleは、PC sample（図３および図７参照）となる。
　図１２は、コンテンツを再生するクライアント側で、ファイルから表示画像を生成してPoint Cloudデータを再生するPoint Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。
　図１２に示すように、情報処理装置１２は、抽出部３１、復号部３２、構築部３３、および表示処理部３４を備えて構成される。
　抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して復号部３２に供給する。このとき、抽出部３１は、geometryおよびattributeを識別して、上述したような様々なユースケースに応じて、必要なgeometryまたはattributeのみを抽出することができる。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して、復号部３２に供給してもよい。
　復号部３２は、各parameter setを参照し、抽出部３１から供給されるgeometry bitstreamおよびattribute bitstreamを復号して、geometryおよびattributeを構築部３３に供給する。このとき、復号部３２は、２台のデコーダ３５－１および３５－２によって、geometry bitstreamの復号とattribute bitstreamの復号とを並列的に、かつ、個別に行うことができる。
　構築部３３は、復号部３２から供給されるgeometryおよびattributeを用いて、Point Cloudデータを構築する。
　表示処理部３４は、構築部３３により構築されたPoint Cloudデータを、クライアントの表示デバイスに合わせてレンダリングし、表示画像を生成して、図示しない表示デバイスに表示させる。
　このように構成される情報処理装置１２は、ファイルからPoint Cloudデータを再生して、Point Cloudデータをレンダリングした表示画像を表示させることができる。
　＜ファイル生成処理およびPoint Cloud再生処理の処理例＞
　図１３は、図１１の情報処理装置１１が、Point Cloudデータからファイルを生成するファイル生成処理を説明するフローチャートである。
　例えば、情報処理装置１１にPoint Cloudデータの入力が行われると処理が開始され、ステップＳ１１において、分離部２１は、入力されるPoint Cloudから、geometryおよびattributeを分離する。
　ステップＳ１２において、符号化部２２は、ステップＳ１１で分離部２１により分離されたgeometryおよびattributeを符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、各parameter setを生成する。
　ステップＳ１３において、PC stream生成部２３は、ステップＳ１２で生成されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位（PC sample）でインターリーブし、PC streamを生成する。
　ステップＳ１４において、ファイル生成部２４は、ステップＳ１３で生成されたPC streamを、メタデータを含むBoxをシグナルしたISOBMFFに格納し、ファイルを生成する。また、ファイル生成部２４は、サイズ情報およびタイプ情報を生成して、このファイルのheaderに格納する。このとき、ISOBMFFのsampleはPC sampleとなる。
　図１４は、図１２の情報処理装置１２が、情報処理装置１１において生成されたファイルから表示画像を生成して再生するPoint Cloud再生処理を説明するフローチャートである。
　例えば、情報処理装置１２へファイルの先端から供給が始まると処理が開始され、ステップＳ２１において、抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出する。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出してもよい。
　ステップＳ２２において、復号部３２は、各parameter setを参照し、ステップＳ２１で抽出されたgeometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する。このとき、geometry bitstreamおよびattribute bitstreamは、２デコーダインスタンスによる個別のデコードとなる。
　ステップＳ２３において、構築部３３は、ステップＳ２２の復号で得られたgeometryおよびattributeを用いて、Point Cloudデータを構築する。
　ステップＳ２４において、表示処理部３４は、クライアントの表示デバイスに合わせ、ステップＳ２３で構築されたPoint Cloudデータをレンダリングして表示画像を表示させる。
　ステップＳ２５において、抽出部３１は、PC streamの終端か否かを判定し、PC streamの終端でない場合には処理はステップＳ２１に戻り、PC streamの終端である場合には、処理は終了される。
　以上のようなファイル生成処理およびPoint Cloud再生処理によって、クライアント側における処理を効率良く行うことができる。
　ここで、図１５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第１の例が示されている。
　なお、変形例として、図１６に示すように、PC sampleを用いず、1 PC frameを構成するgeometry bitstreamおよびattribute bitstreamを、それぞれ1 sampleとしてISOBMFFに格納してもよい。このとき、geometry subsampleおよびattribute subsampleが、それぞれgemetry sampleおよびattribute sampleとなる。
　また、1 PC frameを構成するgeometry sampleおよびattribute sample(s)は、sample groupを用いてシグナルしてもよい。同様に、geometry sampleおよびattribute sampleの境界についても、sample groupを用いてシグナルしてもよい。なお、sample groupについては、後述の図２９に示すsample group概要を参照して説明する。
　ここで、動画ではなく、時間情報を持たないG-PCCのPC sample（即ち、複数のPC sampleが連続するストリームではなく、単一のPC sample）をISOBMFFに格納する場合には、同様の情報をMedaDataBoxにシグナルすればよい。
　次に、図１７乃至図２５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納する方法について説明する。
　図１７には、G-PCCストリームを、１つのgeometry bitstreamと１つのattribute bitstreamとに分離し、１つのgeometry bitstreamをISOBMFFの1 trackに格納し、１つのattribute bitstreamをISOBMFFの1 trackに格納した2 tracksの一例が示されている。
　このように、2 tracksにgeometry bitstreamおよびattribute bitstreamを個別に格納することで、クライアントは、geometry bitstreamのみを格納するtrackを処理し、geometry bitstreamのみを容易にデコードできる。同様に、クライアントは、１つのattribute bitstreamのみを格納するtrackを処理し、必要なattribute bitstreamのみを容易にデコードすることができる。また、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力できる。
　図１７に示すように、geometry bitstreamを格納するtrackをgeometry trackまたは主trackと称し、attribute bitstreamを格納するtrackをattribute trackまたは副trackと称する。そして、それぞれのtrackの関係性を、track reference、および、新たに定義したPCMultiStreamBoxでシグナルする。
　また、図１７に示す例では、主トラックのみにPCParamSetBoxが存在し、PCParamSetBoxは、Sequence Parameter Set，Geometry Parameter Set、およびAttribute parameter setを含む。なお、主trackおよび副track両方にPCParamSetBoxが存在してもよく、その際は、主トラックのPCParamSetBoxは、Sequence Parameter SetおよびGeometry Parameter Setを含み、副トラックのPCParamSetBoxは、Attribute Parameter Setを含むとしてもよい。
　さらに、PC frameの境界を示すsample groupをシグナルしてもよい。また、１つのgeometry trackに対して、例えば、bitrateの異なる複数のattribute trackを紐づけてもよい。
　図１８には、PCMultiStreamBoxのシンタックスの一例が示されている。
　例えば、isGeometryStream＝１である場合にはgeometry trackであることを示し、それ以外の場合にはattribute trackであることを示す。また、geometry trackであれば、紐づくattribute trackのtrack_idをシグナルする。
　このようなシグナリングによれば、クライアントは、track referenceが示されていることで、任意の1 trackのTrackReferenceBoxをパースするだけで、どのtrackがgeometry trackであるかを識別することができる。その後、クライアントは、geometry trackのPCMultiStreamBoxをパースし、全ての関連attribute trackを識別することができる。つまり、クライアントは、最大でも2 trackをパースするだけで全体の構成を識別可能であり、特に複数のattribute trackが紐づくケースにおいて処理を簡易化することが可能となる。
　なお、PCMultiStreamBoxを拡張し、isGeometryBitstream=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド （attribute_type）を追加してもよい。また、attribute trackが、複数種類の属性に相当する複数attribute bitstreamを含むようにしてもよい。
　ここで、図１９には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納したときのISOBMFF構造の一例が示されている。
　さらに、PCMultiStreamBoxのシンタックスの変形例として、複数のattribute trackをまとめてtrack groupでシグナルし、図２０に示すように、attribute_track_group_idでattribute track groupに紐づけてもよい。
　この場合、track groupは、図２１に示すように、PCAttributeTrackGroupBoxを新たに定義し、track_group_typeは’pctg’である。
　また、図２２において太字で示すように、PCMultiStreamBoxに、attributeがgeometryと同じtrackに格納されているか否かを示すisInGeometryStreamを追加してもよい。これにより、上述したように1 trackに格納するケースでも、シグナル可能なBoxとすることができる。
　さらに、PCMultiStreamBoxの代わりに、図２３に示すように、track groupで紐づくgeometry trackおよびattribute trackをシグナルしてもよい。
　そして、図２４に示すように、track groupは、PCStreamGroupBoxを新たに定義し、track_group_typeは’pcgp’である。このとき、track_group_idが等しいpcgpを有するtrackは、１つのPC streamを構成する。例えば、isGeometry=0であれば、そのtrackはattribute trackであることを示し、isGeometry=1であれば、そのtrackはgeometry trackであることを示す。
　なお、PCStreamGroupBoxを拡張し、isGeometry=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド（attribute_type）を追加してもよい。
　ここで、図２５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第２の例が示されている。
　以上のような第２の識別可能方法により、クライアントは、サブサンプルに関する情報（SubSampleInformationBox）、または、各トラックの関係性を示す情報（PCMultiStreamBox）を参照して、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のgeometryのみ、または、必要なattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
　＜第３の識別可能方法＞
　図２６および図２７を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第３の識別可能方法として、geometryおよびattributeを個別のtrackに格納した場合の、DASH MPD（Media Presentation Description）における紐づけ方法について説明する。
　例えば、図２６に示すように、DASH MPDにおいて、SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pointcloud"をPC Component Descriptorと定義する。そして、Representationは、attributeおよびgeometryのうちの、いずれか一方を示す。
　また、attribute representationからgeometry representationへの紐づけをRepresentation@dependencyIdで行う。これは、presentation時に、geometryがないとattributeをマッピングできないという依存関係があるためである。
　なお、Representationがattributeである場合において、その属性の種類（色や反射など）をシグナルするattribute type descriptor（SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pc_attribute_type"）を追加してもよい。
　これらのシグナリングによれば、クライアントがDASH配信コンテンツを取得する際、PC Component Descriptorを参照し、PC streamを構成するgeometry bitstreamを独立して取得することができる。同様に、クライアントは、attribute bitstreamを独立してデコードすることができる。また、クライアントは、例えば、ネットワーク帯域幅に応じて、geometry bitstreamに紐づくattribute bitstreamの画質の切り替えを行うことも可能となる。
　さらに、図２７に示すように、geometry representationからattribute representationへの紐づけをRepresentation@associationIdで行ってもよい。ここで、associationTypeは”patt”となる。また、geometryは単独で色のないpoint cloudのpresentationを可能とするため、associationIdを用いた紐づけが適切である。
　以上のような第３の識別可能方法により、クライアントは、DASH MPDにおける紐づけに基づいて、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。また、第３の識別可能方法においても、第２の識別可能方法と同様に、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
　ここで、図２８には、SubSampleInformationBoxの概要が示されている。
　図２８に示すように、sample中の、連続した特定byte領域をsub-sampleと定義している。また、sub-sampleの定義は符号化コーデックごとに決まっており、例えばHEVCなら、NAL unitがsub-sampleとなる。また、SubSampleInformationBoxでは、sub-sampleごとに情報を付加することができる。
　また、図２９には、Sample Groupの概要が示されている。
　図２９に示すように、Sample To Group Boxのgrouping_typeは、紐づけられるSample Group Description Boxのgrouping_typeを示す。1 entryにつき、sample_countとgroup_description_indexがシグナルされる。そして、group_description_indexは、紐づくGroup Entryのindexを示し、sample_countは、そのGroup Entryに属するsample数を示す。
　＜システム構成＞
　図３０および図３１を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。
　図３０には、データ生成装置の構成例を示すブロック図が示されている。
　図３０に示すように、データ生成装置５１は、制御部６１およびファイル生成部６２を備えており、ファイル生成部６２は、データ入力部７１、データ符号化・生成部７２、MPDファイル生成部７３、記録部７４、およびアップロード部７５を備えて構成される。そして、データ符号化・生成部７２は、前処理部７６、符号化部７７、およびセグメントファイル生成部７８を有している。
　例えば、前処理部７６は、上述した図１１の分離部２１に対応し、入力されるPoint Cloudから、geometryおよびattributeを分離する処理を実行する。
　また、符号化部７７は、上述した図１１の符号化部２２に対応し、geometry bitstreamおよびattribute bitstreamを符号化し、各parameter setを生成する処理を実行する。
　また、セグメントファイル生成部７８は、上述した図１１のPC stream生成部２３およびファイル生成部２４に対応し、PC streamを生成し、そのPC streamをISOBMFFに格納したファイルを生成する処理を実行する。
　図３１には、データ再生装置の構成例を示すブロック図が示されている。
　図３１に示すように、データ再生装置５２は、制御部８１および再生処理部８２を備えており、再生処理部８２は、MPDファイル取得部９１、MPDファイル処理部９２、セグメントファイル取得部９３、表示制御部９４、データ解析・復号部９５、および表示部９６を備えて構成さる。そして、データ解析・復号部９５は、セグメントファイル処理部９７、復号部９８、および表示情報生成部９９を有している。
　例えば、セグメントファイル処理部９７は、上述した図１２の抽出部３１に対応し、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを、ユースケースに応じて抽出する処理を実行する。
　また、復号部９８は、上述した図１２の復号部３２に対応し、geometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する処理を実行する。
　また、表示情報生成部９９は、上述した図１２の構築部３３および表示処理部３４に対応し、Point Cloudを構築しPoint Cloudをレンダリングして表示画像を表示させる。
　以上のように、本技術によれば、geometryおよびattributeの境界を明示したsample構造を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。さらに、Point Cloud streamをgeometry bitstreamおよびattribute bitstreamに分け、ISOBMFFの2 tracksに、それぞれ格納することによって、クライアントは、各trackに個別に処理することができる。また、上述したように、geometryとattributeとを個別のtrackに格納した場合の、DASH MPDにおける紐づけ方法を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。
　これにより、クライアントは、geometryを単独でデコードすることや、複数のattributeのうちの、所望のattributeのみをデコードすることが可能となる。
　従って、色や反射といった属性情報が不要で、Point Cloudの3次元形状情報だけを利用するユースケースや、色や反射といった属性情報が複数ついている場合、例えば、プレビュー用にはgeometryとともに色の属性だけ利用する、といったユースケースにおけるクライアント処理を効率良く行うことができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
　生成された複数の前記識別情報を含むファイルを生成するファイル生成部
　を備える情報処理装置。
（２）
　前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
　上記（１）に記載の情報処理装置。
（３）
　前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（６）
　前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（５）に記載の情報処理装置。
（７）
　前記ファイル生成部は、前記位置形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記位置形状情報および前記属性情報をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（８）
　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive St reaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
　上記（１）乃至（３）のいずれかに記載の情報処理装置。
（９）
　前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成する前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
　上記（８）に記載の情報処理装置。
（１０）
　情報処理装置が、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
　生成された複数の前記識別情報を含むファイルを生成することと
　を含む情報処理方法。
（１１）
　情報処理装置のコンピュータに、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
　生成された複数の前記識別情報を含むファイルを生成することと
　を含む情報処理を実行させるためのプログラム。
（１２）
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
　前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
　を備える情報処理装置。
（１３）
　情報処理装置が、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
　を含む情報処理方法。
（１４）
　情報処理装置のコンピュータに、
　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
　を含む情報処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１および１２　情報処理装置，　２１　分離部，　２２　符号化部，　２３　PC stream生成部，　２４　ファイル生成部，　３１　抽出部，　３２　復号部，　３３　構築部，　３４　表示処理部，　５１　データ生成装置，　５２　データ再生装置，　６１　制御部，　６２　ファイル生成部，　７１　データ入力部，　７２　データ符号化・生成部，　７３　MPDファイル生成部，　７４　記録部，　７５　アップロード部，　７６　前処理部，　７７　符号化部，　７８　セグメントファイル生成部，　８１　制御部，　８２　再生処理部，　９１　MPDファイル取得部，　９２　MPDファイル処理部，　９３　セグメントファイル取得部，　９４　表示制御部，　９５　データ解析・復号部，　９６　表示部，　９７　セグメントファイル処理部，　９８　復号部，　９９　表示情報生成部

Claims (14)

  1. 　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
    　生成された複数の前記識別情報を含むファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
    　請求項１に記載の情報処理装置。
  3. 　前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
    　請求項１に記載の情報処理装置。
  4. 　前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項１に記載の情報処理装置。
  5. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
    　請求項１に記載の情報処理装置。
  6. 　前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項５に記載の情報処理装置。
  7. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記形状情報および前記属性情報をシグナルする
    　請求項１に記載の情報処理装置。
  8. 　前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive Streaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
    　請求項１に記載の情報処理装置。
  9. 　前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
    　請求項８に記載の情報処理装置。
  10. 　情報処理装置が、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
    　生成された複数の前記識別情報を含むファイルを生成することと
    　を含む情報処理方法。
  11. 　情報処理装置のコンピュータに、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
    　生成された複数の前記識別情報を含むファイルを生成することと
    　を含む情報処理を実行させるためのプログラム。
  12. 　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
    　前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
    　を備える情報処理装置。
  13. 　情報処理装置が、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
    　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
    　を含む情報処理方法。
  14. 　情報処理装置のコンピュータに、
    　３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
    　その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
    　を含む情報処理を実行させるためのプログラム。
PCT/JP2019/036465 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム WO2020071111A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980063613.0A CN112789656A (zh) 2018-10-02 2019-09-18 信息处理装置、信息处理方法和程序
JP2020550265A JP7439762B2 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム
US17/278,989 US20220038517A1 (en) 2018-10-02 2019-09-18 Information processing apparatus, information processing method, and program
EP19868888.9A EP3862971A4 (en) 2018-10-02 2019-09-18 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-187816 2018-10-02
JP2018187816 2018-10-02

Publications (1)

Publication Number Publication Date
WO2020071111A1 true WO2020071111A1 (ja) 2020-04-09

Family

ID=70054768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036465 WO2020071111A1 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20220038517A1 (ja)
EP (1) EP3862971A4 (ja)
JP (1) JP7439762B2 (ja)
CN (1) CN112789656A (ja)
WO (1) WO2020071111A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
EP4164213A4 (en) * 2020-06-09 2023-10-04 Sony Group Corporation DEVICE AND METHOD FOR PROCESSING INFORMATION
EP4138397A4 (en) * 2020-04-14 2024-03-27 Lg Electronics Inc POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116619A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020138353A1 (ja) * 2018-12-26 2020-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113224A (ja) * 1998-10-06 2000-04-21 Akira Kawanaka ３次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd ３次元形状処理装置およびデータ処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
JP6128236B2 (ja) * 2014-01-14 2017-05-17 ソニー株式会社 情報処理装置、情報記録媒体、情報処理システム、および情報処理方法、並びにプログラム
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
RU2019129256A (ru) * 2017-03-24 2021-03-17 Сони Корпорейшн Способ обработки информации, устройство для обработки информации и программа
WO2019008174A1 (en) * 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11381621B2 (en) * 2018-04-11 2022-07-05 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
US20210281880A1 (en) * 2018-07-11 2021-09-09 Telefonaktiebolaget Lm Ericsson (Publ) Video Based Point Cloud Codec Bitstream Specification
JPWO2020032248A1 (ja) * 2018-08-10 2021-08-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113224A (ja) * 1998-10-06 2000-04-21 Akira Kawanaka ３次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd ３次元形状処理装置およびデータ処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3862971A4
W17675, FIRST IDEA ON SYSTEMS TECHNOLOGIES FOR POINT CLOUD CODING, April 2018 (2018-04-01)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4138397A4 (en) * 2020-04-14 2024-03-27 Lg Electronics Inc POINT CLOUD DATA TRANSMISSION APPARATUS, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
EP4164213A4 (en) * 2020-06-09 2023-10-04 Sony Group Corporation DEVICE AND METHOD FOR PROCESSING INFORMATION
CN114554243A (zh) * 2020-11-26 2022-05-27 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
CN114554243B (zh) * 2020-11-26 2023-06-20 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220038517A1 (en) 2022-02-03
JP7439762B2 (ja) 2024-02-28
JPWO2020071111A1 (ja) 2021-09-24
CN112789656A (zh) 2021-05-11
EP3862971A1 (en) 2021-08-11
EP3862971A4 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
WO2020071111A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
KR102450781B1 (ko) 생성된 콘텐츠를 포함하는 미디어 데이터를 인코딩하기 위한 방법 및 장치
JP6766157B2 (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
US10785276B2 (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
TWI632810B (zh) Data generating device, data generating method, data reproducing device, and data reproducing method
US20230025332A1 (en) Method, device, and computer program for improving encapsulation of media content
CN104904225A (zh) 用于对视频数据进行流传输的方法和相应装置
US20240107049A1 (en) Information processing device and information processing method
JP7415936B2 (ja) 情報処理装置および情報処理方法
KR20210056999A (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
US11206386B2 (en) Information processing apparatus and information processing method
JP2024515091A (ja) メディアファイル処理方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020550265

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019868888

Country of ref document: EP

Effective date: 20210503