JP7480773B2 - 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 - Google Patents

情報処理装置、情報処理方法、再生処理装置及び再生処理方法 Download PDF

Info

Publication number
JP7480773B2
JP7480773B2 JP2021506217A JP2021506217A JP7480773B2 JP 7480773 B2 JP7480773 B2 JP 7480773B2 JP 2021506217 A JP2021506217 A JP 2021506217A JP 2021506217 A JP2021506217 A JP 2021506217A JP 7480773 B2 JP7480773 B2 JP 7480773B2
Authority
JP
Japan
Prior art keywords
information
dimensional object
file
dimensional
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506217A
Other languages
English (en)
Other versions
JPWO2020189038A1 (ja
Inventor
充 勝股
遼平 高橋
光浩 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020189038A1 publication Critical patent/JPWO2020189038A1/ja
Application granted granted Critical
Publication of JP7480773B2 publication Critical patent/JP7480773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、情報処理装置、情報処理方法、再生処理装置及び再生処理方法に関する。
現在の映像配信においては、映画などの配信で利用される２次元ビデオと呼ばれる２次元コンテンツの配信が主流である。さらに、全方位が見回し可能である３６０度ビデオの配信もインターネット上の様々なサイトなどで提供されている。３６０度ビデオは、３ＤｏＦ（Degree of Freedom）ビデオとも呼ばれる。２次元ビデオ及び３ＤｏＦビデオどちらも、基本は２次元にエンコードされたコンテンツが配信され、クライアント装置で表示される。
一方で、更なる自由度のあるビデオとして、６ＤｏＦコンテンツの配信が提案されている。６ＤｏＦコンテンツは、３次元空間内で視線方向を自由に選択することで全方位見回しができ、さらに視点位置を自由に選択することで空間の中の自由な位置の選択が可能である。６ＤｏＦコンテンツは、３次元空間の３次元対象物を表現し、再生の際に視点方向及び視点位置を自由に設定可能な３次元コンテンツである。６ＤｏＦコンテンツは、３次元空間を１つもしくは複数の３次元オブジェクトで表現する。以下では、３次元オブジェクトを３Ｄオブジェクトと呼称する。
より具体的には、６ＤｏＦコンテンツは、以下の手法により時刻毎に３次元オブジェクトを用いて３次元空間を表現したものである。１つの手法は、人や物などの対象物毎に３次元オブジェクトで３次元空間を表現する対象物ベースの表現手法である。また、他の１つの手法は、人や物などの各対象物別の３次元オブジェクトの生成は行わずに、対象空間全体を１つの３次元オブジェクトとして表現する空間ベースの表現手法である。
スポーツや音楽の実写などに基づく６ＤｏＦコンテンツのライブストリーミングでは、空間ベースの表現手法を用いることで、コンテンツ制作が容易となりまたクライアント装置の処理コストも低く抑えられる。そして、空間ベースの表現手法を用いた場合、エンドツーエンドの遅延を小さくできる。
６ＤｏＦコンテンツの配信方法として、例えば、３次元空間を複数の３次元オブジェクトで構成し、複数のオブジェクトストリームとして伝搬する方法がある。このような方法で６ＤｏＦコンテンツを配信する際、例えば、シーンディスクリプションという記述法を用いる技術がある。シーンディスクリプションとして、シーンをシーングラフと呼ばれるツリー階層構造のグラフで表現し、そのシーングラフをバイナリ形式又はテキスト形式で表現する技術がある。
"ISO/IEC 14496-12:2015", Information technology. Coding of audio-visual objects. Part12:ISO base media file format, 2015-12
しかしながら、空間ベースの表現手法を用いた６ＤｏＦコンテンツの場合、対象物を識別することが困難であり、利用者に視聴体験を決める自由度が少ない。
そこで、本開示では、利用者に自由度の高い視聴体験を提供することができる情報処理装置、情報処理方法、再生処理装置及び再生処理方法を提供する。
本開示によれば、複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、前処理部は、前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する。ファイル生成部は、前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成する。
配信システムの一例のシステム構成図である。 ファイル生成装置のブロック図である。 第１の実施形態に係る３次元オブジェクト特定情報の格納状態を表す図である。 オブジェクトメタデータノードのシンタックスの一例を表す図である。 既存ノードを拡張して３次元オブジェクト特定情報を格納する場合のシンタックスの一例を示す図である。 クライアント装置のブロック図である。 第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。 第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。 ユーザディスクリプション形式で３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。 独自の形式で３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。 第１の実施形態の変形例（２－１）における３次元オブジェクト特定情報を示すデータを格納するボックスの一例を示す図である。 Matroska Media Containerのフォーマットを表す図である。 第１の実施形態の変形例（２－２）における３次元オブジェクト特定情報を示すデータの格納例及びシンタックスの例を表す図である。 第１の実施形態の変形例（２－３）における３次元オブジェクト特定情報を示すデータの格納例を表す図である。 第１の実施形態の変形例（３－１）に係るAdaptationSetのシンタックスの一例を表す図である。 第１の実施形態の変形例（３－２）におけるＭＤＰのシンタックスの一例を表す図である。 高精細３次元オブジェクト情報を含むシーングラフのノードのシタックスの一例を表す図である。 高精細３次元オブジェクトとともに精細度を示すシンタックスの一例を表す図である。 ユーザディスクリプション形式で高精細３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。 ユーザディスクリプション形式で高精細３次元オブジェクトとともに精細度を格納する場合のシンタックスの一例を表す図である。 独自の形式で高精細３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。 独自の形式で高精細３次元オブジェクトとともに精細度を格納する場合のシンタックスの一例を表す図である。 第２の実施形態の変形例（２－１）における高精細３次元オブジェクト特定情報を示すデータを格納するボックスの一例を示す図である。 第２の実施形態の変形例（３－１）に係るAdaptationSetのシンタックスの一例を表す図である。 第２の実施形態の変形例（４）に係る拡張されたシーンディスクリプションを示す図である。 高精細差分３次元オブジェクトを使用する場合のＩＳＯＢＭＦＦファイルの一例を表す図である。 基礎３次元オブジェクトを使用する場合のＩＳＯＢＭＦＦファイルの一例を表す図である。 第２の実施形態の変形例（７－１）におけるシーングラフの一例を表す図である。 拡張したSwitchノードのシンタックスの一例を表す図である。 ContentsStructureBoxのシンタックスの一例を表す図である。 IncludingObjectMetadataノードのシンタックスの一例を表す図である。 IncludingObjectMetadataの一例を表す図である。 IncludingObjectBoxの一例を表す図である。 各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報をＭＰＤのAdaptationSetに格納した場合の状態を表す図である。 AdaptationSetに格納される各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報のシンタックスの一例を表す図である。 各構成のシーンディスクリプションを分けた場合のシーングラフを表す図である。 注目オブジェクト情報のノードのシンタックスの一例を表す図である。 注目オブジェクト情報とともに注目度示すシンタックスの一例を表す図である。 ユーザディスクリプション形式で注目オブジェクト情報を格納する場合のシンタックスの一例を表す図である。 ユーザディスクリプション形式で注目オブジェクト情報とともに注目度を示す場合のシンタックスの一例を表す図である。 独自の形式で注目オブジェクト情報を格納する場合のシンタックスの一例を表す図である。 独自の形式で注目オブジェクト情報とともに注目度を示す場合のシンタックスの一例を表す図である。 第３の実施形態の変形例（２－１）における注目オブジェクト情報を示すデータを格納するボックスの一例を示す図である。 注目オブジェクト情報を格納するＭＰＤのシンタックスの一例を表す図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。なお、本技術で開示される範囲は、実施形態の内容に限定されるものではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献１：（上述）
非特許文献２："ISO/IEC 14496-11:2015", Information technology. Coding of audio-visual objects. Part11:Sene description and application engine, 2015-11
非特許文献３："ISO/IEC 23009-1:2014", Information technology. Dynamic adaptive streaming over HTTP(DASH), Part1:Media presentation description and segment formats, 2014-15
非特許文献４："ISO/IEC 23009-1:2014", Information technology. Dynamic adaptive streaming over HTTP(DASH), Part1:AMENDMENT 2:Spatial relationship description generalized URL parameters and other extensions, 2014-05
非特許文献５："ISO/IEC 21000-22:2016", Information technology-Multimedia framework (MPEG-21)-Part22:User Description, 2016-11
つまり、上述の非特許文献に記載されている内容も、参照により本明細書に組み込まれる。つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献１に記載されているFile Structure、非特許文献２に記載されているScene Descriptionで用いられている構造／用語、非特許文献３に記載されているMPEG-DASH規格で用いられている用語が発明の詳細な説明において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１－１ 第１の実施形態の変形例（１－１）
１．１－２ 第１の実施形態の変形例（１－２）
１．２－１ 第１の実施形態の変形例（２－１）
１．２－２ 第１の実施形態の変形例（２－２）
１．２－３ 第１の実施形態の変形例（２－３）
１．３－１ 第１の実施形態の変形例（３－１）
１．３－２ 第１の実施形態の変形例（３－２）
２．第２の実施形態
２．１－１ 第２の実施形態の変形例（１－１）
２．１－２ 第２の実施形態の変形例（１－２）
２．２－１ 第２の実施形態の変形例（２－１）
２．２－２ 第２の実施形態の変形例（２－２）
２．３－１ 第２の実施形態の変形例（３－１）
２．３－２ 第２の実施形態の変形例（３－２）
２．４ 第２の実施形態の変形例（４）
２．５ 第２の実施形態の変形例（５）
２．６ 第２の実施形態の変形例（６）
２．７－１ 第２の実施形態の変形例（７－１）
２．７－２ 第２の実施形態の変形例（７－２）
３．第３の実施形態
３．１－１ 第３の実施形態の変形例（１－１）
３．１－２ 第３の実施形態の変形例（１－２）
３．２－１ 第３の実施形態の変形例（２－１）
３．２－２ 第３の実施形態の変形例（２－２）
３．３－１ 第３の実施形態の変形例（３－１）
３．３－２ 第３の実施形態の変形例（３－２）
（１．第１の実施形態）
上述したように、スポーツや音楽の実写などに基づく６ＤｏＦコンテンツにおいては、空間ベースの表現手法が有効である。しかしながら、空間ベースの表現手法を用いた場合、６ＤｏＦコンテンツに含まれる各対象物を識別することが困難であり、利用者による視聴体験の決定の自由度が少ない。具体的には、対象物ベースの表現手法に比べて対象物ベースの表現手法では、以下のような制限がある。自由に視点を選択する視聴において、利用者により指定された対象物をクライアント装置で自動的に追尾して視聴させることは困難である。また、クライアント装置で対象物の位置を表示し利用者の視聴を補助することは困難である。さらに、利用者により指定された対象物に限定して高品質に表示することは困難である。また、ＲＯＩ（region of interest）のような指定された視聴において、コンテンツ作成者の意図する注目すべき対象物をユーザに示したり追尾して視聴させたりすることは困難であり、さらに、その対象物に限定して高品質に表示させることは困難である。そこで、以下に説明する情報処理装置及び再生処理装置を提供する。
［第１の実施形態に係るシステムの構成］
図１は、配信システムの一例のシステム構成図である。配信システム１００は、情報処理装置であるファイル生成装置１、再生処理装置であるクライアント装置２及びＷｅｂサーバ３を含む。ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４に接続される。そして、ファイル生成装置１、クライアント装置２及びＷｅｂサーバ３は、ネットワーク４を介して相互に通信可能である。ここで、図１においては、各装置を１台ずつ示しているが、配信システム１００は、ファイル生成装置１及びクライアント装置２をそれぞれ複数台含んでもよい。
ファイル生成装置１は、６ＤｏＦコンテンツを生成する。ファイル生成装置１は、生成した６ＤｏＦコンテンツをＷｅｂサーバ３にアップロードする。ここで、本実施形態では、Ｗｅｂサーバ３が６ＤｏＦコンテンツをクライアント装置２に提供する構成について説明するが、配信システム１００は他の構成を採ることも可能である。例えば、ファイル生成装置１が、Ｗｅｂサーバ３の機能を含み、生成した６ＤｏＦコンテンツを自装置内に格納し、クライアント装置２に提供する構成であってもよい。
Ｗｅｂサーバ３は、ファイル生成装置１からアップロードされた６ＤｏＦコンテンツを保持する。そして、Ｗｅｂサーバ３は、クライアント装置２からの要求にしたがい指定された６ＤｏＦコンテンツを提供する。
クライアント装置２は、６ＤｏＦコンテンツの送信要求をＷｅｂサーバ３へ送信する。そして、クライアント装置２は、送信要求で指定した６ＤｏＦコンテンツをＷｅｂサーバ３から取得する。そして、クライアント装置２は、６ＤｏＦコンテンツをデコードして映像を生成して、その映像をモニタなどの表示装置に表示させる。
ここで、６ＤｏＦコンテンツについて説明する。６ＤｏＦコンテンツは、３次元空間を１つもしくは複数の３次元オブジェクトで表現する。３Ｄオブジェクトは、６ＤｏＦコンテンツのローカル座標系である正規化されたバウンディングボックス（Bounding Box）内の座標系を用いて表現され、圧縮エンコードされてビットストリーム（bitstream）となる。このビットストリームを３次元空間へ配置するために、シーンディスクリプション（Scene Description）が用いられる。
このシーンディスクリプションの規格は、複数存在する。基本的には、各時刻における各３Ｄオブジェクトを表示するシーンをシーングラフと称するツリー階層構造のグラフで表現し、そのシーングラフをバイナリ形式またはテキスト形式で表現する。ここで、シーングラフは、空間表示制御情報であり、３Ｄオブジェクトの表示に関する情報を、ノードを構成単位として定義し、複数のノードを階層的に組合せることで構成される。ノードは、ある座標系から別の座標系へと変換する座標変換情報のノード、３Ｄオブジェクトの位置情報や大きさ情報のノード、３Ｄオブジェクトやオーディオデータへのアクセス情報のノードがある。
なお、以下においては、６ＤｏＦコンテンツは、空間表示制御情報であるシーンディスクリプションデータと、複数の３Ｄオブジェクトのメディアデータ（例えば、３Ｄオブジェクトのメッシュデータとテクスチャデータを合わせて表現したもの）とで構成されるものとする。また、６ＤｏＦコンテンツには、オーディオデータが含まれてもよい。３ＤオブジェクトのメディアデータはPoint Cloudといった別の形式も適用可能である。また、シーンディスクリプションデータは、MPEG-4 Scene Description（ISO/IEC 14496-11）に準拠するものとする。
MPEG-4 Scene Descriptionデータは、シーングラフをＢＩＦＳ（Binary Format for Scenes）という形式でバイナリ化してものである。このシーングラフのＢＩＦＳへの変換は、所定のアルゴリズムを用いることで可能となる。また、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に格納することで時刻毎にシーンを規定することができ、位置や大きさの変化する３Ｄオブジェクトを表現することが可能である。
［第１の実施形態に係るファイル生成装置の構成］
次に、ファイル生成装置１の詳細について説明する。図２は、ファイル生成装置のブロック図である。情報処理装置であるファイル生成装置１は、図２に示すように、生成処理部１０及び制御部１１を有する。制御部１１は、生成処理部１０の制御に関する処理を実行する。例えば、制御部１１は、生成処理部１０の各部の動作タイミングなどの統括制御を行う。生成処理部１０は、データ入力部１０１、前処理部１０２、符号化部１０３、ファイル生成部１０４及び送信部１０５を有する。
データ入力部１０１は、３次元オブジェクト及びメタ情報などを生成するための元情報の入力を受け付ける。データ入力部１０１は、取得した元情報を前処理部１０２へ出力する。データ入力部１０１は、データの入力を受け付ける。データ入力部１０１が受け付けるデータには、３Ｄオブジェクト及び３Ｄオブジェクトの配置情報等のメタデータが含まれる。データ入力部１０１は、取得したデータを前処理部１０２へ出力する。
前処理部１０２は、３Ｄオブジェクト及び３Ｄオブジェクトの配置情報等のメタデータを含むデータの入力をデータ入力部１０１から受ける。そして、前処理部１０２は、取得したデータを基にビットストリーム構成を決定し、各３Ｄオブジェクトのメタデータ、並びに、ビットストリームへのアクセス情報を用いてシーングラフを生成する。また、メタデータには、どのようなコーデックで圧縮するかなどの制御情報が含まれる。
前処理部１０２は、３次元空間内の３次元オブジェクトを特定するための３次元オブジェクト特定情報を生成する。３次元オブジェクト特定情報には、時刻が変わった際にも、同一の３次元オブジェクトを判別するための識別情報、３次元オブジェクトの空間位置情報及び３次元オブジェクトの詳細情報などが含まれる。この３次元オブジェクト特定情報が、「オブジェクト特定情報」の一例にあたる。
ここで、本実施形態に係る前処理部１０２は、３次元オブジェクト特定情報をシーンディスクリプションの形式で格納する。図３は、第１の実施形態に係る３次元オブジェクト特定情報の格納状態を表す図である。例えば、前処理部１０２は、図３に示すように、識別情報、３次元オブジェクトの位置情報及び３次元オブジェクトの詳細情報を示すための新しいオブジェクトメタデータノード３１を定義する。そして、前処理部１０２は、ある時刻における３次元オブジェクト特定情報を、Groupノードをルートとして子ノードに３次元オブジェクト毎のオブジェクトメタデータノード３１を有するシーングラフ３０を生成する。この場合、前処理部１０２は、各３次元オブジェクトの３次元オブジェクト特定情報を表すオブジェクトメタデータノード３１のそれぞれを、Groupノードの子ノードとする。
図４は、オブジェクトメタデータノードのシンタックスの一例を表す図である。例えば、前処理部１０２は、図４に示すシンタックスを用いてオブジェクトメタデータノード３１を生成する。図４に示すシンタックスにおけるcenterPointは、３次元オブジェクトの中心を示す座標（ｘ，ｙ，ｚ）を示す値である。また、bboxSizeは、３次元オブジェクトの外接ボックスを示す値であり、centerPointを中心に各軸に並行な長さで表される。centerPointを利用してbboxSizeを利用しない場合、すなわちbboxSizeの省略時は、bboxSizeは、（－１，－１，－１）とされる。idは、３次元オブジェクトの識別情報であり、本実施形態では数値で表される。descriptionは、３次元オブジェクトの詳細情報を示す文字列である。
以上では新しいノードを定義する場合を説明したが、前処理部１０２は、既存のノードを拡張して３次元オブジェクト特定情報を格納することも可能である。図５は、既存ノードを拡張して３次元オブジェクト特定情報を格納する場合のシンタックスの一例を示す図である。例えば、前処理部１０２は、図５においてexposedFieldとして表されるTransformノードにおける既存のbboxCenter fieldとbboxSize fieldとを用いて３次元オブジェクトの位置を示す。また、前処理部１０２は、３次元オブジェクトの識別情報及び詳細情報の格納は、Transformノードにおけるfieldを拡張することで実現する。図４に示すシンタックスにおけるidは、３次元オブジェクトの識別情報であり、数値で表される。また、noShapeFlagは、子ノードに３次元オブジェクトの形状を示すデータが存在しないこと、すなわち位置情報のみであることを示す。また、descriptionは、３次元オブジェクトの詳細情報を示す文字列である。また、ここでは、Transformノードを拡張する場合で説明したが、他のノードを拡張して３次元オブジェクト特定情報を格納することも可能である。
さらに、以上では３次元オブジェクトの位置を示すために３次元オブジェクトの外接ボックスを用いたが、前処理部１０２は、外接球や、外接円柱などの立体で３次元オブジェクトの位置を示してもよい。他にも、前処理部１０２は、３次元オブジェクトの形状情報そのものを格納してもよい。
前処理部１０２は、３次元オブジェクト及び生成したシーングラフを符号化部１０３へ出力する。また、前処理部１０２は、メタデータをファイル生成部１０４へ出力する。
符号化部１０３は、３次元オブジェクト及びシーングラフの入力を前処理部１０２から受ける。そして、符号化部１０３は、３次元オブジェクトを符号化しビットストリームを生成する。また、符号化部１０３は、取得したシーングラフを符号化しシーンディスクリプションを生成する。その後、符号化部１０３は、生成したビットストリーム及びシーンディスクリプションをファイル生成部１０４へ出力する。
ファイル生成部１０４は、ビットストリーム及びシーンディスクリプションの入力を符号化部１０３から受ける。また、ファイル生成部１０４は、メタデータの入力を前処理部１０２から受ける。そして、ファイル生成部１０４は、取得したビットストリームをセグメント毎にＩＳＯＢＭＦＦファイルに格納することでファイル化し、ビットストリームのセグメントファイルを生成する。また、ファイル生成部１０４は、シーンディスクリプションのデータをセグメント毎にＩＳＯＢＭＦＦファイルに格納することでファイル化して、シーンディスクリプションのセグメントファイルを生成する。
また、ファイル生成部１０４は、前処理部１０２から取得したデータを基に、ＭＰＤ（Media Presentation Description）ファイルを生成する。ＭＰＤファイルには、メディア種別、動画や音声のセグメントファイルの情報などの６ＤｏＦコンテンツのメタ情報が格納される。
送信部１０５は、ビットストリーム、静的シーンディスクリプション及び動的シーンディスクリプションのセグメントファイルをファイル生成部１０４から取得し、それらをＷｅｂサーバ３に送信してアップロードする。
［第１の実施形態に係るクライアント装置の構成］
図６は、クライアント装置のブロック図である。図６に示すように、クライアント装置２は、再生処理部２０及び制御部２１を有する。制御部２１は、再生処理部２０の各部の動作を制御する。例えば、制御部２１は、再生処理部２０の各部の動作のタイミングを統括制御する。再生処理部２０は、ファイル取得部２０１、計測部２０２、ファイル処理部２０３、復号処理部２０４、表示制御部２０５、表示情報生成部２０６及び表示部２０７を有する。
ファイル取得部２０１は、再生する６ＤｏＦコンテンツに対応するＭＰＤファイルをＷｅｂサーバ３から取得する。そして、ファイル取得部２０１は、ＭＰＤファイルを基に、再生する６ＤｏＦコンテンツのシーンディスクリプションの情報を取得する。
ファイル取得部２０１は、Ｗｅｂサーバ３にアクセスして表示する６ＤｏＦコンテンツのシーンディスクリプションが格納されたＩＳＯＢＭＦＦのファイルを取得する。そして、ファイル取得部２０１は、シーンディスクリプションが格納されたＩＳＯＢＭＦＦのファイルをファイル処理部２０３へ出力する。
さらに、ファイル取得部２０１は、ファイル処理部２０３により選択されたビットストリームの情報をファイル処理部２０３から取得する。そして、ファイル取得部２０１は、Ｗｅｂサーバ３にアクセスして、選択されたビットストリームのセグメントファイルを取得する。その後、ファイル取得部２０１は、取得したビットストリームのセグメントファイルをファイル処理部２０３へ出力する。
計測部２０２は、クライアント装置２とＷＥＢサーバとの間の伝送路の伝送帯域を計測する。そして、計測部２０２は、伝送帯域の計測結果をファイル処理部２０３へ出力する。
ファイル処理部２０３は、再生する６ＤｏＦコンテンツに対応するＭＰＤファイルの入力をファイル取得部２０１から受ける。そして、ファイル処理部２０３は、取得したＭＰＤファイルをパースして再生する６ＤｏＦコンテンツのシーンディスクリプションを取得する。また、ファイル処理部２０３は、適応配信に用いる複数のデータの認識も行う。例えば、ビットレートを切替える適応配信であれば、各ビットレートに対応するビットストリームのセグメントファイルの情報を取得する。この場合、ファイル処理部２０３は、再生する６ＤｏＦコンテンツのシーンディスクリプションの情報をファイル取得部２０１へ出力する。
ファイル処理部２０３は、シーンディスクリプションが格納されたＩＳＯＢＭＦＦのファイルの入力をファイル取得部２０１から受ける。ファイル処理部２０３は、取得したＩＳＯＢＭＦＦのファイルをパースする。そして、ファイル処理部２０３は、座標変換情報、３次元オブジェクトの配置情報及びアクセス情報、並びに、３次元オブジェクト特定情報を取得する。
また、ファイル処理部２０３は、伝送帯域の計測結果の入力を計測部２０２から受ける。そして、ファイル処理部２０３は、シーンディスクリプションのパース結果、並びに、計測部２０２から取得した伝送帯域を示す情報等に基づいて、再生するビットストリームのセグメントファイルを選択する。そして、ファイル処理部２０３は、選択したビットストリームのセグメントファイルの情報をファイル取得部２０１へ出力する。この時、伝送帯域に応じて選択するビットストリームのセグメントファイルを変えることで、ビットレートに応じた適応配信が実現される。
その後、ファイル処理部２０３は、選択したビットストリームのセグメントファイルの入力をファイル取得部２０１から受ける。そして、ファイル処理部２０３は、取得したビットストリームのセグメントファイルから、ビットストリームのデータを抽出し復号処理部２０４へ出力する。また、ファイル処理部２０３は、取得した３次元オブジェクト特定情報を用いて３次元オブジェクトが存在するかの情報を取得して表示制御部２０５へ出力する。
復号処理部２０４は、ビットストリームデータの入力をファイル処理部２０３から受ける。そして、復号処理部２０４は、取得したビットストリームのデータに対して復号処理を施す。その後、復号処理部２０４は、復号化したビットストリームのデータを表示情報生成部２０６へ出力する。
表示制御部２０５は、操作者の視点位置及び視線方向の情報の入力を図示しない入力装置から受ける。そして、表示制御部２０５は、取得した視点位置及び視点方向の情報を表示情報生成部２０６へ出力する。
また、表示制御部２０５は、どのような３次元オブジェクトが存在するかの情報の入力をファイル処理部２０３から受ける。操作者は、視点位置及び視線情報の代わりに入力装置を用いて注目する３次元オブジェクトを示す指定情報の入力を行うこともできる。表示制御部２０５は、操作者により指定された注目する３次元オブジェクトを示す指定情報を取得する。そして、例えば３次元オブジェクトの追尾した視聴の場合、表示制御部２０５は、時間経過にしたがい指定情報で指定された３次元オブジェクトを追尾するように視点位置及び視点方向の情報を表示情報生成部２０６へ出力する。これにより、例えば、操作者により指定された３次元オブジェクトを追尾する画像を表示することができる。また、例えば３次元オブジェクトの位置を表示する場合、表示制御部２０５は、指定された３次元オブジェクトを６ＤｏＦコンテンツの中から特定する情報を生成する。
表示情報生成部２０６は、シーンディスクリプション及び復号されたビットストリームのデータおよび、取得した視点位置及び視点方向の情報を受信し、表示情報を生成する。以下に表示情報生成部２０６の詳細について説明する。
ビットストリームのデータの入力を復号処理部２０４から受ける。そして、表示情報生成部２０６は、シーンディスクリプションを基に、取得したビットストリームのデータである３次元オブジェクトを３次元空間に配置する。さらに、表示情報生成部２０６は、操作者の視点位置及び視線方向の情報の入力を表示制御部２０５から受ける。そして、表示情報生成部２０６は、視点位置及び視線方向に合わせて３次元空間に配置した３次元オブジェクトのレンダリングを行い表示用の画像を生成する。その後、表示情報生成部２０６は、生成した表示用の画像を表示部２０７に供給する。
また、例えば３次元オブジェクトの位置を表示する場合、表示情報生成部２０６は、表示制御部２０５から取得した指定された３次元オブジェクトを６ＤｏＦコンテンツの中から特定する情報を取得する。そして、表示情報生成部２０６は、取得した情報を用いて指定された３次元オブジェクトの位置を表示する情報を表示用画像に付加する。
表示部２０７は、モニタなどの表示装置を有する。表示部２０７は、表示情報生成部２０６により生成された表示用の画像の入力を受ける。そして、表示部２０７は、取得した表示用の画像を表示装置に表示させる。
［第１の実施形態に係るファイル生成手順］
ファイル生成装置１は、３次元空間における３次元オブジェクトにより構成される６ＤｏＦコンテンツのシーンの構成を表すシーン構成情報であるシーングラフを生成する。次に、図７を参照して、第１の実施形態に係るファイル生成装置１によるファイル生成処理の流れについて詳細に説明する。図７は、第１の実施形態に係るファイル生成装置によるファイル生成処理のフローチャートである。
前処理部１０２は、３次元オブジェクト特定情報を生成する（ステップＳ１）。本実施形態では、前処理部１０２は、シーンディスクリプション形式で格納される３次元オブジェクト特定情報を生成する。
そして、前処理部１０２は、３次元オブジェクト特定情報を含むデータを生成する（ステップＳ２）。
次に、符号化部１０３は、３次元オブジェクト特定情報を含むデータをエンコードして３次元オブジェクトのビットストリームを生成する（ステップＳ３）。また、符号化部１０３は、取得したシーングラフを符号化しシーンディスクリプションを生成する。
次に、ファイル生成部１０４は、取得したビットストリームをセグメント毎にＩＳＯＢＭＦＦファイルに格納してビットストリームのセグメントファイルを生成する。また、ファイル生成部１０４は、シーンディスクリプションのデータをセグメント毎にＩＳＯＢＭＦＦファイルに格納してシーンディスクリプションのセグメントファイルを生成する（ステップＳ４）。
送信部１０５は、ファイル生成部１０４により生成されたセグメントファイルをＷｅｂサーバ３へ出力する（ステップＳ５）。
［第１の実施形態に係る再生処理手順］
次に、図８を参照して、本実施形態に係るクライアント装置２により実行される再生処理の流れを説明する。図８は、第１の実施形態に係るクライアント装置により実行される再生処理のフローチャートである。
ファイル取得部２０１は、再生する６ＤｏＦコンテンツに対応するＭＰＤファイルをＷｅｂサーバ３から取得する（ステップＳ１１）。
ファイル処理部２０３は、ＭＰＤファイルをパースして解析処理を実行する（ステップＳ１２）。そして、ファイル処理部２０３は、解析結果を基に、再生する６ＤｏＦコンテンツのシーンディスクリプションを特定する。
そして、ファイル取得部２０１は、ファイル処理部２０３により特定されたシーンディスクリプションを取得する。ファイル処理部２０３は、ファイル取得部２０１が取得したシーンディスクリプションをパースする。これにより、ファイル処理部２０３は、３次元オブジェクト特定情報を取得する（ステップＳ１３）。
そして、ファイル処理部２０３は、取得した３次元オブジェクト特定情報から存在する３次元オブジェクトを特定する（ステップＳ１４）。ファイル処理部２０３は、どのような３次元オブジェクトが存在するかの情報を表示制御部２０５へ出力する。
また、ファイル処理部２０３は、パース結果を基に、再生する６ＤｏＦコンテンツに対応するビットストリームのセグメントファイルを取得する（ステップＳ１５）。復号処理部２０４は、ビットストリームのセグメントファイルに対して復号処理を施す。その後、復号処理部２０４は、ビットストリームのデータを表示情報生成部２０６へ出力する。
表示制御部２０５は、入力された視点位置及び視線方向の情報、又は、注目する３次元オブジェクトの指定情報から得た視点位置及び視線方向の情報を表示情報生成部２０６へ出力する。表示情報生成部２０６は、表示制御部２０５から取得した視点位置及び視線方向の情報を用いて３次元オブジェクトのレンダリングや位置情報の付加を行い表示用の画像を生成して表示部２０７に表示させる視聴処理を実行する（ステップＳ１６）。
以上に説明したように、本実施形態に係るファイル生成装置は、空間ベースの表現手法を用いた６ＤｏＦコンテンツに含まれる３次元オブジェクトを特定するための３次元オブジェクト特定情報を生成し、６ＤｏＦコンテンツの中に格納する。これにより、クライアント装置は、空間ベースの表現手法を用いた６ＤｏＦコンテンツに含まれる３次元オブジェクトを特定することができる。すなわち、本実施形態に係る配信システムでは、操作者の選択した３次元オブジェクトを自動的に追尾した視聴の提供や、３次元オブジェクトの位置を表示して操作者の視聴をアシストすることができる。したがって、利用者に自由度の高い視聴体験を提供することができる。
［１．１－１ 第１の実施形態の変形例（１－１）］
第１の実施形態では３次元オブジェクト特定情報をシーンディスクリプション形式で格納したが、本変形例では、３次元オブジェクト特定情報がＭＰＥＧ－２１の規格であるユーザディスクリプション形式で格納されることが第１の実施形態と異なる。以下に、本変形例に係るファイル生成装置１の前処理部１０２による３次元オブジェクト特定情報の格納の詳細について説明する。
本変形例に係る前処理部１０２は、シーンディスクリプションとは別ファイルである、３次元オブジェクト特定情報を示すユーザシルクリプション形式のファイルを生成する。すなわち、前処理部１０２は、３次元オブジェクト特定情報をユーザディスクリプションに格納する。図９は、ユーザディスクリプション形式で３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。
例えば、前処理部１０２は、図９に示すように、３次元オブジェクト特定情報を表すＸＭＬスキーマを追加する。前処理部１０２は、そのＸＭＬスキーマにおいて、ユーザディスクリプションの１つの属性情報として３次元オブジェクト特定情報を格納する。この場合、前処理部１０２は、３次元オブジェクトの位置情報、詳細情報を表す新しいService DescriptionのTypeを定義する。
図９におけるidは、３次元オブジェクトの識別情報であり、数値で示される。また、centerPointX、centerPointY及びcenterPointZは、３次元オブジェクトの中心点を表す座標（ｘ，ｙ，ｚ）を示す値である。bboxSizeX、bboxSizeY及びbboxSizeZは、３次元オブジェクトの外接ボックスを示す値であり、centerPointを中心に各軸に平行な長さで表される。descriptionは、３次元オブジェクトの詳細情報を示す文字列である。
以上では、前処理部１０２は、３次元オブジェクトの位置を示すために、３次元オブジェクトの外接ボックスを用いたが、外接球や、外接円柱などの立体で示してもよい。他にも、前処理部１０２は、３次元オブジェクトの形状情報そのものを格納してもよい。
［１．１－２ 第１の実施形態の変形例（１－２）］
本変形例では、３次元オブジェクト特定情報が、独自の形式で格納されることが第１の実施形態と異なる。以下に、本変形例に係るファイル生成装置１の前処理部１０２による３次元オブジェクト特定情報の格納の詳細について説明する。
前処理部１０２は、３次元オブジェクト特定情報をシーンディスクリプションやユーザディスクリプションとは異なる独自の形式で格納する。すなわち、前処理部１０２は、３次元オブジェクト特定情報を独自のディスクリプションに格納する。図１０は、独自の形式で３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。
例えば、前処理部１０２は、図１０に示すシンタックスのように、オブジェクトメタデータ構造を定義し、その定義したオブジェクトメタデータ構造において書く３次元オブジェクトの識別情報、位置情報及び詳細情報を示す。
図１０におけるnum_of_objectsは、３次元オブジェクトの数を表す値である。object_idは、３次元オブジェクトの識別情報であり、数値で示される。また、centerPointX、centerPointY及びcenterPointZは、３次元オブジェクトの中心点を表す座標（ｘ，ｙ，ｚ）を示す値であり、整数部２４ビット及び小数部８ビットで表される。bboxSizeX、bboxSizeY及びbboxSizeZは、３次元オブジェクトの外接ボックスを示す値であり、centerPointを中心に各軸に平行な長さで表される。bboxSizeX、bboxSizeY及びbboxSizeZも、整数部２４ビット及び小数部８ビットで表される。descriptionは、３次元オブジェクトの詳細情報を示す文字列である。
さらに、以上では３次元オブジェクトの位置を示すために３次元オブジェクトの外接ボックスを用いたが、前処理部１０２は、外接球や、外接円柱などの立体で３次元オブジェクトの位置を示してもよい。他にも、前処理部１０２は、３次元オブジェクトの形状情報そのものを格納してもよい。
［１．２－１ 第１の実施形態の変形例（２－１）］
次に、３次元オブジェクト特定情報を示すデータの格納方法について説明する。本変形例では、３次元オブジェクト特定情報が時間単位で変化しない場合について説明する。３次元オブジェクト特定情報が時間単位で変化しない場合とは、言い換えれば、３次元オブジェクトの位置情報が変化しない場合である。
本変形例に係るファイル生成装置１は、３次元オブジェクト特定情報を示すデータを新たに定義したボックスに格納する。以下に、本変形例に係る３次元オブジェクト特定情報を示すデータを格納したファイルの生成について説明する。ここでは、シーンディスクリプション形式で表される３次元オブジェクト特定情報を示すデータを用いる場合で説明する。ただし、ユーザディスクリプション形式を用いた場合や独自の形式を用いた場合も同様の方法で３次元オブジェクト特定情報を示すデータを格納したファイルを生成することが可能である。
図１１は、第１の実施形態の変形例（２－１）における３次元オブジェクト特定情報を示すデータを格納するボックスの一例を示す図である。本変形例に係るファイル生成部１０４は、図１１に示すStaticObjectMetadataBoxを新たに定義する。ファイル生成部１０４は、StaticObjectMetadataBoxを、シーンディスクリプショントラック、３次元オブジェクトのメッシュトラック又はテクスチャトラックのいずれかのトラックのサンプルエントリに格納する。特に、シーンディスクリプショントラックは、クライアント装置２が再生処理の初期段階に取得するファイルである。そのため、シーンディスクリプショントラックの中に３次元オブジェクト特定情報を示すデータを含めることで、再生処理の初期段階で３次元オブジェクト特定情報を取得できるため３次元オブジェクトに関する処理を迅速に行えるという利点が存在する。
また、ファイル生成部１０４は、MetaBoxに３次元オブジェクト特定情報を示すデータを格納してもよい。例えば、ファイル生成部１０４は、ItemInfoEntryにおいて、item_typeを”obmt”として、ItemDataにStaticObjectMatadataを格納してもよい。この場合、ファイル生成部１０４は、ItemPropertyを拡張し、ItemProperty(‘somd’)としてStaticObjectMetadataを格納してもよい。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Container（http://www.matroska.org/）を用いて伝送する場合でも３次元オブジェクト特定情報を示すデータを送信することが可能である。図１２は、Matroska Media Containerのフォーマットを表す図である。その場合、ファイル生成部１０４は、Track Entry elementに、新しくSceneDescriptionObjectMetadata elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとしてSceneDescriptionObjectMetadata()をバイナリデータとして格納する。
［１．２－２ 第１の実施形態の変形例（２－２）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化する場合の３次元オブジェクト特定情報を示すデータの格納方法について説明する。３次元オブジェクト特定情報が時間単位で変化する場合とは、言い換えれば、３次元オブジェクトが移動するなど位置情報が変化する場合である。
本変形例に係るファイル生成装置１は、新規のTimed metadataを定義して、そのsample entryに３次元オブジェクト特定情報を示すデータを格納する。以下に、本変形例に係る３次元オブジェクト特定情報を示すデータを格納したファイルの生成について説明する。ここでは、シーンディスクリプション形式で表される３次元オブジェクト特定情報を示すデータを用いる場合で説明する。ただし、ユーザディスクリプション形式を用いた場合や独自の形式を用いた場合も同様の方法で３次元オブジェクト特定情報を示すデータを格納したファイルを生成することが可能である。
図１３は、第１の実施形態の変形例（２－２）における３次元オブジェクト特定情報を示すデータの格納例及びシンタックスの例を表す図である。ファイル生成部１０４は、図１３に示す３次元オブジェクト特定情報を示すシーンディスクリプションを格納するためのmetadata fileを、既存のファイルとは別のファイルとして作成する。そして、ファイル生成部１０４は、シンタックス３２に示すように、MetadataSampleEntryに新しくObjectMetadataSampleEntry(‘obmt’)を定義して、３次元オブジェクト特定情報を示すシーンディスクリプションを格納する。この場合、ファイル生成部１０４は、シンタックス３３で示される時間毎の３次元オブジェクト特定情報をsampleに格納する。
さらに、１つのＩＳＯＢＭＦＦファイルに３次元オブジェクト特定情報と共に３次元オブジェクトのメッシュデータ及びテクスチャデータがそれぞれトラックで格納されている場合、ファイル生成部１０４は、以下のように情報の格納を行う。例えば、ファイル生成部１０４は、３次元オブジェクト特定情報トラックにTrack Reference Boxを格納したreference Type=’cdsc’で３次元オブジェクトのメッシュデータトラックのＩＤを格納する。cdscは既存の格納領域であるが、これ以外にも、ファイル生成部１０４は、３次元オブジェクトの位置情報用のトラックを設けるなど、別途新たな関連を示す値に変えてもよい。
ここで、時間毎に変わる３次元オブジェクト特定情報と、時間毎に変わらない３次元オブジェクト特定情報とが混在する場合は、ファイル生成部１０４は、StaticObjectMetadataをObjectmetadataSmapleEntryに配置する。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、Matroska Media Containerを用いて伝送する場合でも３次元オブジェクト特定情報を示すデータを送信することが可能である。その場合、ファイル生成部１０４は、図１３のsampleをMatroska Media ContainerのClusterのブロックのデータ構造とすることで３次元オブジェクト特定情報を伝送できる。その場合、ファイル生成部１０４は、TrackEntry elementに含まれるTrackType elementにMetadata=19を新たに定義して、CodecID elementにM_OBMTを新たに規定する。
［１．２－３ 第１の実施形態の変形例（２－３）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化する場合の３次元オブジェクト特定情報を示すデータの格納の他の方法について説明する。本変形例に係るファイル生成装置１は、ＩＳＯＢＭＦＦに３次元オブジェクト特定情報を示すデータを格納する。以下に、本変形例に係る３次元オブジェクト特定情報を示すデータを格納したファイルの生成について説明する。ここでは、シーンディスクリプション形式で表される３次元オブジェクト特定情報を示すデータを用いる場合で説明する。
ファイル生成部１０４は、シーンディスクリプションファイルのシーンディスクリプションに３次元オブジェクト特定情報を格納する。図１４は、第１の実施形態の変形例（２－３）における３次元オブジェクト特定情報を示すデータの格納例を表す図である。図１４に示すように、ファイル生成部１０４は、ルートにGroupノードを置き、元々の６ＤｏＦコンテンツのシーングラフ３４と３次元オブジェクト特定情報を格納したシーングラフ３５とをそれぞれ子ノードとする。
ここで、クライアント装置２は、６ＤｏＦコンテンツを再生する場合、シーンディスクリプションファイルの取得を実行する。そのため、本変形例に係る３次元オブジェクト特定情報を示すデータの格納手法では、３次元オブジェクト特定情報を使用しないクライアント装置２は、不要な３次元オブジェクト特定情報取得することになり、伝送帯域が無駄になるおそれがある。
［１．３－１ 第１の実施形態の変形例（３－１）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化しない場合の、ＭＰＤを用いて３次元オブジェクト特定情報を示す方法について説明する。本変形例に係るファイル生成装置１は、３次元オブジェクト特定情報を、シーンディスクリプション又は３次元オブジェクトに対応するAdaptationSetにより示す。以下に、本変形例に係るＭＰＤを用いた３次元オブジェクト特定情報を示す方法について説明する。
図１５は、第１の実施形態の変形例（３－１）に係るAdaptationSetのシンタックスの一例を表す図である。ＭＰＤは、どのようなデータが６ＤｏＦコンテンツに含まれるかを示す情報が格納されたファイルである。そして、ＭＰＤが保持するAdaptationSetでは、シーンディスクリプション、メッシュデータ、テクスチャデータがそれぞれ分けて示される。
ファイル生成部１０４は、図１５に示すようにAdaptationSetにおけるSupplementalPropertyを用いて３次元オブジェクト特定情報を示すデータを指し示す。SupplementalPropertyは、AdaptationSetの内容を示す情報である。ファイル生成部１０４は、SupplementalPropertyを用いてschemeIdUri=”StaticObjectMetadata”を新しく定義して、その子elementのSOM:metaで３次元オブジェクト毎の識別情報を示す。
図１５におけるidは、３次元オブジェクトの識別情報であり、数値で表される。centerPointX、centerPointY及びcenterPointZは、３次元オブジェクトの中心点を表す座標（ｘ，ｙ，ｚ）を示す値である。bboxSizeX、bboxSizeY及びbboxSizeZは、３次元オブジェクトの外接ボックスを示す値であり、centerPointを中心に各軸に平行な長さで表される。外接ボックスを利用せずに省略する場合は、bboxSizeX、bboxSizeY及びbboxSizeZは、（－１，－１，－１）とされる。descriptionは、３次元オブジェクトの詳細情報を示す文字列である。
ここで、３次元オブジェクトの識別情報は、シーンディスクリプション、又は、３次元オブジェクトのメッシュデータもしくはテクスチャデータのいずれのAdaptationSetに格納されてもよい。また、ここでは、AdaptationSetに格納する場合で説明したが、他にも、ファイル生成部１０４は、３次元オブジェクトの識別情報をＭＰＤのPeriodに格納してもよい。
［１．３－２ 第１の実施形態の変形例（３－２）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化する場合の、ＭＰＤによる３次元オブジェクト特定情報を示すデータを指し示す方法について説明する。本変形例に係るファイル生成装置１は、ＭＰＤを用いて、３次元オブジェクト特定情報が格納されたTimed metadataと、シーンディスクリプション又は３次元オブジェクトとを関連付ける。以下に、本変形例におけるＭＰＤを用いた３次元オブジェクト特定情報の関連付けについて説明する。
図１６は、第１の実施形態の変形例（３－２）におけるＭＤＰのシンタックスの一例を表す図である。ファイル生成部１０４は、図１６に示すように、３次元オブジェクト特定情報のAdaptationSetにおいてAdaptationSet@codecsで”obmt”を指定して、Timed metadata形式の３次元オブジェクト特定情報であることを示す。そして、ファイル生成部１０４は、Representation@associationで３次元オブジェクトが含まれるシーンディスクリプションのRepresentation@idを示す。さらに、ファイル生成部１０４は、Representation@associationTypeを第１の実施形態の変形例（２－２）で指定したTrack Reference Boxを格納したreference Typeと同じ”cdsc”とする。
他にも、ファイル生成部１０４は、第１の実施形態の変形例（２－３）のように、３次元オブジェクト特定情報がシーンディスクリプションデータに含まれる場合を明示してもよい。例えば、ファイル生成部１０４は、シーンディスクリプションのAdaptationSetに＜SupplementalProperty schemeIDUri=”IncludeObjectMetadata”＞を格納することで、３次元オブジェクト特定情報がシーンディスクリプションデータに含まれることを明示することができる。
以上の各変形例に説明したような方法で、本変形例に係るファイル生成装置は、３次元オブジェクト特定情報を格納するファイルを生成し、クライアント装置への提供を行う。これにより、クライアント装置は、３次元オブジェクト特定情報を取得でき、利用者に自由度の高い視聴体験を提供することができる。
また、以上の説明では、ＭＰＥＧ－４シーンディスクリプションを用いて説明したが、他のシーンディスクリプションを用いる場合でもこれらの３次元オブジェクト特定情報の格納方法は適用可能である。
（２．第２の実施形態）
空間ベースの手法を用いて６ＤｏＦコンテンツを提供する場合、対象物を識別できなければ、操作者が特定の対象物に注目してその対象物を高品質に視聴したいと望んでも、指定された対象物を高品質にした画像を提供することは困難である。そこで、本実施形態に係るファイル生成装置は、特定の３次元オブジェクトを高精細化した映像を提供する。以下に、特定の３次元オブジェクトの高精細化手法について説明する。本実施形態に係るファイル生成装置も図２のブロック図で表される。
ファイル生成装置１の前処理部１０２は、特定の３次元オブジェクトが高精細化された６ＤｏＦコンテンツ全体を含む１つの空間ベース３次元オブジェクトを生成する。そして、前処理部１０２は、生成した空間ベース３次元オブジェクトそれぞれについて、高精細化されている３次元オブジェクトを示す高精細３次元オブジェクト特定情報を生成する。
以下に、高精細３次元オブジェクト特定情報の生成の詳細について説明する。本実施形態に係る前処理部１０２は、高精細３次元オブジェクト特定情報をシーンディスクリプション形式で格納する。図１７は、高精細３次元オブジェクト情報を含むシーングラフのノードのシタックスの一例を表す図である。前処理部１０２は、図１７に示すように、３次元オブジェクト特定情報で示されている識別情報を用いて高精細化されている３次元オブジェクトを示す。前処理部１０２は、図１７におけるidsとして、高精度な３次元オブジェクトのＩＤを列挙する。このように、前処理部１０２は、高精細３次元オブジェクト特定情報のノードであるHighLODObjectをシーングラフに格納する。
また、前処理部１０２は、図１８のようにqualityにより３次元オブジェクトの精細度を数値で表してもよい。図１８は、高精細３次元オブジェクトとともに精細度を示すシンタックスの一例を表す図である。図１８におけるqualityとして、idsで列挙した識別情報順に、それぞれの３次元オブジェクトの精細度を数値で表す。qualityの値は、例えば、値が小さいほど精細度が高くなるように定義される。
他にも、前処理部１０２は、第１の実施形態と同様に図４に示すように３次元オブジェクト特定情報をシーンディスクリプション形式で格納し、その３次元オブジェクト特定情報にhighLODflagを追加して、高精細であることを示してもよい。
以上に説明したように、本実施形態に係るファイル生成装置は、６ＤｏＦコンテンツに含まれる特定の３次元オブジェクトを高精細化した空間ベース３次元オブジェクトを生成し、空間ベース３次元オブジェクト毎に高精細化された３次元オブジェクトを示す高精細３次元オブジェクト特定情報を生成する。クライアント装置は、高精細３次元オブジェクト特定情報を取得することで、所定の３次元オブジェクトが高精細化された空間ベース３次元オブジェクトを取得して操作者に提供することができる。すなわち、操作者は、指定した３次元オブジェクトが高精細化された映像を視聴することができ、より自由度の高い視聴を享受することができる。
［２．１－１ 第２の実施形態の変形例（１－１）］
本変形例に係る前処理部１０２は、図９に示すVisual3DObjectInfoを生成して、３次元オブジェクト特定情報をユーザディスクリプション形式で格納する。さらに、前処理部１０２は、高精細３次元オブジェクト特定情報をユーザディスクリプション形式で格納する。すなわち、前処理部１０２は、高精細３次元オブジェクト特定情報をユーザディスクリプションに格納する。図１９は、ユーザディスクリプション形式で高精細３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。
前処理部１０２は、図１９に示すように、ユーザディスクリプションの１つの属性情報として指定できるようにＸＭＬスキーマを追加する。図１９におけるidは、高精細化された３次元オブジェクトの識別情報であり、数値で表される。このidには、図９のVisual3DObjectInfoで示されるidが用いられる。
また、前処理部１０２は、図２０のようにqualityにより精細度を数値で表してもよい。図２０は、ユーザディスクリプション形式で高精細３次元オブジェクトとともに精細度を格納する場合のシンタックスの一例を表すである。図２０におけるqualityとして３次元オブジェクトの精細度を数値で表す。qualityの値は、例えば、値が小さいほど精細度が高くなるように定義される。
他にも、前処理部１０２は、図９に示すVisual3DObjectInfoにhighLODflagを追加して、そのVisual3DObjectInfoで指定された３次元オブジェクトが高精細であることを示してもよい。
［２．１－２ 第２の実施形態の変形例（１－２）］
本変形例に係る前処理部１０２は、図１０に示すObjectmetadataを生成して、３次元オブジェクト特定情報を独自の形式で格納する。さらに、前処理部１０２は、高精細３次元オブジェクト特定情報を独自の形式で格納する。すなわち、前処理部１０２は、高精細３次元オブジェクト特定情報を独自のディスクリプションに格納する。図２１は、独自の形式で高精細３次元オブジェクト特定情報を格納する場合のシンタックスの一例を表す図である。
前処理部１０２は、図２１に示すように、HighQualityObject構造を新たに定義する。そして、前処理部１０２は、HighQualityObject構造の中に高精細３次元オブジェクト特定情報を格納する。図２１におけるnum_objectは、高精細化された３次元オブジェクトの数を表す。また、High_LOD_object_idは、高精細化された３次元オブジェクトの識別情報であり、数値で表される。このidには、図１０のobjectmetadataで示されるobject_idが用いられる。
また、前処理部１０２は、図２２のようにqualityにより３次元オブジェクトの精細度を数値で表してもよい。図２２は、独自の形式で高精細３次元オブジェクトとともに精細度を格納する場合のシンタックスの一例を表す図である。前処理部１０２は、図２２におけるLOD_valueにより３次元オブジェクトの精細度を表す。LOD_valueの値は、例えば、値が小さいほど精細度が高くなるように定義される。
他にも、前処理部１０２は、図１０に示すobjectmetadataにhighLODflagを追加して、そのobjectmetadataで指定された３次元オブジェクトが高精細であることを示してもよい。
［２．２－１ 第２の実施形態の変形例（２－１）］
本変形例では、高精細３次元オブジェクト特定情報が時間単位で変化しない場合の高精細３次元オブジェクト特定情報を示すデータの格納方法について説明する。ここでは、シーンディスクリプション形式で表される高精細３次元オブジェクト特定情報を示すデータを用いる場合で説明する。ただし、ユーザディスクリプション形式を用いた場合や独自の形式を用いた場合も同様の方法で高精細３次元オブジェクト特定情報を示すデータを格納したファイルを生成することが可能である。
図２３は、第２の実施形態の変形例（２－１）における高精細３次元オブジェクト特定情報を示すデータを格納するボックスの一例を示す図である。本変形例に係るファイル生成部１０４は、図２３に示すStaticHighLODObjectBoxを新たに定義する。ファイル生成部１０４は、StaticHighLODObjectBoxを、シーンディスクリプショントラック、３次元オブジェクトのメッシュトラック又はテクスチャトラックのいずれかのトラックのサンプルエントリに格納する。
また、ファイル生成部１０４は、MetaBoxに高精細３次元オブジェクト特定情報を示すデータを格納してもよい。例えば、ファイル生成部１０４は、ItemInfoEntryにおいて、item_typeを”obmt”として、ItemDataにStaticHighLODObjectBoxを格納してもよい。この場合、ファイル生成部１０４は、ItemProperyを拡張し、ItemPropery(‘shlo’)としてStaticHighLODObjectBoxを格納してもよい。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Containerを用いて伝送する場合でも高精細３次元オブジェクト特定情報を示すデータを送信することが可能である。その場合、ファイル生成部１０４は、Track Entry elementに、新しくSceneDescriptionHighLODObject elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとしてSceneDescriptionHighLODObject()をバイナリデータとして格納する。
［２．２－２ 第２の実施形態の変形例（２－２）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化する場合の高精細３次元オブジェクト特定情報を示すデータの格納方法について説明する。
ここでは、ファイル生成部１０４は、第１の実施形態の変形例（２－２）と同様に、図１３に示す３次元オブジェクト特定情報を示すシーンディスクリプションを格納するためのmetadata fileを、既存のファイルとは別のファイルとして作成する。
そして、ファイル生成部１０４は、metadata fileのsampleに、３次元オブジェクト特定情報と同時に高精細３次元オブジェクト特定情報を格納する。ファイル生成部１０４は、同時に格納する場合、３次元オブジェクト特定情報と高精細３次元オブジェクト特定情報とを別々にアクセスできるようにファイルを生成してもよい。また、ファイル生成部１０４は、３次元オブジェクト特定情報に高精細３次元オブジェクト特定情報を含めるような構造としてもよい。
他の方法として、ファイル生成部１０４は、高精細３次元オブジェクト特定情報のための新しいTimed metadataを定義して、その中に高精細３次元オブジェクト特定情報を格納してもよい。その場合、ファイル生成部１０４は、新しく定義したTimed metadataにおけるMetadataSampleEntryを拡張して、新しくHighLODObjectSampleEntry(‘hobm’)とする。さらに、ファイル生成部１０４は、sampleに高精細３次元オブジェクト特定情報を格納する。この場合、ファイル生成部１０４は、ObjectMetadataのTimed metadataのobject_idとの関連を示すために、高精細３次元オブジェクト特定情報トラックに、Track Reference Boxを格納し、reference_type=’cdsc’で３次元オブジェクト特定情報のidを登録してもよい。cdscは、既存の値であるが、別途新たな関連を示す値に替えてもよい。
また、時間単位で変化する高精細３次元オブジェクト特定情報と時間単位で変化しない高精細３次元オブジェクト特定情報とが混在する場合、時間単位で変化しない高精細３次元オブジェクト特定情報に関して、ファイル生成部１０４は、図２３のStaticHighLODObjectBoxを高精細３次元オブジェクト特定情報トラックもしくはオブジェクト特定トラックに配置する。
［２．３－１ 第２の実施形態の変形例（３－１）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化しない場合に、ＭＰＤを用いて高精細３次元オブジェクト特定情報を示す方法について説明する。
図２４は、第２の実施形態の変形例（３－１）に係るAdaptationSetのシンタックスの一例を表す図である。ファイル生成部１０４は、図２４に示すようにAdaptationSetにおけるSupplementalPropertyを用いて高精細３次元オブジェクト特定情報を示すデータを指し示す。ファイル生成部１０４は、SupplementalPropertyを用いてschemeIdUri=”StaticHighLOCObject”を新しく定義して、その子elementで、識別情報を含む３次元オブジェクト特定情報を含むデータを示す情報と、高精細３次元オブジェクトの識別情報を格納する。図２４におけるidは、３次元オブジェクトの識別情報であり、数値で表される。また、objectMetadataは、３次元オブジェクト特定情報を含むRepresentation@idを示す。
さらに、ファイル生成部１０４は、高精細３次元オブジェクトの識別情報とともに、qualityを用いて３次元オブジェクトの精細度を表す情報をAdaptationSetに格納してもよい。
［２．３－２ 第２の実施形態の変形例（３－２）］
本変形例では、３次元オブジェクト特定情報が時間単位で変化する場合に、ＭＰＤによる３次元オブジェクト特定情報を示すデータを指し示す方法について説明する。本変形例に係るファイル生成装置１のファイル生成部１０４は、３次元オブジェクト特定情報のAdaptationSetにおいてAdaptationSet@codecsで”hobm”を指定して、Timed metadata形式の高精細３次元オブジェクト特定情報であることを示す。そして、ファイル生成部１０４は、Representation@associationIdで高精細化された３次元オブジェクトが含まれるシーンディスクリプションのRepresentation@idを示す。さらに、ファイル生成部１０４は、Representation@associationTypeを第２の実施形態の変形例（２－２）で指定したTrack Reference Boxを格納したreference Typeと同じ”cdsc”とする。
［２．４ 第２の実施形態の変形例（４）］
本変形例では、シーンディスクリプションから高精細３次元オブジェクトを示すアクセス情報を取得できるように拡張する。図２５は、第２の実施形態の変形例（４）に係る拡張されたシーンディスクリプションを示す図である。
本変形例に係るファイル生成装置１のファイル生成部１０４は、３次元オブジェクトのメッシュデータのへのアクセス情報を含むBitWrapperノードを拡張して、シンタックス３６に示すように複数のAdaptation@idを格納するためのfieldを設ける。また、ファイル生成部１０４は、３次元オブジェクトのテクスチャデータのへのアクセス情報を含むMovieTextureノードを拡張して、シンタックス３７に示すように複数のAdaptation@idを格納するためのfieldを設ける。図２５におけるAdaptatioSetIdSelectionは、３次元オブジェクトのメッシュデータもしくはテクスチャデータを含む複数のAdaptationSetをAdaptationSet@idで表す。これにより、クライアント装置２は、シーンディスクリプションから高精細３次元オブジェクト特定情報を示すAdaptationSetにアクセス可能となる。
他の方法としては、ファイル生成部１０４は、シーンディスクリプションにおけるurlのurl query parameterで複数のAdaptationSet@idを示してもよい。
［２．５ 第２の実施形態の変形例（５）］
以上では、特定の３次元オブジェクトが高精細化された１つの空間ベース３次元オブジェクトを生成した。その場合、６ＤｏＦコンテンツの生成において高精細化したい３次元オブジェクトが多数存在すると、それぞれについて空間ベース３次元オブジェクトを作成することになり、生成コスト及びサーバ上のデータ量が増加する。そこで、生成コスト削減及びサーバ上のデータ量の削減のために以下の方法を採用することが好ましい。
本変形例では、特定の３次元オブジェクトを高精細化するための差分情報のみを含む３次元オブジェクトである高精細差分３次元オブジェクトを用いて特定の３次元オブジェクトが高精細化された映像が生成される。図２６は、高精細差分３次元オブジェクトを使用する場合のＩＳＯＢＭＦＦファイルの一例を表す図である。
ファイル生成部１０４は、図２６に示す３次元空間全体の空間ベース３次元オブジェクト３８を生成する。さらに、ファイル生成部１０４は、３次元空間全体の空間ベース３次元オブジェクトと特定の３次元オブジェクトが高精細化された空間ベース３次元オブジェクトとの差分を表す高精細差分３次元オブジェクト３９を生成する。空間ベース３次元オブジェクト３８は単独で再生可能であるが、高精細差分３次元オブジェクト３９は、空間ベース３次元オブジェクト３８とセットで再生される。
具体的には、ファイル生成部１０４は、高精細差分３次元オブジェクトの生成にあたり、Track Reference Boxに新しいreference_type=’dfbs’を定義して、差分の元になる空間ベース３次元オブジェクト３８のトラックを示す。さらに、ファイル生成部１０４は、高精細差分３次元オブジェクトにおけるRestrictedSchemeInfoBoxのSchemeTypeBoxに新しくscheme_Type=’3odf’を登録することで差分データであることを示す。また、ファイル生成部１０４は、高精細差分３次元オブジェクトのトラックに第２の実施形態の変形例（２－１）や（２－２）で示した高精細３次元オブジェクト特定情報を格納してもよい。
また、この場合、ファイル生成部１０４は、以下の方法で高精細差分３次元オブジェクトを示す情報をＭＰＤに格納する。例えば、ファイル生成部１０４は、高精細差分３次元オブジェクトのAdaptationSet@codecsを、”resv.3dof.xxxx”（xxxxは、３次元オブジェクトをエンコードしているコーデックを示す。）として、高精細差分３次元オブジェクトであることを示す。また、ファイル生成部１０４は、高精細差分３次元オブジェクトのRepresentation@dependencyidを用いて、差分の元になる空間ベース３次元オブジェクトのRepresentation@idを示す。他にも、第２の実施形態の変形例（３－１）及び（３－２）のシンタックスを用いて高精細差分オブジェクトのAdaptationSetで高精細化されている３次元オブジェクトを示してもよい。
クライアント装置２は、空間ベース３次元オブジェクト及び高精細差分３次元オブジェクトを取得して、デコード及びレンダリングをすることで、特定の３次元オブジェクトが高精細化された３次元オブジェクトを生成することができる。
なお、図１２に示すMatroska Media Containerを用いて伝送する場合には、ファイル生成部１０４は、高精細化するための高精細差分３次元オブジェクトのTrack Entry elementに、新しくBase3DObjectTrackID elementを格納する。この際、ファイル生成部１０４は、Element Typeをunsigned intとし、且つ、EBMLデータとして差分の元になる空間ベース３次元オブジェクトのトラックのTrackNumberを格納する。
このように、高精細化するための差分３次元オブジェクトデータを用いることで、サーバ上のデータ量を減らすことができる。また、差分データを複数取得することで、複数の３次元オブジェクトを高精細化することが可能となり、操作者の視聴における自由度を向上させることができる。
［２．６ 第２の実施形態の変形例（６）］
本変形例では、６ＤｏＦコンテンツ全体を表す空間ベース３次元オブジェクトから特定の３次元オブジェクトを除いた基礎３次元オブジェクトと、高精細化された特定の３次元オブジェクトを示す高精細３次元オブジェクトとを用いて特定の３次元オブジェクトが高精細化された映像が生成される。図２７は、基礎３次元オブジェクトを使用する場合のＩＳＯＢＭＦＦファイルの一例を表す図である。
ファイル生成部１０４は、図２７に示すように、対象とする３次元空間全体において特定の３次元オブジェクトが存在しない基礎３次元オブジェクト４１を生成する。また、ファイル生成部１０４は、特定の３次元オブジェクトが高精細化された高精細３次元オブジェクト４２を生成する。この場合、基礎３次元オブジェクト４１及び高精細３次元オブジェクト４２は、セットで再生される。
ファイル生成部１０４は、基礎３次元オブジェクト４１のトラックをベーストラックとして扱い、基礎３次元オブジェクト４１のTrack Reference boxに新しくreference_type=’3dom’を定義して、再生に使用する３次元オブジェクトの一覧を示す。そして、ファイル生成部１０４は、シーンディスクリプションからの３次元オブジェクトファイルへのアクセス情報は、ベーストラックを含むファイルに対して行う。
また、ファイル生成部１０４は、基礎３次元オブジェクト４１及び高精細３次元オブジェクト４２のいずれのトラックに対しても、対象とする３次元空間全体が複数の３次元オブジェクトから形成されることを示す情報を格納する。例えば、ファイル生成部１０４は、双方のトラックにおけるRestrictedSchemeInfoBoxのSchemeTypeBoxに、一部のデータであることを表すために新しく定義したscheme_type=’3osp’を格納する。また、ファイル生成部１０４は、高精細３次元オブジェクト４２のトラックには、Track Reference Boxに新しくreference_type=’3dos’を定義して、３次元空間全体のベーストラックを示す。なお、高精細３次元オブジェクト４２のトラックに、第２の実施形態の変形例（２－２）のシンタックスを用いてもよい。
また、この場合、ファイル生成部１０４は、以下の方法で高精細差分３次元オブジェクトを示す情報をＭＰＤに格納する。例えば、ファイル生成部１０４は、高精細差分３次元オブジェクトのAdaptationSet@codecsを、”resv.3dof.xxxx”（xxxxは、３次元オブジェクトをエンコードしているコーデックを示す。）として、対象とする３次元空間全体が複数の３次元オブジェクトで形成されることを示す。また、ファイル生成部１０４は、対象とする３次元空間のベースとなる基礎３次元オブジェクトのRepresentation@dependencyIdを用いて、レンダリングに用いるその他の全ての高精細３次元オブジェクトのRepresentation@idを示す。また、ファイル生成部１０４は、高精細３次元オブジェクトのRepresentation@dependencyIdを用いて、ベースとなる基礎３次元オブジェクトのRepresentation@idを示す。
クライアント装置２は、基礎３次元オブジェクト及び高精細３次元オブジェクトを取得して、デコード及びレンダリングをすることで、特定の３次元オブジェクトが高精細化された３次元オブジェクトを生成することができる。
なお、図１２に示すMatroska Media Containerを用いて伝送する場合には、ファイル生成部１０４は、ベースとなる基礎３次元オブジェクトのTrack Entry elementに、新しくrequired3DObjectTrackID elementを格納する。この際、ファイル生成部１０４は、Element Typeをunsigned intとし、且つ、EBMLデータとしてそのトラックに存在しない３次元オブジェクトのトラックのTrackNumberを全て格納する。また、ファイル生成部１０４は、ベースでない高精細３次元オブジェクトのTrack Entry elementに、新しくBase3DObjectTrackID elementを格納する。この際、ファイル生成部１０４は、Element Typeをunsigned intとし、且つ、EBMLデータとしてベースとなる基礎３次元オブジェクトのトラックのTrackNumberを格納する。
このように、高精細化する３次元オブジェクトを対象とする３次元空間から除いた３次元オブジェクトと高精細化された３次元オブジェクトとを用いることで、サーバ上のデータ量を減らすことができる。また、高精細化された３次元オブジェクトのデータを複数用いることで、複数の３次元オブジェクトを高精細化することが可能となり、操作者の視聴における自由度を向上させることができる。
［２．７－１ 第２の実施形態の変形例（７－１）］
第２の実施形態の変形例（５）及び第２の実施形態の変形例（６）では、高精細３次元オブジェクトを用いたが、そのような場合に、複数の構成から特定の３次元オブジェクトを高精細化して視聴するための構成を選択可能にするために、ファイル生成装置は、対象とする３次元空間に含まれる各３次元オブジェクトの３次元オブジェクト特定情報を提供する。本変形例では、複数の構成が１つのシーンディスクリプションに格納される場合について説明する。本変形例では、それぞれの構成に含まれる３次元オブジェクトの３次元オブジェクト特定情報をシーンディスクリプションに格納する。
図２８は、第２の実施形態の変形例（７－１）におけるシーングラフの一例を表す図である。この場合、ファイル生成部１０４は、例えば、図２８に示すように、シーンディスクリプションでそれぞれの３次元オブジェクトに含まれる３次元特定情報を示す。具体的には、ファイル生成部１０４は、Switchノード４３の子ノードとして、高精細３次元オブジェクトが異なる構成を並べて配置することで、１つのシーンディスクリプションに複数の構成を記述する。
さらに、ファイル生成部１０４は、図２９に示すように、Switchノード４３を拡張して、それぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を示す。図２９は、拡張したSwitchノードのシンタックスの一例を表す図である。図２９におけるContentStructは、構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を表す。ファイル生成部１０４は、ContentStructにおいて「”,”」を用いて構成内の各３次元オブジェクトを分けて表す。また、ファイル生成部１０４は、３次元オブジェクトに含まれる３次元オブジェクトを特定するための３次元オブジェクト特定情報として、シーン全体の３次元オブジェクト特定情報の識別情報を用いる。ファイル生成部１０４は、３次元オブジェクト特定情報に複数の識別情報が含まれる場合は、「” ”」を用いて各識別情報を分けて表す。さらに、ファイル生成部１０４は、ノードの順を、構成を示すGroupノードの子ノード順とする。
例えば、ファイル生成部１０４は、ContentStructの値を”１，２ ３ ４”，”２，１ ３ ４”とする。この場合、ContentStructの値により、１つめの構成に２つの３次元オブジェクトが含まれ、一方の３次元オブジェクトに「１」が含まれ且つ他方の３次元オブジェクトに「２，３，４」が含まれることが表される。
クライアント装置２の処理について説明する。クライアント装置２は、例えば、操作者から高精細化する３次元オブジェクトの指定を受ける。または、クライアント装置２は、操作者の視聴状況から高精細化する３次元オブジェクトを選択する。例えば、クライアント装置２は、視点位置に最も近い３次元オブジェクトや視線判定により操作者が最も注目する３次元オブジェクトなどを選択する。そして、クライアント装置２は、シーン全体の３次元オブジェクト特定情報から、選択した３次元オブジェクトを特定する。
次に、クライアント装置２は、特定した３次元オブジェクトの情報を用いて、シーンディスクリプションファイルを解析する。そして、クライアント装置２は、シーングラフのSwitchノードの３次元オブジェクト特定情報を用いて選択した３次元オブジェクトが高精細化されている構成を選択する。次に、クライアント装置２は、選択した構成からシーングラフにおいて参照されるＭＰＤのAdaptationSetの中から、選択した３次元オブジェクトを高品質で表示し、他の３次元オブジェクトは低品質になるようにAdaptationSetを選択する。
これにより、操作者は、複数の構成から特定の３次元オブジェクトを高精細化した映像を視聴することが可能となる。以上の構成は、時間毎に動的に構成の内容が変化する場合でも実施可能である。また、クライアント装置２は、シーンディスクリプションファイルの切替を行わなくても、構成の切り替えを行うことが可能である。
以上では、それぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報をSwitchノード４３に格納したが、格納場所はこれに限らない。例えば、ファイル生成部１０４は、シーンディスクリプションのＩＳＯＢＭＦＦファイルのsample entryに図３０に示すContentsStructureBoxを配置して、その中にそれぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納してもよい。図３０は、ContentsStructureBoxのシンタックスの一例を表す図である。
図３０におけるnum_contentStructは、含まれる構成の数を表す。また、num_3Dobjectは、含まれる３次元オブジェクトの数を表す。また、num_includingObjectは、３次元オブジェクトに含まれるオブジェクト数を表す。ingcluding_object_idは、３次元オブジェクトに含まれる３次元オブジェクト特定情報を表す。この値は、シーン全体の３次元オブジェクト特定情報で用いた識別情報で表す。この場合、ファイル生成部１０４は、ルートのSwitchノードに対する子ノードの順と同じ順番で各構成に関する情報を記載する。
この場合、クライアント装置２は、シーン全体の３次元オブジェクト特定情報から、高精細化する３次元オブジェクトを特定する。次に、クライアント装置２は、シーンディスクリプションファイルの解析の際に、sample entryからContentStructBoxを取得して、特定した３次元オブジェクト特定情報を用いて使用する構成を決定する。次に、クライアント装置２は、シーングラフを解析して、Switchノードにおいて決定した構成を選択する。
このように、シーンディスクリプションのＩＳＯＢＭＦＦファイルにそれぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納することで、構成が時間で変化しない場合には冗長な情報を削減することができる。
他にも、シーンディスクリプションのＩＳＯＢＭＦＦファイルに格納する方法として、ファイル生成部１０４は、図３１に示すIncludingObjectMetadataノードを新しく定義して、そのノードを各３次元オブジェクトのTransformノードの子ノードとして配置してもよい。図３１は、IncludingObjectMetadataノードのシンタックスの一例を表す図である。ただし、IncludingObjectMetadataノードを配置するノードはTransformノードに限らず、個々の３次元オブジェクトを示すノードであれば他のノードの子ノードとしてもよい。
この場合、クライアント装置２は、シーン全体の３次元オブジェクト特定情報から、高精細化する３次元オブジェクトを特定する。次に、クライアント装置２は、シーンディスクリプションファイルの解析の際に、Switchノード以下のシーングラフの解析も行い、３次元オブジェクト特定情報を取得して、使用する構成を選択する。このように、新しく定義したIncludingObjectMetadataノードを用いて各構成の３次元オブジェクト特定情報を格納する構成は、時間毎に動的に構成の内容が変化する場合も実施可能である。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Containerを用いて伝送する場合でも各構成の３次元オブジェクト特定情報を格納することが可能である。その場合、ファイル生成部１０４は、Track Entry elementに、新しく6DoFContentStruct elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとして図３０に示したContentStruct()をバイナリデータとして格納する。
他にも、それぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報の格納場所を他の場所にすることは可能である。例えば、ファイル生成部１０４は、各３次元オブジェクトのAdaptationSetにSuplementalPropertyで３次元オブジェクト毎の３次元オブジェクト特定情報を図３２に示すIncludingObjectMetadataとして格納する。図３２は、IncludingObjectMetadataの一例を表す図である。図３２におけるobjectMetadataは、３次元オブジェクト特定情報を含むRepresentation@idを表す。idsは、３次元オブジェクトに含まれる３次元オブジェクト特定情報を表す。idsの値には、シーン全体の３次元オブジェクト特定情報に含まれる識別情報が用いられる。
また、例えば、ファイル生成部１０４は、各３次元オブジェクトのＩＳＯＢＭＦＦのsample entryに３次元オブジェクト毎の３次元オブジェクト特定情報を図３３に示すIncludingObjectBoxとして格納してもよい。図３３は、IncludingObjectBoxの一例を表す図である。図３３におけるnum_includingObjectは、３次元オブジェクトに含まれるオブジェクト数を表す。including_object_idは、３次元オブジェクトに含まれる３次元オブジェクト特定情報を表す。including_object_idの値には、シーン全体の３次元オブジェクト特定情報に含まれる識別情報が用いられる。
以上に説明した、IncludingObjectMetadataノード又はIncludingObjectBoxを用いる場合、クライアント装置２は、構成の選択のためにシーンディスクリプションの解析と参照される３次元オブジェクトのAdaptationSetもしくはファイルの解析を実行する。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Containerを用いて伝送する場合でも各構成の３次元オブジェクト特定情報を格納することが可能である。その場合、ファイル生成部１０４は、Track Entry elementに、新しくIncludingObject elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとして図３３に示したIncludingObject()をバイナリデータとして格納する。
ここで、第２の実施形態の変形例（７－１）で説明したそれぞれの構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報の格納方法のうちのいくつか又は全てを組み合わせて使用することも可能である。
［２．７－２ 第２の実施形態の変形例（７－２）］
本変形例では、ＭＰＤのAdaptationSetの中に各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納する。この場合も、複数の構成が１つのシーンディスクリプションに格納される。
本変形例に係るファイル生成部１０４は、図３４に示すように、ＭＰＤのシーンディスクリプションのAdaptationSet４６に各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納する。図３４は、各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報をＭＰＤのAdaptationSetに格納した場合の状態を表す図である。
この場合、ファイル生成部１０４は、図３５に示すシンタックスを用いて各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納する。図３５は、AdaptationSetに格納される各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報のシンタックスの一例を表す図である。図３５におけるOMは、参照する３次元オブジェクト特定情報へのアクセス情報を表す。objectMetadataは、３次元オブジェクト特定情報を含むRepresentation@idを表す。3DObjectは、構成に含まれる３次元オブジェクトを示す。idsは、３次元オブジェクトの３次元オブジェクト特定情報を表す。idsの値には、シーン全体の３次元オブジェクト特定情報に含まれる識別情報が用いられる。idsの値にオブジェクトを複数含む場合は、スペースで区切られる。6DoFContentStructDescriptionは、シーンディスクリプション中のSwitchノードの配下に配置されたノード順に合わせて記載される。3DObject elementは、Groupノードの子ノードの順番に合わせて記載される。
この場合のクライアント装置２が実行する処理について説明する。クライアント装置２は、シーン全体の３次元オブジェクト特定情報から高精細化して表示する３次元オブジェクトを特定する。次に、クライアント装置２は、AdaptationSetにおける３次元オブジェクト毎の３次元オブジェクト特定情報から、特定した３次元オブジェクトが高精細である構成を選択する。次に、クライアント装置２は、シーンディスクリプションのシーングラフから選択した構成を抽出する。そして、クライアント装置２は、抽出した構成に対応するＭＰＤにおけるAdaptationSetから品質を選択する。
このように、ＭＰＤのAdaptationSetに各構成に含まれる３次元オブジェクト毎の３次元オブジェクト特定情報を格納することで、クライアント装置２は、シーンディスクリプションを取得することなく、シーンディスクリプションに使用する構成が含まれるか否かを判定できる。これにより、シーンディスクリプションに使用する構成が含まれない場合、クライアント装置２は、シーンディスクリプションを解析しなくてもよく不要な処理の実行を削減できる。また、クライアント装置２は、シーンディスクリプションファイルを切替えずに構成を切替えることができる。さらに、構成が時間で変化しない場合、冗長な情報を削減することができる。
また、本変形例に係るシーンディスクリプションに、第２の実施形態の変形例（７－１）のシーンディスクリプションを組み合わせて使用することも可能である。
また、ファイル生成部１０４は、図３６に示すように、３次元オブジェクトの構成の異なるシーンはシーンディスクリプション４７及び４８を分けて、別ファイルとするファイル構成にすることも可能である。図３６は、各構成のシーンディスクリプションを分けた場合のシーングラフを表す図である。この場合、ファイル生成部１０４は、各シーンディスクリプション４７及び４８に対応するAdaptationSetには、構成を選択するための３次元オブジェクト毎の３次元オブジェクト特定情報を格納する。この場合、ファイル生成部１０４は、図３５に示したシンタックスを用いて３次元オブジェクト特定情報を格納することができる。
この場合、クライアント装置２は、シーン全体の３次元オブジェクト特定情報から高品質化して表示する３次元オブジェクトを特定する。次に、クライアント装置２は、複数のシーンディスクリプションのAdaptationSetに格納された３次元オブジェクト毎の３次元オブジェクト特定情報を用いて、特定した３次元オブジェクトが高精細である構成を選択する。次に、クライアント装置２は、選択した構成のシーンディスクリプションを解析する。そして、クライアント装置２は、解析したシーンディスクリプションに対応するＭＰＤにおけるAdaptationSetから品質を選択する。
このように構成毎にシーンディスクリプションを分けることで、クライアント装置２は、シーンディスクリプションを取得せずに、使用する構成が含まれるシーンディスクリプションを特定できる。クライアント装置２は、使用する構成が含まれないシーンディスクリプションの解析を行わなくてよく、不要な処理を削減できる。また、ＭＰＤのAdaptationSetに格納する場合に比べて、不要なシーングラフの取得を削減することができる。さらに、構成が時間で変化しない場合は、冗長な情報を削減できる。また、クライアント装置２は、シーンディスクリプションファイルを切替えずに、構成の切替を行うことができる。
また、ここでは、ＭＰＤのAdaptationSetを用いる場合で説明したが、構成毎にシーンディスクリプションを分けた場合、各構成に含まれる３次元オブジェクトの３次元オブジェクト特定情報は、他の場所に格納することも可能である。例えば、ファイル生成部１０４は、それぞれの構成のシーンディスクリプションのsample entryにおいて図３０のContentStructBoxを用いて各構成に含まれる３次元オブジェクトの３次元オブジェクト特定情報を格納することも可能である。この場合、クライアント装置２は、ＭＰＤでは構成を判別できないが、各シーンディスクリプションファイルを取得することで、構成に含まれる３次元オブジェクトの３次元オブジェクト特定情報が取得できる。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Containerを用いて伝送する場合でも各構成の３次元オブジェクト特定情報を格納することが可能である。その場合、ファイル生成部１０４は、Track Entry elementに、新しく6DoFContentStruct elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとして図３０に示したContentSturuct()をバイナリデータとして格納する。
また、以上の説明では、ＭＰＥＧ－４シーンディスクリプションを用いて説明したが、他のシーンディスクリプションを用いる場合でもこれらの高精細３次元オブジェクト特定情報の格納方法は適用可能である。
（３．第３の実施形態）
空間ベースの手法を用いて６ＤｏＦコンテンツを提供する場合、対象物を識別できなければ、コンテンツ作成者の意図する注目すべき３次元オブジェクトを利用者に示すことは困難である。そこで、本実施形態に係るファイル生成装置は、コンテンツ作成者が意図する注目すべき３次元オブジェクトの情報を注目オブジェクト情報として利用者に提供する。以下に、注目オブジェクト情報の提供方法について説明する。本実施形態に係るファイル生成装置も図２のブロック図で表される。
前処理部１０２は、３次元オブジェクト特定情報の識別情報を用いて、注目オブジェクト情報をシーンディスクリプション形式で格納する。
例えば、前処理部１０２は、図３７に示すシンタックスで表されるfiledを含むノードを新しく定義して、注目オブジェクト情報として３次元オブジェクトを判別する識別情報を格納する。図３７は、注目オブジェクト情報のノードのシンタックスの一例を表す図である。前処理部１０２は、図３７におけるidsに、注目すべき３次元オブジェクトの識別情報を列挙する。このように、前処理部１０２は、注目オブジェクト情報のNoticeableObjectノードを用いてシーングラフを生成する。
また、前処理部１０２は、図３８のように、levelによって注目度を数値で表してもよい。図３８は、注目オブジェクト情報とともに注目度示すシンタックスの一例を表す図である。図３８におけるlevelは、ids fieldの格納順に、それぞれの３次元オブジェクトの注目度を数値で表す。例えば、levelの値は、数値が小さいほど注目度が高いと定義される。
ここで、本実施形態では、注目オブジェクト情報を新しく規定したノードに格納したが、前処理部１０２は、他のノードにfiled及びNoticeableObjectFlagを新しく追加して注目すべきオブジェクトであることを示してもよい。
［３．１－１ 第３の実施形態の変形例（１－１）］
本変形例に係る前処理部１０２は、ユーザディスクリプション形式で注目オブジェクト情報を格納する。すなわち、前処理部１０２は、注目オブジェクト情報をユーザディスクリプションに格納する。以下に、ユーザディスクリプション形式で注目オブジェクト情報を格納方法の詳細を説明する。
前処理部１０２は、図９に示すVisual3DObjectInfoを用いてユーザディスクリプション形式で３次元オブジェクト特定情報を格納する。さらに、前処理部１０２は、図３９に示すように、注目オブジェクト情報を表すＸＭＬスキーマを追加する。図３９は、ユーザディスクリプション形式で注目オブジェクト情報を格納する場合のシンタックスの一例を表す図である。前処理部１０２は、このＸＭＬスキーマにおいて、ユーザディスクリプションの１つの属性情報として特定オブジェクト情報を格納する。図３９におけるelement name = “id”で示される情報が注目すべき３次元オブジェクトの識別情報を表す。idの値は、Visual3DObjectInfoで用いた識別子を用いられる。
さらに、前処理部１０２は、図４０element name = “level”として、注目度の値を加えてもよい。図４０は、ユーザディスクリプション形式で注目オブジェクト情報とともに注目度を示す場合のシンタックスの一例を表す図である。Level情報は、３次元オブジェクトの注目度を数値で表す。levelの値は、例えば、値が小さいほど注目度が高くなるように定義される。
注目オブジェクト情報をユーザディスクリプション形式で格納する方法として、他にも、前処理部１０２は、Visual3DObjectInfoに注目すべき対象物であることを表す新しいelement及びNoticeableObjectFlagを追加してもよい。
［３．１－２ 第３の実施形態の変形例（１－２）］
本変形例に係る前処理部１０２は、独自の形式で注目オブジェクト情報を格納する。すなわち、前処理部１０２は、注目オブジェクト情報を独自のディスクリプションに格納する。以下に、独自の形式で注目オブジェクト情報を格納方法の詳細を説明する。
前処理部１０２は、図１０に示すObjectMetadata構造を定義して、そのObjectMetadataに３次元オブジェクト特定情報を格納する。さらに、前処理部１０２は、図４１に示すように、NoticeableObject構造を定義して、そのNoticeableObjectの中に注目オブジェクト情報を格納する。図４１は、独自の形式で注目オブジェクト情報を格納する場合のシンタックスの一例を表す図である。図４１におけるnum_of_object_idは、３次元オブジェクトの数を表す。また、noticeable_object_idは、注目すべき３次元オブジェクトを表し、その値はObjectMetadataにおけるobject_idが用いられる。
さらに、前処理部１０２は、図４２に示すように、注目度の値を加えてもよい。図４２は、独自の形式で注目オブジェクト情報に加えて注目度を示す場合のシンタックスの一例を表す図である。図４２におけるlevelの値は、例えば、値が小さいほど注目度が高くなるように定義される。
注目オブジェクト情報を独自の形式で格納する方法として、他にも、前処理部１０２は、ObjectMetadataに注目すべき対象物であることを表す新しいelement及びNoticeableObjectFlagを追加してもよい。
また、第３の実施形態、並びに、その変形例（１－１）及び（１－２）において、前処理部１０２は、コンテンツ作成者により指定された注目オブジェクト情報の利用方法に応じて、６ＤｏＦコンテンツのデータを構成することも可能である。例えば、前処理部１０２は、コンテンツ作成者が精細度の変更を指定した場合、注目オブジェクト情報で指定された３次元オブジェクトを他の３次元オブジェクトより精細度を変えて再生することを推奨する情報を利用者に提供してもよい。
［３．２－１ 第３の実施形態の変形例（２－１）］
次に、注目オブジェクト情報を示すデータの格納方法について説明する。本変形例では、注目オブジェクト情報が時間単位で変化しない場合に、注目オブジェクト情報をＩＳＯＢＭＦＦに格納する場合ついて説明する。
本変形例に係るファイル生成部１０４は、注目オブジェクトが時間単位で変化しない場合に、ＩＳＯＢＭＦＦで注目オブジェクト情報を格納する。ここでは、シーンディスクリプション形式で表される注目オブジェクト特定情報を示すデータを用いる場合で説明する。ただし、ユーザディスクリプション形式を用いた場合や独自の形式を用いた場合も同様の方法で注目オブジェクト特定情報を示すデータを格納したファイルを生成することが可能である。
ファイル生成部１０４は、注目オブジェクト情報を格納する新たなボックスを定義して、sample entryで固定的に格納する。図４３は、第３の実施形態の変形例（２－１）における注目オブジェクト情報を示すデータを格納するボックスの一例を示す図である。ファイル生成部１０４は、シーンディスクリプションのトラック、又は、３次元オブジェクト特定情報のトラックのsample entryのいずれかに図４３のStaticNoticeableObjectBoxを格納する。
３次元オブジェクト特定情報が時間単位で変化しない場合に、ＩＳＯＢＭＦＦで注目オブジェクト情報を格納する方法として、他にも、ファイル生成部１０４は、MetaBoxに注目オブジェクト情報を格納してもよい。例えば、ファイル生成部１０４は、MetaBoxのItemInfoEntryにおいて、item_typeを”obmt”として、ItemDataにStaticNoticeableObjectBoxを格納する。他にも、ファイル生成部１０４は、MetaBoxのItemPropertyを拡張し、ItemProper(‘noob’)としてStaticNoticeableObjectBoxを格納してもよい。
以上ではＩＳＯＢＭＦＦに格納する場合を説明した。ただし、図１２に示すMatroska Media Containerを用いて伝送する場合でも高精細３次元オブジェクト特定情報を示すデータを送信することが可能である。その場合、ファイル生成部１０４は、Track Entry elementに、新しくStaticNoticeableObjectStruct elementを格納する。この際、ファイル生成部１０４は、Element Typeをbinaryとし、且つ、EBMLデータとしてStaticNoticeableObjectStruct()をバイナリデータとして格納する。
［３．２－２ 第３の実施形態の変形例（２－２）］
本変形例では、注目オブジェクト情報が時間単位で変化する場合に、注目オブジェクト情報をＩＳＯＢＭＦＦに格納する場合について説明する。本変形例に係るファイル生成部１０４は、注目オブジェクトが時間単位で変化する場合に、ＩＳＯＢＭＦＦで注目オブジェクト情報を格納する。
ファイル生成部１０４は、図１３に示す３次元オブジェクト特定情報を示すシーンディスクリプションを格納するためのmetadata fileを、既存のファイルとは別のファイルとして作成する。
そして、ファイル生成部１０４は、metadata fileのsampleに、３次元オブジェクト特定情報と同時に注目オブジェクト情報を格納する。ファイル生成部１０４は、同時に格納する場合、３次元オブジェクト特定情報と注目３次元オブジェクト情報とを別々にアクセスできるようにファイルを生成してもよい。また、ファイル生成部１０４は、３次元オブジェクト特定情報に注目３次元オブジェクト情報を含めるような構造としてもよい。
他の方法として、ファイル生成部１０４は、注目３次元オブジェクト情報のための新しいTimed metadataを定義して、その中に注目３次元オブジェクト情報を格納してもよい。その場合、ファイル生成部１０４は、新しく定義したTimed metadataにおけるMetadataSampleEntryを拡張して、新しくNoticeableObjectSampleEntry(nobm’)とする。さらに、ファイル生成部１０４は、sampleに注目３次元オブジェクト情報を格納する。この場合、ファイル生成部１０４は、ObjectMetadataのTimed metadataのobject_idとの関連を示すために、注目３次元オブジェクト情報トラックに、Track Reference Boxを格納し、reference_type=’cdsc’で３次元オブジェクト特定情報のidを登録してもよい。cdscは、既存の値であるが、別途新たな関連を示す値に替えてもよい。
また、注目オブジェクト情報に時間単位で変化するものとしない元とが混在する場合、時間単位で変化しない注目オブジェクト情報に関して、ファイル生成部１０４は、図４３のStaticNoticeableObjectBoxを注目オブジェクト情報のトラックもしくはオブジェクト特定トラックに配置する。
［３．３－１ 第３の実施形態の変形例（３－１）］
次に、注目オブジェクト情報又は注目オブジェクト情報のアクセス情報をＭＰＤに格納する場合について説明する。本変形例に係るファイル生成部１０４は、注目オブジェクトが時間単位で変化しない場合に、注目オブジェクト情報をシーンディスクリプション又は３次元オブジェクトのAdaptationSetに格納する。
図４４は、注目オブジェクト情報を格納するＭＰＤのシンタックスの一例を表す図である。例えば、ファイル生成部１０４は、図４４に示すように、３次元オブジェクトのAdaptationSetにおけるSupplementalPropertyを用いて注目オブジェクト情報を格納する。ファイル生成部１０４は、shemeIdUri=”StaticNoticeableObject“を新たに定義する。そして、ファイル生成部１０４は、その中に３次元オブジェクトの識別情報を含むオブジェクト特定情報を示す情報及び注目オブジェクト情報を格納する。図４３における、objectMetadataは、オブジェクト特定情報を含むRepresentation@idを表す。また、idは、注目すべき３次元オブジェクトの識別情報を表し、その値には３次元オブジェクト特定情報に含まれる識別情報が用いられる。
さらに、ファイル生成部１０４は、図４３に示すStaticNoticeableObjectDescriptionの中に注目オブジェクト情報とともに、注目度を数値で格納してもよい。
［３．３－２ 第３の実施形態の変形例（３－２）］
本変形例に係るファイル生成部１０４は、注目オブジェクトが時間単位で変化する場合のＭＰＤへの注目オブジェクト情報の格納について説明する。
ファイル生成部１０４は、注目オブジェクト情報を格納するTimed metadataを新たに定義する。さらに、ファイル生成部１０４は、注目オブジェクト情報のTimed metadataと注目オブジェクト情報のTimed metadataが関係するシーンディスクリプション又は３次元オブジェクトとを関連付ける。
また、以上の説明では、ＭＰＥＧ－４シーンディスクリプションを用いて説明したが、他のシーンディスクリプションを用いる場合でもこれらの注目オブジェクト情報の格納方法は適用可能である。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
なお、本技術は以下のような構成を取ることもできる。
（１）複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する前処理部と、
前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成するファイル生成部と
を備えた情報処理装置。
（２）前記オブジェクト特定情報は、同一のオブジェクトの識別情報、位置情報及び詳細情報を含む付記（１）に記載の情報処理装置。
（３）前記前処理部は、前記オブジェクト特定情報を、シーンディスクリプションにおけるノード、ユーザディスクリプションもしくは独自のディスクリプションのいずれかに格納する付記（２）に記載の情報処理装置。
（４）前記ファイル生成部は、前記前処理部により前記オブジェクト特定情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ISO Base Media File Format（ＩＳＯＢＭＦＦ）、もしくは、ＭＰＤ（Media Presentation Description）におけるシーンディスクリプション又は前記特定のオブジェクトに対応するAdaptationSetのいずれか一方もしくは両方に格納する付記（３）に記載の情報処理装置。
（５）前記ファイル生成部は、前記特定のオブジェクトの前記位置情報が時刻で変化する場合、前記前処理部により前記空間３次元オブジェクトの位置情報と同時に、前記オブジェクト特定情報が格納された前記シーンディスクリプションを、シーンディスクリプションファイルとして生成する付記（３）に記載の情報処理装置。
（６）前記前処理部は、前記オブジェクトのうちの高精細化された高精細オブジェクトの特定情報及び前記高精細オブジェクトの精細度を含む高精細オブジェクト特定情報を生成する付記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）前記前処理部は、前記高精細オブジェクト特定情報を、シーンディスクリプション、ユーザディスクリプション又は独自のディスクリプションのいずれかに格納する付記（６）に記載の情報処理装置。
（８）前記ファイル生成部は、前記前処理部により前記高精細オブジェクト特定情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ＩＳＯＢＭＦＦ又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する付記（７）に記載の情報処理装置。
（９）前記前処理部は、前記高精細オブジェクトを高精細化するための差分データを生成し、且つ、前記差分データを特定する情報を生成する付記（６）に記載の情報処理装置。
（１０）前記前処理部は、前記高精細オブジェクトの高精細データ及び前記３次元空間から前記高精細オブジェクトを除いた基礎データを生成し、且つ、前記高精細データ及び前記基礎データを特定する情報を生成する付記（６）に記載の情報処理装置。
（１１）前記前処理部は、前記３次元オブジェクトに含まれる前記オブジェクト毎にそれぞれに含まれる部分オブジェクトを特定する情報を生成し、前記オブジェクト毎に含まれる前記部分オブジェクトを特定する情報をシーンディスクリプション又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する付記（６）に記載の情報処理装置。
（１２）前記前処理部は、前記オブジェクトのうちの所定の注目オブジェクトの識別情報及び前記注目オブジェクトの注目度情報を含む注目オブジェクト情報を生成する付記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）前記前処理部は、前記注目オブジェクト情報を、シーンディスクリプション、ユーザディスクリプション又は独自のディスクリプションのいずれかに格納する付記（１２）に記載の情報処理装置。
（１４）前記ファイル生成部は、前記前処理部により前記注目オブジェクト情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ＩＳＯＢＭＦＦ又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する付記（１３）に記載の情報処理装置。
（１５）複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する
処理をコンピュータに実行させる情報処理方法。
（１６）複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトのコンテンツ及び前記空間３次元オブジェクトに含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を含むファイルを受信する受信部と、
前記受信部により受信された前記ファイルから前記オブジェクト特定情報を取得し、取得した前記オブジェクト特定情報を基に、前記空間３次元オブジェクトの中から前記特定のオブジェクトを特定する情報処理部と、
前記情報処理部による特定結果を基に、前記コンテンツを再生する再生部と
を備えた再生処理装置。
（１７）複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトのコンテンツ及び前記空間３次元オブジェクトに含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を含むファイルを受信し、
受信した前記ファイルから前記オブジェクト特定情報を取得し、
取得した前記オブジェクト特定情報を基に、前記３次元空間の中から前記特定のオブジェクトを特定し、
特定結果を基に、前記コンテンツを再生する
処理をコンピュータに実行させる再生処理方法。
１ ファイル生成装置
２ クライアント装置
３ Ｗｅｂサーバ
４ ネットワーク
１０ 生成処理部
１１ 制御部
２０ 再生処理部
２１ 制御部
１０１ データ入力部
１０２ 前処理部
１０３ 符号化部
１０４ ファイル生成部
１０５ 送信部
２０１ ファイル取得部
２０２ 計測部
２０３ ファイル処理部
２０４ 復号処理部
２０５ 表示制御部
２０６ 表示情報生成部
２０７ 表示部

Claims (16)

  1. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
    前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する前処理部と、
    前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成するファイル生成部と
    を備え、
    前記オブジェクト特定情報は、同一のオブジェクトの識別情報、位置情報及び詳細情報を含む、
    情報処理装置。
  2. 前記前処理部は、前記オブジェクト特定情報を、シーンディスクリプションにおけるノード、ユーザディスクリプションもしくは独自のディスクリプションのいずれかに格納する請求項１に記載の情報処理装置。
  3. 前記ファイル生成部は、前記前処理部により前記オブジェクト特定情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ISO Base Media File Format（ＩＳＯＢＭＦＦ）、もしくは、ＭＰＤ（Media Presentation Description）におけるシーンディスクリプション又は前記特定のオブジェクトに対応するAdaptationSetのいずれか一方もしくは両方に格納する請求項２に記載の情報処理装置。
  4. 前記ファイル生成部は、前記特定のオブジェクトの前記位置情報が時刻で変化する場合、前記前処理部により前記空間３次元オブジェクトの位置情報と同時に、前記オブジェクト特定情報が格納された前記シーンディスクリプションを、シーンディスクリプションファイルとして生成する請求項２に記載の情報処理装置。
  5. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
    前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する前処理部と、
    前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成するファイル生成部と
    を備え、
    前記前処理部は、前記オブジェクトのうちの高精細化された高精細オブジェクトの特定情報及び前記高精細オブジェクトの精細度を含む高精細オブジェクト特定情報を生成する、
    情報処理装置。
  6. 前記前処理部は、前記高精細オブジェクト特定情報を、シーンディスクリプション、ユーザディスクリプション又は独自のディスクリプションのいずれかに格納する請求項５に記載の情報処理装置。
  7. 前記ファイル生成部は、前記前処理部により前記高精細オブジェクト特定情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ＩＳＯＢＭＦＦ又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する請求項６に記載の情報処理装置。
  8. 前記前処理部は、前記高精細オブジェクトを高精細化するための差分データを生成し、且つ、前記差分データを特定する情報を生成する請求項５に記載の情報処理装置。
  9. 前記前処理部は、前記高精細オブジェクトの高精細データ及び前記３次元空間から前記高精細オブジェクトを除いた基礎データを生成し、且つ、前記高精細データ及び前記基礎データを特定する情報を生成する請求項５に記載の情報処理装置。
  10. 前記前処理部は、前記３次元オブジェクトに含まれる前記オブジェクト毎にそれぞれに含まれる部分オブジェクトを特定する情報を生成し、前記オブジェクト毎に含まれる前記部分オブジェクトを特定する情報をシーンディスクリプション又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する請求項５に記載の情報処理装置。
  11. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
    前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成する前処理部と、
    前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成するファイル生成部と
    を備え、
    前記前処理部は、前記オブジェクトのうちの所定の注目オブジェクトの識別情報及び前記注目オブジェクトの注目度情報を含む注目オブジェクト情報を生成する、
    情報処理装置。
  12. 前記前処理部は、前記注目オブジェクト情報を、シーンディスクリプション、ユーザディスクリプション又は独自のディスクリプションのいずれかに格納する請求項１１に記載の情報処理装置。
  13. 前記ファイル生成部は、前記前処理部により前記注目オブジェクト情報が格納されたディスクリプション又は前記ディスクリプションへのアクセス情報を、ＩＳＯＢＭＦＦ又はＭＰＤのAdaptationSetのいずれか一方もしくは両方に格納する請求項１２に記載の情報処理装置。
  14. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトにおいて、
    前記３次元空間に含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を生成し、
    前記空間３次元オブジェクトのデータ及び前記オブジェクト特定情報を含むファイルを生成する、
    処理をコンピュータに実行させ、
    前記オブジェクト特定情報は、同一のオブジェクトの識別情報、位置情報及び詳細情報を含む、
    情報処理方法。
  15. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトのコンテンツ及び前記空間３次元オブジェクトに含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を含むファイルを受信する受信部と、
    前記受信部により受信された前記ファイルから前記オブジェクト特定情報を取得し、取得した前記オブジェクト特定情報を基に、前記空間３次元オブジェクトの中から前記特定のオブジェクトを特定する情報処理部と、
    前記情報処理部による特定結果を基に、前記コンテンツを再生する再生部と
    を備え、
    前記オブジェクト特定情報は、同一のオブジェクトの識別情報、位置情報及び詳細情報を含む、
    再生処理装置。
  16. 複数のオブジェクトを単体の３次元オブジェクトとして３次元空間を構成する空間３次元オブジェクトのコンテンツ及び前記空間３次元オブジェクトに含まれる特定のオブジェクトを識別するためのオブジェクト特定情報を含むファイルを受信し、
    受信した前記ファイルから前記オブジェクト特定情報を取得し、
    取得した前記オブジェクト特定情報を基に、前記３次元空間の中から前記特定のオブジェクトを特定し、
    特定結果を基に、前記コンテンツを再生する
    処理をコンピュータに実行させ、
    前記オブジェクト特定情報は、同一のオブジェクトの識別情報、位置情報及び詳細情報を含む、
    再生処理方法。
JP2021506217A 2019-03-20 2020-01-29 情報処理装置、情報処理方法、再生処理装置及び再生処理方法 Active JP7480773B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962821047P 2019-03-20 2019-03-20
US62/821,047 2019-03-20
US201962866334P 2019-06-25 2019-06-25
US62/866,334 2019-06-25
PCT/JP2020/003174 WO2020189038A1 (ja) 2019-03-20 2020-01-29 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Publications (2)

Publication Number Publication Date
JPWO2020189038A1 JPWO2020189038A1 (ja) 2020-09-24
JP7480773B2 true JP7480773B2 (ja) 2024-05-10

Family

ID=72520730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506217A Active JP7480773B2 (ja) 2019-03-20 2020-01-29 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Country Status (5)

Country Link
US (1) US11825135B2 (ja)
EP (1) EP3944629A4 (ja)
JP (1) JP7480773B2 (ja)
CN (1) CN113574902A (ja)
WO (1) WO2020189038A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012740A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치
EP4224864A4 (en) * 2020-09-29 2024-04-03 Sony Group Corporation DEVICE AND METHOD FOR PROCESSING INFORMATION
CN116250013A (zh) * 2020-10-07 2023-06-09 索尼集团公司 信息处理装置和方法
CN117121495A (zh) * 2021-04-15 2023-11-24 索尼集团公司 信息处理装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334739A (ja) 2006-06-16 2007-12-27 Toyota Infotechnology Center Co Ltd 画像生成装置
WO2018097882A1 (en) 2016-11-23 2018-05-31 3Dsystems, Inc. System and method for rendering complex data in a virtual reality or augmented reality environment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050036722A (ko) * 2003-10-14 2005-04-20 삼성전자주식회사 3차원 객체 그래픽 처리장치 및 3차원 신 그래프 처리장치
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US11290758B2 (en) * 2017-08-30 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus of point-cloud streaming
KR102201763B1 (ko) * 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2020101021A1 (ja) * 2018-11-16 2020-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334739A (ja) 2006-06-16 2007-12-27 Toyota Infotechnology Center Co Ltd 画像生成装置
WO2018097882A1 (en) 2016-11-23 2018-05-31 3Dsystems, Inc. System and method for rendering complex data in a virtual reality or augmented reality environment

Also Published As

Publication number Publication date
JPWO2020189038A1 (ja) 2020-09-24
US11825135B2 (en) 2023-11-21
WO2020189038A1 (ja) 2020-09-24
CN113574902A (zh) 2021-10-29
EP3944629A1 (en) 2022-01-26
EP3944629A4 (en) 2022-05-25
US20220159316A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP7480773B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
JP7263583B2 (ja) タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
WO2019202207A1 (en) Processing video patches for three-dimensional content
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
US20220053224A1 (en) Information processing apparatus and method
JP2017515336A (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
JP7544048B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
US20240046562A1 (en) Information processing device and method
WO2020137854A1 (ja) 情報処理装置および情報処理方法
JP2024508865A (ja) 点群符号化・復号方法、装置、及び電子機器
JP6632550B2 (ja) タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス
WO2021002338A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
CN114223211A (zh) 信息处理装置和信息处理方法
CN113574899A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
WO2022220278A1 (ja) 情報処理装置および方法
WO2022054744A1 (ja) 情報処理装置および方法
GB2567485A (en) Method and device for exchanging data between a web application and an associated web engine
JP2024155948A (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
JP4017436B2 (ja) ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
KR20240147731A (ko) 적응적 스트리밍 파라미터화를 위한 확장 가능한 요청 시그널링
CN118633292A (zh) 用于媒体容器文件和流传输清单中的画中画的信令

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150