JP6944131B2 - ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法 - Google Patents

ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法 Download PDF

Info

Publication number
JP6944131B2
JP6944131B2 JP2018501554A JP2018501554A JP6944131B2 JP 6944131 B2 JP6944131 B2 JP 6944131B2 JP 2018501554 A JP2018501554 A JP 2018501554A JP 2018501554 A JP2018501554 A JP 2018501554A JP 6944131 B2 JP6944131 B2 JP 6944131B2
Authority
JP
Japan
Prior art keywords
file
depth
image
quality
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018501554A
Other languages
English (en)
Other versions
JPWO2017145757A1 (ja
Inventor
充 勝股
充 勝股
平林　光浩
光浩 平林
俊也 浜田
俊也 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017145757A1 publication Critical patent/JPWO2017145757A1/ja
Application granted granted Critical
Publication of JP6944131B2 publication Critical patent/JP6944131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関し、特に、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができるようにしたファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。
立体視を実現する手法としてテクスチャ画像とデプス画像を用いる手法がある。デプス画像とは、各画素の被写体の奥行き方向の位置を表す値を画素値とする画像である。
このような手法では、自然な立体視を実現するために、追加情報としてオクルージョン画像を用いる場合がある。オクルージョン画像とは、テクスチャ画像には存在しない被写体、即ちテクスチャ画像の視点からは見えない被写体（例えば、前方の被写体によって隠れている被写体）の領域であるオクルージョン領域のテクスチャ画像である。テクスチャ画像とデプス画像だけでなく、オクルージョン画像も用いることにより、異なる視点から覗き込み等を行った場合の立体視を実現する３Ｄ画像を生成することができる。
テクスチャ画像とデプス画像は、例えば、既存のMPEG-DASH(Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP standard)方式で伝送することができる(例えば、非特許文献１参照)。
この場合、DASHクライアントは、伝送路や自身のバッファ量を考慮して、DASHサーバに記憶されている複数のビットレートのデプス画像から、許容可能な最大のビットレートのデプス画像を選択して取得する。
しかしながら、デプス画像のビットレートによる３Ｄ画像の画質への影響が小さい場合や、デプス画像の画素値の変化量が小さい場合などでは、デプス画像のビットレートによって３Ｄ画像の画質があまり変化しない。従って、この場合、DASHクライアントが、許容可能な最大のビットレートのデプス画像を選択して取得すると、伝送路やバッファが無駄になる。
一方、ISO/IEC 23001-10において、テクスチャ画像の１以上の種類の品質を表す品質情報をISOベースメディアファイルフォーマットのＭＰ４ファイルに格納することが提案されている。
ISO/IEC 23009-1 Dynamic adaptive streaming over HTTP(DASH) Part1:Media presentation description and segment formats,Apr.2012
以上により、少なくともデプス画像を含むデプス関連画像についても、テクスチャ画像と同様に品質情報をファイルに格納させ、DASHクライアントが、その品質情報を用いて適切なビットレートのデプス関連画像を取得することが望まれている。しかしながら、デプス関連画像の品質情報を効率的に格納したファイルを管理することは考えられていない。
本開示は、このような状況に鑑みてなされたものであり、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができるようにするものである。
本開示の第１の側面のファイル生成装置は、デプス画像を含む複数のデプス関連画像の品質を表す複数の品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルを生成し、前記トラックへのアクセス情報として、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を生成するファイル生成部を備えるファイル生成装置である。
本開示の第１の側面のファイル生成方法は、本開示の第１の側面のファイル生成装置に対応する。
本開示の第１の側面においては、デプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルが生成され、前記トラックへのアクセス情報として、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報が生成される。
本開示の第２の側面の再生装置は、デプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部を備え、前記MPDファイルは、前記トラックへのアクセス情報であり、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を含む再生装置である。
本開示の第２の側面の再生方法は、本開示の第２の側面の再生装置に対応する。
本開示の第２の側面においては、デプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報が取得される。前記MPDファイルには、前記トラックへのアクセス情報であり、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報が含まれる。
なお、本開示の第１の側面のファイル生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の第１の側面のファイル生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、管理ファイルを生成することができる。また、本開示の第１の側面によれば、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができる。
本開示の第２の側面によれば、再生を行うことができる。また、本開示の第２の側面によれば、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理する管理ファイルに基づいて再生を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。 オクルージョン画像を説明する図である。 MPDファイルの階層構造を説明する図である。 図１のファイル生成装置の構成例を示すブロック図である。 第１実施の形態におけるセグメントファイルの例を示す図である。 第１実施の形態におけるQualityMetricsSampleEntryの記述例を示す図である。 図６のQualityMetricsSampleEntryの記述内容を説明する図である。 metric_codeの例を示す図である。 第１実施の形態におけるMPDファイルのリプレゼンテーション要素の例を示す図である。 第１実施の形態におけるMPDファイルの記述例を示す図である。 第１実施の形態におけるlevaボックスを説明する図である。 ファイル生成処理を説明するフローチャートである。 ストリーミング再生部の構成例を示すブロック図である。 第１実施の形態における再生処理の第１の例を説明するフローチャートである。 第１実施の形態における再生処理の第２の例を説明するフローチャートである。 本開示を適用した情報処理システムの第２実施の形態におけるセグメントファイルの例を示す図である。 本開示を適用した情報処理システムの第３実施の形態におけるセグメントファイルの例を示す図である。 第３実施の形態におけるMPDファイルの記述例を示す図である。 第３実施の形態における再生処理の第１の例を説明するフローチャートである。 第３実施の形態における再生処理の第２の例を説明するフローチャートである。 本開示を適用した情報処理システムの第４実施の形態におけるセグメントファイルの例を示す図である。 本開示を適用した情報処理システムの第５実施の形態におけるセグメントファイルの例を示す図である。 本開示を適用した情報処理システムの第６実施の形態におけるセグメントファイルの例を示す図である。 第６実施の形態におけるMPDファイルの記述例を示す図である。 本開示を適用した情報処理システムの第７実施の形態におけるセグメントファイルの例を示す図である。 図２５のトラックのサンプルの構成例を示す図である。 デプスファイルのmoovボックスの構成例を示す図である。 QualityMetricsConfigurationBoxの記述例を示す図である。 第７実施の形態におけるQualityMetricsSampleEntryに記述される場合のQualityMetricsSampleEntryの記述例を示す図である。 SubsampleInformationBoxの記述例を示す図である。 SubsampleReferenceBoxの記述例を示す図である。 第７実施の形態におけるMPDファイルの記述例を示す図である。 本開示を適用した情報処理システムの第８実施の形態におけるセグメントファイルの例を示す図である。 levaボックスの第１の記述例を示す図である。 図３４のlevaボックスにより対応付けられるレベルとサブサンプルの第１の例を説明する図である。 levaボックスの第２の記述例を示す図である。 図３６のlevaボックスにより対応付けられるレベルとサブサンプルの第２の例を説明する図である。 サブサンプルグループエントリの記述例を示す図である。 levaボックスにより対応付けられるレベルとサブサンプルの第３の例を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図１５）
２．第２実施の形態：情報処理システム（図１６）
３．第３実施の形態：情報処理システム（図１７乃至図２０）
４．第４実施の形態：情報処理システム（図２１）
５．第５実施の形態：情報処理システム（図２２）
６．第６実施の形態：情報処理システム（図２３および図２４）
７．第７実施の形態：情報処理システム（図２５乃至図３２）
８．第８実施の形態：情報処理システム（図３３および図３９）
９．第９実施の形態：コンピュータ（図４０）
＜第１実施の形態＞
（情報処理システムの概要）
図１は、本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
図１の情報処理システム１０は、ファイル生成装置１１に接続するDASHサーバとしてのWebサーバ１２と、DASHクライアントとしての動画再生端末１４とが、インターネット１３を介して接続されることにより構成される。
情報処理システム１０では、MPEG−DASHに準ずる方式で、Webサーバ１２が、ファイル生成装置１１により生成された動画コンテンツのファイルを、動画再生端末１４に配信する。
具体的には、ファイル生成装置１１は、動画コンテンツのテクスチャ画像、デプス画像、オクルージョン画像の画像データ、音声データ、デプス画像とオクルージョン画像の品質情報を含むメタデータ等を、それぞれ、１以上のビットレートで符号化する。
本明細書では、テクスチャ画像のビットレートが８Mbpsと４Mbpsの２種類であり、デプス画像のビットレートが、２Mbpsと１Mpbsの２種類であり、オクルージョン画像のビットレートが１Mpbsの１種類であるものとする。また、以下では、デプス画像とオクルージョン画像を特に区別する必要がない場合、それらをまとめてデプスオクルージョン画像という。
ファイル生成装置１１は、符号化の結果生成された各ビットレートの画像データおよび音声データの符号化ストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位で、ISOベースメディアファイルフォーマットでファイル化する。ファイル生成装置１１は、その結果生成された画像データおよび音声データのＭＰ４ファイルであるセグメントファイルを、Webサーバ１２にアップロードする。
また、ファイル生成装置１１は、セグメント単位のデプスオクルージョン画像の品質情報を含むメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに分割してISOベースメディアファイルフォーマットでファイル化する。ファイル生成装置１１は、その結果生成されたメタデータのセグメントファイルを、Webサーバ１２にアップロードする。
ファイル生成装置１１はまた、動画コンテンツのセグメントファイル群を管理するMPD（Media Presentation Description）ファイル（管理ファイル）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
Webサーバ１２は、ファイル生成装置１１からアップロードされたセグメントファイルとMPDファイルを格納する。Webサーバ１２は、動画再生端末１４からの要求に応じて、格納しているセグメントファイルやMPDファイルを動画再生端末１４に送信する。
動画再生端末１４（再生装置）は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
また、制御用ソフトウエア２１は、MPDファイルと、動画再生ソフトウエア２２により指定される再生対象の時刻、ビットレート等を表す再生対象情報とに基づいて、再生対象のセグメントファイルの符号化ストリームの送信要求を、アクセス用ソフトウエア２３に指令する。
動画再生ソフトウエア２２は、Webサーバ１２から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、メタデータの符号化ストリームを再生対象とする再生対象情報を制御用ソフトウエア２１に指定する。そして、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３からメタデータの符号化ストリームの受信開始の通知を受信したとき、動画再生端末１４により受信されたメタデータの符号化ストリームを復号する。
動画再生ソフトウエア２２は、復号の結果得られるメタデータに含まれる品質情報、インターネット１３のネットワーク帯域などに基づいて、所定のビットレートの画像データや音声データの符号化ストリームを再生対象とする再生対象情報を制御用ソフトウエア２１に指定する。そして、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３から画像データや音声データの符号化ストリームの受信開始の通知を受信したとき、動画再生端末１４により受信された画像データや音声データの符号化ストリームを復号する。
動画再生ソフトウエア２２は、復号の結果得られるテクスチャ画像の画像データをそのまま出力する。または、動画再生ソフトウエア２２は、テクスチャ画像とデプス画像を用いて３Ｄ画像の画像データを生成し、出力する。または、動画再生ソフトウエア２２は、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の画像データを生成し、出力する。また、動画再生ソフトウエア２２は、復号の結果得られる音声データを出力する。
アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求を、動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じてWebサーバ１２から送信されてくる符号化ストリームの受信を動画再生端末１４に開始させ、受信開始の通知を動画再生ソフトウエア２２に供給する。
なお、本開示は、動画コンテンツの画像データおよびメタデータに関する発明であるので、以下では、音声データのセグメントファイルの格納および再生についての説明は省略する。
（オクルージョン画像の説明）
図２は、オクルージョン画像を説明する図である。
図２の上段の円柱４１と立方体４２が、矢印５１が示す正面方向から撮影されると、図２の下段の左側のテクスチャ画像６１が得られる。
このテクスチャ画像６１とテクスチャ画像６１のデプス画像とを用いて、矢印５２が示す左から覗き込む方向から撮影されるテクスチャ画像６２を生成する場合、まず、テクスチャ画像６１のデプス画像に基づいて、テクスチャ画像６２の各画素に対応するテクスチャ画像６１の画素値が取得される。そして、テクスチャ画像６２の各画素の画素値を、その画素に対応するテクスチャ画像６１の画素値とすることにより、テクスチャ画像６２が生成される。
しかしながら、図２の下段の右側に示すように、テクスチャ画像６２には、対応するテクスチャ画像６１が存在しない、即ち、矢印５１が示す方向から撮影する際には撮影されないが、矢印５２が示す方向から撮影する際には撮影される被写体（図２の例では、立方体４２の側面）の領域であるオクルージョン領域４３が発生する。このオクルージョン領域４３のテクスチャ画像が、オクルージョン画像である。
従って、テクスチャ画像６１、テクスチャ画像６１のデプス画像、およびオクルージョン領域４３のテクスチャ画像を用いることにより、テクスチャ画像６１とは異なる視点のテクスチャ画像６２を生成することができる。また、このテクスチャ画像６２とテクスチャ画像６１のデプス画像から、テクスチャ画像６２のデプス画像を生成することができる。よって、テクスチャ画像６２とテクスチャ画像６２のデプス画像から、テクスチャ画像６１とは異なる視点の３Ｄ画像を生成することができる。
（MPDファイルの説明）
図３は、MPDファイルの階層構造を説明する図である。
MPDファイルには、動画コンテンツの符号化方式やビットレート、画像のサイズ、音声の言語などの情報が階層化されて、XML形式で記述される。
具体的には、図３に示すように、MPDファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントインフォ（SegmentInfo）等の要素が階層的に含まれている。
MPDファイルでは、自分が管理する動画コンテンツが所定の時間範囲（例えば、番組、ＣＭ（Commercial）などの単位）で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、動画コンテンツのプログラム(同期を取った１組の画像データや音声データなどのデータ)の再生開始時刻、動画コンテンツのセグメントファイルを格納するWebサーバ１２のURL（Uniform Resource Locator）などの情報を有する。
アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群に対応するリプレゼンテーション要素をグルーピングする。リプレゼンテーション要素は、例えば、対応する符号化ストリームのデータの種類によってグルーピングされる。アダプテーションセット要素は、グループに共通のメディア種別、言語、字幕または吹き替えなどの用途を有する。
リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、セグメントファイル群に共通のビットレート、画像のサイズなどを有する。
セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーションに対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
（ファイル生成装置の構成例）
図４は、図１のファイル生成装置の構成例を示すブロック図である。
図４のファイル生成装置１１は、取得部８１、符号化部８２、セグメントファイル生成部８３、MPDファイル生成部８４、およびアップロード部８５により構成される。
ファイル生成装置１１の取得部８１は、動画コンテンツのテクスチャ画像、デプス画像、およびオクルージョン画像の画像データを取得し、符号化部８２に供給する。また、取得部８１は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像の符号化ストリームの品質情報を含むメタデータを取得し、符号化部８２に供給する。
符号化部８２は、取得部８１から供給されるテクスチャ画像の画像データを８Mbpsと４Mbpsで符号化し、デプス画像の画像データを２Mbpsと１Mbpsで符号化する。また、符号化部８２は、オクルージョン画像の画像データを１Mbpsで符号化する。さらに、符号化部８２は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像のメタデータを、それぞれ、所定のビットレートで符号化する。符号化部８２は、符号化の結果生成された符号化ストリームをセグメントファイル生成部８３に供給する。
セグメントファイル生成部８３は、符号化部８２から供給されるテクスチャ画像、デプス画像、およびオクルージョン画像の符号化ストリームを、ビットレートごとにセグメント単位でファイル化し、画像データのセグメントファイルを生成する。
また、セグメントファイル生成部８３（ファイル生成部）は、符号化部８２から供給されるメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるセグメントファイルに配置することによりメタデータのセグメントファイルを生成する。
具体的には、セグメントファイル生成部８３は、符号化部８２から供給されるメタデータの符号化ストリームを、２Mbpsと１Mbpsのデプス画像のセグメント単位のメタデータの符号化ストリームと、１Mbpsのオクルージョン画像のセグメント単位のメタデータの符号化ストリームとに分割する。そして、セグメントファイル生成部８３は、２Mbpsと１Mbpsのデプス画像のセグメント単位のメタデータの符号化ストリームと、１Mbpsのオクルージョン画像のセグメント単位のメタデータの符号化ストリームとを別々にファイル化し、メタデータのセグメントファイルを生成する。セグメントファイル生成部８３は、生成されたセグメントファイルをアップロード部８５に供給する。
MPDファイル生成部８４（ファイル生成部）は、MPDファイルを生成し、アップロード部８５に供給する。
アップロード部８５は、セグメントファイル生成部８３から供給されるセグメントファイルと、MPDファイル生成部８４から供給されるMPDファイルとを、Webサーバ１２にアップロードする。
（セグメントファイルの例）
図５は、図４のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図５に示すように、セグメントファイル生成部８３は、８Mbpsのテクスチャ画像のセグメントファイルをテクスチャファイル（texture1 file）として生成し、４Mbpsのテクスチャ画像のセグメントファイルをテクスチャファイル（texture２ file）として生成する。また、セグメントファイル生成部８３は、２Mbpsのデプス画像のセグメントファイルをデプスファイル（depth1 file）として生成し、１Mpbsのデプス画像のセグメントファイルをデプスファイル（depth２ file）として生成する。さらに、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像のセグメントファイルをオクルージョンファイル（occlusion1 file）として生成する。
また、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータのセグメントファイルを、クオリティファイル（quality1 file）として生成する。クオリティファイル（quality1 file)では、２Mbpsのデプス画像の品質情報を含むメタデータと、１Mpbsのデプス画像の品質情報を含むメタデータが、異なるトラック（quality track(depth1),quality track(depth2)）に配置される。
さらに、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像の品質情報を含むメタデータのセグメントファイルを、クオリティファイル（quality2 file）として生成する。
以上のように、セグメントファイル生成部８３は、品質情報を含むメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに別々にファイル化する。従って、動画再生端末１４が、テクスチャ画像とデプス画像を用いて３Ｄ画像を生成する場合、デプス画像のクオリティファイル（quality1 file）から所望のデプス画像の品質情報を容易に取得することができる。
これに対して、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、まとめてファイル化される場合、不要なオクルージョン画像の品質情報も含むファイルから所望のデプス画像の品質情報を取得することになり、取得効率が悪い。
また、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、符号化ストリームごとに別々にファイル化される場合、複数の所望のデプスオクルージョン画像を取得する際、複数のファイルから品質情報を取得する必要があり、取得効率が悪い。
なお、取得部８１は、８Mbpsと４Mbpsのテクスチャ画像の品質情報を含むメタデータを取得しないようにしたが、取得するようにしてもよい。この場合、セグメントファイル生成部８３は、８Mbpsと４Mbpsのテクスチャ画像の品質情報を含むメタデータの符号化ストリームがセグメント単位でまとめて格納されるセグメントファイルも生成する。また、８Mbpsのテクスチャ画像のメタデータと４Mbpsのテクスチャ画像のメタデータは、異なるトラックに配置される。
(QualityMetricsSampleEntryの記述例)
図６は、クオリティファイルに配置されるQualityMetricsSampleEntryの記述例を示す図である。
図６に示すように、QualityMetricsSampleEntryには、QulityMetricsConfigurationBoxが配置される。QualityMetricsConfigurationBoxには、field_size_bytesとmetric_countが記述され、metric_count分だけmetric_codeが記述される。
図７に示すように、field_size_bytesは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームの１種類の品質（Quality）あたりのデータサイズである。ある種類の品質情報の符号化ストリームの実サイズがfield_size_bytesより小さい場合には、その品質情報の符号化ストリームにパディングが付加される。
また、metric_countは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームに対応する品質の種類数である。metric_codeは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームに対応する各品質の種類を表す情報であり、サンプルに配置される品質情報の符号化ストリームの順に記述される。
（metric_codeの例）
図８は、metric_codeの例を示す図である。
図８に示すように、metric_codeとしては、ISO/IEC 23001-10において定義されているpsnr,ssim,msim,j144,j247,mops,fsigだけでなく、ocerやocprも設定可能になっている。
例えば、psnrは、品質情報が表す品質の種類が画面全体のPSNR(Peak signal-to-noise ratio)であることを表している。
また、ocerとocprは、オクルージョン画像の品質情報がサンプルに含まれるときに設定される。ocerは、品質情報が表す品質の種類が、テクスチャ画像の画面全体に対する、オクルージョン画像に対応するオクルージョン領域、即ちオクルージョン領域の有効範囲の割合であることを表している。ocprは、品質情報が表す品質の種類が、オクルージョン画像のみのPSNR、即ちオクルージョン領域の有効範囲のみのPSNRであることを表している。
以上のように、オクルージョン画像の品質情報がサンプルに含まれる場合、metric_codeとしてocerやocprを設定することができる。従って、オクルージョン領域の割合やPSNRを表す品質情報をサンプルに格納することができる。よって、動画再生端末１４は、この品質情報に基づいて、最適なオクルージョンファイルを選択し、再生することができる。
即ち、オクルージョン画像は、画面内のオクルージョン領域のみの画像であるため、画面全体のPSNRなどの既存の品質に与える影響が少ない可能性がある。従って、既存の品質情報では、オクルージョン画像の品質を十分に表すことはできない。よって、オクルージョン画像の品質に大きな影響を与えるオクルージョン領域の割合やPSNRを品質として表す品質情報をサンプルに格納可能にすることにより、動画再生端末１４が、品質情報に基づいて、より適したオクルージョンファイルを選択することを可能にする。
（リプレゼンテーション要素の例）
図９は、図４のMPDファイル生成部８４により生成されるMPDファイルのリプレゼンテーション要素の例を示す図である。
図５に示したように、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）、テクスチャファイル（texture2 file）、デプスファイル（depth1 file）、デプスファイル（depth2 file）、オクルージョンファイル（occlusion1 file）、クオリティファイル（quality1 file(depth)）、およびクオリティファイル（quality2 file(occlusion)）の７種類のセグメントファイルを生成する。従って、図９に示すように、MPDファイルでは、７つのリプレゼンテーション要素が含まれる。
（MPDファイルの記述例）
図１０は、図４のMPDファイル生成部８４により生成されるMPDファイルの記述例を示す図である。
なお、本明細書では、テクスチャファイル（texture2 file）の再生時に、デプスファイル（depth1 file）やオクルージョンファイル(occlusion file)を用いても、３Ｄ画像の画質が向上しないものとする。従って、テクスチャファイル（texture2 file）と、デプスファイル（depth1 file）やオクルージョンファイル(occlusion file)とを用いた３Ｄ画像の再生はすべきでない。よって、下記の再生パターン１乃至７のみが再生すべきパターンである。
再生パターン１．テクスチャファイル（texture1 file）のテクスチャ画像の再生
再生パターン２．テクスチャファイル（texture2 file）のテクスチャ画像の再生
再生パターン３．テクスチャファイル（texture1 file）とデプスファイル（depth1 file）を用いた３Ｄ画像の再生
再生パターン４．テクスチャファイル（texture1 file）とデプスファイル（depth2 file）を用いた３Ｄ画像の再生
再生パターン５．テクスチャファイル（texture1 file）、デプスファイル（depth1 file）、およびオクルージョンファイル(occlusion file)を用いた３Ｄ画像の再生
再生パターン６．テクスチャファイル（texture1 file）、デプスファイル（depth2 file）、およびオクルージョンファイル(occlusion file)を用いた３Ｄ画像の再生
再生パターン７．テクスチャファイル（texture2 file）とデプスファイル（depth2 file）を用いた３Ｄ画像の再生
図１０のMPDファイルでは、テクスチャファイル（texture1 file）群とテクスチャファイル（texture2 file）群が１つのアダプテーションセット（AdaptationSet）要素でグルーピングされる。
このテクスチャファイル用のアダプテーションセット要素には、テクスチャファイル（texture1 file）群に対応するリプレゼンテーション要素と、テクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素が記述される。
リプレゼンテーション要素は、Representation id, bandwidth, BaseURL, associationIDなどを有する。Representation idは、リプレゼンテーション要素に固有のＩＤであり、リプレゼンテーション要素に対応する符号化ストリームを特定する情報である。bandwidthは、テクスチャファイル群のビットレートを表す情報であり、BaseURLは、ファイル名のベースを表す情報である。また、associationIDは、復号や表示（再生）時に関係する他のリプレゼンテーション要素のRepresentation idである。このassociationIDは、ISO/IEC 23009-1 Amendment2で規定されている。
従って、テクスチャファイル（texture1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvt1が記述され、bandwidthとして８Mbpsを表す8192000が記述され、BaseURLとして「texture1.mp4」が記述される。
テクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvt2が記述され、bandwidthとして４Mbpsを表す4096000が記述され、BaseURLとして「texture2.mp4」が記述される。
なお、テクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素は他のリプレゼンテーション要素と関係していないため、テクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素には、associationIDは記述されない。
また、デプスファイル（depth1 file）群とデプスファイル（depth2 file）群が１つのアダプテーションセット要素でグルーピングされる。このデプスファイル用のアダプテーションセット要素には、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素と、デプスファイル（depth2 file）群に対応するリプレゼンテーション要素が記述される。
デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd1が記述され、bandwidthとして２Mbpsを表す2048000が記述され、BaseURLとして「depth1.mp4」が記述される。
また、再生パターン１乃至７においてデプスファイル（depth1 file）の表示時に関係するテクスチャファイル群は、テクスチャファイル（texture1 file）群である。従って、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群のRepresentation idであるvt1が記述される。
デプスファイル（depth2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd2が記述され、bandwidthとして１Mbpsを表す1024000が記述され、BaseURLとして「depth2.mp4」が記述される。
また、再生パターン１乃至７においてデプスファイル（depth2 file）の表示時に関係するテクスチャ画像のテクスチャファイル群は、テクスチャファイル（texture1 file）群またはテクスチャファイル（texture2 file）群である。従って、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群のRepresentation idであるvt1およびテクスチャファイル（texture2 file）群のRepresentation idであるvt2が記述される。
さらに、オクルージョンファイル（occlusion1 file）群が１つのアダプテーションセット要素でグルーピングされる。このオクルージョンファイル用のアダプテーションセット要素には、オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素が記述される。
オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素には、Representation idとしてvo1が記述され、bandwidthとして１Mbpsを表す1024000が記述され、BaseURLとして「occlusion.mp4」が記述される。
また、再生パターン１乃至７においてオクルージョンファイル（occlusion file）の表示時に関係するデプス画像のデプスファイル群は、デプスファイル（depth1 file）群またはデプスファイル（depth2 file）群である。従って、オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群のRepresentation idであるvd1とデプスファイル（depth2 file）群のRepresentation idであるvd2が記述される。
また、クオリティファイル（quality1 file）群とクオリティファイル（quality2 file）群が１つのアダプテーションセット要素でグルーピングされる。
クオリティファイル用のアダプテーションセット要素には、SupplementalPropertyを用いて、テクスチャ画像、デプス画像、およびオクルージョン画像のうちの、再生すべき画像の組み合わせ、即ち再生時に使用候補となる画像の組み合わせを表すためのschemeIdUriである schemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”が記述可能になっている。schemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”のvalueとして、組み合わせを構成する画像のRepresentation idが記述される。
具体的には、上述した再生パターン１の再生に用いられるテクスチャ画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1””>が記述される。
同様に、再生パターン３の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1とデプスファイル（depth1 file）のRepresentation idであるvd1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd1””>が記述される。
再生パターン４の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1とデプスファイル（depth2 file）のRepresentation idであるvd2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd2””>が記述される。
再生パターン５の再生に用いられるテクスチャ画像、デプス画像、およびオクルージョン画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1、デプスファイル（depth1 file）のRepresentation idであるvd1、およびオクルージョンファイル(occlusion file)のRepresentation idであるvo1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd1 vo1””>が記述される。
再生パターン６の再生に用いられるテクスチャ画像、デプス画像、およびオクルージョン画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1、デプスファイル（depth2 file）のRepresentation idであるvd2、およびオクルージョンファイル(occlusion file)のRepresentation idであるvo1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd2 vo1””>が記述される。
再生パターン２の再生に用いられるテクスチャ画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015”>が記述される。
再生パターン７の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture2 file）のRepresentation idであるvt2とデプスファイル（depth2 file）のRepresentation idであるvd2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015”>が記述される。
以上のように、MPDファイルには、再生すべきパターンにおいて用いられる画像の組み合わせを構成する画像のRepresentation idが記述される。従って、動画再生端末１４は、MPDファイルを参照して再生を行うことにより、再生すべきパターン以外のパターンで再生を行わないようにすることができる。
また、クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群とクオリティファイル（quality2 file）群のそれぞれに対応するリプレゼンテーション要素が記述される。
クオリティファイル（quality1 file(depth)）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
また、クオリティファイル（quality1 file）に格納される品質情報は、デプスファイル（depth1 file）とデプスファイル（depth2 file）に格納されるデプス画像の品質情報である。従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群のRepresentation idであるvd1とデプスファイル（depth2 file）群のRepresentation idであるvd2が記述される。
これにより、動画再生端末１４は、クオリティファイル（quality1 file）群に格納される品質情報が、デプスファイル（depth1 file）群とデプスファイル（depth2 file）群に対応するデプス画像の品質情報であることを認識することができる。
しかしながら、クオリティファイル（quality1 file）の２つのトラックのうちのいずれのトラックに格納されている品質情報が、デプスファイル（depth1 file）群またはデプスファイル（depth2 file）群に格納されるデプス画像の品質情報であるかを認識することはできない。
従って、図１０のMPDファイルでは、トラックと対応付けることが可能なレベルごとにリプレゼンテーション要素を分割したサブリプレゼンテーション（SubRepresentation）要素が拡張され、サブリプレゼンテーション要素が、Representation要素と同様にassociationIdを有することを可能にする。これにより、クオリティファイル（quality1 file）の各トラックと、デプス画像を特定するRepresentationID（デプス関連画像特定情報）との対応関係を記述することができる。
具体的には、図１０の例では、クオリティファイル（quality1 file）に配置されるlevaボックス（LevelAssignmentBox）により、レベル１にデプスファイル（depth1 file）に格納されるデプス画像の品質情報を格納するトラックが対応付けられている。また、レベル２にデプスファイル（depth2 file）に格納されるデプス画像の品質情報を格納するトラックが対応付けられている。
従って、レベル１と、associationIDとしてのデプスファイル（depth1 file）のRepresentation idであるvd1とを対応付ける<SubRepresentation level=”1” associationId=”vd1”>が記述される。また、レベル２と、associationIDとしてのデプスファイル（depth2 file）のRepresentation idであるvd2とを対応付ける<SubRepresentation level=”2” associationId=”vd2”>が記述される。
また、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq2が記述され、BaseURLとして「quality2.mp4」が記述される。
クオリティファイル（quality2 file）に格納されるメタデータに含まれる品質情報は、オクルージョンファイル（occlusion file）に格納されるオクルージョン画像の品質情報である。従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、associationIDとしてオクルージョンファイル（occlusion file）群のRepresentation idであるvo1が記述される。
なお、図１０の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
（levaボックスの説明）
図１１は、MPDファイルが図１０のMPDファイルである場合にクオリティファイル（quality1 file）に配置されるlevaボックスを説明する図である。
図１１に示すように、複数のトラックを有するクオリティファイル（quality1 file）には、levaボックス（Level assignment box)が配置される。このlevaボックスでは、レベル１から順に、そのレベルに対応するトラックを特定する情報が記述されることにより、レベルとトラックの対応関係が記述される。
従って、動画再生端末１４は、levaボックスにより、MPDファイルのサブリプレゼンテーション要素が有するassociationIDに対応するトラックを特定することができる。具体的には、動画再生端末１４は、vd1であるassociationIDに対応するトラックを、レベル１に対応する先頭から１番目のトラック（quality track(depth1)）に特定することができる。また、動画再生端末１４は、vd2であるassociationIDに対応するトラックを、レベル２に対応する先頭から２番目のトラック（quality track(depth2)）に特定することができる。
（ファイル生成装置の処理の説明）
図１２は、図１のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
図１２のステップＳ１１において、ファイル生成装置１１の取得部８１は、動画コンテンツのテクスチャ画像、デプス画像、およびオクルージョン画像の画像データ、並びに、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像の符号化ストリームの品質情報を含むメタデータを取得する。そして、取得部８１は、取得された画像データとメタデータを符号化部８２に供給する。
ステップＳ１２において、符号化部８２は、取得部８１から供給されるテクスチャ画像の画像データを８Mbpsと４Mbpsで符号化し、デプス画像の画像データを２Mbpsと１Mbpsで符号化する。また、符号化部８２は、オクルージョン画像の画像データを１Mbpsで符号化する。さらに、符号化部８２は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像のメタデータを、それぞれ、所定のビットレートで符号化する。符号化部８２は、符号化の結果生成された符号化ストリームをセグメントファイル生成部８３に供給する。
ステップＳ１３において、セグメントファイル生成部８３は、符号化部８２から供給されるテクスチャ画像、デプス画像、およびオクルージョン画像の符号化ストリームを、ビットレートごとにセグメント単位でファイル化する。セグメントファイル生成部８３は、その結果生成されたテクスチャファイル、デプスファイル、およびオクルージョンファイルをアップロード部８５に供給する。
ステップＳ１４において、セグメントファイル生成部８３は、符号化部８２から供給されるメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。
ステップＳ１５において、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成し、アップロード部８５に供給する。
ステップＳ１６において、MPDファイル生成部８４は、MPDファイルを生成し、アップロード部８５に供給する。ステップＳ１７において、アップロード部８５は、テクスチャファイル、デプスファイル、オクルージョンファイル、クオリティファイル、およびMPDファイルを、Webサーバ１２にアップロードする。
以上のように、ファイル生成装置１１は、デプスオクルージョン画像の品質情報を、デプスオクルージョン画像の種類ごとに分割して異なるクオリティファイルに配置する。従って、デプスオクルージョン画像ごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、デプスオクルージョン画像の品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
また、動画再生端末１４は、テクスチャ画像とデプス画像を再生に用いる場合、デプス画像の品質情報のみを格納するクオリティファイル（quality1 file）から品質情報を取得することができる。従って、全てのデプスオクルージョン画像の品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、品質情報の取得効率を向上させることができる。
さらに、ファイル生成装置１１は、サブリプレゼンテーション要素にassociationIdを記述するMPDファイルを生成する。これにより、MPDファイルは、複数のデプスオクルージョン画像の品質情報のそれぞれが異なるトラックに分割して配置されるクオリティファイルの各トラックとデプスオクルージョン画像の対応関係を管理することができる。その結果、動画再生端末１４は、複数のデプスオクルージョン画像の品質情報のそれぞれが異なるトラックに分割して配置されるクオリティファイルから、各デプスオクルージョン画像の品質情報を抽出することができる。
また、ファイル生成装置１１は、再生すべきパターンの再生に用いられる画像の組み合わせを記述したMPDファイルを生成するので、動画再生端末１４に再生すべきパターンの再生のみを行わせることができる。その結果、例えば、動画コンテンツの製作者は、自分が意図した品質の画像をユーザに提供することができる。また、動画再生端末１４は、再生すべきパターンから再生パターンを選択すればよいため、再生可能な全ての再生パターンから再生パターンを選択する場合に比べて、処理負荷が軽減される。
（動画再生端末の機能的構成例）
図１３は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
ストリーミング再生部１００は、MPD取得部１０１、MPD処理部１０２、品質情報取得部１０３、復号部１０４、画像取得部１０５、復号部１０６、出力制御部１０７、および計測部１０８により構成される。
ストリーミング再生部１００のMPD取得部１０１は、MPDファイルをWebサーバ１２に要求し、取得する。MPD取得部１０１は、取得されたMPDファイルをMPD処理部１０２に供給する。
MPD処理部１０２は、MPD取得部１０１から供給されるMPDファイルを解析する。具体的には、MPD処理部１０２は、MPDファイルの各Representation要素が有するbandwidthを、そのRepresentation要素に対応する画像のビットレートとして取得する。
また、MPD処理部１０２は、MPDファイルのschemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”のvalueと、各Representation要素が有するRepresentation idから、再生すべきパターンの再生に用いられる画像の組み合わせを取得する。さらに、MPD処理部１０２は、MPDファイルの各Representation要素が有するBaseURLやサブリプレゼンテーション要素のassociationId等から、そのRepresentation要素に対応するセグメントファイル群のファイル名、各デプスオクルージョン画像の品質情報に対応するレベル等の取得情報を取得する。
MPD処理部１０２は、再生すべきパターンの中から再生パターンの候補を選択する。MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、および画像のビットレートに基づいて、デプスオクルージョン画像の取得候補のリストを作成する。MPD処理部１０２は、そのリストに登録されているデプスオクルージョン画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
例えば、デプスオクルージョン画像の取得候補のリストにデプス画像が登録されている場合、MPD処理部１０２は、クオリティファイル（quality1 file）内の、リストに登録されているデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。デプスオクルージョン画像の取得候補のリストにオクルージョン画像が登録されている場合、MPD処理部１０２は、クオリティファイル（quality2 file）内の、リストに登録されているオクルージョン画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
また、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、再生パターンの候補から再生パターンを選択する。MPD処理部１０２は、選択された再生パターンの再生において用いられるテクスチャファイルのテクスチャ画像の取得情報を画像取得部１０５に供給する。また、MPD処理部１０２は、選択された再生パターンの再生においてデプスオクルージョン画像のファイルが用いられる場合、そのデプスオクルージョン画像の取得情報を画像取得部１０５に供給する。
品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
復号部１０４は、品質情報取得部１０３から供給される符号化ストリームを復号し、品質情報を含むメタデータを生成する。復号部１０４は、品質情報をMPD処理部１０２に供給する。
画像取得部１０５、復号部１０６、および出力制御部１０７は、再生部として機能し、MPD処理部１０２から供給される取得情報に基づいて、テクスチャ画像のみ、または、テクスチャ画像とデプスオクルージョン画像を再生する。
具体的には、画像取得部１０５は、MPD処理部１０２から供給される取得情報に基づいて、テクスチャファイルやデプスオクルージョン画像のファイルの符号化ストリームをWebサーバ１２に要求し、取得する。画像取得部１０５は、取得された符号化ストリームを復号部１０４に供給する。
復号部１０６は、画像取得部１０５から供給される符号化ストリームを復号し、画像データを生成する。復号部１０６は、生成された画像データを出力制御部１０７に供給する。
出力制御部１０７は、復号部１０６から供給される画像データがテクスチャ画像の画像データのみである場合、そのテクスチャ画像の画像データに基づいて、動画再生端末１４が有する図示せぬディスプレイ等の表示部にテクスチャ画像を表示させる。
一方、出力制御部１０７は、復号部１０６から供給される画像データがテクスチャ画像とデプスオクルージョン画像の画像データである場合、そのテクスチャ画像とデプスオクルージョン画像の画像データに基づいて、３Ｄ画像の画像データを生成する。そして、出力制御部１０７は、生成された３Ｄ画像の画像データに基づいて、図示せぬディスプレイ等の表示部に３Ｄ画像を表示させる。
計測部１０８は、インターネット１３のネットワーク帯域を計測し、MPD処理部１０２に供給する。
（ストリーミング再生部の処理の第１の例の説明）
図１４は、図１３のストリーミング再生部１００の再生処理の第１の例を説明するフローチャートである。なお、図１４の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
図１４のステップＳ３１において、MPD取得部１０１は、MPDファイルをWebサーバ１２に要求し、取得する。MPD取得部１０１は、取得されたMPDファイルをMPD処理部１０２に供給する。
ステップＳ３２において、MPD処理部１０２は、MPD取得部１０１から供給されるMPDファイルを解析する。これにより、MPD処理部１０２は、各テクスチャ画像およびデプス画像のビットレート、再生すべきパターンでの再生に用いられる画像の組み合わせ、並びに、テクスチャ画像、デプス画像、および品質情報の取得情報を取得する。
ステップＳ３３において、MPD処理部１０２は、再生すべきパターンでの再生に用いられる画像の組み合わせに基づいて、再生すべきパターンの中からテクスチャ画像とデプス画像のみを用いて再生を行う再生パターン３，４、および７を、再生パターンの候補として選択する。以降のステップＳ３４乃至Ｓ４３の処理は、セグメント単位で行われる。
ステップＳ３４において、計測部１０８は、インターネット１３のネットワーク帯域を計測し、MPD処理部１０２に供給する。
ステップＳ３５において、MPD処理部１０２は、ネットワーク帯域と、各テクスチャ画像のビットレートとに基づいて、再生パターンの候補での再生に用いられるテクスチャ画像の中から、取得するテクスチャ画像を決定する。
例えば、MPD処理部１０２は、ネットワーク帯域の８０パーセントがテクスチャ画像の最大許容ビットレートであるものとし、再生パターンの候補での再生に用いられるテクスチャ画像のうちの、最大許容ビットレートより小さいビットレートのテクスチャ画像を、取得するテクスチャ画像に決定する。
ステップＳ３６において、MPD処理部１０２は、取得するテクスチャ画像を再生する再生パターンの候補とデプス画像のビットレートとに基づいて、デプス画像の取得候補のリストを作成する。
例えば、MPD処理部１０２は、ネットワーク帯域の２０パーセントがデプス画像の最大許容ビットレートであるものとする。そして、取得するテクスチャ画像がテクスチャファイル（texture1 file）のテクスチャ画像であり、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン３および４に基づいて、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像が登録されたリストを作成する。
一方、取得するテクスチャ画像がテクスチャファイル（texture2 file）のテクスチャ画像であり、デプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン７に基づいて、デプスファイル（depth2 file）のデプス画像が登録されたリストを作成する。
そして、MPD処理部１０２は、リストに登録されたデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。なお、取得するテクスチャ画像とともに再生すべきデプス画像の全てのビットレートが最大許容ビットレート以上である場合、デプス画像の取得候補のリストには何も登録されず、テクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ４３に進む。
ステップＳ３７において、品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、デプス画像の品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
ステップＳ３８において、復号部１０４は、品質情報取得部１０３から供給されるデプス画像の品質情報の符号化ストリームを復号し、デプス画像の品質情報を含むメタデータを生成する。復号部１０４は、デプス画像の品質情報をMPD処理部１０２に供給する。
ステップＳ３９において、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、デプス画像のリストに登録されているデプス画像から、取得するデプス画像を決定する。
例えば、MPD処理部１０２は、品質情報が表す品質が最も良いデプス画像、品質情報が表す品質が直前のセグメント（またはサブセグメント）のデプス画像の品質に最も近いデプス画像、または品質情報が表す品質が許容可能な品質であり、かつ、最もビットレートが小さいデプス画像を、取得するデプス画像に決定する。
品質情報が表す品質が直前のセグメント（またはサブセグメント）のデプス画像の品質に最も近いデプス画像が、取得するデプス画像に決定される場合、再生される３Ｄ画像の見た目の違和感を軽減することができる。MPD処理部１０２は、取得するデプス画像の取得情報を画像取得部１０５に供給する。
ステップＳ４０において、画像取得部１０５は、MPD処理部１０２から供給される取得情報に基づいて、テクスチャ画像およびデプス画像の符号化ストリームをWebサーバ１２に要求し、取得する。画像取得部１０５は、取得された符号化ストリームを復号部１０４に供給する。
ステップＳ４１において、画像取得部１０５から供給される符号化ストリームを復号し、テクスチャ画像とデプス画像の画像データを生成する。復号部１０６は、生成されたテクスチャ画像とデプス画像の画像データを出力制御部１０７に供給する。
ステップＳ４２において、出力制御部１０７は、復号部１０６から供給されるテクスチャ画像とデプス画像の画像データに基づいて、３Ｄ画像の画像データを生成し、図示せぬ表示部に３Ｄ画像を表示させる。
ステップＳ４３において、ストリーミング再生部１００は、動画コンテンツの最後のセグメントの画像を表示したかどうかを判定する。ステップＳ４３で動画コンテンツの最後のセグメントの画像をまだ表示していないと判定された場合、処理はステップＳ３４に戻る。
一方、ステップＳ４３で動画コンテンツの最後のセグメントの画像を表示したと判定された場合、処理は終了する。
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第１の例は、以下の点を除いて図１４の再生処理と同様である。
即ち、図１４のステップＳ３３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ３９とステップＳ４０の間で、デプス画像の品質情報についてのステップＳ３６乃至Ｓ３９の処理と同様に、オクルージョン画像の品質情報についての処理が行われる。
但し、この場合、テクスチャ画像、デプス画像、オクルージョン画像の最大許容ビットレートは、例えば、それぞれネットワーク帯域の７０パーセント、１５パーセント、１５パーセントとされる。さらに、ステップＳ４０乃至Ｓ４２の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
（ストリーミング再生部の処理の第２の例の説明）
図１５は、図１３のストリーミング再生部１００の再生処理の第２の例を説明するフローチャートである。なお、図１５の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
図１５の再生処理は、主に、テクスチャ画像とデプス画像の最大許容ビットレートのネットワーク帯域に対する割合が決められていない点が、図１４の再生処理と異なる。
図１５のステップＳ６１乃至Ｓ６４は、図１４のステップＳ３１乃至Ｓ３４の処理とそれぞれ同様であるので、説明は省略する。ステップＳ６４乃至Ｓ７３の処理は、セグメント単位で行われる。
ステップＳ６５において、MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、並びに、テクスチャ画像とデプス画像のビットレートに基づいて、テクスチャ画像およびデプス画像の組み合わせの取得候補のリストを作成する。
具体的には、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像の組み合わせのうちの、テクスチャ画像とデプス画像のビットレートの和がネットワーク帯域を超えないものが登録されたリストを作成する。
なお、テクスチャ画像とデプス画像のビットレートの下限を予め決定しておき、リストに登録された組み合わせのうち、少なくとも一方のビットレートが下限を下回る組み合わせを除外するようにしてもよい。
また、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像のビットレートの和の全てがネットワーク帯域を超えている場合、テクスチャ画像およびデプス画像の組み合わせの取得候補のリストには何も登録されない。そして、ネットワーク帯域を超えない最大のビットレートのテクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ７３に進む。
ステップＳ６６において、MPD処理部１０２は、ステップＳ６５で作成されたリストに登録されたデプス画像のリストを作成する。そして、MPD処理部１０２は、リストに登録されたデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
ステップＳ６７およびＳ６８の処理は、図１４のステップＳ３７およびＳ３８の処理とそれぞれ同様であるので、説明は省略する。
ステップＳ６９において、MPD処理部１０２は、品質情報に基づいて、テクスチャ画像およびデプス画像の組み合わせのリストに登録されている組み合わせの中から、取得するテクスチャ画像およびデプス画像の組み合わせを決定する。
例えば、MPD処理部１０２は、図１４のステップＳ３９と同様に取得するデプス画像を決定する。そして、MPD処理部１０２は、取得するデプス画像との組み合わせが組み合わせリストに登録されているテクスチャ画像のうちの、最もビットレートの高いテクスチャ画像を、取得するテクスチャ画像に決定する。
ステップＳ７０乃至Ｓ７３の処理は、図１４のステップＳ４０乃至Ｓ４３の処理とそれぞれ同様であるので、説明は省略する。
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第２の例は、以下の点を除いて図１５の再生処理と同様である。
即ち、図１５のステップＳ６３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ６５乃至Ｓ７２の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
以上のように、動画再生端末１４は、デプスオクルージョン画像の品質情報を取得するので、その品質情報に基づいて、適切なデプスオクルージョン画像を取得することができる。
＜第２実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第２実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、テクスチャ画像ごとに分割され、異なるクオリティファイルに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
図１６は、本開示を適用した情報処理システムの第２実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図１６のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
図１６に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報の符号化ストリームを、その符号化ストリームとの再生に用いられるべきテクスチャ画像ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるクオリティファイルに配置することにより、クオリティファイルを生成する。
具体的には、再生すべきパターンでの再生においてテクスチャファイル（texture1 file）とともに再生に用いられるデプスオクルージョン画像は、２Mbpsおよび１Mpbsのデプス画像と１Mpbsのオクルージョン画像である。従って、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。
クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(depth1),quality track(depth2) ,quality track(occlusion1)）に配置される。
また、再生すべきパターンでの再生においてテクスチャファイル（texture2 file）とともに再生に用いられるデプスオクルージョン画像は、１Mpbsのデプス画像である。従って、セグメントファイル生成部８３は、１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。
以上のように、セグメントファイル生成部８３は、品質情報を含むメタデータの符号化ストリームを、テクスチャ画像ごとに別々にファイル化する。従って、動画再生端末１４は、取得するテクスチャ画像のクオリティファイルから品質情報を取得することにより、そのテクスチャ画像とともに再生すべきパターンでの再生に用いられるデプスオクルージョン画像の品質情報を容易に取得することができる。
即ち、クオリティファイルには、そのクオリティファイルに対応するテクスチャ画像とともに再生すべきパターンでの再生において用いられるデプスオクルージョン画像の品質情報のみが格納されている。従って、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、まとめてファイル化される場合に比べて、取得するテクスチャ画像とともに再生に用いられるべきデプスオクルージョン画像の品質情報を容易に取得することができる。
また、図示は省略するが、第２実施の形態におけるMPDファイルは、下記の点を除いて、図１０のMPDファイルと同様である。即ち、第２実施の形態におけるMPDファイルでは、クオリティファイル（quality1 file）のリプレゼンテーション要素が有するassociationIDは、vd1とvd2だけでなく、vo1も含む。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル３とassociationIDとしてのvo1を有するサブリプレゼンテーション要素をさらに含む。さらに、クオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vo1ではなくvd2である。
さらに、図示は省略するが、第２実施の形態におけるファイル生成処理は、ステップＳ１４において品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、テクスチャ画像ごとに分割される点を除いて、図１２のファイル生成処理と同一である。
また、図示は省略するが、第２実施の形態における再生処理は、ステップＳ３６において、MPD処理部１０２が、リストに登録されたデプス画像の品質情報の取得情報のうちの、取得するテクスチャ画像のクオリティファイルに格納される品質情報の取得情報を、品質情報取得部１０３に供給する点を除いて、図１４の再生処理と同一である。
以上のように、第２実施の形態におけるファイル生成装置１１は、デプスオクルージョン画像の品質情報を、そのデプスオクルージョン画像とともに再生すべきテクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、デプスオクルージョン画像ごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、デプスオクルージョン画像の品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
また、動画再生端末１４は、再生対象のテクスチャ画像とともに再生すべきデプスオクルージョン画像の品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全てのデプスオクルージョン画像の品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、品質情報の取得効率を向上させることができる。
＜第３実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第３実施の形態の構成は、主に、デプスオクルージョン画像の品質情報が、再生すべきパターンにおいて再生されるテクスチャ画像または３Ｄ画像の品質情報に代わる点、および、品質情報の符号化ストリームが、その品質情報に対応する再生パターンの種類ごとに分割されて異なるクオリティファイルに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
図１７は、本開示を適用した情報処理システムの第３実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図１７のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
図１７に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、再生パターンの種類ごとに３つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
具体的には、セグメントファイル生成部８３は、テクスチャ画像のみを用いて再生を行う再生パターン１および２の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(texture1),quality track(texture2)）に配置される。
また、セグメントファイル生成部８３は、テクスチャ画像とデプス画像のみを用いて再生を行う再生パターン３，４、および７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth1), quality track(texture1+depth2) ,quality track(texture2+depth2)）に配置される。
さらに、セグメントファイル生成部８３は、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて再生を行う再生パターン５および６の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality3 file）を生成する。クオリティファイル（quality3 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth1+occlusion1), quality track(texture1+depth2+occlusion1)）に配置される。
以上のように、セグメントファイル生成部８３は、再生すべきパターンにおいて再生されるテクスチャ画像または３Ｄ画像の品質情報を含むメタデータの符号化ストリームをクオリティファイルに配置する。従って、動画再生端末１４は、品質情報に基づいて、最終的に再生されるテクスチャ画像または３Ｄ画像の品質が高い再生を行うことができる。
また、セグメントファイル生成部８３は、再生すべきパターンの品質情報の符号化ストリームを、再生パターンの種類ごとに別々にファイル化する。従って、動画再生端末１４は、候補とする再生パターンの種類のクオリティファイルから、候補とする再生パターンの品質情報を容易に取得することができる。
これに対して、全ての再生パターンの品質情報の符号化ストリームが、まとめてファイル化される場合、候補とする再生パターンの種類ではない不要な再生パターンの品質情報も含むファイルから、候補とする再生パターンの品質情報を取得する必要がある。
（MPDファイルの記述例）
図１８は、第３実施の形態におけるMPDファイルの記述例を示す図である。
図１８のMPDファイルの記述は、クオリティファイル用のアダプテーションセット要素を除いて、図１０の記述と同一である。
図１８のMPDファイルでは、クオリティファイル（quality1 file）群、クオリティファイル（quality2 file）群、およびクオリティファイル（quality3 file）群が、１つのアダプテーションセット要素でグルーピングされる。
クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群、クオリティファイル（quality2 file）群、およびクオリティファイル（quality3 file）群のそれぞれに対応するリプレゼンテーション要素が記述される。
クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
また、クオリティファイル（quality1 file）に格納される品質情報は、テクスチャファイル（texture1 file）とテクスチャファイル（texture2 file）の品質情報である。従って、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群のRepresentation idであるvt1およびvt2が記述される。
さらに、図１８の例では、レベル１およびレベル２に対応するトラックが、それぞれ、テクスチャファイル（texture1 file）の品質情報、テクスチャファイル（texture2 file）の品質情報を格納している。
従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル（texture1 file）のRepresentation idであるvt1とを対応付ける<SubRepresentation level=”1” associationId=”vt1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル（texture2 file）のRepresentation idであるvt2とを対応付ける<SubRepresentation level=”2” associationId=”vt2”>が記述される。即ち、クオリティファイル（quality1 file）の各トラックと、テクスチャ画像を特定するRepresentationID（テクスチャ画像特定情報）との対応関係が記述される。
また、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq2が記述され、BaseURLとして「quality2.mp4」が記述される。
また、クオリティファイル（quality2 file）に格納される品質情報は、テクスチャファイル(texture1 file)とデプスファイル（depth1 file)を用いて再生される３Ｄ画像、テクスチャファイル(texture1 file)とデプスファイル（depth2 file)を用いて再生される３Ｄ画像、テクスチャファイル（texture2 file）とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報である。
従って、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル(texture1 file)、テクスチャファイル（texture2 file）、デプスファイル（depth1 file)、およびデプスファイル（depth2 file)のRepresentation idであるvt1,vt2,vd1、およびvd2が記述される。
さらに、図１８の例では、レベル１に対応するトラックがテクスチャファイル(texture1 file)とデプスファイル（depth1 file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル２に対応するトラックがテクスチャファイル(texture1 file)とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル３に対応するトラックがテクスチャファイル（texture2 file）とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報を格納する。
従って、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル(texture1 file)とデプスファイル（depth1 file)のRepresentation idであるvt1とvd1とを対応付ける<SubRepresentation level=”1” associationId=”vt1 vd1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル(texture1 file)とデプスファイル（depth2 file)のRepresentation idであるvt1とvd2とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vd2”>が記述される。
さらに、レベル３と、associationIDとしてのテクスチャファイル(texture2 file)とデプスファイル（depth2 file)のRepresentation idであるvt2とvd2とを対応付ける<SubRepresentation level=”3” associationId=”vt2 vd2”>が記述される。
また、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq3が記述され、BaseURLとして「quality3.mp4」が記述される。
また、クオリティファイル（quality3 file）に格納される品質情報は、テクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像と、テクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報である。
従って、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル(texture1 file)、デプスファイル（depth1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd1,vd2、およびvo1が記述される。
さらに、図１８の例では、レベル１に対応するトラックがテクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル２に対応するトラックがテクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報を格納する。
従って、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd1、およびvo1とを対応付ける<SubRepresentation level=”1” associationId=”vt1 vd1 vo1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd2、およびvo1とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vd2 vo1”>が記述される。
なお、図１８の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
また、図示は省略するが、第３実施の形態におけるファイル生成処理は、ステップＳ１１において取得される品質情報が、再生すべきパターンで再生されるテクスチャ画像または３Ｄ画像の品質情報である点、および、ステップＳ１４において品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、再生パターンの種類ごとに分割される点を除いて、図１２のファイル生成処理と同一である。
（ストリーミング再生部の処理の第１の例の説明）
図１９は、第３実施の形態におけるストリーミング再生部１００の再生処理の第１の例を説明するフローチャートである。なお、図１９の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
図１９のステップＳ９１乃至Ｓ９５の処理は、図１４のステップＳ３１乃至Ｓ３５の処理とそれぞれ同様であるので、説明は省略する。ステップＳ９４乃至Ｓ１０３の処理は、セグメント単位で行われる。
ステップＳ９６において、MPD処理部１０２は、取得するテクスチャ画像を再生する再生パターンのリストを作成する。
例えば、MPD処理部１０２は、ネットワーク帯域の２０パーセントがデプス画像の最大許容ビットレートであるものとする。そして、取得するテクスチャ画像がテクスチャファイル（texture1 file）のテクスチャ画像であり、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン３および４が登録されたリストを作成する。
一方、取得するテクスチャ画像がテクスチャファイル（texture2 file）のテクスチャ画像であり、デプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン７が登録されたリストを作成する。そして、MPD処理部１０２は、リストに登録された再生パターンの品質情報の取得情報を、品質情報取得部１０３に供給する。
なお、取得するテクスチャ画像とともに再生すべきデプス画像の全てのビットレートが最大許容ビットレート以上である場合、デプス画像の取得候補のリストには何も登録されず、テクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ１０３に進む。
ステップＳ９７において、品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、所定の再生パターンの品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
ステップＳ９８において、復号部１０４は、品質情報取得部１０３から供給される所定の再生パターンの品質情報の符号化ストリームを復号し、所定の再生パターンの品質情報を含むメタデータを生成する。復号部１０４は、所定の再生パターンの品質情報をMPD処理部１０２に供給する。
ステップＳ９９において、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、リストに登録されている再生パターンの再生に用いられるデプス画像の中から、取得するデプス画像を決定する。
例えば、MPD処理部１０２は、品質情報が表す品質が最も良い再生パターン、品質情報が表す品質が直前のセグメント（またはサブセグメント）の再生パターンの品質に最も近い再生パターン、または品質情報が表す品質が許容可能な品質であり、かつ、最もビットレートが小さい再生パターンでの再生に用いられるデプス画像を、取得するデプス画像に決定する。
品質情報が表す品質が直前のセグメント（またはサブセグメント）の再生パターンの品質に最も近い再生パターンでの再生に用いられるデプス画像が、取得するデプス画像に決定される場合、再生される３Ｄ画像の見た目の違和感を軽減することができる。MPD処理部１０２は、取得するデプス画像の取得情報を画像取得部１０５に供給する。
ステップＳ１００乃至Ｓ１０３の処理は、図１４のステップＳ４０乃至Ｓ４３の処理と同様であるので、説明は省略する。
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理は、以下の点を除いて図１９の再生処理と同様である。
即ち、図１９のステップＳ９３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ９９乃至Ｓ１０２の処理におけるデプス画像がデプス画像とオクルージョン画像に代わる。なお、この場合、テクスチャ画像、デプス画像、オクルージョン画像の最大許容ビットレートは、例えば、それぞれネットワーク帯域の７０パーセント、１５パーセント、１５パーセントとされる。
（ストリーミング再生部の処理の第２の例の説明）
図２０は、第３実施の形態におけるストリーミング再生部１００の再生処理の第２の例を説明するフローチャートである。なお、図２０の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
図２０の再生処理は、主に、テクスチャ画像とデプス画像の最大許容ビットレートのネットワーク帯域に対する割合が決められていない点が、図１９の再生処理と異なる。
図２０のステップＳ１２１乃至Ｓ１２４は、図１９のステップＳ９１乃至Ｓ９４の処理と同様であるので、説明は省略する。ステップＳ１２４乃至Ｓ１３２の処理は、セグメント単位で行われる。
ステップＳ１２５において、MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、並びに、テクスチャ画像とデプス画像のビットレートに基づいて、再生パターンのリストを作成する。
具体的には、再生パターン３，４、および７のうちの、再生に用いられるテクスチャ画像とデプス画像のビットレートの和がネットワーク帯域を超えないものが登録されたリストを作成する。
なお、テクスチャ画像とデプス画像のビットレートの下限を予め決定しておき、リストに登録された再生パターンのうち、再生に用いられるテクスチャ画像とデプス画像の少なくとも一方のビットレートが下限を下回る再生パターンを除外するようにしてもよい。
また、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像のビットレートの和の全てがネットワーク帯域を超えている場合、再生パターンのリストには何も登録されない。そして、ネットワーク帯域を超えない最大のビットレートのテクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ１３２に進む。
ステップＳ１２６およびＳ１２７の処理は、図１９のステップＳ９７およびＳ９８の処理と同様であるので、説明は省略する。
ステップＳ１２８において、MPD処理部１０２は、品質情報に基づいて、リストに登録されている再生パターンでの再生に用いられるテクスチャ画像およびデプス画像の組み合わせの中から、図１５のＳ６９の処理と同様に、取得するテクスチャ画像およびデプス画像の組み合わせを決定する。
ステップＳ１２９乃至Ｓ１３２の処理は、図１９のステップＳ１００乃至Ｓ１０３の処理と同様であるので、説明は省略する。
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第２の例は、以下の点を除いて図２０の再生処理と同様である。
即ち、図２０のステップＳ１２３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ１２８乃至Ｓ１３１の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
以上のように、第３実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、再生パターンの種類ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
また、動画再生端末１４は、候補とする種類の再生パターンの品質情報のみを格納するクオリティファイルから品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、候補とする再生パターンの品質情報の取得効率を向上させることができる。
＜第４実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第４実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが再生パターンの種類ではなく、再生に用いられるテクスチャ画像ごとに分割され、異なるクオリティファイルに配置される点を除いて、第３実施の形態の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
図２１は、本開示を適用した情報処理システムの第４実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図２１のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
図２１に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、各再生パターンでの再生に用いられるテクスチャ画像ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
具体的には、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）を用いて再生を行う再生パターン１乃至５の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(texture1),quality track(texture1+depth1),quality track(texture1+depth2),quality track(texture1+depth1+occlusion),quality track(texture1+depth2+occlusion)）に配置される。
また、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）を用いて再生を行う再生パターン６および７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture2),quality track(texture2+depth2)）に配置される。
以上のように、セグメントファイル生成部８３は、再生パターンの品質情報の符号化ストリームを、テクスチャ画像ごとに別々にファイル化する。従って、動画再生端末１４は、取得するテクスチャ画像のクオリティファイルから品質情報を取得することにより、そのテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報を容易に取得することができる。
また、図示は省略するが、第４実施の形態におけるMPDファイルは、下記の点を除いて、図１８のMPDファイルと同様である。即ち、第４実施の形態におけるMPDファイルでは、クオリティファイル用のアダプテーションセット要素に含まれるリプレゼンテーション要素の数は２つである。
１つ目のクオリティファイル（quality1 file）群のリプレゼンテーション要素が有するassociationIDは、vt1,vt2,vd1,vd2、およびvo1である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1、レベル２とassociationIDとしてのvt1およびvd1、レベル３とassociationIDとしてのvt1およびvd2、レベル４とassociationID としてのvt1,vd1、およびvo1、レベル５と、associationIDとしてのvt1,vd2、およびvo1をそれぞれ有する５つのサブリプレゼンテーション要素を含む。
２つ目のクオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vt2とvd2である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt2、レベル２とassociationIDとしてのvt2およびvd2をそれぞれ有する２つのサブリプレゼンテーション要素を含む。
さらに、図示は省略するが、第４実施の形態におけるファイル生成処理は、品質情報を含むメタデータの符号化ストリームが再生パターンの種類ではなく、テクスチャ画像ごとに分割される点を除いて、第３実施の形態におけるファイル生成処理と同一である。
また、図示は省略するが、第４実施の形態における再生処理は、図１９や図２０の再生処理と同一である。
以上のように、第４実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、テクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、再生すべきパターンの品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
また、動画再生端末１４は、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報の取得効率を向上させることができる。
＜第５実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第５実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが再生パターンの種類だけでなく、テクスチャ画像ごとにも分割され、異なるクオリティファイルに配置される点を除いて、第３実施の形態の構成と同一である。即ち、第５実施の形態は、第３実施の形態と第４実施の形態を組み合わせたものである。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
図２２は、本開示を適用した情報処理システムの第５実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図２２のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
図２２に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、再生パターンの種類、および、各再生パターンでの再生に用いられるテクスチャ画像ごとに、５つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
具体的には、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）のみを用いて再生を行う再生パターン１の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。
また、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）とデプスファイルのみを用いて再生を行う再生パターン３および４の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth1),quality track(texture1+depth2)）に配置される。
さらに、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）、デプスファイル、およびオクルージョンファイルを用いて再生を行う再生パターン５および６の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality3 file）を生成する。クオリティファイル（quality3 file）では、各符号化ストリームが、異なるトラック（quality track(texture1+depth1+occlusion),quality track(texture1+depth2+occlusion)）に配置される。
また、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）のみを用いて再生を行う再生パターン２の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality4 file）を生成する。
さらに、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）とデプスファイルのみを用いて再生を行う再生パターン７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality5 file）を生成する。
以上のように、セグメントファイル生成部８３は、再生パターンの品質情報の符号化ストリームを、再生パターンの種類およびテクスチャ画像ごとに別々にファイル化する。従って、候補とする再生パターンの種類であり、かつ再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンのクオリティファイルから、そのテクスチャ画像を用いて再生を行う、候補とする種類の再生すべきパターンの品質情報を容易に取得することができる。
また、図示は省略するが、第５実施の形態におけるMPDファイルは、下記の点を除いて、図１８のMPDファイルと同様である。即ち、第５実施の形態におけるMPDファイルでは、クオリティファイル用のアダプテーションセット要素に含まれるリプレゼンテーション要素の数は５つである。
１つ目のクオリティファイル（quality1 file）のリプレゼンテーション要素が有するassociationIDはvt1であり、４つ目のクオリティファイル（quality4 file）のリプレゼンテーション要素が有するassociationIDはvt2である。５つ目のクオリティファイル（quality5 file）のリプレゼンテーション要素が有するassociationIDはvt2とvd2である。
２つ目のクオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vt1,vd1、およびvd2である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1およびvd1、レベル２とassociationIDとしてのvt1およびvd2をそれぞれ有するサブリプレゼンテーション要素を含む。
３つ目のクオリティファイル（quality3 file）のリプレゼンテーション要素が有するassociationIDは、vt1,vd1,vd2、およびvo1である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1,vd1、およびvo1、レベル２とassociationIDとしてのvt1,vd2、およびvo1をそれぞれ有するサブリプレゼンテーション要素を含む。
さらに、図示は省略するが、第５実施の形態におけるファイル生成処理は、品質情報を含むメタデータの符号化ストリームが再生パターンの種類だけでなく、テクスチャ画像ごとにも分割される点を除いて、第３実施の形態におけるファイル生成処理と同一である。また、図示は省略するが、第５実施の形態における再生処理は、図１９や図２０の再生処理と同一である。
以上のように、第５実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、再生パターンの種類およびテクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、再生すべきパターンの品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
また、動画再生端末１４は、候補とする再生パターンの種類の、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、候補とする再生パターンの種類の、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報の取得効率を向上させることができる。
＜第６実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第６実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが１つのクオリティファイルにまとめて配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
図２３は、本開示を適用した情報処理システムの第６実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図２３のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
図２３に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報を含むメタデータの符号化ストリームを、セグメント単位で、１つのクオリティファイル（quality1 file）に配置することにより、１つのクオリティファイル（quality1 file）を生成する。
クオリティファイル（quality1 file）では、各符号化ストリームに異なるトラック（quality track(depth1),quality track(depth2),quality track(Occlusion1)）が割り当てられる。
（MPDファイルの記述例）
図２４は、第６実施の形態におけるMPDファイルの記述例を示す図である。
図２４のMPDファイルの構成は、クオリティファイル用のアダプテーションセット（AdaptationSet）要素を除いて、図１０の構成と同一である。
図２４のMPDファイルでは、クオリティファイル（quality1 file）群が、１つのアダプテーションセット要素でグルーピングされる。
クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素が記述される。クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
また、クオリティファイル（quality1 file）に格納される品質情報は、デプスファイル（depth1 file）、デプスファイル（depth2 file）、およびオクルージョンファイル（occlusion1 file）の品質情報である。従って、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群、デプスファイル（depth2 file）群、およびオクルージョンファイル（occlusion1 file）群のRepresentation idであるvd1,vd2、およびvo1が記述される。
さらに、図２４の例では、レベル１乃至レベル３に対応するトラックが、それぞれ、デプスファイル（depth1 file）、デプスファイル（depth2 file）、オクルージョンファイル（occlusion1 file）の品質情報を格納している。
従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのデプスファイル（depth1 file）のRepresentation idであるvd1とを対応付ける<SubRepresentation level=”1” associationId=”vd1”>が記述される。レベル２と、associationIDとしてのデプスファイル（depth2 file）のRepresentation idであるvd2とを対応付ける<SubRepresentation level=”2” associationId=”vd2”>が記述される。レベル３と、associationIDとしてのオクルージョンファイル（occlusion1 file）のRepresentation idであるvo1とを対応付ける<SubRepresentation level=”3” associationId=”vo1”>が記述される。
なお、図２４の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
また、図示は省略するが、第６実施の形態におけるファイル生成処理は、ステップＳ１４の処理が行われず、ステップＳ１５において品質情報を含むメタデータの符号化ストリームがセグメント単位で１つのクオリティファイルに配置される点を除いて、図１２のファイル生成処理と同一である。
また、図示は省略するが、第６実施の形態における再生処理は、図１４や図１５の再生処理と同一である。
なお、第１および第６実施の形態では、再生すべきパターンにおける画像の組み合わせがMPDファイルに記述されたが、記述されなくてもよい。この場合、組み合わせ可能な画像の全ての組み合わせを用いた再生パターンから、再生パターンの候補が選択される。
また、品質情報の符号化ストリームは、符号化ストリームごとに異なるクオリティファイルに配置されるようにしてもよい。
＜第７実施の形態＞
（セグメントファイルの構成例）
本開示を適用した情報処理システムの第７実施の形態の構成は、主に、デプスオクルージョン画像の符号化ストリームとデプスオクルージョン画像の品質情報の符号化ストリームが、デプスオクルージョン画像の種類ごとに分割されて異なるセグメントファイルに配置される点、および、同一のセグメントファイル内の品質情報の符号化ストリームは同一のトラックに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、デプスオクルージョン画像の種類ごとのセグメントファイルに関する説明以外の説明は適宜省略する。
図２５は、本開示を適用した情報処理システムの第７実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図２５のテクスチャファイルは、図５のテクスチャファイルと同一である。図２５に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像並びに１Mpbsのオクルージョン画像の品質情報の符号化ストリームと、２Mbpsおよび１Mpbsのデプス画像並びに１Mpbsのオクルージョン画像の符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。
そして、セグメントファイル生成部８３は、セグメント単位で、分割された２Mbpsおよび１Mpbsのデプス画像の符号化ストリーム並びに２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームを配置したセグメントファイルを生成する。
具体的には、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の符号化ストリーム並びに２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームを配置したデプスファイル（depth1 file）を生成する。
デプスファイル(depth1 file)では、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームが同一のトラック（quality1 track）に配置され、２Mbpsのデプス画像の符号化ストリームと１Mpbsのデプス画像の符号化ストリームがそれぞれ別のトラック(depth1 track,depth2 track)に配置される。
従って、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームのトラック（quality1 track）では、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームの両方がまとめてサンプル化されている。
また、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像の符号化ストリームおよび１Mpbsのオクルージョン画像の品質情報の符号化ストリームを配置したオクルージョンファイル（occlusion1 file）を生成する。
以上のように、第７実施の形態では、同一のデプスオクルージョン画像のセグメントファイルに配置される品質情報の符号化ストリームは、同一のトラックに配置される。従って、同一のデプスオクルージョン画像のセグメントファイルに配置される品質情報の符号化ストリームが、符号化ストリームごとに異なるトラックに配置される場合に比べて、デプスオクルージョン画像のセグメントファイル内のトラック数を削減することができる。その結果、デプスオクルージョン画像のセグメントファイルのサイズを小さくすることができる。また、動画再生端末１４の負荷を軽減することができる。
（サンプルの構成例）
図２６は、図２５のトラック（quality1 track）のサンプルの構成例を示す図である。
図２６に示すように、トラック（quality1 track）のサンプルは、２つのサブサンプルに分割され、各サブサンプルには、２Mbpsおよび１Mpbsのデプス画像の符号化ストリームのそれぞれが分割して配置される。
図２６の例では、ｉ番目（ｉ=1,2,...,n）のサンプルの１つ目のサブサンプルに２Mbpsのデプス画像の符号化ストリーム（Depth1 Quality i）が配置され、２つ目のサブサンプルに１Mbpsのデプス画像の符号化ストリーム（Depth2 Quality i）が配置されている。サブサンプルの詳細については、ISO/IEC 23001-10に記載されている。
（デプスファイルのmoovボックスの構成例）
図２７は、デプスファイル(depth1 file)のmoovボックス（movie box）の構成例を示す図である。
図２７に示すように、デプスファイル(depth1 file)のmoovボックスには、トラックごとにtrakボックスが配置される。trakボックスには、トラックに固有のＩＤであるトラックＩＤ（track_ID）を記述するtkhdボックス（track header box）が配置される。
図２７の例では、２Mbpsのデプス画像の符号化ストリームが配置されるトラック（depth1 track）のトラックＩＤが１であり、１Mpbsのデプス画像の符号化ストリームが配置されるトラック（depth2 track）のトラックＩＤが２である。また、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームが配置されるトラック（quality1 track）のトラックＩＤが３である。
trakボックスにはまた、自分のトラックと関係する他のトラックのトラックＩＤを記述するtrefボックス（track reference）を配置することができる。具体的には、トラック（quality1 track）は、トラック（depth1 track）とトラック（depth2 track）に配置されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納するトラックである。従って、トラック（quality1 track）には、トラック（depth1 track）とトラック（depth2 track）のトラックＩＤである１と２を記述するtrefボックスが配置される。
これにより、動画再生端末１４は、トラック（quality1 track）が、トラック（depth1 track）とトラック（depth2 track）に配置されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納していることを認識することができる。
しかしながら、動画再生端末１４は、トラック（quality1 track）のどのサブサンプルが、トラック（depth1 track）またはトラック（depth2 track）に格納されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納しているかを認識することはできない。
従って、第７実施の形態では、サブサンプルと、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプスオクルージョン画像のトラックを特定するトラックＩＤ(トラック特定情報)との対応関係（以下、サブサンプルトラック対応関係という）が記述される。これにより、動画再生端末１４は、各サブサンプルに格納されるデプスオクルージョン画像の符号化ストリームの品質情報を認識することができる。その結果、動画再生端末１４は、トラック（quality1 track）から各デプスオクルージョン画像の品質情報の符号化ストリームを取得することができる。
第７実施の形態では、サブサンプルトラック対応関係が、デプスオクルージョン画像のセグメントファイル内のQualityMetricsConfigurationBox,QualityMetricsSampleEntry,SubsampleInformationBox、またはSubsampleReferenceBoxに記述されるようにするが、これら以外のボックスに記述されるようにしてもよい。
（QualityMetricsConfigurationBoxの記述例）
図２８は、サブサンプルトラック対応関係が、トラック（quality1 track）のtrakボックスに配置されるQualityMetricsConfigurationBoxに記述される場合のQualityMetricsConfigurationBoxの記述例を示す図である。
図２８のQualityMetricsConfigurationBoxでは、field_size_bytesとmetric_countが記述され、metric_count分だけmetric_codeが記述される。field_size_bytes,metric_count、およびmetric_countは、クオリティファイルはトラック（quality1 track）に代わる点を除いて、図６の場合と同様である。
第７実施の形態では、クオリティファイルはトラック（quality1 track）のサンプルに、トラック（depth1 track）とトラック（depth2 track）の２種類の品質情報の符号化ストリームが格納される。従って、metric_countは２である。
また、QualityMetricsConfigurationBoxでは、サブサンプルトラック対応関係が記述可能であることを示す１が、flagとして設定される。
flagが１である場合、QualityMetricsConfigurationBoxには、metric_codeごとに、トラック（quality1 track）を含むデプスファイル（depth1 file）内に参照するトラックが存在するかどうかを示すreferenced_track_in_file_flagが記述される。
各metric_codeのreferenced_track_in_file_flagが１である場合、QualityMetricsConfigurationBoxには、そのmetric_codeに対応するサブサンプルのreference_track_id_numと、reference_track_id_num個のtrack_idとが記述される。
reference_track_id_numは、参照するデプスファイル（depth1 file）内のトラックの数である。track_idは、参照するデプスファイル（depth1 file）内のトラックのトラックＩＤである。
第７実施の形態では、トラック（quality1 track）のサンプル内の１つ目のサブサンプルは、デプスファイル（depth1 file）内のトラック（depth1 track）に対応し、２つ目のサブサンプルは、トラック（depth2 track）に対応する。従って、各サブサンプルに対応するmetric_code のreferenced_track_in_file_flagは、トラック（quality1 track）を含むデプスファイル（depth1 file）内に参照するトラックが存在することを示す１に設定される。
また、各サブサンプルに対応するmetric_codeのreference_track_id_numは１である。さらに、１つ目のサブサンプルに対応するmetric_codeのtrack_idは、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプス画像のトラック（depth1 track）を特定するトラックＩＤ(トラック特定情報)である１である。また、２つ目のサブサンプルに対応するmetric_codeのtrack_idは、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプス画像のトラック（depth2 track）のトラックＩＤである２である。
以上のように、QualityMetricsConfigurationBoxでは、サンプルに配置される順に、サブサンプルに対応するデプス画像のトラックＩＤが記述されることにより、サブサンプルトラック対応関係が記述される。
（QualityMetricsSampleEntryの記述例）
図２９は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるQualityMetricsSampleEntryに記述される場合のQualityMetricsSampleEntryの記述例を示す図である。
図２９のQualityMetricsSampleEntryには、QualityMetricsReferenceBoxが配置される。QualityMetricsReferenceBoxには、図２８のQualityMetricsConfigurationBoxと同様に、metric_countが記述される。また、QualityMetricsConfigurationBoxのmetric_codeの順で、referenced_track_in_file_flagが記述され、各metric_codeのreferenced_track_in_file_flagが１である場合、そのmetric_codeのreference_track_id_numとreference_track_id_num分のtrack_idが記述される。
（SubsampleInformationBoxの記述例）
図３０は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるSubsampleInformationBoxに記述される場合のSubsampleInformationBoxの記述例を示す図である。
SubsampleInformationBoxは、サブサンプルに関する情報を記述するボックスである。trakボックスは、flagsの値の異なるSubSampleInformationBoxを複数有することができる。図３０のSubsampleInformationBoxでは、サブサンプルトラック対応関係が記述可能であることを示す２が、versionとして設定される。
versionが１より大きい場合、SubsampleInformationBoxには、サブサンプルごとに、track_reference_is_exist_flagとreferenced_track_in_file_flagが記述される。track_reference_is_exist_flagは、サブサンプルトラック対応関係を記述可能にする拡張が必要であるかどうかを示すフラグである。これにより、versionとして３以上の値が設定される場合に、サブサンプルトラック対応関係を記述可能にする拡張が無駄に行われることを防止することができる。
第７実施の形態では、サブサンプルトラック対応関係を記述可能にする拡張が必要であるため、track_reference_is_exist_flagは、サブサンプルトラック対応関係を記述可能にする拡張が必要であることを示す１に設定される。
各サブサンプルのtrack_reference_is_exist_flagとreferenced_track_in_file_flagの両方が１である場合、SubsampleInformationBoxには、そのサブサンプルのreference_track_id_numとreference_track_id_num個のtrack_idとが記述される。
（SubsampleReferenceBoxの記述例）
図３１は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるSubsampleReferenceBoxに記述される場合のSubsampleReferenceBoxの記述例を示す図である。
図３１のSubsampleReferenceBoxには、サブサンプルごとに、referenced_track_in_file_flagが記述され、各サブサンプルのreferenced_track_in_file_flagが１である場合、そのサブサンプルのreference_track_id_numとreference_track_id_num 分のtrack_idが記述される。
（MPDファイルの記述例）
図３２は、第７実施の形態におけるMPDファイルの記述例を示す図である。
図３２のMPDファイルの構成は、デプスファイル用のアダプテーションセット要素およびオクルージョンファイル用のアダプテーションセット要素の構成、並びに、クオリティファイル用のアダプテーションセット要素が設けられない点を除いて、図１０のMPDファイルの構成と同一である。
図３２のデプスファイル用のアダプテーションセット要素には、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素が記述される。
デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd1が記述され、BaseURLとして「depth1.mp4」が記述される。なお、図３２の例では、bandwidthが記述されていないが、bandwidthが記述されてもよい。
また、デプスファイル（depth1 file）とともに再生すべきテクスチャファイルは、テクスチャファイル（texture1 file）またはテクスチャファイル（texture2 file）である。従って、デプスファイル（depth1 file）に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）とテクスチャファイル（texture2 file）のRepresentation idであるvt1とvt2が記述される。
さらに、図３２の例では、levaボックスにより、レベル１および２のそれぞれに、トラック(depth1 track)、トラック(depth2 track)が対応付けられている。
従って、図３２のデプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしての、トラック(depth1 track)とともに再生すべきテクスチャファイル（texture1 file）のRepresentation idであるvt1とを対応付ける<SubRepresentation level=”1” associationId=”vt1”>が記述される。
同様に、レベル２と、associationIDとしての、トラック(depth2 track)とともに再生すべきテクスチャファイル（texture1 file）およびテクスチャファイル（texture2 file）のRepresentation idであるvt1およびvt2とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vt2”>が記述される。
オクルージョンファイル（occlusion1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvo1が記述され、BaseURLとして「occlusion1.mp4」が記述される。なお、図３２の例では、bandwidthが記述されていないが、bandwidthが記述されてもよい。
また、オクルージョンファイル（occlusion1 file）ともに再生すべきデプスファイルは、デプスファイル（depth1 file）である。従って、オクルージョンファイル（occlusion1 file）に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）のRepresentation idであるvd1が記述される。
なお、図３２の例では、再生すべきパターンにおいて用いられる画像の組み合わせがMPDファイルに記述されていないが、記述されるようにしてもよい。
また、図示は省略するが、第７実施の形態におけるファイル生成処理は、ステップＳ１３において生成されるデプスファイルおよびオクルージョンファイルに、対応する品質情報が配置され、ステップＳ１４およびＳ１５の処理が行われない点を除いて、図１２のファイル生成処理と同一である。
さらに、図示は省略するが、第７実施の形態における再生処理は、サブサンプルトラック対応関係も参照して符号化ストリームが取得される点を除いて、図１４や図１５の再生処理と同一である。
以上のように、第７実施の形態におけるファイル生成装置１１は、同一のデプスオクルージョン画像のセグメントファイルに配置される複数の品質情報の符号化ストリームを、まとめて１つのトラックに配置する。従って、各品質情報の符号化ストリームを異なるトラックに配置する場合に比べて、デプスオクルージョン画像のセグメントファイルを構成するトラックの数を削減することができる。即ち、デプスオクルージョン画像の品質情報を効率的に格納することができる。これにより、デプスオクルージョン画像のセグメントファイルのサイズが削減される。その結果、ファイル生成装置１１が、デプスオクルージョン画像のセグメントファイルをアップロードする際の伝送量が低減される。
なお、第７実施の形態では、品質情報がデプスオクルージョン画像の品質情報であったが、テクスチャ画像またはテクスチャ画像とデプスオクルージョン画像を用いて再生される３Ｄ画像の品質情報であるようにしてもよい。
この場合、例えば、テクスチャファイルに、テクスチャ画像のトラックとテクスチャ画像の品質情報のトラックが配置され、デプスファイルに、デプス画像のトラックと、テクスチャ画像およびデプス画像を用いて再生される３Ｄ画像の品質情報のトラックが配置される。また、オクルージョンファイルに、オクルージョン画像のトラックと、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて再生される３Ｄ画像の品質情報のトラックが配置される。
＜第８実施の形態＞
（セグメントファイルの構成例）
本開示を適用した情報処理システムの第８実施の形態の構成は、主に、同一のクオリティファイル内の品質情報の符号化ストリームは同一のトラックに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、デプス画像のクオリティファイル（quality1 file）に関する説明以外の説明は適宜省略する。
図３３は、本開示を適用した情報処理システムの第８実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
図３３のセグメントファイルは、デプス画像のクオリティファイル（quality1 file）を除いて、図５のセグメントファイルと同一である。
図３３に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームをまとめて１つのトラック（quality1 track）に配置したクオリティファイル（quality1 file）を生成する。トラック（quality1 track）では、第７実施の形態と同様に、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームの両方がまとめてサンプル化されている。
第８実施の形態におけるMPDファイルは、図１０のMPDファイルと同一である。即ち、第８実施の形態におけるMPDファイルでは、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素において、各レベルとデプスオクルージョン画像を特定するassociationIDとの対応関係が記述される。
（levaボックスの第１の記述例）
図３４は、クオリティファイル（quality file)のlevaボックスの第１の記述例を示す図である。
図３４に示すように、クオリティファイル（quality file)のlevaボックスには、MPDファイルに記述されたクオリティファイル（quality file)に対応するサブリプレゼンテーション要素が有するレベルの数を示すlevel_countが記述される。
また、クオリティファイル（quality file)のlevaボックスには、レベル１から順にlevel_countだけ、各レベルのtrack_id,assignment_type等が記述される。assignment_typeは、レベルと対応付けられるもののタイプである。
図３４のlevaボックスでは、assignment_typeとして５が設定可能になっている。図３４の例では、assignment_typeとしての５は、レベルと対応付けられるもののタイプが、QualityMetricsConfigurationBoxに記述されるmetric_codeであることを表している。即ち、assignment_typeが５である場合、レベルｉ（ｉ=1,2）と、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeが対応付けられる。
（levaボックスにより対応付けられるレベルとサブサンプルの第１の例の説明）
図３５は、図３４のlevaボックスにより対応付けられるクオリティファイル(quality1 file)におけるレベルとサブサンプルの第１の例を説明する図である。
第８実施の形態のMPDファイルにおいて、クオリティファイル(quality1 file)に対応するサブリプレゼンテーション要素が有するレベルの数は、２つである。従って、図３５に示すように、クオリティファイル（quality file)のlevaボックスには、level_countとして２が記述される。
また、２つのレベルに対応するトラックは、トラックＩＤが１であるトラック（quality1 track）である。従って、クオリティファイル（quality file)のlevaボックスには、２つのレベルのtrack_idとして１が記述される。また、２つのレベルのassignment_typeとして５が記述される。
従って、図３５のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉを、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeと対応付けることができる。そして、QualityMetricsConfigurationBoxの記述により、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeと、先頭からｉ番目のサブサンプルとを対応付けることができる。
以上のように、levaボックスのassignment_typeとして５を記述することにより、MPDファイルに記述されるレベルｉとｉ番目のサブサンプルとを対応付けることができる。従って、assignment_typeとしての５は、レベルとサブサンプルとを対応付ける情報といえる。
（levaボックスの第２の記述例）
図３６は、クオリティファイル（quality file)のlevaボックスの第２の記述例を示す図である。
図３６のクオリティファイル（quality file)のlevaボックスは、assignment_typeとして５が設定される場合を除いて、図３４の構成と同一である。
図３６の例では、assignment_typeとしての５は、レベルと対応付けられるもののタイプが、subsボックス（Sub-Sample Information Box）に情報が記述されるサブサンプルであることを表している。即ち、assignment_typeが５である場合、レベルｉと、subsボックスに情報が記述される先頭からｉ番目のサブサンプルとが対応付けられる。また、図３６のlevaボックスでは、assignment_typeが５である場合、レベルｉと対応付けられるsubsボックスのflagsが記述される。
（levaボックスにより対応付けられるレベルとサブサンプルの第２の例の説明）
図３７は、図３６のlevaボックスにより対応付けられるクオリティファイル（quality1 file)におけるレベルとサブサンプルの第２の例を説明する図である。
図３７のlevaボックスは、各レベルのsubsample_flagとして０が記述される点を除いて、図３５のlevaボックスと同一である。
従って、図３７のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉを、flagsが０であるsubsボックスに情報が記述される先頭からｉ番目のサブサンプルと対応付けることができる。そして、subsボックスの記述により、subsボックスに情報が記述される先頭からｉ番目のサブサンプルを特定することができる。
以上のように、levaボックスのassignment_typeとして５を記述することにより、MPDファイルに記述されるレベルとサブサンプルとを対応付けることができる。従って、assignment_typeとしての５は、レベルとサブサンプルとを対応付ける情報といえる。
なお、トラック（quality1 track）に配置される２つのサブサンプルは、１つのグループにグループ分けされていてもよい。この場合、図３８に示すサブサンプルグループエントリ（Sub-SampleGroupEntry）が、トラック（quality1 track）のtrakボックスに配置される。
図３８のサブサンプルグループエントリは、画像を格納するサブサンプルだけでなく、画像以外を格納するサブサンプルのサブサンプルグループエントリの基になるSampleGroupDescriptionEntryが拡張されたものである。
図３８のサブサンプルグループエントリには、サブサンプルのグループのタイプ（図３８の例ではsgss）が記述される。また、図３８のサブサンプルグループエントリには、グループに属するサブサンプルのサンプルエントリの名前であるcode_parameterと、subsボックスのflagsであるsub_sample_flagsが記述される。
また、図３９に示すように、levaボックスのassignment_typeは、レベルと対応付けられるもののタイプが、sgpdボックス（sample group description box）に記述される所定のグループに属するサブサンプルに関する情報であることを表す０に設定される。
さらに、levaボックスには、subsample_flagではなく、レベルｉ（ｉ=1,2）と対応付けられるsgpdボックスに記述されるgrouping_typeが記述される。grouping_typeは、sgpdボックスに対応するサブサンプルのグループのタイプである。図３６の例では、トラック（quality1 track）に配置される２つのサブサンプルが属するグループのタイプがsgssであり、levaボックスの各レベルに対応するgrouping_typeは、両方ともsgssである。
図３９のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉが、sgpdボックスに記述される、grouping_typeがsgssであるグループに属するサブサンプルに関する情報のうちの、先頭からｉ番目のサブサンプルに関する情報と対応付けられる。
サブサンプルに関する情報としては、サブサンプルを構成するサンプルのサンプルエントリの名前とsubsボックスのflagsが記述される。図３６の例では、トラック（quality1 track）に配置される２つのサブサンプルを構成するサンプルのサンプルエントリの名前は両方ともvqmeであり、flagsは両方とも０である。従って、sgpdボックスには、各サブサンプルに関する情報として、vqmeと０が記述される。
このsgpdボックスの記述により、各サブリプレゼンテーション要素が有するレベルｉを、flagが０であり、サンプルエントリの名前がvqmeであるサンプルのsubsボックスに情報が記述される先頭からｉ番目のサブサンプルと対応付けることができる。そして、subsボックスの記述により、subsボックスに情報が記述される先頭からｉ番目のサブサンプルを特定することができる。
以上のように、図３９のlevaボックスにより、MPDファイルに記述されるレベルとサブサンプルとを対応付けることができる。
なお、第８実施の形態において、第２乃至第６実施の形態のように、クオリティファイルが分割されていてもよい。
また、第１乃至第８実施の形態では、associationIdを記述できるようにサブリプレゼンテーション要素が拡張されたが、associationId以外のattributeを記述できるようにサブリプレゼンテーション要素が拡張されてもよい。
例えば、サブリプレゼンテーション要素に対応するRepresentationIDを記述するSubassociationIdなどのattributeが新しく定義され、そのattributeを記述できるようにサブリプレゼンテーション要素が拡張されてもよい。
また、復号時に参照が必要なトラックのＩＤを示すattributeであるdependencyIdをサブリプレゼンテーション要素にも記述できるようにサブリプレゼンテーション要素が拡張され、サブリプレゼンテーション要素のdependencyIdとして、そのサブリプレゼンテーション要素に対応するRepresentationIDが記述されるようにしてもよい。
なお、サブリプレゼンテーション要素とRepresentationIDの対応関係を示すサブリプレゼンテーション要素のattributeは、テクスチャ画像とデプスオクルージョン画像の関係や、デプスオクルージョン画像と品質情報の関係以外の関係を表す際にも用いることができる。
＜第９実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、オクルージョン画像のセグメントファイルは生成されなくてもよい。即ち、本開示は、デプス画像のみ、または、デプス画像とオクルージョン画像の両方からなるデプス関連画像、即ち少なくともデプス画像を含むデプス関連画像のセグメントファイルが生成される情報処理システムに適用することができる。
なお、本開示は、以下のような構成もとることができる。
（１）
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成部
を備えるファイル生成装置。
（２）
前記ファイル生成部は、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせを前記管理ファイルに記述する
ように構成された
前記（１）に記載のファイル生成装置。
（３）
前記デプス関連画像は、前記デプス画像に対応するオクルージョン領域のテクスチャ画像であるオクルージョン画像を含む
ように構成された
前記（１）または（２）に記載のファイル生成装置。
（４）
前記デプス関連画像の前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報であり、
前記管理ファイルには、各トラックと、前記デプス関連画像特定情報および前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
前記（１）乃至（３）のいずれかに記載のファイル生成装置。
（５）
前記ファイルには、前記デプス関連画像に対応するテクスチャ画像の品質情報が、前記デプス関連画像の前記品質情報のトラックとは異なるトラックに配置され、
前記管理ファイルには、前記テクスチャ画像の品質情報のトラックと、前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
前記（４）に記載のファイル生成装置。
（６）
前記ファイルには、前記サブサンプルとレベルを対応付ける情報が記述され、
前記管理ファイルには、前記レベルと前記デプス関連画像特定情報との対応関係が記述される
ように構成された
前記（１）乃至（３）のいずれかに記載のファイル生成装置。
（７）
ファイル生成装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成ステップ
を含むファイル生成方法。
（８）
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部
を備える再生装置。
（９）
前記複数のデプス関連画像のビットレートは異なり、
前記管理ファイルには、前記複数のデプス関連画像のビットレートが記述され、
前記取得部は、前記複数のデプス関連画像のビットレートと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（８）に記載の再生装置。
（１０）
前記ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像が配置され、
前記管理ファイルには、前記テクスチャ画像のビットレートが記述され、
前記取得部は、前記テクスチャ画像のビットレートにも基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（９）に記載の再生装置。
（１１）
前記ファイルには、ビットレートが異なる複数の前記テクスチャ画像が配置され、
前記管理ファイルには、前記複数のテクスチャ画像のビットレートが記述される
ように構成された
前記（１０）に記載の再生装置。
（１２）
前記取得部は、ビットレートが異なる複数の前記テクスチャ画像のビットレートに基づいて、前記複数のテクスチャ画像から再生対象のテクスチャ画像を選択する
ように構成された
前記（８）または（９）に記載の再生装置。
（１３）
前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報である
ように構成された
前記（８）乃至（１２）のいずれかに記載の再生装置。
（１４）
前記管理ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせが記述され、
前記取得部は、前記組み合わせと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（８）乃至（１３）のいずれかに記載の再生装置。
（１５）
前記取得部により取得された前記品質情報に基づいて、前記複数のデプス関連画像のうちの所定のデプス関連画像を再生する再生部
をさらに備える
前記（８）乃至（１４）のいずれかに記載の再生装置。
（１６）
再生装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得ステップ
を含む再生方法。
１１ ファイル生成装置, １４ 動画再生端末, ８３ セグメントファイル生成部， ８４ MPDファイル生成部, １０３ 品質情報取得部, １０５ 画像取得部, １０６ 復号部, １０７ 出力制御部

Claims (20)

  1. デプス画像を含む複数のデプス関連画像の品質を表す複数の品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルを生成し、
    前記トラックへのアクセス情報として、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を生成するファイル生成部を備える
    ファイル生成装置。
  2. 前記ファイル生成部は、複数の前記デプス関連画像に対応する複数のテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせを前記MPDファイルに記述する
    ように構成された
    請求項１に記載のファイル生成装置。
  3. 前記デプス関連画像は、前記デプス画像に対応するオクルージョン領域のテクスチャ画像であるオクルージョン画像を含む
    ように構成された
    請求項１に記載のファイル生成装置。
  4. 前記デプス関連画像の前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報であり、
    前記MPDファイルにおいて、前記テクスチャ画像の前記品質情報が、前記デプス関連画像の前記品質情報の前記トラックと同じトラックに配置される場合、前記ファイル生成部は、前記トラックへのアクセス情報として、前記トラックに対応する前記品質情報と関連する前記デプス関連画像と前記テクスチャ画像とを特定する情報である前記デプス関連画像特定情報を生成する
    ように構成された
    請求項１に記載のファイル生成装置。
  5. 前記MPDファイルにおいて、前記テクスチャ画像の前記品質情報が、前記デプス関連画像の前記品質情報の前記トラックとは異なるトラックに配置される場合、前記ファイル生成部は、前記異なるトラックへのアクセス情報として、前記異なるトラックに対応する前記品質情報と関連する前記デプス関連画像に対応する前記テクスチャ画像を特定する情報であるテクスチャ画像特定情報を生成する
    ように構成された
    請求項４に記載のファイル生成装置。
  6. 複数の前記品質情報は、複数の前記トラックまたはサブサンプルに分割された形で配置され、
    前記MPDファイルには、前記サブサンプルとレベルを対応付ける情報が記述され、
    前記MPDファイルには、前記レベルと前記デプス関連画像特定情報との対応関係が記述される
    ように構成された
    請求項１に記載のファイル生成装置。
  7. 前記デプス関連画像特定情報は、前記リンク情報に含まれる
    請求項１に記載のファイル生成装置。
  8. 前記リンク情報は、サブリプレゼンテーション要素であり、前記デプス関連画像特定情報はassociationIDである
    請求項７に記載のファイル生成装置。
  9. ファイル生成装置が、
    デプス画像を含む複数のデプス関連画像の品質を表す複数の品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルを生成し、
    前記トラックへのアクセス情報として、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を生成するファイル生成ステップ
    を含むファイル生成方法。
  10. デプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部を備え、
    前記MPDファイルは、前記トラックへのアクセス情報であり、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を含む
    再生装置。
  11. 複数の前記デプス関連画像のビットレートは異なり、
    前記MPDファイルには、複数の前記デプス関連画像のビットレートが記述され、
    前記取得部は、複数の前記デプス関連画像のビットレートに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する
    ように構成された
    請求項１０に記載の再生装置。
  12. 前記MPDファイルには、複数の前記デプス関連画像に対応するテクスチャ画像が配置され、
    前記MPDファイルには、前記テクスチャ画像のビットレートが記述され、
    前記取得部は、前記テクスチャ画像のビットレートに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する
    ように構成された
    請求項１１に記載の再生装置。
  13. 前記MPDファイルには、ビットレートが異なる複数の前記テクスチャ画像が配置され、
    前記MPDファイルには、複数の前記テクスチャ画像のビットレートが記述される
    ように構成された
    請求項１２に記載の再生装置。
  14. 前記取得部は、ビットレートが異なる複数の前記テクスチャ画像のビットレートに基づいて、複数の前記テクスチャ画像から再生対象の前記テクスチャ画像を選択する
    ように構成された
    請求項１３に記載の再生装置。
  15. 前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報である
    ように構成された
    請求項１０に記載の再生装置。
  16. 前記MPDファイルには、複数の前記デプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせが記述され、
    前記取得部は、前記組み合わせに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する
    ように構成された
    請求項１０に記載の再生装置。
  17. 前記取得部により取得された前記品質情報に基づいて、複数の前記デプス関連画像のうちの所定の前記デプス関連画像を再生する再生部をさらに備える
    請求項１０に記載の再生装置。
  18. 前記デプス関連画像特定情報は、前記リンク情報に含まれる
    請求項１０に記載の再生装置。
  19. 前記リンク情報は、サブリプレゼンテーション要素であり、前記デプス関連画像特定情報はassociationIDである
    請求項１８に記載の再生装置。
  20. 再生装置が、
    デプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに割り当てて構成されるMPD(Media Presentation Description)ファイルであって、品質ファイルに含まれる複数の前記トラックを特定するリンク情報が記述された前記MPDファイルに基づいて、複数の前記デプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得ステップを含み、
    前記MPDファイルは、前記トラックへのアクセス情報であり、前記トラックに対応する前記品質情報と関連する前記デプス関連画像を特定する情報であるデプス関連画像特定情報を含む再生方法。
JP2018501554A 2016-02-22 2017-02-08 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法 Active JP6944131B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016030860 2016-02-22
JP2016030860 2016-02-22
PCT/JP2017/004532 WO2017145757A1 (ja) 2016-02-22 2017-02-08 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法

Publications (2)

Publication Number Publication Date
JPWO2017145757A1 JPWO2017145757A1 (ja) 2018-12-13
JP6944131B2 true JP6944131B2 (ja) 2021-10-06

Family

ID=59686026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501554A Active JP6944131B2 (ja) 2016-02-22 2017-02-08 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法

Country Status (5)

Country Link
US (1) US10945000B2 (ja)
EP (1) EP3422731B1 (ja)
JP (1) JP6944131B2 (ja)
CN (1) CN108702534B (ja)
WO (1) WO2017145757A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019054417A (ja) 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
CN116636225A (zh) * 2020-12-28 2023-08-22 索尼集团公司 信息处理装置和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883161B2 (en) * 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
KR101649207B1 (ko) * 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
AU2013285333A1 (en) * 2012-07-02 2015-02-05 Nokia Technologies Oy Method and apparatus for video coding
US9648299B2 (en) * 2013-01-04 2017-05-09 Qualcomm Incorporated Indication of presence of texture and depth views in tracks for multiview coding plus depth
EP3013064B1 (en) * 2013-07-19 2019-03-13 Sony Corporation Information processing device and method
CN105230024B (zh) * 2013-07-19 2019-05-24 华为技术有限公司 一种媒体表示自适应方法、装置及计算机存储介质
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
KR20150012206A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
US20170127152A1 (en) * 2014-07-01 2017-05-04 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US20190028744A1 (en) 2019-01-24
EP3422731A4 (en) 2019-01-02
WO2017145757A1 (ja) 2017-08-31
US10945000B2 (en) 2021-03-09
EP3422731B1 (en) 2021-08-25
CN108702534A (zh) 2018-10-23
CN108702534B (zh) 2021-09-14
JPWO2017145757A1 (ja) 2018-12-13
EP3422731A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
JP6868783B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP6944131B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP7103402B2 (ja) 情報処理装置および情報処理方法
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
KR101777348B1 (ko) 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
WO2015182491A1 (ja) 情報処理装置および情報処理方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
JP6459006B2 (ja) 情報処理装置および情報処理方法
JP2013518507A (ja) ファイルフォーマットベースの適応的ストリーム生成、再生方法及び装置とその記録媒体
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
CN101395909A (zh) 用于组合编辑信息和媒体内容的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210824

R151 Written notification of patent or utility model registration

Ref document number: 6944131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151