JP7014156B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP7014156B2
JP7014156B2 JP2018517090A JP2018517090A JP7014156B2 JP 7014156 B2 JP7014156 B2 JP 7014156B2 JP 2018517090 A JP2018517090 A JP 2018517090A JP 2018517090 A JP2018517090 A JP 2018517090A JP 7014156 B2 JP7014156 B2 JP 7014156B2
Authority
JP
Japan
Prior art keywords
image
information
mapping
mpd
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018517090A
Other languages
English (en)
Other versions
JPWO2017195881A1 (ja
Inventor
充 勝股
光浩 平林
俊也 浜田
伸明 泉
遼平 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017195881A1 publication Critical patent/JPWO2017195881A1/ja
Priority to JP2022004503A priority Critical patent/JP7218824B2/ja
Application granted granted Critical
Publication of JP7014156B2 publication Critical patent/JP7014156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Description

本開示は、情報処理装置および情報処理方法に関し、特に、全天球画像の生成に用いられた画像を識別することができるようにした情報処理装置および情報処理方法に関する。
マルチカメラにより撮影された撮影画像から、３Ｄモデルに投影し、水平方向の周囲３６０度および垂直方向の周囲１８０度の画像を２Ｄ画像（平面画像）に変換した全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピングなどが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面に投影したときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピングである場合、全天球画像は、撮影画像を立方体（キューブ）の面に投影したときの立方体の展開図の画像である。
一方、動画コンテンツのストリーミング方式として、MPEG－DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）がある。MPEG－DASHでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバから端末装置に送信され、端末装置は、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。
特開２００６－１４１７４号公報
しかしながら、配信サーバが、MPEG-DASHにより全天球画像の符号化ストリームを端末装置に配信する場合に、全天球画像の生成に用いられた撮影画像を識別する識別情報を設定することは考えられていなかった。従って、端末装置は、全天球画像の生成に用いられた撮影画像を識別し、その撮影画像に基づいて、再生対象とする全天球画像を選択することはできなかった。
本開示は、このような状況に鑑みてなされたものであり、全天球画像の生成に用いられた画像を識別することができるようにするものである。
本開示の第１の側面の情報処理装置は、正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したファイルを生成するセグメントファイル生成部を備え、前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む情報処理装置である。
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。
本開示の第１の側面においては、正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したファイルが生成される。そして、前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、前記マッピング情報には、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報が含まれる。
本開示の第２の側面の情報処理装置は、正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したMPD（Media Presentation Description）ファイルを生成するMPDファイル生成部を備え、前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む情報処理装置である。
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。
本開示の第２の側面においては、正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したMPD（Media Presentation Description）ファイルが生成される。そして、前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、前記マッピング情報には、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報が含まれる。
なお、第１の側面の情報処理装置および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の情報処理装置および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、ファイルを生成することができる。また、本開示の第１の側面によれば、全天球画像の生成に用いられた撮影画像を識別することができるようにファイルを生成することができる。
本開示の第２の側面によれば、ファイルを選択することができる。また、本開示の第２の側面によれば、全天球画像の生成に用いられた撮影画像を識別することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。 図１の生成装置の構成例を示すブロック図である。 ３Ｄモデルとしての立方体を示す斜視図である。 キューブマッピングにより生成される全天球画像の例を示す図である。 ３Ｄモデルとしての球を示す斜視図である。 正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。 図２のMPDファイル生成部により生成されるMPDファイルの例を示す図である。 ID，X,Y,λを説明する図である。 マッピング情報を説明する図である。 図２の生成装置のファイル生成処理を説明するフローチャートである。 図１の再生装置の構成例を示すブロック図である。 図１１の再生装置の再生処理を説明するフローチャートである。 本開示を適用した配信システムの第２実施の形態における生成装置の構成例を示すブロック図である。 図１３のMPDファイル生成部により生成されるMPDファイルの第１の例を示す図である。 図１３の生成装置のファイル生成処理を説明するフローチャートである。 本開示を適用した配信システムの第２実施の形態における再生装置の構成例を示すブロック図である。 図１６の再生装置の再生処理を説明するフローチャートである。 図１３のMPDファイル生成部により生成されるMPDファイルの第２の例を示す図である。 図１３のMPDファイル生成部により生成されるMPDファイルの第３の例を示す図である。 図１３のMPDファイル生成部により生成されるMPDファイルの第４の例を示す図である。 種類情報の例を示す図である。 図１３のMPDファイル生成部により生成されるMPDファイルの第５の例を示す図である。 本開示を適用した配信システムの第３実施の形態における生成装置の構成例を示すブロック図である。 ２次元平面情報の構成例を示す図である。 ２次元平面情報を説明する図である。 １８個の２次元平面の例を示す図である。 図２６の１８個の２次元平面の２次元平面情報の例を示す図である。 対角画角を説明する図である。 高解像度画像のSRDの設定方法を説明する図である。 図２３のMPDファイル生成部により生成されるMPDファイルの第１の例を示す図である。 図２３の生成装置のファイル生成処理を説明するフローチャートである。 本開示を適用した配信システムの第３実施の形態における再生装置の構成例を示すブロック図である。 図３２のマッピング処理部によるマッピングを説明する図である。 図３２の再生装置の再生処理を説明するフローチャートである。 図２３のMPDファイル生成部により生成されるMPDファイルの第２の例を示す図である。 ６個の共通画像の２次元平面情報を示す図である。 図２３のMPDファイル生成部により生成されるMPDファイルの第３の例を示す図である。 図２３のMPDファイル生成部により生成されるMPDファイルの第４の例を示す図である。 第４実施の形態における２次元平面情報の構成例を示す図である。 FOV_flagが０である場合の描画面を説明する図である。 図３９の２次元情報を記述するMPDファイルの第１の例を示す図である。 図３９の２次元情報を記述するMPDファイルの第２の例を示す図である。 図３９の２次元情報を記述するMPDファイルの第２の例の変形例を示す図である。 キューブストリームの３Dモデルの例を示す斜視図である。 ３Dモデルの各面を展開したSRD情報の例を示す図である。 描画面情報の例を示す図である。 図３９の２次元情報を記述するMPDファイルの第３の例を示す図である。 本開示を適用した生成装置の第５実施の形態の構成例を示すブロック図である。 画像に関する各種の情報の設定方法を説明する図である。 第１の方法におけるhvcCボックスの構成例を示す図である。 第１の方法におけるscriボックスの構成例を示す図である。 第１の方法におけるtrefボックスの構成例を示す図である。 第２の方法におけるVisual Sample Entryの構成例を示す図である。 第３の方法におけるschiボックスの構成例を示す図である。 サンプルグループを説明する図である。 第４の方法におけるSpherical Coordinate Region Info Entryの構成例を示す図である。 第４の方法におけるSpherical Coordinate Region Info Entryの他の構成例を示す図である。 第４の方法におけるscriボックスの構成例を示す図である。 第５の方法におけるセグメントファイルの構成例を示す図である。 第５の方法におけるSphericalCoordinateRegionInfoSampleの構成例を示す図である。 第５の方法におけるSpherical Coordinate Region Info Sample Entryの構成例を示す図である。 第５の方法におけるSpherical Coordinate Region Info Configuration Boxの構成例を示す図である。 第５の方法におけるSphericalCoordinateRegionInfoSampleの他の構成例を示す図である。 第５の方法におけるSphericalCoordinateRegionInfoSampleのさらに他の構成例を示す図である。 第５の方法におけるSpherical Coordinate Region Info Configuration Boxの他の構成例を示す図である。 第５の方法におけるSphericalCoordinateRegionInfoSampleのさらに他の構成例を示す図である。 図４８の生成装置のファイル生成処理を説明するフローチャートである。 本開示を適用した配信システムの第５実施の形態における再生装置の構成例を示すブロック図である。 図６８の再生装置の再生処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：配信システム（図１乃至図１２）
２．第２実施の形態：配信システム（図１３乃至図２２）
３．第３実施の形態：配信システム（図２３乃至図３８）
４．第４実施の形態：配信システム（図３９乃至図４７）
５．第５実施の形態：配信システム（図４８乃至図６９）
６．第６実施の形態：コンピュータ（図７０）
＜第１実施の形態＞
（配信システムの第１実施の形態の構成例）
図１は、本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。
図１の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、再生装置１４、およびヘッドマウントディスプレイ１５により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ－１乃至１１Ａ－６およびマイクロフォン１１Ｂにより構成される。なお、以下では、カメラ１１Ａ－１乃至１１Ａ－６を特に区別する必要がない場合、それらをまとめてカメラ１１Ａという。
各カメラ１１Ａは動画像を撮影し、マイクロフォン１１Ｂは周囲の音声を取得する。配信システム１０は、各カメラ１１Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン１１Ｂにより取得された音声を、動画コンテンツとして生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個以外であってもよい。
生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置１２は、キューブマッピングにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置１２は、撮影装置１１から供給される音声を符号化し、オーディオストリームを生成する。
生成装置１２は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位でファイル化する。生成装置１２は、その結果生成されたセグメントファイルを配信サーバ１３にアップロードする。
なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
また、生成装置１２は、動画コンテンツのセグメントファイルを管理するMPD（Media Presentation Description）ファイルを生成し、配信サーバ１３にアップロードする。
配信サーバ１３は、生成装置１２からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ１３は、再生装置１４からの要求に応じて、格納しているセグメントファイルやMPDファイルを再生装置１４に送信する。
再生装置１４は、配信サーバ１３にMPDファイルを要求し、その要求に応じて送信されてくるMPDファイルを受け取る。また、再生装置１４は、MPDファイルに基づいて、再生装置１４で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置１４は、受け取られたセグメントファイルに含まれる正距円筒ストリームまたはキューブストリームを復号する。再生装置１４は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
また、再生装置１４は、カメラ１４Ａを内蔵し、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影する。そして、再生装置１４は、マーカ１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置１４は、ヘッドマウントディスプレイ１５のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から受け取る。再生装置１４は、ジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置１４は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
再生装置１４は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１４は、表示画像をヘッドマウントディスプレイ１５に供給する。
ヘッドマウントディスプレイ１５は、視聴者の頭部に装着され、再生装置１４から供給される表示画像を表示する。ヘッドマウントディスプレイ１５には、カメラ１４Ａにより撮影されるマーカ１５Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１５には、ジャイロセンサ１５Ｂが内蔵され、そのジャイロセンサ１５Ｂによる角速度の検出結果は再生装置１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１５を装着した頭部を回転させることにより、視線方向を指定することができる。
（生成装置の構成例）
図２は、図１の生成装置１２の構成例を示すブロック図である。
図２の生成装置１２は、スティッチング処理部２１、投影処理部２２、エンコーダ２３、投影処理部２４、エンコーダ２５、音声取得部２６、エンコーダ２７、セグメントファイル生成部２８、ＭＰＤファイル生成部２９、およびアップロード部３０により構成される。
スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２１は、スティッチング処理後のフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、投影処理部２２は、スティッチング処理後の撮影画像をテクスチャとして立方体に投影し、その立方体の展開図の画像を全天球画像として生成する。投影処理部２２は、全天球画像をエンコーダ２３に供給する。なお、スティッチング処理部２１と投影処理部２２は、一体化されていてもよい。

エンコーダ２３は、投影処理部２２から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビットレートのキューブストリームをセグメントファイル生成部２８に供給する。
投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、投影処理部２４は、スティッチング処理後の撮影画像をテクスチャとして球に投影し、その球の正距円筒図法による画像を全天球画像として生成する。投影処理部２４は、全天球画像をエンコーダ２５に供給する。なお、スティッチング処理部２１と投影処理部２４は、一体化されていてもよい。
エンコーダ２５は、投影処理部２４から供給される全天球画像を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
音声取得部２６は、図１のマイクロフォン１１Ｂから供給される音声を取得し、エンコーダ２７に供給する。エンコーダ２７は、音声取得部２６から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２８は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
ＭＰＤファイル生成部２９は、ＭＰＤファイルを生成する。具体的には、ＭＰＤファイル生成部２９（設定部）は、ＭＰＤファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応する全天球画像の生成に用いられた撮影画像を識別する識別情報としてのＩＤなどを設定する。
また、ＭＰＤファイル生成部２９は、必要に応じて、ＭＰＤファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。
マッピング情報とは、スティッチング処理後の撮影画像内の所定の位置の基準画像が３Ｄモデルの基準位置に所定の傾き（以下、基準傾きという）で投影されるように、全天球画像を３Ｄモデルにマッピングする際に用いられる情報である。ここでは、マッピング情報は、全天球画像内の基準画像の位置と、基準画像が基準位置にマッピングされるように全天球画像を３Ｄモデルにマッピングした際に３Ｄモデル上の基準画像の傾きを基準傾きにするための基準位置における全天球画像の回転角とにより構成される。なお、基準位置とは、例えば、視聴位置が３Ｄモデルの中心である場合の所定の視線方向に対応する３Ｄモデル上の位置である。
即ち、投影処理部２２と投影処理部２４は、個々に投影を行うため、基準位置に投影される撮影画像の撮影画像上の位置や傾きが異なる場合がある。従って、このような場合、ＭＰＤファイル生成部２９はマッピング情報を設定する。これにより、再生装置１４は、マッピング情報に基づいて、全天球画像の生成方法によらず、基準位置に基準画像を基準傾きでマッピングすることができる。ＭＰＤファイル生成部２９は、ＭＰＤファイルをアップロード部３０に供給する。
アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとＭＰＤファイル生成部２９から供給されるＭＰＤファイルとを、図１の配信サーバ１３にアップロードする。
（キューブマッピングの説明）
図３は、図２の投影処理部２２のキューブマッピングにおいて撮影画像が投影される３Ｄモデルとしての立方体を示す斜視図である。
図３に示すように、投影処理部２２のキューブマッピングでは、スティッチング処理部２１から供給される撮影画像が立方体４０の６つの面４１乃至４６に投影される。
本明細書では、立方体４０の中心Ｏを通り、面４１および面４２と直交する軸をｘ軸、面４３および面４４と直交する軸をｙ軸、面４５および面４６と直交する軸をｚ軸とする。そして、中心Ｏと面４１乃至４６のそれぞれとの距離をｒとしたときのｘ＝ｒである面４１を、適宜、＋ｘ面４１ともいい、ｘ＝－ｒである面４２を、適宜、－ｘ面４２ともいう。同様に、ｙ＝ｒである面４３、ｙ＝－ｒである面４４、ｚ＝ｒである面４５、ｚ＝－ｒである面４６を、適宜、＋ｙ面４３、－ｙ面４４、＋ｚ面４５、－ｚ面４６ともいう。
＋ｘ面４１と－ｘ面４２、＋ｙ面４３と－ｙ面４４、＋ｚ面４５と－ｚ面４６は、それぞれ、対向する。
図４は、図２の投影処理部２２においてキューブマッピングにより生成される全天球画像の例を示す図である。
図４に示すように、キューブマッピングにより生成される全天球画像５０は、立方体４０の展開図の画像である。具体的には、全天球画像５０は、中央の左から順に－ｘ面４２の画像５２、＋ｚ面４５の画像５５、＋ｘ面４１の画像５１、－ｚ面４６の画像５６が配置され、画像５５の上に＋ｙ面４３の画像５３が配置され、画像５５の下に－ｙ面４４の画像５４が配置された画像である。
本明細書では、全天球画像５０の水平方向のサイズが４０９６画素であり、垂直方向のサイズが３０７２画素であり、画像５１乃至５６の水平方向および垂直方向のサイズは１０２４画素であるものとする。
（正距円筒図法を用いた方法の説明）
図５は、図２の投影処理部２４の正距円筒図法を用いた方法において撮影画像が投影される３Ｄモデルとしての球を示す斜視図である。

図５に示すように、投影処理部２４の正距円筒図法を用いた方法では、スティッチング処理部２１から供給される撮影画像が、球７０の面に投影される。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。
本明細書では、球７０の中心Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。そして、中心Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝－ｒである面７２を、適宜、－Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝－ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝－ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝－ｒである面７８を、適宜、＋Ｂ面７３、－Ｂ面７４、＋Ｃ面７５、－Ｃ面７６、＋Ｄ面７７、－Ｄ面７８ともいう。

＋Ａ面７１と－Ａ面７２、＋Ｂ面７３と－Ｂ面７４、＋Ｃ面７５と－Ｃ面７６、＋Ｄ面７７と－Ｄ面７８は、それぞれ、対向する。
図６は、図２の投影処理部２４において正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。
図６に示すように、正距円筒図法を用いた方法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。従って、全天球画像９０の横座標（水平方向の座標）と縦座標（垂直方向の座標）は、球７０が地球儀である場合の経度と緯度に相当する。
具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に－Ｃ面７６の画像９６、－Ｄ面７８の画像９８、－Ａ面７２の画像９２、－Ｂ面７４の画像９４が配置された画像である。
本明細書では、全天球画像９０の水平方向のサイズが1920画素であり、垂直方向のサイズが960画素であるものとする。
（MPDファイルの例）
図７は、図２のMPDファイル生成部２９により生成されるMPDファイルの例を示す図である。
MPDファイルでは、各セグメントファイルにおける符号化方式、符号化ビットレート、画像の解像度などの情報が階層化されて、XML形式で記述される。
具体的には、MPDファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントインフォ（SegmentInfo）等の要素が階層的に含まれている。
MPDファイルでは、自分が管理するセグメントファイルに対応する動画コンテンツが所定の時間範囲（例えば、番組、ＣＭ（Commercial）などの単位）で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、動画コンテンツのプログラム(同期を取った１組の画像データや音声データなどのデータ)の再生開始時刻などの情報を有する。
アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツのリプレゼンテーション要素をメディア種別や属性などによってグルーピングする。アダプテーションセット要素は、グループに含まれるリプレゼンテーション要素に対応する動画コンテンツに共通のメディア種別、属性などを有する。
リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツのうちの、メディア種別および属性が同一である動画コンテンツのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、このリプレゼンテーション要素に対応するセグメントファイル群に共通の属性、URL（Uniform Resource Locator）などを有する。
セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーション要素に対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
図７の例では、ピリオド要素に対応する時間範囲の正距円筒ストリーム、キュービックストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図７のMPDファイルでは、ピリオド要素が、３つのアダプテーションセット要素を含んでいる。
先頭から１つ目のアダプテーションセット要素は、正距円筒ストリームのセグメントファイルに対応する要素であり、２つ目のアダプテーションセット要素は、キュービックストリームのセグメントファイルに対応する要素である。両方のアダプテーションセット要素とも、全天球画像のセグメントファイルに対応する要素であるため、同様に構成される。
具体的には、１つ目および２つ目のアダプテーションセット要素は、対応する全天球画像の水平方向のサイズwidthと垂直方向のサイズheightを有する。上述したように、正距円筒ストリームに対応する全天球画像９０の水平方向のサイズは1920画素であり、垂直方向のサイズは960画素であるので、図７に示すように、１つ目のアダプテーションセット要素のサイズwidthは1920画素であり、サイズheightは960画素である。また、キュービックストリームに対応する全天球画像５０の水平方向のサイズは4096画素であり、垂直方向のサイズは3072画素であるので、図７に示すように、２つ目のアダプテーションセット要素のサイズwidthは4096画素であり、サイズheightは3072画素である。
また、１つ目および２つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する全天球画像の生成方法をvalueで示すSupplementalPropertyである「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」を有する。
１つ目のアダプテーションセット要素は、正距円筒ストリームのセグメントファイルに対応する要素であるので、１つ目のアダプテーションセット要素に対応する全天球画像の生成方法は正距円筒図法を用いた方法である。従って、図７に示すように、１つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueは、正距円筒図法を用いた方法を示す「equirectangular」である。
２つ目のアダプテーションセット要素は、キュービックストリームのセグメントファイルに対応する要素であるので、２つ目のアダプテーションセット要素に対応する全天球画像の生成方法はキューブマッピングである。従って、図７に示すように、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueは、キューブマッピングを示す「cube」である。
さらに、１つ目および２つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する全天球画像の生成に用いられた撮影画像の識別情報とマッピング情報をvalueで示すSupplementalPropertyである「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」を有する。
図７の例では、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueには、IDと「X,Y,λ」が設定される。図８に示すように、IDは、全天球画像の生成に用いられた撮影画像の識別情報である。また、Xは、全天球画像のマッピング情報のうちの全天球画像内の基準画像の位置のX座標であり、Yはそのマッピング情報のうちの全天球画像内の基準画像の位置のY座標である。さらに、λは、マッピング情報のうちの回転角である。
１つ目および２つ目のアダプテーションセット要素に対応する全天球画像５０および全天球画像９０の生成に用いられる撮影画像は同一であるため、識別情報は、同一の値（図７の例では１）である。また、図７の例では、正距円筒ストリームに対応する全天球画像９０内の基準画像の位置の座標は（960,480）であり、回転角は０度である。なお、図７に示される例の場合、valueにおいて、識別情報を格納するブロックの先頭には、「I」が付されており、マッピング情報を格納するブロックの先頭には、「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。従って、１つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B960,480,0」である。つまり、この場合、「I1」の「１」が識別情報であり、「B960,480,0」の「960」がX座標、「480」がY座標、「０」が回転角である。
また、図７の例では、キュービックストリームに対応する全天球画像５０内の基準画像の位置の座標は（1530,1524）であり、回転角は０度である。従って、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B1530,1524,0」である。つまり、この場合、「I1」の「１」が識別情報であり、「B1530,1524,0」の「1530」がX座標、「1524」がY座標、「０」が回転角である。
なお、図７の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されないため、１つ目および２つ目のアダプテーションセット要素にマッピング情報が記述されているが、投影される場合には、マッピング情報は記述されない。
先頭から３つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
また、図７の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至３つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテーション要素に対応するセグメントファイルの基本となるURL（BaseURL）として、それぞれ、「equirectangular.mp4」、「cube.mp4」、「audio.mp4」が記述されている。なお、図７では、セグメントインフォ要素の記述は省略している。
以上のように、MPDファイルには、全天球画像の生成方法をvalueで示すSupplementalPropertyと、識別情報およびマッピング情報をvalueで示すSupplementalPropertyが設定される。
従って、再生装置１４は、MPDファイルに基づいて、同一の識別情報が設定されたセグメントファイルから、自分が行うことが可能なマッピングに対応する生成方法で生成された全天球画像のセグメントファイルを、再生対象のセグメントファイルとして選択することができる。
また、再生装置１４は、マッピング情報を用いて再生対象のセグメントファイルに対応する全天球画像をマッピングすることにより、基準画像を、３Ｄモデルの基準位置に基準傾きでマッピングすることができる。
なお、識別情報とマッピング情報は、SupplementalPropertyではなく、EssentialPropertyに記述されるようにしてもよい。SupplementalPropertyに識別情報とマッピング情報が記述される場合、このSupplementalPropertyを理解できない再生装置は、このSupplementalProperty以外のMPDファイルの情報を使用することができる。一方、EssentialPropertyに識別情報とマッピング情報が記述される場合、このEssentialPropertyを理解できない再生装置は、このEssentialPropertyを含む要素の全ての情報を使用することができない。
また、識別情報とマッピング情報は、アダプテーションセット要素以外のリプレゼンテーション要素などの要素に含まれるようにしてもよい。
（マッピング情報の説明）
図９は、正距円筒ストリームのセグメントファイルのマッピング情報を説明する図である。
図９に示すように、正距円筒ストリームのセグメントファイルのマッピング情報は、正距円筒図法を用いた方法により生成された全天球画像９０内の基準画像の位置１１１の座標を含む。
また、正距円筒ストリームのセグメントファイルのマッピング情報は、位置１１１が基準位置にマッピングされるように全天球画像９０を球７０にマッピングする際に球７０上の基準画像の傾きを基準傾きにするために必要な、球７０上の位置１１１と球７０の中心Ｏを繋げた線を軸とした、矢印１１２が示す反時計周り方向の全天球画像９０の回転の角度である回転角λを含む。
なお、マッピング情報は、基準画像が基準位置に基準傾きでマッピングされるように全天球画像を３Ｄモデルにマッピングする際の全天球画像の回転角を示すオイラー角(α，β，γ)やクォータニオン(q0, q1, q2, q3)であってもよい。
マッピング情報がオイラー角(α，β，γ)である場合、再生装置１４は、全天球画像をそのまま３Ｄモデルにマッピングした後、オイラー角(α，β，γ)に基づいて、マッピングされた全天球画像を３Ｄモデル上で３回回転させる。
具体的には、再生装置１４は、オイラー角(α，β，γ)に基づいて、まず、３Ｄモデルにマッピングされた全天球画像をy軸周りにオイラー角αだけ回転させる。次に、再生装置１４は、y軸周りにオイラー角αだけ回転された全天球画像を、x軸周りにオイラー角βだけ回転させる。最後に、再生装置１４は、x軸周りにオイラー角βだけ回転された全天球画像を、ｚ軸周りにオイラー角γだけ回転させる。これにより、３回回転後に３Ｄモデルの基準位置にマッピングされている全天球画像が、基準傾きの基準画像になる。
ここでは、全天球画像がy軸、x軸、z軸の順に回転されるようにしたが、回転順はこれに限定されない。マッピング情報がオイラー角(α，β，γ)である場合には、マッピング情報に回転順を示すパラメータが含められるようにしてもよい。
また、マッピング情報がクォータニオン(q0, q1, q2, q3)（四元数）である場合、再生装置１４は、全天球画像をそのまま３Ｄモデルにマッピングした後、クォータニオン(q0, q1, q2, q3)に基づいて、マッピングされた全天球画像を３Ｄモデル上で１回回転させる。
（生成装置の処理の説明）
図１０は、図２の生成装置１２のファイル生成処理を説明するフローチャートである。
図１０のステップＳ１１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
ステップＳ１２において、投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、エンコーダ２３に供給する。
ステップＳ１３において、エンコーダ２３は、投影処理部２２から供給されるキューブマッピングにより生成された全天球画像５０を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビット
レートのキューブストリームをセグメントファイル生成部２８に供給する。

ステップＳ１４において、投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、エンコーダ２５に供給する。
ステップＳ１５において、エンコーダ２５は、投影処理部２４から供給される正距円筒図法を用いた方法により生成された全天球画像９０を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
ステップＳ１６において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
ステップＳ１７において、セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部２８は、セグメントファイルをアップロード部３０に供給する。
ステップＳ１８において、MPDファイル生成部２９は、全ての正距円筒ストリームとキューブストリームのセグメントファイルの識別情報として同一のＩＤを設定する。
ステップＳ１９において、ＭＰＤファイル生成部２９は、投影処理部２２および投影処理部２４により３Ｄモデルの基準位置に投影された撮影画像が基準傾きの基準画像であるかどうかを判定する。
ステップＳ１９で、投影処理部２２および投影処理部２４の少なくとも一方により基準位置に投影された撮影画像が基準傾きの基準画像ではないと判定された場合、処理はステップＳ２０に進む。
ステップＳ２０において、ＭＰＤファイル生成部２９は、識別情報とマッピング情報を含むＭＰＤファイルを生成する。具体的には、ＭＰＤファイル生成部２９は、ＭＰＤファイルのうちの正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素に、ステップＳ１８で設定された識別情報を設定する。また、ＭＰＤファイル生成部２９は、基準位置に投影された撮影画像が基準傾きの基準画像ではない３Ｄモデルから、投影処理部２２および投影処理部２４の少なくとも一方の投影により生成された全天球画像に対応するアダプテーションセット要素に、さらにマッピング情報を設定する。ＭＰＤファイル生成部２９は、生成されたＭＰＤファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
一方、ステップＳ１９で、投影処理部２２および投影処理部２４の両方により基準位置に投影された撮影画像が基準傾きの基準画像であると判定された場合、処理はステップＳ２１に進む。
ステップＳ２１において、ＭＰＤファイル生成部２９は、正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素が、ステップＳ１８で設定された識別情報を含むＭＰＤファイルを生成する。ＭＰＤファイル生成部２９は、生成されたＭＰＤファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
ステップＳ２２において、アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとＭＰＤファイル生成部２９から供給されるＭＰＤファイルとを、図１の配信サーバ１３にアップロードし、処理を終了する。
（再生装置の構成例）
図１１は、図１の再生装置１４の構成例を示すブロック図である。
図１１の再生装置１４は、カメラ１４Ａ、MPD取得部２２０、MPD処理部２２１、セグメントファイル取得部２２２、デコーダ２２３、マッピング処理部２２６、描画部２２７、受け取り部２２８、および視線検出部２２９により構成される。
再生装置１４のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部２２１に供給する。
MPD処理部２２１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部２２１(選択部)は、アダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueのIが付与された値を、識別情報として認識する。そして、MPD処理部２２１は、各アダプテーションセット要素の識別情報に基づいて、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図７の構成である場合、MPD処理部２２１は、識別情報が１である、１つ目および２つ目のアダプテーションセット要素を選択する。
また、MPD処理部２２１は、所定の識別情報を含むアダプテーションセット要素の中から、マッピング処理部２２６によるマッピングの方式に対応する全天球画像の生成方法を含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。
図１１の例では、後述するように、マッピング処理部２２６によるマッピングの方式が、立方体を３Ｄモデルとしてマッピングを行う方式である。従って、MPD処理部２２１は、立方体を３Ｄモデルとしてマッピングを行うキューブマッピングを全天球画像の生成方法として含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。即ち、MPD処理部２２１は、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが「cube」であるアダプテーションセット要素を選択する。
MPD処理部２２１は、選択されたアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２２２に供給する。また、MPD処理部２２１は、選択されたアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部２２６に供給する。
セグメントファイル取得部２２２は、MPD処理部２２１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれるキュービックストリームをデコーダ２２３に供給する。
デコーダ２２３は、セグメントファイル取得部２２２から供給されるキュービックストリームを復号し、全天球画像５０を生成する。デコーダ２２３は、生成された全天球画像５０をマッピング処理部２２６に供給する。
マッピング処理部２２６は、MPD処理部２２１からマッピング情報が供給された場合、マッピング情報に基づいて、デコーダ２２３から供給される全天球画像５０内の基準画像を基準位置に配置し、回転角だけ回転させて、立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。
一方、MPD処理部２２１からマッピング情報が供給されていない場合、マッピング処理部２２６は、全天球画像５０をそのまま立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給する。
描画部２２７は、マッピング処理部２２６から供給される３Ｄモデル画像を、視線検出部２２９から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部２２７は、表示画像をヘッドマウントディスプレイ１５に供給する。
受け取り部２２８は、図１のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から受け取り、視線検出部２２９に供給する。
視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部２２９は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部２２９は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部２２９は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
なお、マッピング処理部２２６によるマッピングの方式は、球を３Ｄモデルとしてマッピングを行う方式であってもよい。
この場合、MPD処理部２２１は、球を３Ｄモデルとしてマッピングを行う正距円筒図法を用いた方法を全天球画像の生成方法として含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。即ち、MPD処理部２２１は、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが「equirectangular」であるアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。その結果、セグメントファイル取得部２２２は、正距円筒ストリームのセグメントファイルを取得する。
（再生装置の処理）
図１２は、図１１の再生装置１４の再生処理を説明するフローチャートである。
図１２のステップＳ３１において、再生装置１４のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部２２１に供給する。
ステップＳ３２において、MPD処理部２２１は、MPDファイルの各アダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueのIが付与された値を、識別情報として認識する。
ステップＳ３３において、MPD処理部２２１は、各アダプテーションセット要素の識別情報の中から所定の識別情報を再生対象の全天球画像の識別情報として選択する。
ステップＳ３４において、MPD処理部２２１は、MPDファイルから、再生対象の全天球画像５０のキュービックストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２２１は、MPDファイルに記述される、再生対象の全天球画像の識別情報と全天球画像の生成方法としてキューブマッピングとを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２２１は、取得されたURLを、セグメントファイル取得部２２２に供給する。
ステップＳ３５において、セグメントファイル取得部２２２は、MPD処理部２２１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれるキュービックストリームをデコーダ２２３に供給する。
ステップＳ３６において、デコーダ２２３は、セグメントファイル取得部２２２から供給されるキュービックストリームを復号し、全天球画像５０を生成する。デコーダ２２３は、生成された全天球画像５０をマッピング処理部２２６に供給する。
ステップＳ３７において、受け取り部２２８は、ヘッドマウントディスプレイ１５からジャイロセンサ１５Ｂの検出結果を受け取り、視線検出部２２９に供給する。
ステップＳ３８において、視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。
ステップＳ３９において、カメラ１４Ａは、マーカ１５Ａの画像を撮影し、視線検出部２２９に供給する。ステップＳ４０において、視線検出部２２９は、カメラ１４Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。
ステップＳ４１において、視線検出部２２９は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、視聴者の視野範囲を決定する。視線検出部２２９は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
ステップＳ４２において、MPD処理部２２１は、再生対象の全天球画像の識別情報と、全天球画像の生成方法としてキューブマッピングとを含むアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。
ステップＳ４２でマッピング情報が含まれていると判定された場合、MPD処理部２２１は、そのマッピング情報をマッピング処理部２２６に供給し、処理をステップＳ４３に進める。
ステップＳ４３において、マッピング処理部２２６は、マッピング情報に基づいて、デコーダ２２３から供給される全天球画像５０を、立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。これにより、立方体４０の基準位置にマッピングされた全天球画像５０は、基準傾きの基準画像になる。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ４５に進める。
一方、ステップＳ４２でマッピング情報が含まれていないと判定された場合、ステップＳ４４において、マッピング処理部２２６は、全天球画像５０を立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。
アダプテーションセット要素にマッピング情報が含まれない場合、そのアダプテーションセット要素に対応する全天球画像５０は、立方体４０にマッピングするだけで、立方体４０の基準位置に基準傾きの基準画像がマッピングされる全天球画像５０である。従って、ステップＳ４４の処理により、立方体４０の基準位置には、基準傾きの基準画像がマッピングされる。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ４５に進める。
ステップＳ４５において、描画部２２７は、マッピング処理部２２６からの３Ｄモデル画像を、視線検出部２２９から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。
ステップＳ４６において、描画部２２７は、表示画像を図１のヘッドマウントディスプレイ１５に伝送して表示させ、処理を終了する。
以上のように、生成装置１２は、MPDファイルに識別情報を設定する。従って、再生装置１４は、識別情報に基づいて、全天球画像の生成に用いられた撮影画像を識別することができる。その結果、再生装置１４は、同一の撮影画像から生成された全天球画像の中から、適切な全天球画像を再生対象として選択することができる。
また、生成装置１２は、複数の生成方法で全天球画像を生成するので、生成装置１２で生成された全天球画像を再生可能な再生装置を増加させることができる。
なお、第１実施の形態では、全天球画像の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されるかどうかによらず、ＭＰＤファイルにマッピング情報が記述されないようにしてもよい。
＜第２実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第２実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
図１３は、本開示を適用した配信システムの第２実施の形態における生成装置の構成例を示すブロック図である。
図１３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１３の生成装置２５０の構成は、エンコーダ２３、エンコーダ２５、セグメントファイル生成部２８、MPDファイル生成部２９の代わりに、エンコーダ２５４－１乃至２５４－６、エンコーダ２５２、セグメントファイル生成部２５５、MPDファイル生成部２５６が設けられる点、および、新たに低解像度化部２５１と分割部２５３が設けられる点が、図２の生成装置１２の構成と異なる。
生成装置２５０は、正距円筒図法を用いた方法により生成された全天球画像９０を低解像度化して符号化し、キュービックマッピングにより生成された全天球画像５０を分割して符号化する。
具体的には、生成装置２５０の低解像度化部２５１は、投影処理部２４から供給される全天球画像９０の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を１以上のビットレートで符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
分割部２５３は、投影処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、各画像５１乃至５６を高解像度画像として、エンコーダ２５４－１乃至２５４－６に供給する。
エンコーダ２５４－１乃至２５４－６は、それぞれ、分割部２５３から供給される高解像度画像を１以上のビットレートで符号化する。エンコーダ２５４－１乃至２５４－６は、その結果生成される面４１乃至４６の高解像度ストリームをセグメントファイル生成部２５５に供給する。
セグメントファイル生成部２５５は、各ビットレートの低解像度ストリーム、各ビットレートの面４１乃至４６の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２５５は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
MPDファイル生成部２５６は、MPDファイルを生成する。具体的には、MPDファイル生成部２５６は、MPDファイルに、低解像度ストリームおよび高解像度ストリームのセグメントファイルごとに、セグメントファイルに対応する撮影画像の識別情報としてのＩＤなどを設定する。
また、MPDファイル生成部２５６は、必要に応じて、MPDファイルに、低解像度ストリームおよび高解像度ストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。MPDファイル生成部２５６は、MPDファイルをアップロード部３０に供給する。
（MPDファイルの第１の例）
図１４は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第１の例を示す図である。
図１４の例では、ピリオド要素に対応する時間範囲の低解像度ストリーム、面４１乃至４６の高解像度ストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図１４のMPDファイルでは、ピリオド要素が、８つのアダプテーションセット要素を含んでいる。また、図１４の例では、全天球画像５０および全天球画像９０の識別情報とマッピング情報は、図７の例と同一である。
先頭から１つ目のアダプテーションセット要素は、低解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズwidthおよび垂直方向のサイズheightと、
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueを除いて、図７の１つ目のアダプテーションセット要素と同一である。
即ち、１つ目のアダプテーションセット要素に対応する画像は、投影処理部２４により生成される全天球画像９０ではなく、低解像度画像である。また、低解像度画像の水平方向および垂直方向の解像度は、それぞれ、全天球画像９０の水平方向および垂直方向の解像度の半分である。従って、１つ目のアダプテーションセット要素が有する水平方向のサイズｗｉｄｔｈは９６０（＝１９２０／２）画素であり、垂直方向のサイズｈｅｉｇｈｔが４８０（＝９６０／２）画素である。
また、低解像度画像の生成に用いられた撮影画像は、全天球画像９０の生成に用いられた撮影画像であり、その撮影画像の識別情報としてのＩＤは「１」である。しかしながら、図１４の例では、低解像度画像のマッピング情報は、低解像度画像内の基準画像の位置の座標(480,240)と回転角０度である。従って、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B480,240,0」である。つまり、図１４の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
先頭から２乃至７つ目のアダプテーションセット要素は、それぞれ、面４１乃至４６の高解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズwidthおよび垂直方向のサイズheightと、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」を新たに含む点とを除いて、図７の２つ目のアダプテーションセット要素と同一である。
即ち、先頭から２乃至７つ目のアダプテーションセット要素に対応する画像は、投影処理部２２により生成される全天球画像５０ではなく、画像５１乃至５６である。従って、２乃至７つ目のアダプテーションセット要素が有する水平方向のサイズｗｉｄｔｈおよび垂直方向のサイズｈｅｉｇｈｔは、画像５１乃至５６の水平方向および垂直方向の画素数である１０２４画素である。
また、先頭から２乃至７つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する画像が動画コンテンツの画像を分割した画像であることを示すSRD（Spatial Relationship Description）である「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」を有する。
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueは、source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_idである。
「source_id」は、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）を識別するＩＤである。また、「object_x」、「object_y」は、それぞれ、このアダプテーションセット要素に対応する画像の左上の位置の、分割前の画像（ここでは全天球画像５０）上の水平方向の座標、垂直方向の座標である。「object_width」、「object_height」は、それぞれ、このアダプテーションセット要素に対応する画像の水平方向のサイズ、垂直方向のサイズである。さらに、「total_width」、「total_height」は、それぞれ、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）の水平方向のサイズ、垂直方向のサイズである。「spatial_set_id」は、このアダプテーションセット要素に対応する画像の分割の階層を識別するＩＤである。図１４の例では、全天球画像５０のＩＤは０である。
従って、画像５１乃至５６に対応する先頭から２つ目乃至７つ目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueは、それぞれ、「0,2048,1024,1024,1024,4096,3072,0」、「0,0,1024,1024,1024,1024,4096,3072,0」、「0,1024,0,1024,1024,4096,3072,0」、「0,1024,2048,1024,1024,4096,3072,0」、「0,1024,1024,1024,1024,4096,3072,0」、「0,3072,1024,1024,1024,4096,3072,0」である。
なお、図１４の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されないため、マッピング情報が記述されているが、投影される場合には、マッピング情報は記述されない。
先頭から８つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
また、図１４の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至８つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテーション要素に対応するセグメントファイルのBaseURLとして、それぞれ、「equirectangular.mp4」、「cube1.mp4」乃至「cube6.mp4」、「audio.mp4」が記述されている。なお、図１４では、セグメントインフォ要素の記述は省略している。
（生成装置の処理の説明）
図１５は、図１３の生成装置２５０のファイル生成処理を説明するフローチャートである。
図１５のステップＳ６１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
ステップＳ６２において、投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、低解像度化部２５１に供給する。
ステップＳ６３において、低解像度化部２５１は、投影処理部２４から供給される全天球画像９０を低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
ステップＳ６４において、エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
ステップＳ６５において、投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、分割部２５３に供給する。
ステップＳ６６において、分割部２５３は、投影処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、画像５１乃至５６を高解像度画像として、それぞれ、エンコーダ２５４－１乃至２５４－６に供給する。
ステップＳ６７において、エンコーダ２５４－１乃至２５４－６は、それぞれ、面４１乃至４６の高解像度画像を符号化して高解像度ストリームを生成し、セグメントファイル生成部２５５に供給する。
ステップＳ６８において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２５５に供給する。
ステップＳ６９において、セグメントファイル生成部２５５は、各ビットレートの低解像度ストリーム、各ビットレートの面４１乃至４６の高解像度ストリーム、およびオーディオストリームをセグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部２５５は、セグメントファイルをアップロード部３０に供給する。
ステップＳ７０乃至Ｓ７４の処理は、図１０のステップＳ１８乃至Ｓ２２の処理と同様であるので、説明は省略する。
（再生装置の構成例）
図１６は、本開示を適用した配信システムの第２実施の形態における再生装置の構成例を示すブロック図である。
図１６に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１６の再生装置２７０の構成は、MPD処理部２２１、セグメントファイル取得部２２２、デコーダ２２３、マッピング処理部２２６、視線検出部２２９の代わりに、MPD処理部２７１、セグメントファイル取得部２７２、デコーダ２７３およびデコーダ２７４、マッピング処理部２７５、視線検出部２７６が設けられる点が、図１１の再生装置１４の構成と異なる。再生装置２７０は、視聴者の視聴位置から視線方向に延びる視線に対応する面の高解像度画像と低解像度画像から表示画像を生成する。
再生装置２７０のMPD処理部２７１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部２７１は、図１１のMPD処理部２２１と同様に、各アダプテーションセット要素の識別情報を認識し、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、識別情報が１である、先頭から１乃至７つ目のアダプテーションセット要素を選択する。
そして、MPD処理部２７１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、低解像度画像のアダプテーションセット要素(図１４の例では、SRDを含まないアダプテーションセット要素)を、再生対象の低解像度画像のアダプテーションセット要素として選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、１つ目のアダプテーションセット要素を選択する。
また、MPD処理部２７１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、高解像度画像のアダプテーションセット要素(図１４の例では、SRDを含むアダプテーションセット要素)を選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、２乃至７つ目のアダプテーションセット要素を選択する。
そして、MPD処理部２７１は、視線検出部２７６から供給される選択面情報（詳細は後述する）とSRDとに基づいて、高解像度画像のアダプテーションセット要素から、選択面情報が示す選択面のアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。
具体的には、MPD処理部２７１は、画像５１乃至５６のうちの、選択面情報が示す選択面に対応する画像の全天球画像５０上の位置をvalueが示すアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。なお、選択面情報とは、面４１乃至４６のうちの視聴者の視線に対応する１つの面を選択面として示す情報である。
MPD処理部２７１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２７２に供給する。また、MPD処理部２７１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部２７５に供給する。
セグメントファイル取得部２７２は、MPD処理部２７１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２７２は、取得されたセグメントファイルに含まれる１本の低解像度ストリームをデコーダ２７３に供給し、１本の高解像度ストリームをデコーダ２７４に供給する。
デコーダ２７３は、セグメントファイル取得部２７２から供給される１本の低解像度ストリームを復号して低解像度画像を生成し、マッピング処理部２７５に供給する。
デコーダ２７４は、セグメントファイル取得部２７２から供給される１本の高解像度ストリームを復号して高解像度画像を生成し、マッピング処理部２７５に供給する。
マッピング処理部２７５は、MPD処理部２７１から低解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて低解像度画像内の基準画像を基準位置に配置し、回転角λだけ回転させて、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。一方、MPD処理部２７１から低解像度画像のマッピング情報が供給されない場合、マッピング処理部２７５は、低解像度画像をそのまま、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
なお、マッピング処理部２７５は、低解像度画像の全てをマッピングするのではなく、視線検出部２７６により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
また、マッピング処理部２７５は、視線検出部２７６から供給される選択面情報に基づいて、球７０の内部に選択面を３Ｄモデルとして設定する。マッピング処理部２７５は、MPD処理部２７１から高解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて高解像度画像の基準画像を基準位置に配置し、回転角だけ回転させて、球７０の内部に設定された選択面にテクスチャとしてマッピングする。一方、MPD処理部２７１から高解像度画像のマッピング情報が供給されない場合、マッピング処理部２７５は、高解像度画像をそのまま、球７０の内部に設定された選択面にテクスチャとしてマッピングする。
そして、マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
視線検出部２７６は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部２７６は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて視聴位置を検出する。
視線検出部２７６は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、面４１乃至４６のうちの、中心を通る法線が視聴者の視線に最も近い１つの面を選択面に決定する。視線検出部２７６は、選択面情報をMPD処理部２７１とマッピング処理部２７５に供給する。
また、視線検出部２７６は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部２７６は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
（再生装置の処理）
図１７は、図１６の再生装置２７０の再生処理を説明するフローチャートである。
図１７のステップＳ８１乃至Ｓ８３の処理は、図１２のステップＳ３１乃至Ｓ３３の処理と同様であるので、説明は省略する。
ステップＳ８４において、MPD処理部２７１は、MPDファイルから再生対象の低解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２７１は、MPDファイルに記述される、ステップＳ８３で選択された識別情報を含む低解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２７１は、取得されたURLをセグメントファイル取得部２７２に供給する。
ステップＳ８５乃至Ｓ８８の処理は、図１２のステップＳ３７乃至Ｓ４０の処理と同様であるので、説明は省略する。
ステップＳ８９において、視線検出部２７６は、視聴位置と視線方向に基づいて、選択面と視聴者の視野範囲を決定する。視線検出部２７６は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。また、視線検出部２７６は、選択面情報をMPD処理部２７１とマッピング処理部２７５に供給する。マッピング処理部２７５は、選択面情報に基づいて、球７０の内部に選択面を３Ｄモデルとして設定する。
ステップＳ９０において、MPD処理部２７１は、MPDファイルから再生対象の高解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２７１は、MPDファイルに記述される、ステップＳ８３で選択された識別情報と選択面情報が示す選択面に対応する高解像度画像の全天球画像５０上の位置をvalueが示すSRDを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２７１は、取得されたURLをセグメントファイル取得部２７２に供給する。
ステップＳ９１において、セグメントファイル取得部２７２は、MPD処理部２７１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれる低解像度ストリームをデコーダ２７３に供給し、高解像度ストリームをデコーダ２７４に供給する。
ステップＳ９２において、デコーダ２７４は、セグメントファイル取得部２７２から供給される高解像度ストリームを復号して高解像度画像を生成し、マッピング処理部２７５に供給する。
ステップＳ９３において、デコーダ２７３は、セグメントファイル取得部２７２から供給される低解像度ストリームを復号して低解像度画像を生成し、マッピング処理部２７５に供給する。
ステップＳ９４において、MPD処理部２７１は、再生対象の低解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ９４でマッピング情報が含まれていると判定された場合、MPD処理部２７１は、そのマッピング情報をマッピング処理部２７５に供給し、処理をステップＳ９５に進める。
ステップＳ９５において、マッピング処理部２７５は、MPD処理部２７１から供給される低解像度ストリームのマッピング情報に基づいて、デコーダ２７３から供給される低解像度画像を球７０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。そして、処理はステップＳ９７に進む。
一方、ステップＳ９４でマッピング情報が含まれないと判定された場合、処理はステップＳ９６に進む。ステップＳ９６において、マッピング処理部２７５は、デコーダ２７３から供給される低解像度画像をそのまま、球７０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。そして、処理はステップＳ９７に進む。
ステップＳ９７において、MPD処理部２７１は、再生対象の高解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ９７でマッピング情報が含まれていると判定された場合、MPD処理部２７１は、そのマッピング情報をマッピング処理部２７５に供給し、処理をステップＳ９８に進める。
ステップＳ９８において、マッピング処理部２７５は、高解像度ストリームのマッピング情報に基づいて、高解像度画像を球７０の内部に設定された選択面にテクスチャとしてマッピングする。マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１００に進める。
一方、ステップＳ９７でマッピング情報が含まれていないと判定された場合、処理はステップＳ９９に進む。ステップＳ９９において、マッピング処理部２７５は、高解像度画像を球７０の内部に設定された選択面にそのままテクスチャとしてマッピングする。マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１００に進める。
ステップＳ１００およびＳ１０１の処理は、図１２のステップＳ４５およびＳ４６の処理と同様であるので、説明は省略する。
以上のように、生成装置２５０は、MPDファイルに識別情報を設定する。従って、再生装置２７０は、識別情報に基づいて、同一の識別情報に対応する低解像度画像と高解像度画像を、同時に再生する画像として選択することができる。
また、生成装置２５０は、MPDファイルにマッピング情報を設定する。従って、再生装置２７０は、マッピング情報に基づいて低解像度画像と高解像度画像のマッピングを行うことにより、基準位置にマッピングされる低解像度画像と高解像度画像を基準傾きの基準画像にすることができる。その結果、低解像度画像と高解像度画像を同一の球７０内に高精度で重ねてマッピングすることができる。
さらに、再生装置２７０は、面４１乃至４６のうちの、視聴者の視線に対応する１つの選択面の高解像度ストリームのみを取得する。従って、全ての面４１乃至４６の高解像度ストリームを取得する場合に比べて、生成装置２５０と再生装置２７０間の伝送量を削減することができる。
また、再生装置２７０は、視聴者の視線に対応する選択面の高解像度画像と、全ての面７１乃至７８の低解像度画像とを用いて３Ｄモデル画像を生成する。従って、視聴者の視野範囲の表示画像を高解像度画像から生成することができ、その結果、表示画像の画質が向上する。また、視聴者の視野範囲への透視投影に用いる３Ｄモデル画像の領域が高解像度画像以外の領域を含む場合や、視聴者の視野範囲が急激に変化した場合であっても、低解像度画像を用いて表示画像を生成することができる。
（MPDファイルの第２の例）
図１８は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第２の例を示す図である。
図１８のMPDファイルの記述は、識別情報とマッピング情報が、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」ではなく、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueとして設定される点が、図１４の記述と異なる。
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、全天球画像の生成方法、ID、および「X,Y,λ」である。
即ち、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「equirectangular I1 B480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「cube I1 B1530,1524,0」である。この場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。なお、全天球画像の生成方法を格納するブロックの先頭には何も付されていない。
また、先頭から１乃至７つ目のアダプテーションセット要素には、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」が記述されない。
（MPDファイルの第３の例）
図１９は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第３の例を示す図である。
図１９のMPDファイルの記述は、マッピング情報が、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」ではなく、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueとして設定される点が、図１４の記述と異なる。
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、全天球画像の生成方法とマッピング情報である。
従って、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「equirectangular B480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「cube B1530,1524,0」である。この場合も、図７の場合と同様に、valueの、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。なお、全天球画像の生成方法を格納するブロックの先頭には何も付されていない。
また、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、IDである。即ち、１乃至７つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1」である。この場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付されている。
図１９の例では、識別情報がマッピング情報とは異なるSupplementalPropertyのvalueで示されるので、マッピング以外の処理に識別情報を用いることが容易になる。
（MPDファイルの第４の例）
図２０は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第４の例を示す図である。
図２０のMPDファイルの記述は、マッピング情報の種類を示す種類情報が新たに記述される点が、図１４の記述と異なる。
即ち、上述した説明では、マッピング情報は、座標(X,Y)と回転角λであるようにした。しかしながら、上述したように、マッピング情報は、オイラー角(α，β，γ)やクォータニオン(q0, q1, q2, q3)であってもよい。
従って、図２０の例では、マッピング情報が、座標(X,Y)と回転角λ、オイラー角(α，β，γ)、およびクォータニオン(q0, q1, q2, q3)のいずれであるかを示す情報が、種類情報として記述される。
具体的には、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」の「original_source_id」と「2016」の間に種類情報が設定される。
図２１に示すように、種類情報（type）は、マッピング情報が座標(X,Y)と回転角λであることを示す場合「2dxy-3dr」であり、マッピング情報がオイラー角(α，β，γ)であることを示す場合「yxz-euler」である。また、種類情報は、マッピング情報がクォータニオン(q0, q1, q2, q3)であることを示す場合、「quaternion」である。
図２０の例では、マッピング情報が座標(X,Y)と回転角λである。従って、先頭から１つ目のアダプテーションセット要素に含まれる、valueが「I1 B480,240,0」であるSupplementalPropertyは、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2dxy-3dr:2016”」である。
また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる、valueが「I1 B1530,1524,0」であるSupplementalPropertyは、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2dxy-3dr:2016”」である。なお、この図２０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
（MPDファイルの第５の例）
図２２は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第５の例を示す図である。
図２２のMPDファイルの記述は、種類情報が「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueに設定される点が、図２０の記述と異なる。
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueが、IDと「種類情報,X,Y,λ」になる。
従って、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B2dxy-3dr,480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B2dxy-3dr,1530,1524,0」である。なお、この図２０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。つまり、この場合、マッピング情報が格納されるブロックの先頭に格納された種類情報に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
以上のように、図２０および図２２の例では、MPDファイルに種類情報が設定される。従って、MPDファイル生成部２５６は、MPDファイルに設定するマッピング情報の種類を複数種類の中から選択することができる。また、再生装置２７０は、MPDファイル生成部２５６がマッピング情報の種類を選択する場合であっても、種類情報により、マッピング情報の種類を認識することができる。その結果、再生装置２７０は、マッピング情報に基づくマッピングを正確に行うことができる。
なお、第１実施の形態のMPDファイルにおいても、図１８の場合のように、識別情報とマッピング情報が、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueに設定されるようにしてもよい。また、図１９の場合のように、マッピング情報が「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueに設定されるようにしてもよい。さらに、図２０や図２２の場合のように、マッピング情報の種類が記述されるようにしてもよい。
＜第３実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第３実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
図２３は、本開示を適用した配信システムの第３実施の形態における生成装置の構成例を示すブロック図である。
図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２３の生成装置３００の構成は、分割部２５３、エンコーダ２５４－１乃至２５４－６、セグメントファイル生成部２５５の代わりに、透視投影部３０２－１乃至３０２－１８、エンコーダ３０３－１乃至３０３－１８、セグメントファイル生成部３０４が設けられる点、設定部３０１が新たに設けられる点、および投影処理部２２が設けられない点が、図１３の生成装置２５０の構成と異なる。
生成装置３００は、正距円筒図法により生成された全天球画像を球７０に投影し、１８個の２次元平面に透視投影することにより１８個の高解像度画像を生成する
。
具体的には、生成装置３００の設定部３０１は、１８個の視線方向に対応する描画面としての２次元平面の位置、傾き、およびサイズを示す２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２－１乃至３０２－１８に供給する。
透視投影部３０２－１乃至３０２－１８は、それぞれ、投影処理部２４により生成された全天球画像９０を球７０に透視投影する。透視投影部３０２－１乃至３０２－１８は、それぞれ、球７０の中心を焦点として、球７０に投影された全天球画像を、設定部３０１から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像（透視投影画像）を生成する。これにより、生成された画像は、球７０に投影された全天球画像９０を球７０の中心Ｏから所定の視線方向に向かって見た画像となる。透視投影部３０２－１乃至３０２－１８は、それぞれ、生成された画像を高解像度画像としてエンコーダ３０３－１乃至３０３－１８に供給する。
エンコーダ３０３－１乃至３０３－１８は、それぞれ、透視投影部３０２－１乃至３０２－１８から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３－１乃至３０３－１８は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
なお、以下では、透視投影部３０２－１乃至３０２－１８を特に区別する必要がない場合、それらをまとめて透視投影部３０２という。同様に、エンコーダ３０３－１乃至３０３－１８をまとめてエンコーダ３０３という。
セグメントファイル生成部３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部３０４は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
（２次元平面情報の構成例）
図２４は、２次元平面情報の構成例を示す図である。
図２４に示すように、２次元平面情報は、方位角、仰角、回転角、横画角、および縦画角により構成される。方位角と仰角は、２次元平面の位置を示す情報であり、回転角は、２次元平面の傾きを示す情報である。また、横画角と縦画角は、２次元平面のサイズを示す情報である。
具体的には、方位角と仰角は、それぞれ、図２５に示すように、３次元モデルとしての球７０の中心Ｏと２次元平面３１１の中心Ｃを結ぶ線と、中心Ｏと球７０上の基準点Ｂとのなす水平方向（図２５中矢印ａ方向）の角度、垂直方向（図２５中矢印ｂ方向）の角度である。また、回転角は、図２５に示すように、中心Ｃと中心Ｏを結ぶ線を軸としたときの２次元平面３１１の回転方向（図２５中矢印ｃ方向）の角度である。なお、ここでは、２次元平面の中心Ｃの位置は、基準点Ｂから方位角、仰角、回転角の順に移動させることにより設定されるものとする。また、回転角は、例えば反時計周りが正方向である。
横画角は、図２５に示すように、２次元平面３１１の横方向の２つの端部の中点ｓおよび中点ｑそれぞれと中心Ｏとを結んだ線のなす角度qosである。また、縦画角は、図２５に示すように、２次元平面３１１の縦方向の２つの端部の中点ｐおよび中点ｒそれぞれと中心Ｏとを結んだ線のなす角度porである。
なお、２次元平面３１１は、球７０の中心Ｏと２次元平面３１１の中心Ｃを通る線が法線となるように設定される。この法線は、中心Ｏを視聴位置としたときの、２次元平面３１１に対応する高解像度画像の視線方向である。
（２次元平面の例）
図２６は、図２３の設定部３０１により設定される１８個の２次元平面の例を示す図であり、図２７は、その１８個の２次元平面の２次元平面情報の例を示す図である。
図２６に示すように、設定部３０１は、球７０の内部に球７０の中心Ｏを中心として配置される立方体３２０の１２本の各辺の中点と中心Ｏを結ぶ線３２１－１，３２１－２，３２１－４，３２１－５，３２１－７，３２１－９，３２１－１１，３２１－１２，３２１－１４，３２１－１５，３２１－１６、および３２１－１８を、中心を通る法線とする１２個の２次元平面を設定する。
また、設定部３０１は、立方体３２０の６個の各面の中心と中心Ｏを結ぶ線３２１－３，３２１－６，３２１－８，３２１－１０，３２１－１３、および３２１－１７を、中心を通る法線とする６個の２次元平面を設定する。
この場合、図２７に示すように、線３２１－１乃至３２１－１８を中心を通る法線とする１８個の２次元平面の２次元平面情報のうちの方位角は、順に、-135,-90,-90,-90,-45,0,0,0,0,0,45,90,90,90,135,180,180,180である。また、仰角は、順に、0,45,0,-45,0,90,45,0,-45,-90,0,45,0,-45,0,45,0,-45である。
また、図２７の例では、１８個の２次元平面全ての回転角は０度に設定され、横画角と縦画角は９０度に設定されている。
以上のように設定された１８個の２次元平面では、隣り合う２次元平面どうしが重なり合う。従って、隣り合う２次元平面の高解像度画像には、球７０に投影された同一の領域の全天球画像が存在する。
なお、２次元平面のサイズを示す情報は、横画角と縦画角ではなく、対角画角であってもよい。対角画角とは、図２８に示すように、２次元平面３２５の対角の２つの頂点ｂ（ａ）および頂点ｄ（ｃ）のそれぞれと球７０の中心Ｏとを結ぶ線がなす角bod(aoc)である。
２次元平面のサイズを示す情報が横画角と縦画角である場合、対角画角である場合に比べて、その情報を見た人間が、２次元平面のサイズを理解しやすい。一方、２次元平面のサイズを示す情報が対角画角である場合、横画角と縦画角である場合に比べて、パラメータの数が少ないため、情報量を削減することができる。
（高解像度画像のSRDの設定方法の説明）
図２９は、図２３のMPDファイル生成部２５６による高解像度画像のSRDの設定方法を説明する図である。
図２９の例では、透視投影部３０２－ｉ（ｉ=1,2,・・・,18）が、図２７の先頭からｉ番目の２次元平面情報が示す２次元平面に全天球画像を透視投影することにより高解像度画像３３１－ｉを生成する。
この場合、MPDファイル生成部２５６は、高解像度画像３３１－１乃至３３１－１８を、図２９に示すように１つの仮想の全天球画像３３２上に配置し、高解像度画像３３１－１乃至３３１－１８を仮想の全天球画像３３２を分割した分割画像として、高解像度画像３３１－１乃至３３１－１８のSRDを設定する。以下では、高解像度画像３３１－１乃至３３１－１８を特に区別する必要がない場合、それらをまとめて高解像度画像３３１という。
第３実施の形態では、図２９に示すように、仮想の全天球画像３３２のサイズは8192画素×5120画素であり、高解像度画像３３１のサイズは1024画素×1024画素である。
（MPDファイルの第１の例）
図３０は、図２３のMPDファイル生成部２５６により生成されるMPDファイルの第１の例を示す図である。
図３０の例では、ピリオド要素に対応する時間範囲の低解像度ストリーム、各高解像度画像３３１の高解像度ストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図３０のMPDファイルでは、ピリオド要素が、２０個のアダプテーションセット要素を含んでいる。
先頭から１個目の低解像度ストリームのセグメントファイルに対応するアダプテーションセット要素は、図１４の場合と同一であるので、説明は省略する。
先頭から２乃至１９個目のアダプテーションセット要素は、各高解像度画像３３１の高解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、全天球画像の生成方法、SRDのvalueに設定される情報、リプレゼンテーション要素、およびマッピング情報を除いて、図１４の２つ目のアダプテーションセット要素と同一である。
具体的には、２乃至１９個目のアダプテーションセット要素に対応する全天球画像は、仮想の全天球画像３３２である。従って、２乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueには、全天球画像の生成方法として、仮想の全天球画像３３２の生成方法を示す「cube-ex」が設定される。
なお、第３実施の形態では、１８個の２次元平面が、立方体を構成する６個の面を有しており、仮想の全天球画像３３２が、キューブマッピングにより生成される全天球画像を含む。従って、ここでは、仮想の全天球画像３３２の生成方法を、キューブマッピング拡張方法と定義し、キューブマッピング拡張方法を示す情報を「cube-ex」とするが、仮想の全天球画像３３２の生成方法を示す情報は、これに限定されない。
また、２乃至１９個目のアダプテーションセット要素が有するSRDのsource_idには、各高解像度画像３３１の分割前の画像である仮想の全天球画像３３２を識別するＩＤが設定される。図３０の例では、このＩＤは０である。
また、２個目のアダプテーションセット要素に対応する高解像度画像３３１－１の左上の位置の仮想の全天球画像３３２上の座標は（0,2048）である。従って、２個目のアダプテーションセット要素が有するSRDのobject_xとobject_yには、それぞれ、0,2048が設定される。
同様にして、３乃至１９個目のアダプテーションセット要素が有するSRDのobject_xには、それぞれ、1024,1024,1024,2048,3072,3072,3072,3072,3072,4096,5120,5120,5120,6144,7168,7168,7168が設定される。また、object_yには、それぞれ、1024,2048,3072,2048,0,1024,2048,3072,4096,2048,1024,2048,3072,2048,1024,2048,3072が設定される。
また、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１の水平方向および垂直方向のサイズは全て1024画素である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのobject_widthとobject_heightには、全て1024が設定される。
さらに、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１の分割前の仮想の全天球画像３３２の水平方向のサイズは8192画素であり、垂直方向のサイズは5120画素である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのtotal_widthには、全て8192が設定され、total_heightには、全て5120が設定される。
また、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１は、仮想の全天球画像３３２を１度分割した画像である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのspatial_set_idには、０が設定される。図３０の例では、マッピング情報のうちの座標(X,Y)が(2554,3572)である。この図３０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
さらに、図３０の例では、先頭から２乃至１９個目アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から２乃至１９個目のアダプテーションセット要素のリプレゼンテーション要素には、そのリプレゼンテーション要素に対応するセグメントファイルのBaseURLとして、それぞれ、「cube1.mp4」乃至「cube18.mp4」が記述されている。
先頭から２０個目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素であり、図１４の先頭から８つ目のアダプテーションセット要素と同一であるので、説明は省略する。なお、図３０では、セグメントインフォ要素の記述は省略している。
（生成装置の処理の説明）
図３１は、図２３の生成装置３００のファイル生成処理を説明するフローチャートである。
図３１のステップＳ１２１乃至Ｓ１２４は、図１５のステップＳ６１乃至Ｓ６４の処理と同様であるので、説明は省略する。
ステップＳ１２５において、設定部３０１は、１８個の視線方向３２１－１乃至３２１－１８に対応する２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２に供給する。
ステップＳ１２６において、透視投影部３０２は、投影処理部２４により生成された全天球画像９０を球７０に投影し、球７０に投影された全天球画像９０を、２次元平面情報が示す２次元平面に透視投影することにより、高解像度画像３３１を生成する。透視投影部３０２は、高解像度画像３３１をエンコーダ３０３に供給する。
ステップＳ１２７において、エンコーダ３０３は、透視投影部３０２から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
ステップＳ１２８において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部３０４に供給する。
ステップＳ１２９において、セグメントファイル生成部３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームをセグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部３０４は、セグメントファイルをアップロード部３０に供給する。
ステップＳ１３０乃至Ｓ１３４の処理は、図１５のステップＳ７０乃至Ｓ７４の処理と同様であるので、説明は省略する。
（再生装置の構成例）
図３２は、本開示を適用した配信システムの第３実施の形態における再生装置の構成例を示すブロック図である。
図３２に示す構成のうち、図１６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３２の再生装置３４０の構成は、MPD処理部２７１、マッピング処理部２７５、視線検出部２７６の代わりに、MPD処理部３４１、マッピング処理部３４２、視線検出部３４３が設けられる点が、図１６の再生装置２７０の構成と異なる。再生装置３４０は、視聴者の視線に対応する２次元平面の高解像度画像と低解像度画像から表示画像を生成する。
具体的には、再生装置３４０のMPD処理部３４１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部３４１は、図１６のMPD処理部２７１と同様に、各アダプテーションセット要素の識別情報を認識し、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部は、識別情報が１である、先頭から１乃至１９個目のアダプテーションセット要素を選択する。
そして、MPD処理部３４１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、低解像度画像のアダプテーションセット要素(図３０の例では、SRDを含まないアダプテーションセット要素)を、再生対象の低解像度画像のアダプテーションセット要素として選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部３４１は、１個目のアダプテーションセット要素を選択する。
また、MPD処理部３４１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、高解像度画像のアダプテーションセット要素（例えば、図３０の例では、SRDを含むアダプテーションセット要素）を選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部は、２乃至１９個目のアダプテーションセット要素を選択する。
そして、MPD処理部３４１は、視線検出部３４３から供給される選択２次元平面情報（詳細は後述する）とSRDに基づいて、高解像度画像のアダプテーションセット要素から、選択２次元平面情報が示す選択２次元平面のアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。
具体的には、MPD処理部３４１は、各２次元平面と、その２次元平面の高解像度画像の仮想の全天球画像３３２上の位置の対応関係を示す対応情報を予め保持している。MPD処理部３４１は、対応情報に基づいて、選択２次元平面情報が示す選択２次元平面に対応する仮想の全天球画像３３２上の位置を認識する。MPD処理部３４１は、その位置をobject_xとobject_yが示すアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。なお、選択２次元平面情報とは、１８個の２次元平面のうちの視聴者の視線に対応する１つの２次元平面を選択２次元平面として示す情報である。
MPD処理部３４１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２７２に供給する。また、MPD処理部３４１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部３４２に供給する。
マッピング処理部３４２は、MPD処理部３４１から低解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて低解像度画像内の基準画像を基準位置に配置し、回転角λだけ回転させて、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。一方、MPD処理部３４１から低解像度画像のマッピング情報が供給されない場合、マッピング処理部３４２は、低解像度画像をそのまま、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
なお、マッピング処理部３４２は、低解像度画像の全てをマッピングするのではなく、視線検出部３４３により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
また、マッピング処理部３４２は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。マッピング処理部３４２は、MPD処理部３４１から高解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて高解像度画像の基準画像を基準位置に配置し、回転角だけ回転させて、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。一方、MPD処理部３４１から高解像度画像のマッピング情報が供給されない場合、マッピング処理部３４２は、高解像度画像をそのまま、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。
そして、マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
視線検出部３４３は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部３４３は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて視聴位置を検出する。
視線検出部３４３は、図２３の設定部３０１と同様に、１８個の２次元平面の２次元平面情報を設定する。視線検出部３４３は、３Ｄモデルの座標系における視聴位置、視線方向、および２次元平面情報に基づいて、１８個の２次元平面のうちの、中心を通る法線が視聴者の視線に最も近い１つの２次元平面を選択２次元平面に決定する。視線検出部３４３は、選択２次元平面情報をMPD処理部３４１とマッピング処理部３４２に供給する。
また、視線検出部３４３は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部３４３は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
（マッピングの説明）
図３３は、図３２のマッピング処理部３４２によるマッピングを説明する図である。
図３３の例では、視聴位置が球７０の中心Ｏである。この場合、中心Ｏから視線方向に延びる視線３６１と、基準位置と中心Ｏを結ぶ線とのなす、水平方向および垂直方向の角度、並びに、視線３６１の回転角に最も近い、方位角および仰角並びに回転角に対応する、中心Ｏから矢印３６２の方向に延びる線を、中心を通る法線とする２次元平面３６３が選択２次元平面として選択される。
従って、マッピング処理部３４２は、球７０の内側に２次元平面３６３を３Ｄモデルとして設定する。そして、マッピング処理部３４２は、３Ｄモデルとしての球７０に低解像度画像３７１をテクスチャとしてマッピングし、３Ｄモデルとしての２次元平面３６３に高解像度画像３７２をテクスチャとしてマッピングする。
以上のように、２次元平面３６３は、球７０の内部に配置される。従って、描画部２２７は、低解像度画像３７１と高解像度画像３７２の両方が存在する方向から、２次元平面３６３より内側の視野範囲に透視投影を行う際、低解像度画像３７１に比べて高解像度画像３７２を優先的に用いることができる。
（再生装置の処理）
図３４は、図３２の再生装置３４０の再生処理を説明するフローチャートである。
図３４のステップＳ１４１乃至Ｓ１４８の処理は、図１７のステップＳ８１乃至Ｓ８８の処理と同様であるので、説明は省略する。
ステップＳ１４９において、視線検出部３４３は、３Ｄモデルの座標系における視聴位置、視線方向、および２次元平面情報に基づいて、１８個の２次元平面のうちの、中心を通る法線が視聴者の視線に最も近い１つの２次元平面を選択２次元平面に決定する。視線検出部３４３は、選択２次元平面情報をMPD処理部３４１とマッピング処理部３４２に供給する。
ステップＳ１５０において、視線検出部３４３は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部３４３は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
ステップＳ１５１において、MPD処理部３４１は、MPDファイルから再生対象の高解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部３４１は、MPDファイルに記述される、ステップＳ１４３で選択された識別情報と選択２次元平面情報が示す選択２次元平面に対応する高解像度画像３３１の仮想の全天球画像３３２上の位置をvalueが示すSRDを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部３４１は、取得されたURLをセグメントファイル取得部２７２に供給する。
ステップＳ１５２乃至Ｓ１５７の処理は、図１７のステップＳ９１乃至Ｓ９６の処理と同様であるので、説明は省略する。
ステップＳ１５８において、マッピング処理部３４２は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。
ステップＳ１５９において、MPD処理部３４１は、再生対象の高解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ１５９でマッピング情報が含まれていると判定された場合、MPD処理部３４１は、そのマッピング情報をマッピング処理部３４２に供給し、処理をステップＳ１６０に進める。
ステップＳ１６０において、マッピング処理部３４２は、高解像度ストリームのマッピング情報に基づいて、高解像度画像を、ステップＳ１５８で設定された選択２次元平面にテクスチャとしてマッピングする。マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１６２に進める。
一方、ステップＳ１５９でマッピング情報が含まれていないと判定された場合、処理はステップＳ１６１に進む。ステップＳ１６１において、マッピング処理部３４２は、高解像度画像を、ステップＳ１５８で設定された選択２次元平面にそのままテクスチャとしてマッピングする。マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１６２に進める。
ステップＳ１６２およびＳ１６３の処理は、図１７のステップＳ１００およびＳ１０１の処理と同様であるので、説明は省略する。
なお、上述した説明では、生成装置３００が、高解像度画像３３１を配置した仮想の全天球画像３３２を生成し、再生装置３４０が、対応情報を保持しておくことにより、SRDを用いて各高解像度画像３３１の２次元平面情報を生成装置３００から再生装置３４０に通知することを可能にした。しかしながら、生成装置３００は、SRDを用いずに、２次元平面情報そのものを再生装置３４０に通知するようにしてもよい。
（MPDファイルの第２の例）
図３５は、この場合のMPDファイルの例を示す図である。
図３５のMPDファイルは、先頭から２乃至１９個目のアダプテーションセット要素に、全天球画像の生成方法をvalueで示す「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」とSRDが含まれず、２次元平面情報をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」が記述される点と、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueを除いて、図３０のMPDファイルと同一である。
具体的には、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueには、IDと、方位角、仰角、回転角、横画角、および縦画角とが設定される。IDは、高解像度画像の生成に用いられた全天球画像がマッピングされた３Ｄモデルを識別するＩＤである。方位角は、２次元平面情報のうちの方位角である。
例えば、先頭から２個目のアダプテーションセット要素に対応する高解像度画像３３１－１に対応する２次元平面情報のうちの方位角、仰角、回転角、横画角、縦画角は、それぞれ、図２７に示したように、-135,0,0,90,90である。従って、先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、「I0 D-135,0,0,90,90」である。
同様に、先頭から３乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、それぞれ、「I0 D-90,45,0,90,90」、「I0 D-90,0,0,90,90」、「I0 D-90,-45,0,90,90」、「I0 D-45,0,0,90,90」、「I0 D0,90,0,90,90」、「I0 D0,45,0,90,90」、「I0 D0,0,0,90,90」、「I0 D0,-45,0,90,90」、「I0 D0,-90,0,90,90」、「I0 D45,0,0,90,90」、「I0 D90,45,0,90,90」、「I0 D90,0,0,90,90」、「I0 D90,-45,0,90,90」、「I0 D135,0,0,90,90」、「I0 D180,45,0,90,90」、「I0 D180,0,0,90,90」、「I0 D180,-45,0,90,90」である。つまりこの図３５の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、２次元平面情報等のデータを格納するブロックの先頭に「D」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
また、MPDファイルに２次元平面情報そのものが記述される場合、マッピング情報を、全天球画像内の基準画像の位置の座標（X,Y）と回転角λで表すことはできない。従って、図３５の例では、マッピング情報をオイラー角で表している。図３５の例では、低解像度画像のオイラー角（α,β,γ）は（0,0,0）であり、高解像度画像３３１のオイラー角(α,β,γ)は(1,0,0)である。また、図３５の例では、種類情報も記述される。
よって、図３５のMPDファイルでは、先頭から１個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 Byxz-euler,0,0,0」である。また、先頭から２乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 Byxz-euler,1,0,0」である。つまり、この場合、マッピング情報が格納されるブロックの先頭に種類情報が格納され、「B」が付されている。
以上のように、MPDファイルに２次元平面情報そのものが記述される場合、生成装置３００が仮想の全天球画像３３２に高解像度画像３３１を配置したり、再生装置３４０が、予め対応情報を保持しておいたりする必要がない。従って、２次元平面の設定の自由度が高まる。
その結果、例えば、注目されやすい前方向については、２次元平面の縦画角と横画角を90度に設定し、隣接する２次元平面どうしの間隔が45度になるように方位角、仰角、および回転角を設定するが、注目されにくい上方向や後方向については、２次元平面の縦画角と横画角を90度以上に設定し、最も注目されにくい下方向については、２次元平面を設定しないようにすることができる。また、注目されやすい方向を撮影画像の内容に応じて変更することもできる。
なお、第３実施の形態では、高解像度画像が２次元平面への透視投影により生成されたが、立体射影(stereographic)、等距離射影(equidistant)などにより生成されるようにしてもよい。この場合、高解像度画像を生成する際の２次元平面への投影方式（Projection方式）を示す情報がMPDファイルに設定される。
具体的には、例えば、図３５の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の「Perspective」が、透視投影以外の投影方式を示す情報に変更される。または、図３５の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の代わりに、描画面を示す情報と投影方式をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」が、MPDファイルに記述される。前者では、投影方式を示す情報がschemeIdUriで示されるが、後者では、valueで示される。
後者の場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」のvalueには、ID、投影方式を示す情報、並びに、方位角、仰角、回転角、横画角、および縦画角が設定される。
投影方式として透視投影を示す情報は、例えば「Perspective」であり、立体射影を示す情報は、例えば「stereographic」であり、等距離射影を示す情報は、例えば「equidistant」である。
また、第３実施の形態では、１８個の２次元平面が、立方体を構成する６個の面を含むため、１８個の高解像度画像には、６個の面４１乃至４６の画像５１乃至５６が含まれている。従って、１８個の高解像度画像のうちの６個の面４１乃至４６の画像５１乃至５６である高解像度画像（以下、共通画像という）を、第２実施の形態における再生装置２７０においても再生することができるように、MPDファイルが設定されるようにしてもよい。
（共通画像の２次元平面情報の説明）
図３６は、図２７の２次元平面情報のうちの、６個の共通画像の２次元平面情報を示す図である。
図３６に示すように、６個の共通画像の２次元平面情報は、図２７の２次元平面情報のうちの方位角と仰角が、それぞれ、-90と0、0と90、0と0、0と-90、90と0、180と0である２次元平面情報である。即ち、６個の共通画像は、高解像度画像３３１－３，３３１－６，３３１－８，３３１－１０，３３１－１３、および３３１－１７である。
（MPDファイルの第３の例）
図３７は、図１６の再生装置２７０において共通画像をキューブマッピングにより生成された全天球画像を分割した高解像度画像として用いることができるように設定されたMPDファイルの一部の例を示す図である。
図３７では、MPDファイルのうちの共通画像である高解像度画像３３１－３のアダプテーションセット要素についてのみ図示している。
図３７のMPDファイルでは、高解像度画像３３１－３の高解像度ストリームのセグメントファイルが、２つのグループにグルーピングされる。従って、図３７のMPDファイルでは、高解像度画像３３１－３に対応して２つのアダプテーションセット要素が記述される。
１つ目のアダプテーションセット要素では、高解像度画像３３１－３を面４２の画像５２として、各種の情報が記述される。具体的には、１つ目のアダプテーションセット要素は、リプレゼンテーション要素に記述されるBaseURLを除いて、図１４の先頭から３つ目のアダプテーションセット要素と同一である。
即ち、１つ目のアダプテーションセット要素に対応する高解像度画像は、１８個の高解像度画像３３１－１乃至３３１－１８のうちの高解像度画像３３１－３である。従って、１つ目のアダプテーションセット要素内のリプレゼンテーション要素のBaseURLとしては、図３０の先頭から４つ目のアダプテーションセット要素内のリプレゼンテーション要素にBaseURLとして記述される「cube3.mp4」が記述される。
また、２つ目のアダプテーションセット要素では、高解像度画像３３１－３を、線３２１－３を中心を通る法線とする２次元平面の高解像度画像として、各種の情報が記述される。具体的には、２つ目のアダプテーションセット要素は、SRDのsource_idに設定される値を除いて、図３０の先頭から４つ目のアダプテーションセット要素と同一である。
即ち、高解像度画像３３１－３を面４２の画像５２とした際の分割前の画像は全天球画像５０であるが、高解像度画像３３１－３を線３２１－３を中心を通る法線とする２次元平面の高解像度画像とした際の分割前の画像は仮想の全天球画像３３２である。従って、２つ目のアダプテーションセット要素のsource_idには、１つ目のアダプテーションセット要素のsource_idである０とは異なる１が設定される。
なお、図３８に示すように、２つ目のアダプテーションセット要素は、図３５の先頭から４つ目のアダプテーションセット要素と同一であってもよい。また、図示は省略するが、高解像度画像３３１－６，３３１－８，３３１－１０，３３１－１３、および３３１－１７のアダプテーションセット要素についても、高解像度画像３３１－３のアダプテーションセット要素と同様に記述される。
図３７や図３８のMPDファイルが生成装置３００により生成される場合、第２実施の形態における再生装置２７０は、全天球画像の生成方法を示す情報として「cube」を有するアダプテーションセット要素のみを抽出する。そして、再生装置２７０は、抽出されたアダプテーションセット要素に対応する６個の面４１乃至４６から視線に対応する面を選択し、選択面の高解像度画像と低解像度画像を用いて表示画像を生成する。
一方、第３実施の形態における再生装置３４０は、図３７のMPDファイルが生成装置３００により生成される場合、全天球画像の生成方法を示す情報として「cube-ex」を有するアダプテーションセット要素のみを抽出する。また、図３８のMPDファイルが生成装置３００により生成される場合、再生装置３４０は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」を有するアダプテーションセット要素のみを抽出する。そして、再生装置３４０は、抽出されたアダプテーションセット要素に対応する１８個の２次元平面から視線に対応する面を選択し、選択面の高解像度画像と低解像度画像を用いて表示画像を生成する。
なお、第３実施の形態では、２次元平面情報に対応する撮影方向、傾き、および画角で撮影画像を撮影することにより、撮影画像そのものを高解像度画像として用いることもできる。この場合、生成装置３００は、透視投影を行う必要がない。
また、第３実施の形態では、同一の全天球画像から低解像度画像と高解像度画像が生成されたが、低解像度画像と高解像度画像の生成に用いられる全天球画像の生成方法は異なっていてもよい。また、同一の全天球画像から低解像度画像と高解像度画像が生成される場合、マッピング情報は記述されなくてもよい。
＜第４実施の形態＞
（２次元平面情報の構成例）
本開示を適用した配信システムの第４実施の形態の構成は、２次元平面情報の構成を除いて、第３実施の形態の構成と同一である。従って、以下では、２次元平面情報についてのみ説明する。
図３９は、第４実施の形態における２次元平面情報を示す描画面情報の構成例を示す図である。
図３９の描画面情報の構成は、FOV_flag、全横画角、全縦画角、およびspatial_set_idが新たに含まれる点が、図２４の構成と異なっている。
FOV_flag（面種類情報）は、このFOV_flagを含む情報に対応する描画面（視野）が球面であるか、または、２次元平面であるかを示すフラグである。描画面情報が２次元平面情報を示す場合、FOV_flagは、描画面が２次元平面であることを示す１である。
FOV_flagにより、描画面が球面である場合、例えば、正距円筒図法を用いて生成された全天球画像の一部が高解像度画像として生成される場合等の描画面を示す情報の構成を、２次元平面情報と同様にすることができる。即ち、FOV_flagを変更することにより、このFOV_flagを含む情報を、２次元平面情報、または、描画面として球面を示す情報に容易に変更することができる。描画面として球面を示す情報に含まれるFOV_flagは、描画面が球面であることを示す０である。
再生装置３４０は、FOV_flagにより、このFOV_flagに対応する高解像度画像が、２次元平面への透視投影により生成される画像であるか、球面への透視投影により生成される画像であるかを認識することができる。
FOV_flagが１である場合、全横画角と全縦画角は、それぞれ、この全横画角と全縦画角を含む２次元平面情報が示す２次元平面のグループ（詳細は後述する）に属する２次元平面全体の横方向の画角、縦方向の画角である。FOV_flagが０である場合も同様である。以降、FOV_flagが１である場合について記述するが、特に説明しない限り、FOV_flagが０である場合も同様である。
再生装置３４０は、全横画角と全縦画角により、グループに属する１つの２次元平面の２次元平面情報を解析するだけで、そのグループに対応する高解像度画像で表現可能な視野範囲を認識することができる。従って、高解像度画像で表現不可能な視野範囲の２次元平面情報を無駄に探索することを防止することができる。グループに属する２次元平面により球や立方体などの３次元物体が構成される場合、全横画角は３６０度であり、全縦画角は１８０度である。
spatial_set_idは、このspatial_set_idを含む２次元平面情報が示す２次元平面が属するグループを示す、グループに固有のＩＤである。２次元平面は、例えば、横画角や縦画角、２次元平面の種類、解像度などによりグループ化される。
２次元平面が横画角によりグループ化される場合、例えば、同一の横画角ごとに２次元平面がグループ化される。ヘッドマウントディスプレイ１５などの表示デバイスは、表示デバイスの種類によって表示画角が異なるため、表示に適切な２次元平面の横画角は表示デバイスの種類によって異なる。従って、再生装置３４０は、ヘッドマウントディスプレイ１５の表示に適切な横画角の２次元平面情報を容易に認識できることが望ましい。
２次元平面が同一の横画角ごとにグループ化される場合、再生装置３４０は、ヘッドマウントディスプレイ１５の表示に適切な横画角に対応するグループの２次元平面情報を、ヘッドマウントディスプレイ１５の表示に適切な横画角の２次元平面情報として容易に認識することができる。縦画角についても、横画角と同様である。
また、２次元平面が２次元平面の種類によりグループ化される場合、例えば、２次元平面は、キューブマッピングにより生成される全天球画像の描画面である、立方体を構成する６つの面のいずれかであるかどうかでグループ化される。この場合、図２６で説明した１８個の２次元平面のうちの、立方体を構成する６つの面が、１つのグループにグループ化され、その他の面が、他のグループにグループ化される。
（FOV_flagの説明）
図４０は、FOV_flagが０である場合の描画面を説明する図である。
ＦＯＶ＿ｆｌａｇが０である場合、高解像度画像は、図４０のＡに示すように、球７０の表面の一部の領域３９１に投影された撮影画像、即ち、図４０のＢに示すように、正距円筒図法を用いて生成された全天球画像９０の部分画像３９２である。
この場合、部分画像３９２の描画面、即ち領域３９１の横画角は、球７０の中心Ｏを含む水平面における領域３９１の角度poqであり、縦画角は、中心Ｏを含む水平面に垂直な垂直面における領域３９１の角度aobである。図４０の例では、角度poqと角度aobは３０度である。
これに対して、FOV_flagが１である場合、高解像度画像の描画面は２次元平面である。従って、横画角は図２５で示した角度qosであり、縦画角は、図２５で示した角度porである。
（MPDファイルの第１の例）
図４１は、図３９の２次元情報を記述するMPDファイルの第１の例を示す図である。
図４１のMPDファイルは、投影方式が透視投影である場合の２次元平面情報をvalueで示すschemeIdUriである「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueに、新たにspatial_set_id、全横画角、および全縦画角が設定される点が、図３５のMPDファイルと異なっている。
具体的には、図４１の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueには、IDおよびspatial_set_idと、方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。
また、図４１の例では、高解像度画像３３１－１乃至３３１－１８に対応する２次元平面が全て同一のグループにグループ化され、そのグループにＩＤ「１」が付与されている。また、高解像度画像３３１－１乃至３３１－１８に対応する１８個の２次元平面には、立方体４０を構成する６つの面４１乃至４６が含まれている。従って、１８個の２次元平面全体の全横画角と全縦画角は、それぞれ、３６０度、１８０度である。
従って、先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、「I0,1 D-135,0,0,90,90,360,180」である。
また、先頭から３乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、それぞれ、「I0,1 D-90,45,0,90,90,360,180」、「I0,1 D-90,0,0,90,90,360,180」、「I0,1 D-90,-45,0,90,90,360,180」、「I0,1 D-45,0,0,90,90,360,180」、「I0,1 D0,90,0,90,90,360,180」、「I0,1 D0,45,0,90,90,360,180」、「I0,1 D0,0,0,90,90,360,180」、「I0,1 D0,-45,0,90,90,360,180」、「I0,1 D0,-90,0,90,90,360,180」、「I0,1 D45,0,0,90,90,360,180」、「I0,1 D90,45,0,90,90,360,180」、「I0,1 D90,0,0,90,90,360,180」、「I0,1 D90,-45,0,90,90,360,180」、「I0,1 D135,0,0,90,90,360,180」、「I0,1 D180,45,0,90,90,360,180」、「I0,1 D180,0,0,90,90,360,180」、「I0,1 D180,-45,0,90,90,360,180」である。つまりこの図３５の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付されている。なお、データを格納するブロックの先頭には「D」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
なお、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、投影方式が透視投影である場合のschemeIdUriであるため、このschemeIdUriが記述される場合、描画面は必ず２次元平面である。従って、図４１の例では、FOV_flagがvalueとして設定されないようにしたが、設定されるようにしてもよい。
また、第３実施の形態と同様に、投影方式としては透視投影以外の方式が採用されてもよい。この場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の「Perspective」が、投影方式を示す他の情報（例えば、「stereographic」、「equidistant」）に変更される。
なお、投影方式は、valueで示されてもよい。この場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の代わりに、描画面を示す情報と投影方式をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」が、MPDファイルに記述される。そして、valueには、IDおよびspatial_set_id、投影方式を示す情報、FOV_flag、方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。
従って、例えば、投影方式が透視投影である場合、図４１の先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」になり、valueは、「I0,1 Pperspective D1,-135,0,0,90,90,360,180」になる。なお、この場合、投影方式を格納するブロックの先頭には「P」が付されている。
以上のように、投影方式をvalueで示す場合、valueを変更するだけで投影方式の拡張に対応することができる。従って、投影方式をschemeIdUriで示す場合に比べて投影方式の拡張への対応が容易である。また、投影方式をvalueで示す場合、描画面を示す情報をvalueで示すschemeIdUriは全投影方式で共通であるため、このschemeIdUriの記述によって、描画面が球面と２次元平面のいずれであるか判断することはできない。従って、この場合、valueには、FOV_flagが設定される。
また、第４実施の形態においても、第３実施の形態と同様に、共通画像を再生装置２７０においても再生することができるように、MPDファイルが設定されるようにしてもよい。
（MPDファイルの第２の例）
図４２は、この場合のMPDファイルの一部の例を示す図である。
図４２のMPDファイルは、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016”」のvalueが、図４１の先頭から４個目のアダプテーションセット要素と同一になる点が、図３８のMPDファイルと異なっている。
また、第４の実施例において、MPDファイルには、描画面情報が、全天球映像の生成方法とSRD情報とともに記述されるようにしてもよい。
図４３は、この場合のMPDファイルの一部の例を示す図である。図４３において、各アダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueには、全天球映像の生成方法が設定される。
また、各アダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016”」のvalueには、描画面情報として、ID, spatial_set_id, FOV_flag, 方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。投影方式は、前記全天球映像の生成方法から判別可能であるため設定されないようにしたが、設定されるようにしてもよい。
さらに、２番目乃至４番目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueにはSRD情報が設定される。
なお、上述した描画面情報におけるID, spatial_set_id,全横画角、および全縦画角は、その描画面情報がSRD情報とともにアダプテーションセット要素に記述される場合、省略してもよい。また、各アダプテーションセット要素に記述される描画面情報が、マッピング情報を含んだ情報となっている場合、マッピング情報の記述は省略してもよい。
図４４は、図４３に示されるＭＰＤファイルにより設定されるキューブストリームの３Ｄモデルの例を示す斜視図である。この場合、撮影画像は、立方体の６つの面（分割１乃至分割６）に投影される。この各面を展開したＳＲＤ情報は、例えば図４５のようになる。また、描画面情報は例えば図４６のようになる。
また、第４実施の形態において、MPDファイルには、全天球画像の３Ｄモデルとしての球７０の半径をメートル単位で示す距離情報が記述されるようにしてもよい。
（MPDファイル第３の例）
図４７は、この場合のMPDファイルの例を示す図である。
図４７のMPDファイルは、各アダプテーションセット要素に、距離情報をvalueで示す「SupplementalProperty schemeIdUri=http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016」が新たに記述される点が、図４１のMPDファイルと異なる。
図４１の例では、球７０の半径が１０メートルである。従って、図４１の先頭から２乃至１９個目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016」のvalueには、10が設定される。
なお、距離情報には、球７０の半径そのものを示す情報だけでなく、球７０の半径が無限遠であることを示す「inf」や不明であることを示す「und」が含まれるようにしてもよい。距離情報が「und」である場合、球７０の半径は、再生装置３４０により推測される。また、距離情報の単位は、メートル単位以外の単位であってもよい。
第１乃至第３実施の形態においても、第４実施の形態と同様に、MPDファイルに球７０の半径が記述されるようにしてもよい。
以上のように、MPDファイルに球７０の半径を記述することにより、再生装置１４（２７０，３４０）は、適切な奥行き感のある表示画像を視聴者に提供することができる。
即ち、ヘッドマウントディスプレイ１５などの表示デバイスでは、両目用に別々の画像を表示することができる。従って、再生装置１４（２７０，３４０）は、例えば、表示画像を所定の距離だけ右方向と左方向にずらして、左目用の表示画像と右目用の表示画像を生成し、ヘッドマウントディスプレイ１５に表示させることにより、表示画像の奥行き感を発生させることができる。左目用の表示画像と右目用の表示画像のずれが大きい場合、視聴者は、表示画像における被写体が手前側にあると認識し、ずれが小さい場合、被写体が奥側にあると認識する。
しかしながら、再生装置１４（２７０，３４０）は、左目用の表示画像と右目用の表示画像の適切なずれ量がわからない。従って、生成装置１２（２５０，３００）は、MPDファイルに球７０の半径を記述する。これにより、再生装置１４（２７０，３４０）は、球７０の半径に基づいて左目用の表示画像と右目用の表示画像の適切なずれ量を算出することができる。その結果、適切な奥行き感のある表示画像を視聴者に提供することができる。
なお、第１乃至４実施の形態では、value値を区切る方法として、スーペースとアルファベットによって区切る方法と、コンマで区切る方法の両方が用いられるが、コンマで区切る方法のみが用いられるようにしてもよい。
この場合、例えば、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」のvalueには、「ID,projection,FOV_flag,方位角,仰角,回転角,横画角,縦画角,全横画角,全縦画角,spatial_set_id」が設定される。
従って、例えば、投影方式が透視投影である場合、図４１の先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」になり、valueは、「0,perspective,1,-135,0,0,90,90,360,180,1」になる。
＜第５実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第５実施の形態は、第４実施の形態でMPDファイルに設定された画像（低解像度画像、高解像度画像）に関する各種の情報をセグメントファイルに設定する点が、第４実施の形態と異なる。従って、以下では、生成装置と再生装置以外の処理の説明は、適宜省略する。
図４８は、本開示を適用した生成装置の第５実施の形態の構成例を示すブロック図である。
図４８に示す構成のうち、図２３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図４８の生成装置４００の構成は、セグメントファイル生成部３０４、MPDファイル生成部２５６の代わりに、セグメントファイル生成部４０１、MPDファイル生成部４０２が設けられる点が、図２３の生成装置３００の構成と異なる。
セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをまとめて、MP4ファイルフォーマットにしたがってファイル化し、セグメントファイルを生成する。
具体的には、セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、所定の時間単位の低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをそれぞれサンプルとして、セグメントファイルに配置する。また、セグメントファイル生成部４０１（設定部）は、セグメントファイルに、そのセグメントファイルに配置されるサンプルに対応する画像に関する各種の情報を設定する。セグメントファイル生成部４０１は、セグメントファイルをアップロード部３０に供給する。
MPDファイル生成部４０２は、MPDファイルを生成する。このMPDファイルには、第４実施の形態のように画像に関する各種の情報は設定されない。MPDファイル生成部４０２は、MPDファイルをアップロード部３０に供給する。
なお、第５実施の形態では、画像の符号化方式はHEVC（High Efficiency Video Coding）であるものする。
（画像に関する各種の情報の設定方法の説明）
図４９は、図４８のセグメントファイル生成部４０１による画像に関する各種の情報の設定方法を説明する図である。
セグメントファイルは、MP4ファイルフォーマットのファイルであり、図４９に示すボックス構造を有する。図４９において、４文字のアルファベットは、ボックスの名前を表し、その名前の横方向の位置は、その名前のボックスの層を表している。層は、右側ほど低い。
図４９に示すように、図４８のセグメントファイル生成部４０１による画像に関する各種の情報の設定方法としては、例えば、第１乃至第５の方法がある。
具体的には、画像に関する各種の情報がトラック内で変化しない場合、画像に関する各種の情報は、第１乃至第３の方法のいずれかでトラック単位で設定される。
第１の方法では、画像に関する各種の情報は、moovボックスの下層の、トラックごとに設けられるtrakボックスの下層の、画像の符号化方式であるHEVCのConfiguration BoxであるhvcCボックス（HEVC Configuration Box）に設定される。
第２の方法では、画像に関する各種の情報は、trakボックスの下層のstsdボックスに含まれるHEVCの画像のVisual Sample Entry（hev1ボックス）に設定される。
第３の方法では、画像に関する各種の情報は、trakボックスの下層の復号後の処理に必要な情報を格納するrinf ボックス（Restricted Scheme Info box)の下層のschiボックスに設定される。
また、画像に関する各種の情報の少なくとも一部がトラック内で変化する場合、画像に関する各種の情報は、第４または第５の方法で設定される。
第４の方法では、画像に関する各種の情報のうちの、少なくともトラック内で変化する情報が、サンプル単位で、sbgpボックス（SampleToGroupBox）とsgpd（SampleGroupDescriptionBox）ボックスを用いてサンプルグループという手法で設定される。
第５の方法では、画像に関する各種の情報のうちの、少なくともトラック内で変化する情報が、サンプル単位で、画像に関する各種の情報に割り当てられたトラックのサンプルにtimed metadataとして設定される。
（第１の方法の説明）
図５０は、図４８のセグメントファイル生成部４０１により第１の方法で画像に関する各種の情報が設定される場合のhvcCボックスの構成例を示す図である。
図５０に示すように、セグメントファイル生成部４０１により第１の方法で画像に関する各種の情報が設定される場合、hvcCボックスが、トラック単位の画像に関する各種の情報を含むscriボックス（Spherical Coordinate Region Info Box）を含むように拡張される。
なお、第５実施の形態では、画像の符号化方式がHEVCであるのでhvcCボックスが拡張されたが、画像の符号化方式がHEVC以外である場合には、hvcCボックスではなく、その符号化方式のConfiguration Boxがscriボックスを含むように拡張される。
図５１は、scriボックスの構成例を示す図である。
図５１に示すように、scriボックスには、画像に関する各種の情報が設定される。具体的には、高解像度画像を生成する際の２次元平面への投影方式を示す情報がprojection_typeとして設定される。
全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤがidとして設定される。FOV_flagが設定される。２次元平面情報を構成する方位角がobject_yawとして設定され、仰角がobject_pitchとして設定され、回転角がobject_rollとして設定され、横画角がobject_widthとして設定され、縦画角がobject_heightとして設定される。
また、全横画角がtotal_widthとして設定され、全縦画角がtotal_heightとして設定される。なお、全横画角が360度である場合total_widthは省略可能であり、全縦画角が180度である場合total_heightは省略可能である。さらに、距離情報がsphere_radiusとして設定され、spatial_set_idが設定される。spatial_set_idが０である場合、spatial_set_idは設定されなくてもよい。
なお、同一のidが設定されるscriボックスに対応するトラックが割り当てられた低解像度画像および高解像度画像は、同一の３Ｄモデルにマッピング可能である。
また、同一のspatial_set_idが示すグループに属する複数の高解像度画像に対して異なるトラックが割り当てられる場合であっても、total_width,total_heightとしては、全横画角、全縦画角が設定される。即ち、この場合、total_width,total_heightとしては、複数のトラックに割り当てられた、同一のspatial_set_idが示すグループに属する複数の高解像度画像に対応する２次元平面全体の横方向の画角、縦方向の画角が設定される。
全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一である複数の画像（低解像度画像、高解像度画像）に対して複数のトラックが割り当てられる場合、セグメントファイル生成部４０１は、そのＩＤをidとしてscriボックスに設定せずに、そのＩＤが同一であるトラックをグルーピングするようにしてもよい。
この場合、図５２に示すように、trakボックスの下層のtrefボックス（Track Reference Box）を用いて、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一であるトラックどうしのグルーピングが行われる。
具体的には、trefボックスに含まれるトラックの参照関係を示すTrack Reference Type Boxの参照関係の種類を示すreference_typeとして、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一であることを示す「spid」が設定される。そして、reference_typeが「spid」であるTrack Reference Type Boxには、このTrack Reference Type Boxに対応するトラックと、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一である他のトラックのＩＤが、参照するトラックのトラックＩＤであるtrack_IDsとして設定される。
同様に、spatial_set_idが同一である複数の高解像度画像に対して複数のトラックが割り当てられる場合、セグメントファイル生成部４０１は、spatial_set_id をscriボックスに設定せずに、spatial_set_idが同一であるトラックをグルーピングするようにしてもよい。この場合、reference_typeは、spatial_set_idが同一であることを示す「spsi」である。
（第２の方法の説明）
図５３は、図４８のセグメントファイル生成部４０１により第２の方法で画像に関する各種の情報が設定される場合のVisual Sample Entryの構成例を示す図である。
図５３に示すように、セグメントファイル生成部４０１により第２の方法で画像に関する各種の情報が設定される場合、画像のSample EntryであるVisual Sample Entryが、図５１のscriボックスを含むように拡張される。従って、第２の方法では、画像の符号化方式によって、scriボックスを含むように拡張するボックスは変化しない。
第５実施の形態では、画像の符号化方式はHEVCであるため、画像に関する各種の情報が設定されるVisual Sample Entry は、HEVCの画像のVisual Sample Entry（hev1ボックス）である。
（第３の方法の説明）
図５４は、図４８のセグメントファイル生成部４０１により第３の方法で画像に関する各種の情報が設定される場合のschiボックスの構成例を示す図である。
図５４に示すように、セグメントファイル生成部４０１により第３の方法で画像に関する各種の情報が設定される場合、schiボックスが、図５１のscriボックスを含むように拡張される。拡張されたschiボックスと同層のschmボックス（Scheme Type Box）の、そのschiボックスに格納される情報を用いる復号後の処理の種類を表すscheme_typeは、マッピング処理を示す「scri」に設定される。
第３の方法では、画像の符号化方式によって、scriボックスを含むように拡張するボックスは変化しない。
なお、第２の方法および第３の方法においても、第１の方法と同様に、セグメントファイル生成部４０１は、idやspatial_set_idを設定せず、trefボックスを用いて全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤやspatial_set_idが同一であるトラックをグルーピングすることができる。
以上のように、第１乃至第３の方法では、トラックごとに設けられるtrakボックスの下層に画像に関する各種の情報が設定される。従って、画像に関する各種の情報がトラック内で変化しない場合、その情報をトラック単位で効率的に設定することができる。
（第４の方法の説明）
図５５は、サンプルグループを説明する図である。
図５５に示すように、サンプルグループという手法では、sgpdボックスとsbgpボックスが用いられる。
sgpdボックスは、サンプルに関する情報であるサンプル情報が共通である連続するサンプルをグループ化し、各グループのサンプル情報を記述するボックスである。sbgpボックスは、各グループのサンプルを特定する情報(以下、サンプル特定情報という)を記述するボックスである。
sgpdボックスには、grouping_type, entry_count, GroupEntryなどが記述される。sgpdボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、各グループのサンプル情報のうちの互いに異なるサンプル情報の数を示す。また、GroupEntryは、各グループのサンプル情報のうちの互いに異なるサンプル情報であり、entry_countの数だけ記述される。GroupEntryの構造は、grouping_typeによって異なる。
sbgpボックスには、grouping_type，entry_count，sample_count, group_description_indexなどが記述される。sbgpボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、グループの数を示す。
sample_countは、各グループのサンプル特定情報であり、各グループのサンプルの連続数を示す。sample_countは、entry_countの数だけ記述され、全てのsample_countの合計は、sgpdボックスに対応するトラックの全サンプル数になる。group_description_indexは、各グループのサンプル情報であるGroupEntryを特定する情報である。
図５５の例では、grouping_typeが同一であるsbgpボックスとsgpdボックスのentry_countが、それぞれ、６，４である。従って、グループの数は６個であり、６個の各グループのサンプル情報のうちの互いに異なるサンプル情報の数は４個である。そして、sgpdボックスには、４つのGroupEntryが記述される。
また、sbgpボックスの先頭から１乃至６番目のsample_count[1]乃至sample_count［6］は、順に、１，２，１，１，１，２である。従って、先頭から１乃至６番目のグループのサンプル数が、順に、１，２，１，１，１，２である。
即ち、先頭から１番目のサンプル（sample[1]）が、先頭から１番目のグループに分類され、先頭から２番目および３番目のサンプル（sample[2],sample[3]）が、先頭から２番目のグループに分類される。また、先頭から４番目のサンプル（sample[4]）が、先頭から３番目のグループに分類され、先頭から５番目のサンプル（sample[5]）が、先頭から４番目のグループに分類される。先頭から６番目のサンプル（sample[6]）が、先頭から５番目のグループに分類され、先頭から７番目および８番目のサンプル（sample[7],sample[8]）が、先頭から６番目のグループに分類される。
また、先頭から１番目乃至６番目のgroup_description_index[1]乃至group_description_index[6]は、順に、１，３，２，０，４，１である。従って、先頭から１番目のグループに分類される先頭から１番目のサンプルのサンプル情報は、先頭から１番目のGroupEntryである。また、先頭から２番目のグループに分類される先頭から２番目および３番目のサンプルに共通するサンプル情報は、先頭から３番目のGroupEntryである。
さらに、先頭から３番目のグループに分類される先頭から４番目のサンプルのサンプル情報は、先頭から２番目のGroupEntryである。また、先頭から５番目のグループに分類される先頭から４番目のサンプル情報はない。
また、先頭から５番目のグループに分類される先頭から６番目のサンプルのサンプル情報は、先頭から４番目のGroupEntryである。また、先頭から６番目のグループに分類される先頭から７番目および８番目のサンプルに共通するサンプル情報は、先頭から１番目のGroupEntryである。
セグメントファイル生成部４０１により第４の方法で画像に関する各種の情報が設定される場合、以上のようなサンプルグループを用いて、サンプル単位の画像に関する各種の情報がサンプル情報として設定される。
具体的には、図５６のSpherical Coordinate Region Info EntryがGroupEntryとして配置されたgrouping_typeが「scri」であるsgpdボックスに対応して、grouping_typeが「scri」であるsbgpボックスが設定される。図５６のSpherical Coordinate Region Info Entryは、サンプル単位の画像に関する各種の情報を含むように、VisualSampleGroupEntryを拡張したものである。
即ち、第４の方法では、サンプル単位の画像に関する各種の情報が共通である連続するサンプルがグループ化される。そして、各グループのサンプル単位の画像に関する各種の情報のうちの互いに異なるものが、grouping_typeが「scri」であるsgpdボックスにGroupEntryとして配置される図５６のSpherical Coordinate Region Info Entryに設定される。また、grouping_typeが「scri」であるsbgpボックスに、各グループのサンプル特定情報を示すsample_countが設定される。これにより、サンプル単位の画像に関する各種の情報をセグメントファイルに設定することができる。
なお、上述した第４の方法では、画像に関する各種の情報の全てをサンプル単位で設定できるようにしたが、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプル単位で設定できるようにしてもよい。
図５７は、この場合のSpherical Coordinate Region Info Entryの構成例を示す図である。
なお、図５７の例では、画像に関する各種の情報のうちのobject_yaw,object_pitch,object_roll,object_width、およびobject_heightが、トラック内で変化する情報である。
この場合、図５７に示すように、Spherical Coordinate Region Info Entryには、object_yaw,object_pitch,object_roll,object_width、およびobject_heightのみが設定される。
また、この場合、画像に関する各種の情報のうちのトラック内で変化しない情報は、第１乃至第３の方法と同様の方法で、hvcCボックス、hev1ボックス、またはschiボックスに含まれるscriボックスに設定される。このときのscriボックスは、図５８に示すようになる。図５８のscriボックスの構成は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightが設定されない点が、図５１の構成と異なる。
なお、第１乃至第３の方法と同様に、トラック内で変化しない情報のうちのidやspatial_set_idはscriボックスに設定されず、idやspatial_set_idが同一であるトラックがグルーピングされるようにしてもよい。
以上のように、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプルグループを用いて設定する場合、画像に関する各種の情報の全てをサンプルグループを用いて設定する場合に比べて、セグメントファイルのデータ量を削減することができる。
なお、図５７および図５８の例では、画像に関する各種の情報のうちのトラック内で変化する情報は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightであるものとしたが、任意の情報にすることができる。
（第５の方法の説明）
図５９は、図４８のセグメントファイル生成部４０１により第５の方法で画像に関する各種の情報が設定される場合のセグメントファイルの構成例を示す図である。
図５９に示すように、第５の方法では、画像に関する各種の情報に対して、その画像のトラックとは異なるメタデータのトラック(Spherical Coordinate Region Info Track)が割り当てられる。サンプル単位の画像に関する各種の情報（Spherical Coordinate Region Information）は、割り当てられたトラックにtimed metadataのサンプルとして設定される。
また、Spherical Coordinate Region Info Trackのtrefボックスには、reference_typeが、画像とその画像に関する各種の情報の関係であることを示す「scri」であるTrack Reference Type Boxが設定される。このTrack Reference Type Boxには、このTrack Reference Type Boxに対応するトラックの画像に関する各種の情報のSpherical Coordinate Region Info TrackのＩＤが、track_IDsとして設定される。
図６０は、サンプル単位の画像に関する各種の情報が配置されたtimed metadataのサンプルであるSphericalCoordinateRegionInfoSampleの構成例を示す図である。
図６０に示すように、SphericalCoordinateRegionInfoSampleには、サンプル単位の画像に関する各種の情報が設定される。
なお、全てのサンプルのサンプル単位の画像に関する各種の情報がSphericalCoordinateRegionInfoSampleとして設定されるのではなく、直前のサンプルのサンプル単位の画像に関する各種の情報と異なる場合にのみ、その情報がSphericalCoordinateRegionInfoSampleとして設定されるようにしてもよい。
この場合、サンプル単位の画像に関する各種の情報をSphericalCoordinateRegionInfoSampleに設定する方法としては、例えば、全情報設定方法と部分情報設定方法の２つの方法がある。
全情報設定方法は、サンプル単位の画像に関する各種の情報のうちの少なくとも１つが直前のサンプルのものと異なる場合、サンプル単位の画像に関する各種の情報の全てをSphericalCoordinateRegionInfoSampleに設定する方法である。
具体的には、全情報設定方法では、図６１に示すように、Spherical Coordinate Region Info Trackのtrakボックスの下層のstsdボックスに含まれる画像に関する各種の情報のMetadata Sample EntryであるSpherical Coordinate Region Info Sample Entryが、Spherical Coordinate Region Info Configuration Boxを含む。そして、図６２に示すように、Spherical Coordinate Region Info Configuration Boxには、サンプル単位の画像に関する各種の情報のデフォルト値（default_projection_type, default_id, default_FOV_flag, default_object_yaw, default_object_pitch, default_object_roll, default_object_width, default_object_height, default_total_width, default_total_height, default_sphere_radius、およびdefault_spatial_set_id）が設定される。
なお、ここでは、サンプル単位の画像に関する各種の情報のデフォルト値は、Spherical Coordinate Region Info Trackのstsdボックスに含まれるようにするが、画像のトラックのstsdボックスに含まれるようにしてもよい。この場合のhvcCボックスは、トラック単位の画像に関する各種の情報が、サンプル単位の画像に関する各種の情報のデフォルト値に代わる点を除いて、図５０および図５１で説明した第１の方法におけるhvcCボックスと同一である。
また、全情報設定方法では、SphericalCoordinateRegionInfoSampleは、図６３に示すようになる。図６３のSphericalCoordinateRegionInfoSampleは、このサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のうちの少なくとも１つが異なるかどうかを示す１ビットのupdate_flagが設定される点と、update_flagに応じてサンプル単位の画像に関する各種の情報の全てが設定される点が、図６０のSphericalCoordinateRegionInfoSampleと異なる。
update_flagは、このupdate_flagに対応するサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のうちの少なくとも１つが異なる場合１であり、全てが同一である場合０である。なお、update_flagに対応するサンプルが最初のサンプルである場合、直前のサンプルのサンプル単位の画像に関する各種の情報は、サンプル単位の画像に関する各種の情報のデフォルト値である。
update_flagが１である場合、SphericalCoordinateRegionInfoSampleには、このサンプルのサンプル単位の画像に関する各種の情報が設定される。一方、update_flagが0である場合、SphericalCoordinateRegionInfoSampleには、サンプル単位の画像に関する各種の情報は設定されない。
また、部分情報設定方法は、サンプル単位の画像に関する各種の情報のうちの少なくとも１つが直前のサンプルのものと異なる場合、異なる情報のみをSphericalCoordinateRegionInfoSampleに設定する方法である。
具体的には、部分情報設定方法では、全情報設定方法と同様に、サンプル単位の画像に関する各種の情報のデフォルト値が設定される。また、SphericalCoordinateRegionInfoSampleは、図６４に示すようになる。図６４のSphericalCoordinateRegionInfoSampleは、このサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のそれぞれが異なるかどうかを示す１６ビットのupdate_flagが設定される点と、update_flagに応じてサンプル単位の画像に関する各種の情報が情報ごとに設定される点が、図６０のSphericalCoordinateRegionInfoSampleと異なる。
即ち、update_flagの各ビットには、サンプル単位の画像に関する各種の情報の各情報が割り当てられており、各情報が、このupdate_flagに対応するサンプルの直前のサンプルと異なる場合、その情報に割り当てられたビットが１になり、同一である場合０になる。なお、update_flagに対応するサンプルが最初のサンプルである場合、直前のサンプルのサンプル単位の画像に関する各種の情報は、サンプル単位の画像に関する各種の情報のデフォルト値である。
図６４の例では、update_flagの各ビットが、最下位ビットから順に、画像に関する各種の情報のうちの、projection_type, id, FOV_flag, object_yaw, object_pitch, object_roll, object_width, object_height, total_width, total_height, sphere_radius, spatial_set_idに割り当てられている。
従って、例えば１６ビットのupdate_flagが0000 0000 0000 0001bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのprojection_typeのみが設定される。update_flagが0000 0000 0000 0010bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのidのみが設定される。
また、update_flagが0000 0000 0000 0100b である場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのFOV_flagのみが設定される。update_flagが0000 0000 0000 1000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_yawのみが設定される。update_flagが0000 0000 0001 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_pitchのみが設定される。
さらに、update_flagが0000 0000 0010 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_rollのみが設定される。update_flagが0000 0000 0100 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_widthのみが設定される。update_flagが0000 0000 1000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_heightのみが設定される。
また、update_flagが0000 0001 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのtotal_widthのみが設定される。update_flagが0000 0010 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのtotal_heightのみが設定される。update_flagが0000 0100 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのsphere_radiusのみが設定される。update_flagが0000 1000 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのspatial_set_idのみが設定される。
さらに、例えば、画像に関する各種の情報のうちのprojection_typeとFOV_flagのみが直前のサンプルとは異なる場合、update_flagとしては0x0005(0000 0000 0000 0101b)が設定される。この場合、SphericalCoordinateRegionInfoSampleには、このサンプルのprojection_typeとFOV_flagのみが設定される。
以上のように、サンプル単位の画像に関する各種の情報の少なくとも１つが直前のサンプルとは異なる場合にのみ、サンプル単位の画像に関する各種の情報がSphericalCoordinateRegionInfoSampleに設定される場合、サンプル単位の画像に関する各種の情報の変更頻度が低いときに、セグメントファイルのデータ量を削減することができる。
また、部分情報設定方法では、サンプル単位の画像に関する各種の情報のうちの、直前のサンプルとは異なる情報のみがSphericalCoordinateRegionInfoSampleに設定されるので、全情報設定方法に比べて、セグメントファイルのデータ量をより削減することができる。
上述した第５の方法では、画像に関する各種の情報の全てをサンプル単位で設定できるようにしたが、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプル単位で設定できるようにしてもよい。
図６５は、この場合のSpherical Coordinate Region Info Configuration Boxの構成例を示す図であり、図６６は、この場合のSphericalCoordinateRegionInfoSampleの構成例を示す図である。
図６５および図６６の例では、画像に関する各種の情報のうちのobject_yaw,object_pitch,object_roll,object_width、およびobject_heightが、トラック内で変化する情報である。
この場合、図６５に示すように、Spherical Coordinate Region Info Trackのtrakボックスの下層のstsdボックスに含まれるSpherical Coordinate Region Info Configuration Boxには、画像に関する各種の情報のうちのトラック内で変化しないprojection_type, id, FOV_flag, total_width, total_height, sphere_radius、およびspatial_set_idがトラック単位で設定される。
また、図６６に示すように、SphericalCoordinateRegionInfoSampleには、画像に関する各種の情報のうちのトラック内で変化するobject_yaw,object_pitch,object_roll,object_width、およびobject_heightがサンプル単位で設定される。
なお、画像に関する各種の情報のうちのトラック内で変化しないprojection_type, id, FOV_flag, total_width, total_height, sphere_radius、およびspatial_set_idは、画像のトラックのstsdボックスに含まれるようにしてもよい。この場合のhvcCボックスは、object_yaw,object_pitch,object_roll,object_width、およびobject_heightが設定されない点が、図５０および図５１で説明した第１の方法におけるhvcCボックスと異なる。
また、第１乃至第３の方法と同様に、トラック内で変化しない情報のうちのidやspatial_set_idはscriボックスに設定されず、idやspatial_set_idが同一であるトラックがグルーピングされるようにしてもよい。
以上のように、画像に関する各種の情報のうちのトラック内で変化する情報のみをSphericalCoordinateRegionInfoSampleに設定する場合、画像に関する各種の情報の全てをSphericalCoordinateRegionInfoSampleに設定する場合に比べて、セグメントファイルのデータ量を削減することができる。
なお、図６５および図６６の例では、画像に関する各種の情報のうちのトラック内で変化する情報は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightであるものとしたが、任意の情報にすることができる。
以上のように、第４の方法または第５の方法では、画像に関する各種の情報のうちの少なくともトラック内で変化する情報がサンプル単位でセグメントファイルに設定される。従って、画像に関する各種の情報の少なくとも一部がトラック内で変化する場合であっても、その情報をセグメントファイルに設定することができる。
（生成装置の処理の説明）
図６７は、図４８の生成装置４００のファイル生成処理を説明するフローチャートである。
図６７のステップＳ２０１乃至Ｓ２０８の処理は、図３１のステップＳ１２１乃至Ｓ１２８の処理と同様であるので、説明は省略する。
ステップＳ２０９において、セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをまとめてファイル化し、第１乃至第５の方法のいずれかの方法で画像に関する各種の情報が設定されたセグメントファイルを生成する。
ステップＳ２１０において、MPDファイル生成部４０２は、MPDファイルを生成する。
ステップＳ２１１において、アップロード部３０は、セグメントファイル生成部４０１から供給されるセグメントファイルとMPDファイル生成部４０２から供給されるMPDファイルとを、図１の配信サーバ１３にアップロードし、処理を終了する。
（再生装置の構成例）
図６８は、本開示を適用した配信システムの第５実施の形態における再生装置の構成例を示すブロック図である。
図６８に示す構成のうち、図３２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６８の再生装置４３０の構成は、MPD処理部３４１、セグメントファイル取得部２７２、マッピング処理部３４２の代わりに、MPD処理部４３１、セグメントファイル取得部４３２、マッピング処理部４３３が設けられる点が、図３２の再生装置３４０の構成と異なる。
具体的には、再生装置４３０のMPD処理部４３１は、MPD取得部２２０から供給されるMPDファイルを解析し、所定のビットレートの再生時刻のセグメントファイルのURL等の情報を取得する。MPD処理部４３１は、取得されたURLをセグメントファイル取得部４３２に供給する。
セグメントファイル取得部４３２は、MPD処理部４３１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部４３２は、取得されたセグメントファイルから画像（低解像度画像、高解像度画像）に関する各種の情報を取得する。セグメントファイル取得部４３２は、取得された画像に関する各種の情報のうちの所定のidに対応するサンプルを選択する。
そして、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等が設定されないサンプルを、再生対象の低解像度画像のサンプルとする。セグメントファイル取得部４３２は、再生対象の低解像度画像のサンプルに配置される１本の低解像度ストリームをデコーダ２７３に供給する。
また、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等も設定されるサンプルを、高解像度画像のサンプルとして認識する。
そして、セグメントファイル取得部４３２は、視線検出部３４３により生成された選択２次元平面情報と、高解像度画像のサンプルに対応するsource_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id等に基づいて、高解像度画像のサンプルから、選択２次元平面に対応するサンプルを、再生対象の高解像度画像のサンプルとして選択する。セグメントファイル取得部４３２は、再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームをデコーダ２７４に供給する。
マッピング処理部４３３は、デコーダ２７３から供給される低解像度画像を、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
なお、マッピング処理部４３３は、低解像度画像の全てをマッピングするのではなく、視線検出部３４３により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
また、マッピング処理部４３３は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。マッピング処理部４３３は、高解像度画像を、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。そして、マッピング処理部４３３は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
（再生装置の処理）
図６９は、図６８の再生装置４３０の再生処理を説明するフローチャートである。
図６９のステップＳ２３１において、再生装置４３０のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部４３１に供給する。
ステップＳ２３２において、MPD処理部４３１は、MPD取得部２２０から供給されるMPDファイルを解析し、所定のビットレートの再生時刻のセグメントファイルのURL等の情報を取得する。MPD処理部４３１は、取得されたURLをセグメントファイル取得部４３２に供給する。
ステップＳ２３３において、セグメントファイル取得部４３２は、MPD処理部４３１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。
ステップＳ２３４において、セグメントファイル取得部４３２は、取得されたセグメントファイルから画像に関する各種の情報を取得する。
ステップＳ２３５において、セグメントファイル取得部４３２は、ステップＳ２３４で取得された画像に関する各種の情報のうちのidの中から所定のidを再生対象の全天球画像のidとして選択する。そして、セグメントファイル取得部４３２は、選択されたidが設定されたサンプルを選択する。
ステップＳ２３６において、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等が設定されないサンプルを再生対象の低解像度画像のサンプルとし、そのサンプルに配置される１本の低解像度ストリームをセグメントファイルから取得する。セグメントファイル取得部４３２は、取得された１本の低解像度ストリームをデコーダ２７３に供給する。
ステップＳ２３７乃至Ｓ２４２の処理は、図３４のステップＳ１４５乃至Ｓ１５０の処理と同様であるので、説明は省略する。
ステップＳ２４３において、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等も設定されるサンプルを、高解像度画像のサンプルとして認識する。そして、セグメントファイル取得部４３２は、視線検出部３４３により生成された選択２次元平面情報と、高解像度画像のサンプルに対応するsource_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id等に基づいて、高解像度画像のサンプルから、選択２次元平面に対応するサンプルを、再生対象の高解像度画像のサンプルとして選択する。セグメントファイル取得部４３２は、再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームをデコーダ２７４に供給する。
ステップＳ２４４において、セグメントファイル取得部４３２は、セグメントファイルから、ステップＳ２４３で選択された再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームを取得し、デコーダ２７４に供給する。
ステップＳ２４５およびＳ２４６の処理は、図３４のステップＳ１５３およびＳ１５４の処理と同様であるので、説明は省略する。
ステップＳ２４７において、マッピング処理部４３３は、デコーダ２７３から供給される低解像度画像を、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
ステップＳ２４８において、マッピング処理部４３３は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。
ステップＳ２４９において、マッピング処理部４３３は、デコーダ２７４から供給される高解像度画像を、ステップＳ２４８で設定された選択２次元平面にテクスチャとしてマッピングする。マッピング処理部４３３は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
ステップＳ２５０およびＳ２５１の処理は、図３４のステップＳ１６２およびＳ１６３の処理と同様である。
以上のように、生成装置４００は、セグメントファイルに画像に関する各種の情報を設定する。従って、第４実施の形態と同様の効果をMP4レイヤで実現することができる。
また、生成装置４００は、セグメントファイルのサンプルを管理するmoovボックスの下層、または、画像のトラックと参照関係にあるトラックのサンプルに、画像に関する各種の情報を設定する。従って、サンプルとして配置される低解像度ストリームや高解像度ストリームの復号前に、各種の情報を認識することができる。
さらに、生成装置４００は、画像に関する各種の情報をトラック単位またはサンプル単位で設定する。従って、再生装置４３０は、画像に関する各種の情報をトラック単位またはサンプル単位で認識することができる。よって、再生装置４３０は、トラック単位またはサンプル単位の画像に関する各種の情報と選択２次元平面情報に基づいて、再生対象のトラック単位のサンプルまたはサンプル単位のサンプルを容易に選択することができる。
なお、第５実施の形態では、第４実施の形態でMPDファイルに設定された画像に関する各種の情報が、セグメントファイルに設定されたが、第１乃至第３実施の形態でMPDファイルに設定された画像に関する各種の情報が、セグメントファイルに設定されるようにしてもよい。さらに、上述した第１乃至第５実施の形態を全て組み合わせてもよく、例えば、画像に関する各種の情報が、セグメントファイルとMPDファイルとの両方に設定されるようにしてもよい。
また、画像に関する各種の情報には、マッピング情報が含まれるようにしてもよい。マッピング情報が含まれる場合、マッピング処理部４３３は、マッピング処理部４３３と同様に、そのマッピング情報に基づいてマッピングを行う。
＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図７０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は、以下のような構成もとることができる。
（１）
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定部
を備え、
前記設定部は、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報を設定するように構成された
ファイル生成装置。
（２）
前記マッピング情報は、前記撮影画像内の基準画像が前記３Ｄモデルの基準位置に所定の傾きでマッピングされるように、前記全天球画像をマッピングする際に用いられる情報である
ように構成された
前記（１）に記載のファイル生成装置。
（３）
前記マッピング情報は、前記全天球画像内の前記基準画像の位置と、前記基準画像が前記基準位置にマッピングされるように前記全天球画像をマッピングする際に前記３Ｄモデル上の前記基準画像の傾きを前記所定の傾きにする回転角とにより構成される
ように構成された
前記（２）に記載のファイル生成装置。
（４）
前記マッピング情報は、前記基準画像が前記基準位置に前記所定の傾きでマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングする際の前記全天球画像の回転角である
前記（２）に記載のファイル生成装置。
（５）
前記設定部は、
前記撮影画像を３Ｄモデルに投影することにより生成された複数の前記全天球画像に対して同一の前記識別情報を設定し、
前記３Ｄモデルに投影する少なくとも１つの方法で生成された前記全天球画像と、前記方法とは異なる方法で生成された各領域の前記全天球画像に対して同一の識別情報を設定する
ように構成された
前記（１）に記載のファイル生成装置。
（６）
前記設定部は、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
ように構成された
前記（１）に記載のファイル生成装置。
（７）
前記描画面情報は、前記撮影画像の描画面が２次元平面または球面であることを示す面種類情報を含む
ように構成された
前記（６）に記載のファイル生成装置。
（８）
前記描画面はグループ化され、
前記描画面情報は、その描画面情報が位置と画角を示す前記描画面が属するグループを示す情報と、そのグループに属する描画面全体の画角を含む
ように構成された
前記（６）または（７）に記載のファイル生成装置。
（９）
前記設定部は、前記全天球画像を描画面に投影することにより生成される複数の撮影画像のそれぞれに対して、その撮影画像の生成に用いられた前記全天球画像がマッピングされた前記３Ｄモデルを識別する情報として同一の情報を設定する
ように構成された
前記（６）乃至（８）のいずれかに記載のファイル生成装置。
（１０）
前記描画面情報は、前記全天球映像の生成方法およびＳＲＤ（Ｓｐａｔｉａｌ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｄｅｓｃｒｉｐｔｉｏｎ）情報とともに、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに記述される
前記（６）乃至（９）のいずれかに記載のファイル生成装置。
（１１）
前記３Ｄモデルは球であり、
前記設定部は、前記３Ｄモデルの半径を示す情報を設定する
ように構成された
前記（１）乃至（１０）のいずれかに記載のファイル生成装置。
（１２）
前記設定部は、前記全天球画像のファイルを管理する管理ファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを設定する
ように構成された
前記（６）乃至（１０）のいずれかに記載のファイル生成装置。
（１３）
前記管理ファイルは、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）であって、前記識別情報、前記マッピング情報、および前記描画面情報のう
ち、少なくとも１つは、アダプテーションセットに設定される
前記（１２）に記載のファイル生成装置。
（１４）
前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つは、前記アダプテーションセットのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙまたはＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙに設定される
前記（１３）に記載のファイル生成装置。
（１５）
前記設定部は、前記全天球画像のファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを格納する
ように構成された
前記（１）乃至（９）および（１１）のいずれかに記載のファイル生成装置。
（１６）
ファイル生成装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定ステップ
を含み、
前記設定ステップにおいて、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報が設定される
を含むファイル生成方法。
（１７）
前記設定ステップにおいて、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
（１６）に記載のファイル生成方法。
（１８）
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部
を備え、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングを行い、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生装置。
（１９）
再生装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する
選択ステップ
を含み、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を
用いてマッピングが行われ、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情
報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生方法。
１２ 生成装置, １４ 再生装置, ２９ MPDファイル生成部, ４０ 立方体, ４１乃至４６ 面, ５０ 全天球画像, ７０ 球, ９０ 全天球画像, ２２１ MPD処理部, ２５０ 生成装置, ２５６ MPDファイル生成部, ２７０ 再生装置, ２７１ MPD処理部, ３００ 生成装置, ３３１－１乃至３３１－１８ 高解像度画像， ３４０ 再生装置, ３４１ MPD処理部， ４００ 生成装置, ４０１ セグメントファイル生成部, ４３０ 再生装置, ４３１ MPD処理部

Claims (14)

  1. 正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したファイルを生成するセグメントファイル生成部
    を備え、
    前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、
    前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む
    情報処理装置。
  2. 前記３Ｄモデルの描画される面に関する情報として、前記描画される面が２次元平面または球面であることを示す面種類情報を含む描画面情報を設定する設定部
    を更に備える請求項１に記載の情報処理装置。
  3. 前記描画面情報は、前記描画される面の画角情報を含む
    請求項２に記載の情報処理装置。
  4. 前記画角情報は、横画角、縦画角、方位角、仰角、および回転角を含む
    請求項３に記載の情報処理装置。
  5. 前記描画される面はグループ化され、
    前記描画面情報は、更に、前記描画される面が属するグループを示す情報と、前記グループに属する全ての前記描画される面により構成される２次元平面全体の画角の情報とを含む
    請求項４に記載の情報処理装置。
  6. 前記３Ｄモデルが球である場合であって、
    前記セグメントファイル生成部は、更に、前記３Ｄモデルの半径を示す情報を前記ファイルに設定する
    請求項１に記載の情報処理装置。
  7. 正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を生成することを含み、
    前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、
    前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む
    情報処理方法。
  8. 正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したMPD（Media Presentation Description）ファイルを生成するMPDファイル生成部
    を備え、
    前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、
    前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む
    情報処理装置。
  9. 前記３Ｄモデルの描画される面に関する情報として、前記描画される面が２次元平面または球面であることを示す面種類情報を含む描画面情報を設定する設定部
    を更に備え、
    前記MPDファイル生成部は、更に、前記描画面情報を前記MPDファイルに設定する
    請求項８に記載の情報処理装置。
  10. 前記描画面情報は、前記描画される面の画角情報を含む
    請求項９に記載の情報処理装置。
  11. 前記画角情報は、横画角、縦画角、方位角、仰角、および回転角を含む
    請求項１０に記載の情報処理装置。
  12. 前記描画される面はグループ化され、
    前記描画面情報は、更に、前記描画される面が属するグループを示す情報と、前記グループに属する全ての前記描画される面により構成される2次元平面全体の画角の情報とを含む
    請求項１１に記載の情報処理装置。
  13. 前記３Ｄモデルが球である場合であって、
    前記MPDファイル生成部は、更に、前記３Ｄモデルの半径を示す情報を前記MPDファイルに設定する
    請求項８に記載の情報処理装置。
  14. 正距円筒図法またはキューブマッピングにより生成された全天球画像を３Ｄモデルへマッピングするために用いるマッピング情報を設定したMPD（Media Presentation Description）ファイルを生成することを含み、
    前記３Ｄモデルは、前記全天球画像の生成方法として前記正距円筒図法を用いた場合に画像がマッピングされる球、または、前記全天球画像の生成方法として前記キューブマッピングを用いた場合に画像がマッピングされる立方体に対応し、
    前記マッピング情報は、前記正距円筒図法と前記キューブマッピングとで個々にマッピングする際に用いられ、マッピングされる画像の位置および傾きが異ならないようにするための基準となる前記３Ｄモデルの基準位置に対し、その基準位置にマッピングされる前記全天球画像内の所定の画像である基準画像を、回転して配置するための回転角の情報を含む
    情報処理方法。
JP2018517090A 2016-05-13 2017-05-12 情報処理装置および情報処理方法 Active JP7014156B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022004503A JP7218824B2 (ja) 2016-05-13 2022-01-14 情報処理装置および情報処理方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2016097361 2016-05-13
JP2016097361 2016-05-13
JP2016162433 2016-08-23
JP2016162433 2016-08-23
JP2016220619 2016-11-11
JP2016220619 2016-11-11
PCT/JP2017/017963 WO2017195881A1 (ja) 2016-05-13 2017-05-12 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022004503A Division JP7218824B2 (ja) 2016-05-13 2022-01-14 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2017195881A1 JPWO2017195881A1 (ja) 2019-03-22
JP7014156B2 true JP7014156B2 (ja) 2022-02-03

Family

ID=60267120

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018517090A Active JP7014156B2 (ja) 2016-05-13 2017-05-12 情報処理装置および情報処理方法
JP2022004503A Active JP7218824B2 (ja) 2016-05-13 2022-01-14 情報処理装置および情報処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022004503A Active JP7218824B2 (ja) 2016-05-13 2022-01-14 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US20190200096A1 (ja)
EP (2) EP3627844A1 (ja)
JP (2) JP7014156B2 (ja)
CN (2) CN115118952A (ja)
WO (1) WO2017195881A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
KR102358757B1 (ko) 2016-08-25 2022-02-07 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN106412582B (zh) * 2016-10-21 2019-01-29 北京大学深圳研究生院 全景视频感兴趣区域的描述方法和编码方法
CN111133763B (zh) * 2017-09-26 2022-05-10 Lg 电子株式会社 360视频系统中的叠加处理方法及其设备
WO2019139052A1 (en) * 2018-01-10 2019-07-18 Sharp Kabushiki Kaisha Systems and methods for signaling source information for virtual reality applications
US11341976B2 (en) 2018-02-07 2022-05-24 Sony Corporation Transmission apparatus, transmission method, processing apparatus, and processing method
KR20220012740A (ko) * 2020-07-23 2022-02-04 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치
US11568574B1 (en) * 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005122320A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2010157190A (ja) 2009-01-05 2010-07-15 Sony Corp 表示制御装置、表示制御方法及びプログラム
US20160012855A1 (en) 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
JP4403421B2 (ja) * 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
JP4992597B2 (ja) * 2007-08-02 2012-08-08 株式会社ニコン 撮像装置およびプログラム
US20090282365A1 (en) * 2007-02-06 2009-11-12 Nikon Corporation Image processing apparatus, image reproducing apparatus, imaging apparatus and program recording medium
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5250598B2 (ja) * 2010-10-05 2013-07-31 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
JP6186775B2 (ja) * 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
EP3013064B1 (en) * 2013-07-19 2019-03-13 Sony Corporation Information processing device and method
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005122320A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
JP2010157190A (ja) 2009-01-05 2010-07-15 Sony Corp 表示制御装置、表示制御方法及びプログラム
US20160012855A1 (en) 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
JP2017528947A (ja) 2014-07-14 2017-09-28 株式会社ソニー・インタラクティブエンタテインメント パノラマ映像コンテンツの再生に使用するシステム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats AMENDMENT 2: Spatial relationship description, generalized URL parameters and other extensions"，ISO/IEC 23009-1:2014 FDAM2 FINAL DRAFT，ISO/IEC，2015年03月18日，Pages 1-17
MARTENS, G.，"Bandwidth management for ODV tiled streaming with MPEG-DASH"，[online], Universiteit Hasselt (Master thesis)，2015年09月29日，Pages 1,3,5,6,9-11,51-81,149-153，[retrieved on 2017.06.16], Retrieved from the Internet: <URL: https://uhdspace.uhasselt.be/dspace/handle/1942/19390>.
Olivier Koch，"Wide-Area Egomotion from Omnidirectional Video and Coarse 3D Structure"，米国，[online], Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science，2007年08月29日，Pages 1-110，[令和3年6月3日検索], インターネット, <URL: https://dspace.mit.edu/handle/1721.1/38668?show=full> and <URL: http://hdl.handle.net/1721.1/38668>.

Also Published As

Publication number Publication date
EP3457706A4 (en) 2019-03-20
WO2017195881A1 (ja) 2017-11-16
JP7218824B2 (ja) 2023-02-07
CN109076262A (zh) 2018-12-21
CN109076262B (zh) 2022-07-12
JP2022036289A (ja) 2022-03-04
CN115118952A (zh) 2022-09-27
EP3627844A1 (en) 2020-03-25
EP3457706A1 (en) 2019-03-20
JPWO2017195881A1 (ja) 2019-03-22
US20190200096A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7014156B2 (ja) 情報処理装置および情報処理方法
EP3466083B1 (en) Spatially tiled omnidirectional video streaming
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
EP3782368A1 (en) Processing video patches for three-dimensional content
JP7218826B2 (ja) 再生装置および画像生成方法
TWI768372B (zh) 用於沉浸式媒體資料軌道的空間分組以及坐標信令的方法及裝置
GB2567624A (en) Method, device and computer program for transmitting media content
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
CN108702498A (zh) 信息处理器和信息处理方法
TW201714163A (zh) 資訊處理裝置、及資訊處理方法、及程式
EP3777184A2 (en) A method, an apparatus and a computer program product for virtual reality
JP7243620B2 (ja) 情報処理装置およびプログラム
CN114556962B (zh) 多视点视频处理方法和装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20181024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103