JP6658931B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP6658931B2
JP6658931B2 JP2019021599A JP2019021599A JP6658931B2 JP 6658931 B2 JP6658931 B2 JP 6658931B2 JP 2019021599 A JP2019021599 A JP 2019021599A JP 2019021599 A JP2019021599 A JP 2019021599A JP 6658931 B2 JP6658931 B2 JP 6658931B2
Authority
JP
Japan
Prior art keywords
image
tile
data
information
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019021599A
Other languages
English (en)
Other versions
JP2019088023A (ja
Inventor
しのぶ 服部
しのぶ 服部
平林　光浩
光浩 平林
五十嵐　卓也
卓也 五十嵐
幹太 安田
幹太 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019088023A publication Critical patent/JP2019088023A/ja
Application granted granted Critical
Publication of JP6658931B2 publication Critical patent/JP6658931B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Description

本開示は情報処理装置および方法に関し、特に、部分画像のデータを適応的に提供することができるようにした情報処理装置および方法に関する。
近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
ところで、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
しかしながら、従来のMPEG-DASH規格では、ビットレート（Bitrate）を切り替えるという概念しかなく、上述したようなタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。
本開示は、このような状況に鑑みてなされたものであり、部分画像のデータを適応的に提供することができるようにするものである。
本技術の一側面は、全体画像のビットストリームの提供および前記全体画像の一部である部分画像のビットストリームの提供に利用されるメタデータであって、１画像として表示可能な部分画像からなるグループを識別するグループ識別情報を含む部分画像に関する情報がアダプテーションセット以下の階層に格納されている、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）に基づいて、所望の部分画像のビットストリームを取得するビットストリーム取得部を備える情報処理装置である。
本技術の一側面は、また、情報処理装置が、全体画像のビットストリームの提供および前記全体画像の一部である部分画像のビットストリームの提供に利用されるメタデータであって、１画像として表示可能な部分画像からなるグループを識別するグループ識別情報を含む部分画像に関する情報がアダプテーションセット以下の階層に格納されている、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）に基づいて、所望の部分画像のビットストリームを取得する情報処理方法である。
本技術の一側面においては、全体画像のビットストリームの提供および全体画像の一部である部分画像のビットストリームの提供に利用されるメタデータであって、１画像として表示可能な部分画像からなるグループを識別するグループ識別情報を含む部分画像に関する情報がアダプテーションセット以下の階層に格納されている、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）に基づいて、所望の部分画像のビットストリームが取得される。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 分割サイズの例を説明する図である。 拡張データの例を説明する図である。 配信システムの主な構成例を示すブロック図である。 配信データ生成装置の主な構成例を示すブロック図である。 端末装置の主な構成例を示すブロック図である。 配信データ生成処理の流れの例を説明するフローチャートである。 タイル型MPDファイル生成処理の流れの例を説明するフローチャートである。 配信データ再生処理の流れの例を説明するフローチャートである。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 MPDの拡張の仕方の例を示す図である。 拡張されたMPDの例を示す図である。 MPDの拡張の仕方の例を示す図である。 タイル画像配信を利用するアプリケーションの例を示す図である。 タイル画像配信を利用するアプリケーションの他の例を示す図である。 タイル画像配信を利用するアプリケーションの、さらに他の例を示す図である。 MPDの拡張の仕方の例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 タイル画像のMP4ファイルの構成例を説明する図である。 MPDの構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 多視点画像符号化方式の例を示す図である。 多視点画像符号化装置の構成例を示す図である。 多視点画像復号装置の構成例を示す図である。 階層画像符号化方式の例を示す図である。 スペーシャルなスケーラブル符号化の例を説明する図である。 テンポラルなスケーラブル符号化の例を説明する図である。 信号雑音比のスケーラブル符号化の例を説明する図である。 階層画像符号化装置の構成例を示す図である。 階層画像復号装置の構成例を示す図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（MPDの拡張）
２．第２の実施の形態（配信システム）
３．第３の実施の形態（MPD拡張の具体例）
４．第４の実施の形態（MPD拡張の他の例）
５．第５の実施の形態（MP4ファイルとMPD拡張の他の例）
６．第６の実施の形態（コンピュータ）
７．第７の実施の形態（多視点画像符号化装置、多視点画像復号装置）
８．第８の実施の形態（階層画像符号化装置、階層画像復号装置）
９．第９の実施の形態（応用例）
１０．第１０の実施の形態（セット・ユニット・モジュール・プロセッサ）
＜１．第１の実施の形態＞
＜DASH＞
従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
＜タイル構造＞
このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。
図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。
各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。
このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。
ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。
＜MP4ファイル＞
上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。
＜分割方法＞
タイル（Tile）は、図９のＡの例のように全体画像を均等に分割するものであってもよいし、図９のＢの例のように全体画像を不均等に分割するものであってもよい。つまり、全体画像を構成する各タイル画像の画像サイズは互いに同一であってもよいし、異なっていてもよい。
＜アプリケーション＞
このようなタイル（Tile）構造を利用するアプリケーションとして、例えば、表示させる部分画像のサイズを制御するアプリケーションが考えられる。
図９のＡに示される全体画像１０はタイル化され、互いに同じ大きさの複数のタイル画像１１に分割することができるとする。例えば、この画像をディスプレイのサイズが小さいモバイルデバイス２１に表示させる場合、アプリケーションは、2x2の４枚のタイル画像からなる部分画像１２を表示させる。また、例えば、この画像をディスプレイのサイズが大きなテレビジョン信号受像機（TV）２２に表示させる場合、アプリケーションは、6x5の３０枚のタイル画像からなる部分画像１３を表示させる。このように、画像を表示する端末の性能等に応じて表示させる部分画像の画サイズを制御するアプリケーションが考えられる。
また、図９のＢの例の場合、各タイル画像の画サイズは不均等である。アプリケーションは、タイル３（Tile3）の画像を表示させることにより、HD解像度の画像を表示させることができ、タイル２（Tile2）乃至タイル４（Tile4）の画像を表示させることにより、シネマ（Cinema）解像度の画像を表示させることができ、タイル１（Tile1）乃至タイル５（Tile5）の画像を表示させることにより、さらに大きな拡張サイズ（EXT）の画像を表示させることができる。このように、表示させる部分画像の画サイズを制御することにより、表示画像の解像度やアスペクト比を制御するアプリケーションが考えられる。
これらのようなアプリケーションに対して、表示させる部分画像の画サイズに応じて、上述したように配信する部分画像のサイズを適応的に制御する（配信するタイル画像の数を制御する）ことにより、表示されない不要な部分の画像を配信する必要がないので、サーバ、端末、伝送路等の負荷を適応的に制御することができ、不要な負荷の増大を抑制することができる。
＜タイル画像の適応的な提供＞
しかしながら、従来のMPEG-DASH規格では、ビットレート（Bitrate）を切り替えるという概念しかなく、上述したようなタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。
そこで、全体画像の一部である部分画像に関する情報である部分画像情報をMPDの拡張データとして生成し、生成されたその部分画像情報を用いて、全体画像のビットストリームの提供および部分画像のビットストリームの提供に利用されるメタデータ、すなわち、部分画像情報を含むことができるように拡張された拡張MPDを生成するようにする。
なお、提供の対象となる部分画像は、全体画像の一部分であればどのようなものであってもよく、その形状や大きさ等は任意である。例えば、部分画像は、他の部分と独立して符号化することができる部分であればよい。しかしながら、以下においては、説明の便宜上、部分画像は、上述したタイル単位の画像であるものとする。つまり、部分画像は、１つまたは複数のタイル画像により構成されるものとする。
MPDは、階層構造を有し、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、サブリプレゼンテーション（Sub-Representation）、サブセグメント（Sub-Segment）等の階層を有することができる。このような階層のいずれを拡張するようにしてもよい。
例えば、MPDのディスクリプタタイプエレメント（DescriptorType element）を活用して、タイル（Tile）用のディスクリプション（description）を定義する。例えば、ビューポイント（Viewpoint）というタイル用のディスクリプションを、図１０のＡのように定義する。
ビューポイントは、アダプテーションセット（AdaptationSet）に存在するエレメントである。ビューポイントは、当該ビューが何であるかを定義するディスクリプションである。例えば、ステレオ画像の右（Ｒ）画像であるか、左（Ｌ）画像であるか等を定義する。
つまり、アダプテーションセットを拡張する場合、既存のエレメントを利用（拡張）することになる。既存のエレメントを利用することにより、従来のMPDとの親和性の低減を抑制することができる（従来のデコーダが解析できないディスクリプションの増大を抑制することができる）。これに対して、リプレゼンテーション（Representation）やサブリプレゼンテーション（Sub-Representation）を拡張する場合、新たにエレメントを定義することになる。
また、上述したビューポイントのエレメントにおいて、部分画像情報を格納する為のスキーマ（schemeIdUri）が定義される。図１０のＡの例の場合、タイル用のスキーマとして（urn:mpeg:DASH:tile:2013）が定義されている。このようなスキーマの拡張は、アダプテーションセット、リプレゼンテーション、サブリプレゼンテーションのいずれを拡張する場合も行われる。
さらに、この新たなタイル用のスキーマ（urn:mpeg:DASH:tile:2013）のバリュー（value）が定義される。このバリューには、上述した部分画像情報が定義される。例えば、このエレメントが示す画像がどのような画像であるかを示すビュータイプ（(1)viewtype）と、全体画像のサイズに関する情報（(2)全体画像のwidthとheight）と、全体画像における部分画像の位置を示す情報（(3)エレメントが示す画像のx座標とy座標）と、部分画像が属する、１画像として表示可能な部分画像のグループを識別するグループ識別情報（(4)TilegroupID）とが、バリューとして定義される。
ビュータイプ（viewtype）は、図１０のＢに示されるように、当該画像がタイル画像であるか否か等を示す情報である。例えば、当該画像が全体画像の場合の値を「０」とし、当該画像がタイル画像であり、かつ、図６のＡの例のように、ビットストリームがタイル毎に分けられている場合の値を「１」とし、当該画像がタイル画像であり、かつ、図６のＢの例のように、全てのタイルのデータが１つのビットストリームにまとめられている場合の値を「２」とする。これらの値やその値が示す状態（値の定義）は、予め定められている。もちろん、この値の定義の仕方は任意であり、この例以外であってもよい。この値を参照することにより、他のエレメントを参照する必要があるか否か（つまり、他のタイルが存在するか否か）を容易に把握することができる。特に、当該画像が全体画像の場合、この値を参照するだけで、他のエレメントを参照する必要がないことを容易に把握することができる。
全体画像のサイズに関する情報（全体画像のwidthとheight）は、図１０のＢに示されるように、当該画像（タイル画像）と同じグループに属するタイル画像が全て統合された画像のサイズ（横幅（width）と高さ（height））を示す情報である。従来のMPDの場合、各ビットストリームの画像のサイズが表示画像のサイズと同じであることが前提となっている。上述したように部分画像の提供を行う場合、ビットストリームの画像のサイズが表示画像のサイズと異なる場合がある。例えば、互いに異なるビットストリームの複数のタイル画像が統合されて表示される場合、表示画像のサイズがビットストリームの画像のサイズより大きくなることがあり得る。そのようなケースに対応することができるように、当該画像（タイル画像）と同じグループに属するタイル画像が全て統合された画像のサイズが示される。つまり、この値を参照することにより、当該画像（タイル画像）と同じグループに属するタイル画像を全て復号する場合の最大処理負荷を容易に把握することができる。図１０のＢの例の場合、全体画像のサイズに関する情報として、960x540サイズのタイル画像が４枚（2x2）統合された画像のサイズ（1920x1080）が示される。
全体画像における部分画像の位置を示す情報（エレメントが示す画像のx座標とy座標）は、図１０のＢに示されるように、当該画像が、当該画像（タイル画像）と同じグループに属するタイル画像が全て統合された画像の何処に位置するかを示す情報である。位置をどのように表すか（どのような値で示すか）は、任意である。例えば、当該画像の左上の座標で表すようにしてもよい。例えばタイルの識別情報や左上以外の場所の座標等、その他の情報で表すようにしてもよい。この値を参照することにより、当該画像（タイル画像）を統合（合成）する際の、当該画像の位置を容易に把握することができる。つまり、統合（合成）する各タイル画像の、この値を参照することにより、各タイル画像をどのように並べて統合する（合成する）かを容易に把握することができる。
グループ識別情報（TilegroupID）は、図１０のＢに示されるように、当該画像が属するタイル画像のグループを示す識別情報である。同一のグループのタイル画像には、同一の値が割り当てられる。逆に、グループ毎に異なる値が割り当てられる。図１０のＢの例の場合、タイル１（Tile1）乃至タイル４（Tile4）の各タイル画像は統合することができるので、それらには、グループ識別情報として互いに同じ値が割り当てられる。この値を参照することにより、どのタイル画像同士が統合可能（合成可能）であるかを容易に把握することができる。換言するに、表示の際に当該画像と統合（合成）すべき他のタイル画像を容易に識別することができる。
なお、グループ識別情報（TilegroupID）は、ビューポイントのバリューとしてではなく、例えば以下のように、他のエレメントのアトリビュート（attribute）として定義するようにしてもよい。
<AdaptationSet mimeType="video/mp4" group="1">
アダプテーションセットには、グループ（group）というアトリビュートが既に存在する。上記の例では、このグループに、タイル（Tile）の集合（Tilegroup）としての意味が割り当てられている。
<Representation mimeType="video/mp4" group="1">
これに対して、リプレゼンテーションやサブリプレゼンテーションには、グループ（group）というアトリビュートは存在しない。つまり、リプレゼンテーションやサブリプレゼンテーションを拡張する場合、（group）という新たなアトリビュートが設定されることになる。
また、以上のような拡張方法は、図７や図８の例のように、ビットストリームをファイル化（特にMP4ファイル化）する場合にも適用することができる。その場合、ベーストラック（Base Track）には、その他のトラックに割り当てられたビットストリームのヘッダ情報等が割り当てられるので当該セグメントの位置情報は不要である。そのため、ベーストラックに対応するディスクリプション（ビューポイント）では、当該画像の位置に関する情報として実際の座標でない値を定義するようにしてもよい。例えば、NULL、空、スペース（space）等を設定するようにしてもよい。また、例えば、座標としては大き過ぎる値やマイナス値等を設定するようにしてもよい。また、ベーストラックであることを示す識別情報（フラグ等）を別途設けるようにしてももちろんよい。
また、従来のMPDの場合、リプレゼンテーション（Representation）の下に必ずセグメント（Segment）が存在しなければならなかった。つまり、MP4ファイルのURLは、リプレゼンテーション直下のセグメントに記述される。サブリプレゼンテーション（Sub-Representation）は、例えばトリックプレイや音楽のみの再生等に利用される情報であり、リプレゼンテーション直下のセグメントのMP4ファイルの中の一部のデータを指定する。
このようなMPDを、部分画像情報を含むことができるように拡張する際に、サブリプレゼンテーション（Sub-Representation）の下にセグメントが存在するように拡張するようにしてもよい。つまり、サブリプレゼンテーションにタイル画像を割り当て、MP4ファイルのURLを参照することができるようにしてもよい。
より具体的には、サブリプレゼンテーションに、ベースURL（<BaseURL>）、セグメントベース（<SegmentBase>）、セグメントリスト（<SegmentList>）、およびセグメントテンプレート（<SegmentTemplate>）等のタグを追加定義する。
ただし、その場合、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示すセグメント情報を、部分画像情報として生成し、そのセグメント情報をMPDに格納する必要がある。例えば、このセグメント情報として、サブリプレゼンテーションの下にビットストリームの情報が存在するか否かを示すフラグ（@SegmentInSubRepresentation：true or false）が定義される。
このようにすることにより、リプレゼンテーションが複数のタイル画像のサブリプレゼンテーションによって構成されるようにすることができる。このような構造にすることにより、従来のリプレゼンテーションとの切り分けが可能になる。
また、従来のMPDの場合、セグメント（Segment）は、時間を表す概念となっており、同時刻のセグメントが１つのリプレゼンテーション（Representation）に存在することが許されていない。
このようなMPDを、部分画像情報を含むことができるように拡張する際に、セグメントにタイル画像を割り当てるようにし、１つのリプレゼンテーションに複数の同時刻のセグメントが存在することができるように拡張するようにしてもよい。
ただし、その場合、リプレゼンテーションの下に、同時刻のタイル画像が割り当てられた複数のセグメントが存在することを示すマルチセグメント情報を、部分画像情報として生成し、そのマルチセグメント情報をMPDに格納する必要がある。例えば、このマルチセグメント情報として、リプレゼンテーションの下に同時刻のビットストリームの情報が複数存在するか否かを示すフラグ（@multiSegmentInRepresentation：true or false）が定義される。
このようにすることにより、従来のセグメントとの切り分けが可能になる。
また、従来アクセスユニット（AU）単位でしか指定することができなかったものを、タイル単位のデータを指定することができるように拡張されたssixボックスを割り当てるサブセグメント（Sub-Segment）を、単数若しくは複数のタイル画像のビットストリームを格納するMP4ファイルが割り当てられるセグメントの下に定義するようにしてもよい。つまり、MP4ファイルが割り当てられるセグメントの下に、そのMP4ファイルから自身に対応するタイルを指定するssixを含むサブセグメントが１つまたは複数存在するようにしてもよい。
このようにすることにより、サブセグメントにおいてサンプル（Sample）よりも小さい単位を表すことができる。
なお、そのためには、そのことを暗示させるために、セグメント情報を偽（@SegmentInSubRepresentation = false）とし、かつ、ビューポイント（Viewpoint）をセグメントに定義する必要がある。つまり、これらの２つの情報から、サブセグメントによってタイル画像を表していること（MP4ファイルが拡張されていること）を把握することができる。
なお、専用のフラグ情報を別途定義し、サブセグメントによってタイル画像を表していること（MP4ファイルが拡張されていること）を明示するようにしてもよい。
部分画像情報は、上述した例に限らず、任意である。例えば、バリューに、上述した例に示される情報（ビュータイプ（(1)viewtype）、全体画像のサイズに関する情報（(2)全体画像のwidthとheight）、全体画像における部分画像の位置を示す情報（(3)エレメントが示す画像のx座標とy座標）、部分画像が属する、１画像として表示可能な部分画像のグループを識別するグループ識別情報（(4)TilegroupID））以外の情報を定義するようにしてもよい。また、上述した以外のフラグ情報を部分情報として定義するようにしてもよい。
以上のように部分画像情報を生成し、その部分画像情報を用いてMPD（メタデータ）を拡張することにより、そのメタデータを用いて、部分画像のデータの適応的な提供を実現することができる。
＜２．第２の実施の形態＞
＜配信システム＞
次に、以上のような本技術を実現する装置とその方法について説明する。図１１は、本技術を適用したシステムの一態様である、配信システムを示す図である。図１１に示される配信システム１００は、全体画像の一部である部分画像のデータを適応的に配信することができるシステムである。
図１１に示されるように配信システム１００は、配信データ生成装置１０１、配信サーバ１０２、および端末装置１０３を有する。
配信データ生成装置１０１は、配信サーバ１０２が配信する、例えば画像や音声等のコンテンツのファイル（コンテンツファイル）とそのMPDファイルを生成し、それを配信サーバ１０２に供給する。配信サーバ１０２は、配信データ生成装置１０１から供給されたコンテンツファイルとそのMPDファイルを、ネットワーク１０４に向けて公開し、部分画像の適応的な配信を行う。
端末装置１０３は、ネットワーク１０４を介して配信サーバ１０２にアクセスし、配信サーバ１０２が公開する所望のコンテンツのMPDファイルを取得する。
端末装置１０３は、そのMPDファイルに従って、ネットワーク１０４を介して配信サーバ１０２にアクセスし、MPDファイルに対応する適切なコンテンツファイルを適応的に選択し、それをHTTPプロトコルにより取得する。端末装置１０３は、取得したコンテンツファイルを再生する。
＜配信データ生成装置＞
図１２は、配信データ生成装置１０１の主な構成例を示すブロック図である。図１２に示されるように、配信データ生成装置１０１は、画面分割処理部１２１、画像符号化部１２２、ファイル生成部１２３、タイル型画像情報生成部１２４、MPD生成部１２５、およびサーバアップロード処理部１２６を有する。
画面分割処理部１２１は、外部より供給された画像データの全体画像をタイル毎に分割するように画像データを編集（加工）し、タイル画像の画像データを生成する。画面分割処理部１２１は、このように生成した各タイルの画像データを画像符号化部１２２に供給する。また、画面分割処理部１２１は、例えば各タイルの大きさや位置等のタイル構造に関する情報をタイル型画像情報生成部１２４に供給する。
画像符号化部１２２は、画面分割処理部１２１から供給されるタイル毎の画像データを符号化し、ビットストリームを生成する。図１２に示されるように、画像符号化部１２２は、符号化処理部１３１、符号化処理部１３２、符号化処理部１３３、・・・のように、複数の符号化処理部を有しており、供給される各タイルの画像データを並行して符号化することができる。図６等を参照して説明したように画像符号化部１２２は、１つの画像データから任意の数のビットストリームを生成することができる。また、画像符号化部１２２は、複数の画像データを１つのビットストリームにまとめることもできる。例えば、画像符号化部１２２は、タイル画像毎にビットストリームを生成することもできるし、複数のタイル画像を１つのビットストリームにまとめることもできる。画像符号化部１２２は、生成したビットストリームをファイル生成部１２３に供給する。
なお、画像符号化部１２２の符号化方法は任意である。各符号化処理部が同一の方法で符号化するようにしてもよいし、互いに異なる方法で符号化するようにしてもよい。
ファイル生成部１２３は、供給されたビットストリームを、例えばMP4ファイルフォーマット等の所定のフォーマットでファイル化し、コンテンツファイルを生成する。図７や図８等を参照して説明したように、ファイル生成部１２３は、１つのビットストリームを任意の数のファイルにファイル化することができる。また、ファイル生成部１２３は、複数のビットストリームを１つのファイルにまとめることもできる。ファイル生成部１２３は、生成したコンテンツファイルをMPD生成部１２５に供給する。また、ファイル生成部１２３は、各ビットストリームをどのようにファイル化したか等の、ファイル化に関する情報をタイル型画像情報生成部１２４に供給する。
なお、ファイル生成部１２３は、任意のフォーマットでファイル化を行うことができる。
タイル型画像情報生成部１２４は、画面分割処理部１２１から供給されるタイル構造に関する情報や、ファイル生成部１２３から供給されるファイル化に関する情報等に基づいて、MPDをタイル構造に対応させるためのタイル型画像情報（すなわち部分画像情報）を生成する。タイル型画像情報（部分画像情報）は、第１の実施の形態において説明した内容を含む情報であり、例えば、ビューポイントのバリューや、フラグ情報等として生成される。タイル型画像情報生成部１２４は、生成したタイル型画像情報をMPD生成部１２５に供給する。
MPD生成部１２５は、ファイル生成部１２３から供給されるコンテンツファイルについてのMPDを生成し、そのMPDを、タイル型画像情報生成部１２４から供給されるタイル型画像情報（部分画像情報）を用いて拡張し、タイル構造に対応したタイル型MPDを生成する。MPD生成部１２５は、生成したタイル型MPDのファイル（MPDファイル）とコンテンツファイルとをサーバアップロード処理部１２６に供給する。
サーバアップロード処理部１２６は、供給されたMPDファイルやコンテンツファイルを配信サーバ１０２（図１１）にアップロードし、公開させる。
配信データ生成装置１０１が以上のようにタイル構造に対応したタイル型MPDを生成することにより、配信サーバ１０２は、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）することができる。つまり、配信システム１００は、部分画像のデータの適応的な提供を実現することができる。
以上に説明した各処理部は、独立した装置として構成するようにしてもよい。特に、タイル型画像情報生成部１２４やMPD生成部１２５は、それぞれ、独立した装置として構成するようにしてもよい。つまり、コンテンツファイルの生成に関する構成は必須ではなく、タイル型画像情報（部分画像情報）の生成だけを行うようにしてもよい。例えば、他の装置から供給される情報に基づいてタイル型画像情報（部分画像情報）を生成するようにしてもよい。また、例えば、生成したタイル型画像情報（部分画像情報）を他の装置に供給するようにしてもよい。
また、タイル型MPDの生成だけを行うようにしてもよい。例えば、他の装置から供給されるタイル型画像情報（部分画像情報）を用いて、他の装置において生成されるコンテンツファイルに対応するタイル型MPDを生成するようにしてもよい。また、生成したMPDファイルを他の装置に供給するようにしてもよい。
さらに、タイル型MPD生成部１４１のように、タイル型画像情報生成部１２４およびMPD生成部１２５を一体化するようにしてもよい。例えば、そのタイル型MPD生成部１４１を１つの独立した装置として構成するようにしてもよい。
＜端末装置＞
図１３は、端末装置１０３の主な構成例を示すブロック図である。図１３に示されるように、端末装置１０３は、MPD取得部１５１、パース処理部１５２、タイル画像選択部１５３、ファイル取得部１５４、画像復号部１５５、タイル画像合成部１５６、および表示部１５７を有する。
MPD取得部１５１は、例えば端末装置１０３のユーザや制御プログラムの指示等に基づいて、所望のコンテンツのMPDファイルを、ネットワーク１０４を介して配信サーバ１０２から取得する。MPD取得部１５１は、取得したMPDファイルをパース処理部１５２に供給する。
パース処理部１５２は、供給されたMPDファイルを解析（パース）する。また、パース処理部１５２は、MPDファイルに含まれるタイル型画像情報（部分画像情報）も解析（パース）する。パース処理部１５２は、その解析結果をタイル画像選択部１５３に供給する。
タイル画像選択部１５３は、外部から供給される、再生する部分画像（単数若しくは複数のタイル画像からなる画像）を指定するタイル画像指定情報を取得すると、パース処理部１５２におけるMPDファイル（タイル型画像情報）の解析結果に基づいて、タイル型画像情報に含まれるタイル画像の中から、タイル画像指定情報により指定されるタイル画像を選択する。タイル画像選択部１５３は、選択したタイル画像のファイルのURL（配信アドレス）をファイル取得部１５４に供給する。
ファイル取得部１５４は、ネットワーク１０４を介して配信サーバ１０２の、タイル画像選択部１５３から供給された配信アドレスにアクセスし、所望のコンテンツファイルを取得する。ファイル取得部１５４は、取得したコンテンツファイルからビットストリームを取得し、そのビットストリームを画像復号部１５５に供給する。
画像復号部１５５は、ファイル取得部１５４から供給されるビットストリームを復号し、タイル画像の画像データを得る。図１３に示されるように、画像復号部１５５は、復号処理部１６１、復号処理部１６２、復号処理部１６３、・・・のように、複数の復号処理部を有しており、供給される複数のビットストリームを並行して復号することができる。画像復号部１５５は、ビットストリームを復号して得られたタイル画像の画像データをタイル画像合成部１５６に供給する。
なお、画像復号部１５５は、画像符号化部１２２の符号化方法に対応する方法であれば、任意の復号方法で復号を行うことができる。したがって、各復号処理部が同一の方法で復号を行うようにしてもよいし、互いに異なる方法で復号を行うようにしてもよい。
タイル画像合成部１５６は、画像復号部１５５から、互いに同じグループに属する複数のタイル画像の画像データが供給された場合、そのタイル画像を合成（統合）し、１枚の画像とするように、各画像データを合成する。つまり、タイル画像合成部１５６は、表示用の画像の画像データを生成する。画像を合成しない場合（例えば単数のタイル画像を表示させる場合や、配信の際に既に複数のタイル画像が１本のビットストリームとされている場合等）は、供給された画像が表示用の画像とされることになる。タイル画像合成部１５６は、その表示用の画像データを表示部１５７に供給する。
表示部１５７は、供給された表示用の画像データを再生し、その表示用の画像をディスプレイに表示する。
以上のように、端末装置１０３は、タイル構造に対応したタイル型MPDを正しく解析することができ、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、配信システム１００は、部分画像のデータの適応的な提供を実現することができる。
また、上述したように、端末装置１０３は、配信時と異なる画像サイズで画像を表示することができる。つまり、端末装置１０３は、配信サーバ１０２やネットワーク１０４の負荷状況等に応じて、より適応的にデータ配信を制御することができる。例えば、全体画像を取得するかタイル画像を取得するかを制御することができるため、表示画像のサイズは変えずに、取得するコンテンツファイルの数を適宜増減させることができる。そのため、配信元や経路を分散させたり集中させたりするなどの制御を適宜行うことができる。
以上に説明した各処理部は、独立した装置として構成するようにしてもよい。特に、パース処理部１５２やタイル画像選択部１５３は、それぞれ、独立した装置として構成するようにしてもよい。つまり、コンテンツファイルの取得や再生（復号）に関する構成は必須ではなく、タイル型MPDやタイル型画像情報（部分画像情報）の解析だけを行うようにしてもよい。例えば、他の装置によって配信サーバ１０２から取得されたMPDファイルを解析するようにしてもよい。また、例えば、その解析結果を他の装置に供給するようにしてもよい。
また、タイル型画像情報処理部１７１のように、パース処理部１５２およびタイル画像選択部１５３を一体化するようにしてもよい。例えば、そのタイル型画像情報処理部１７１を１つの独立した装置として構成するようにしてもよい。
なお、タイル画像合成部１５６から出力される表示用の画像データは、他の装置に供給されたり、記録媒体に記録されたりするようにしてもよい。また、その際、画像データが符号化されるようにしてもよい。
＜配信データ生成処理の流れ＞
次に、以上のような配信システム１００の各装置により実行される各処理の流れについて説明する。最初に、図１４のフローチャートを参照して、配信データ生成装置１０１による配信データ生成処理の流れの例を説明する。
配信データ生成処理が開始されると、配信データ生成装置１０１の画面分割処理部１２１は、ステップＳ１０１において、画面（すなわち全体画像）をタイルに分割するように画像データを編集（加工）する。
ステップＳ１０２において、画像符号化部１２２は、ステップＳ１０１において生成された各タイル画像の画像データを符号化する。
ステップＳ１０３において、ファイル生成部１２３は、ステップＳ１０２において生成された符号化データ（ビットストリーム）をファイル化する（つまり、コンテンツファイルを生成する）。
ステップＳ１０４において、タイル型MPD生成部１４１は、ステップＳ１０１の分割やステップＳ１０３のファイル化等の処理結果に応じて、タイル型MPDのファイルを生成する。
ステップＳ１０５において、サーバアップロード処理部１２６は、以上のように生成されたMPDファイルおよびコンテンツファイルを配信サーバ１０２にアップロードする。
ステップＳ１０５の処理が終了すると、配信データ生成処理が終了する。
＜タイル型MPDファイル生成処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ１０４において実行されるタイル型MPDファイル生成処理の流れの例を説明する。
タイル型MPDファイル生成処理が開始されると、タイル型画像情報生成部１２４は、ステップＳ１２１において、例えばビューポイントのエレメントにおいて、タイル型画像情報のスキーマ（例えば、urn:mpeg:DASH:tile:2013）を設定する。
ステップＳ１２２において、タイル型画像情報生成部１２４は、タイル型画像情報として、そのスキーマのバリューにビュータイプ（viewtype）を設定する。
ステップＳ１２３において、タイル型画像情報生成部１２４は、タイル型画像情報として、そのスキーマのバリューに全体画像のサイズ（width,height）を設定する。
ステップＳ１２４において、タイル型画像情報生成部１２４は、タイル型画像情報として、そのスキーマのバリューにタイル画像の位置（x,y）を設定する。
ステップＳ１２５において、タイル型画像情報生成部１２４は、タイル型画像情報として、そのスキーマのバリューにグループ識別情報（TilegroupID）を設定する。
ステップＳ１２６において、タイル型画像情報生成部１２４は、タイル型画像情報として、必要に応じて、セグメント情報（@SegmentInSubRepresentation）を設定する。例えば、サブリプレゼンテーション（Sub-Representation）の下にセグメントが存在するようにMPDが拡張される場合、タイル型画像情報生成部１２４は、この、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示すセグメント情報を生成する。
ステップＳ１２７において、タイル型画像情報生成部１２４は、タイル型画像情報として、必要に応じて、マルチセグメント情報（@multiSegmentInRepresentation）を設定する。例えば、セグメントにタイル画像を割り当てるようにし、１つのリプレゼンテーションに複数の同時刻のセグメントが存在することができるようにMPDが拡張される場合、タイル型画像情報生成部１２４は、この、リプレゼンテーションの下に、同時刻のタイル画像が割り当てられた複数のセグメントが存在することを示すマルチセグメント情報を生成する。
ステップＳ１２７の処理が終了するとタイル型MPDファイル生成処理が終了し、処理は図１４に戻る。
以上のように各処理を実行することにより、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
＜配信データ再生処理の流れ＞
次に、図１６のフローチャートを参照して、端末装置１０３により実行される配信データ再生処理の流れの例を説明する。
配信データ再生処理が開始されると、MPD取得部１５１は、ステップＳ１４１において、配信サーバ１０２から所望のコンテンツに対応するMPDファイルを取得する。
ステップＳ１４２において、パース処理部１５２は、ステップＳ１４１において取得されたMPDファイルを解析（パース）する。
ステップＳ１４３において、パース処理部１５２は、さらに、そのMPDファイルに含まれるタイル型画像情報（部分画像情報）を解析（パース）する。
ステップＳ１４４において、タイル画像選択部１５３は、タイル型画像情報に示されるタイル画像の中から、外部から供給されるタイル画像指定情報により指定されるタイル画像を選択する。
ステップＳ１４５において、ファイル取得部１５４は、ステップＳ１４４において選択されたタイル画像のファイルを取得する。
ステップＳ１４６において、画像復号部１５５は、ステップＳ１４５において取得されたファイルに含まれるタイル画像のビットストリームを復号する。
ステップＳ１４７において、タイル画像合成部１５６は、必要に応じて、ステップＳ１４６においてビットストリームが復号されて得られたタイル画像の画像データを、タイル画像を合成するように編集（加工）する。
ステップＳ１４８において、表示部１５７は、ステップＳ１４７において得られたタイル画像の合成画像等の表示用画像をディスプレイに表示する。
ステップＳ１４８の処理が終了すると、配信データ再生処理が終了する。
以上のように配信データ再生処理を実行することにより、端末装置１０３は、タイル構造に対応したタイル型MPDを正しく解析することができ、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
なお、上述した部分画像の適応的な配信（提供）は、全体画像の配信（提供）と併用することができる。つまり、例えば、サーバが、端末からの要求等に応じて適応的に、全体画像を配信したり、任意の部分画像を配信したりすることができるようにしてもよい。
＜３．第３の実施の形態＞
＜MPD拡張の具体例＞
次に、MPDの拡張の仕方の具体例について説明する。
＜例１＞
拡張したMPDの主な構成例を図１７に示す。図１７の例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（bitstream3.mp4乃至bitstream6.mp4）。そして、MPDは、アダプテーションセット（AdaptationSet）が拡張され、各タイル画像のビットストリーム（MP4ファイル）が、互いに異なるアダプテーションセットにおいて定義されている。タイル用のディスクリプションであるビューポイント（Viewpoint）は、アダプテーションセットに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのアダプテーションセットの下のリプレゼンテーション（Representation）の下のセグメント（Segment）に設定される。
つまり、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が互いに異なるアダプテーションセットに格納され、複数の部分画像のそれぞれのビットストリームが、互いに異なるアダプテーションセットに割り当てられる。
図１７に示されるように、この例の場合、全体画像（bitstream1.mp4, bitstream2.mp4）のアダプテーションセットと並べてタイル画像のアダプテーションセットを設けることができ、全体画像の配信と部分画像の適応的な配信とを一元的に管理することができる。
従来のDASHでは、例えばステレオ画像のＲ画像とＬ画像のように、表示している内容が異なる画像は、互いに異なるアダプテーションセットに定義される場合が多い。本例では、そのような手法にならって各タイル画像を互いに異なるアダプテーションセットに定義している。そのため、部分画像の配信制御においても、従来により近い自然な手法を実現することができる。そのため開発を容易にすることができる。
なお、図１７の例においては、解像度の異なる全体画像が、同一のアダプテーションセットに定義されているが、これらの全体画像を互いに異なるアダプテーションセットに定義するようにしてもよい。
なお、本例のMPDの具体的な記述例を図１８に示す。
＜例２＞
拡張したMPDの他の構成例を図１９に示す。図１９の例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（bitstream3.mp4乃至bitstream6.mp4）。そして、MPDは、アダプテーションセット（AdaptationSet）が拡張され、各タイル画像のビットストリーム（MP4ファイル）が、全体画像が定義されるアダプテーションセットとは異なるアダプテーションセットにおいて定義されている。ただし、＜例１＞の場合と異なり、各タイル画像のビットストリーム（MP4ファイル）は、同一のアダプテーションセットにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、そのアダプテーションセットの下のリプレゼンテーション（Representation）に定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのリプレゼンテーションの下のセグメント（Segment）に設定されている。
つまり、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が、メタデータの１つのアダプテーションセットに属する互いに異なるリプレゼンテーションに格納され、複数の部分画像のそれぞれのビットストリームが、互いに異なるリプレゼンテーションに割り当てられる。
図１９に示されるように、この例の場合、全体画像のアダプテーションセットと並べてタイル画像のアダプテーションセットを設けることができ、全体画像の配信と部分画像の適応的な配信とを一元的に管理することができる。
なお、図１９の例においては、解像度の異なる全体画像（bitstream1.mp4, bitstream2.mp4）が、同一のアダプテーションセットに定義されているが、これらの全体画像を互いに異なるアダプテーションセットに定義するようにしてもよい。
＜例３＞
拡張したMPDのさらに他の構成例を図２０に示す。図２０の例の場合、配信される画像データの各タイルの符号化データが1本のビットストリームにまとめられている。そして、そのビットストリームは、タイル毎にMP4ファイル化されている（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）。また、図７を参照して説明したように、各タイルのヘッダ情報等を集めたベーストラックが各タイルのビットストリームとは別にファイル化されている（bitstream7_base.mp4）。
そして、MPDは、アダプテーションセット（AdaptationSet）が拡張され、各タイル画像のビットストリーム（MP4ファイル）（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）が、互いに異なるアダプテーションセットにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、アダプテーションセットに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのアダプテーションセットの下のリプレゼンテーション（Representation）の下のセグメント（Segment）に設定される。
なお、ベーストラックのビットストリーム（MP4ファイル）（bitstream7_base.mp4）のビューポイントのバリューに定義されるｘ座標およびｙ座標には、第１の実施の形態において説明したように、例えばNULL等の、通常の座標とは明らかに異なる値が設定される。また、各ビューポイントのバリューに定義されるビュータイプの値には、HEVC等の符号化方式がサポートするタイル（Tile）であることを示す値（図２０の例の場合「２」）が設定される。
つまり、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が、メタデータの互いに異なるアダプテーションセットに格納され、複数の部分画像を含む１つのビットストリームが部分画像毎に分割された複数のファイルのそれぞれが、互いに異なるアダプテーションセットに割り当てられる。
なお、本例のMPDの具体的な記述例を図２１に示す。
＜例４＞
拡張したMPDのさらに他の構成例を図２２に示す。図２２の例の場合、拡張方法は＜例３＞と同様である。各タイルが図２２に示されるように不均等な大きさに設定されている（図９のＢに対応している）。この場合、四角で示されるように、タイルを追加することにより、所望の画サイズの画像が得られる。
また、本例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（tile1.mp4乃至tile5.mp4）。そのため、＜例３＞のようにベーストラックは存在しない。
つまり、ビットストリームに含まれる制御情報についての部分画像情報がさらに生成され、制御情報の部分画像情報が、各部分画像の部分画像情報とは異なるアダプテーションセットに格納され、制御情報のファイルが、アダプテーションセットに割り当てられる。
＜例５＞
拡張したMPDのさらに他の構成例を図２３に示す。図２３の例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（bitstream3.mp4乃至bitstream6.mp4）。そして、MPDは、リプレゼンテーション（Representation）が拡張され、各タイル画像のビットストリーム（MP4ファイル）が、全体画像のビットストリーム（MP4ファイル）（bitstream1.mp4, bitstream2.mp4）と同一のアダプテーションセットの下の、互いに異なるリプレゼンテーションにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、リプレゼンテーションに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのリプレゼンテーションの下のセグメント（Segment）に設定される。
つまり、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が、メタデータの全体画像と同じアダプテーションセットに属する互いに異なるリプレゼンテーションに格納され、複数の部分画像のそれぞれのビットストリームが、互いに異なるリプレゼンテーションに割り当てられる。
つまり、図２３に示されるように、この例の場合、全体画像（bitstream1.mp4, bitstream2.mp4）のリプレゼンテーションと並べてタイル画像のリプレゼンテーションを設けることができ、全体画像の配信と部分画像の適応的な配信とを一元的に管理することができる。
なお、本例のMPDの具体的な記述例を図２４に示す。
＜例６＞
拡張したMPDのさらに他の構成例を図２５に示す。図２５の例の場合、配信される画像データの各タイルの符号化データが1本のビットストリームにまとめられている。そして、そのビットストリームは、タイル毎にMP4ファイル化されている（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）。また、図７を参照して説明したように、各タイルのヘッダ情報等を集めたベーストラックが各タイルのビットストリームとは別にファイル化されている（bitstream7_base.mp4）。
そして、MPDは、リプレゼンテーション（Representation）が拡張され、各タイル画像のビットストリーム（MP4ファイル）（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）が、同一のアダプテーションセットの下の互いに異なるリプレゼンテーションにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、リプレゼンテーションに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのリプレゼンテーションの下のセグメント（Segment）に設定される。
なお、ベーストラックのビットストリーム（MP4ファイル）（bitstream7_base.mp4）のビューポイントのバリューに定義されるｘ座標およびｙ座標には、第１の実施の形態において説明したように、例えばNULL等の、通常の座標とは明らかに異なる値が設定される。また、各ビューポイントのバリューに定義されるビュータイプの値には、HEVC等の符号化方式がサポートするタイル（Tile）であることを示す値（図２５の例の場合「２」）が設定される。
つまり、互いに同じグループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての部分画像情報がさらに生成され、複数の部分画像のそれぞれの部分画像情報が、メタデータの１つのアダプテーションセットに属する互いに異なるリプレゼンテーションに格納され、ビットストリームが部分画像毎に分割された複数のファイルのそれぞれが、互いに異なるリプレゼンテーションに割り当てられ、制御情報の部分画像情報が、各部分画像の部分画像情報とは異なるリプレゼンテーションに格納され、制御情報のファイルが、リプレゼンテーションに割り当てられる。
なお、本例のMPDの具体的な記述例を図２６に示す。
＜例７＞
拡張したMPDのさらに他の構成例を図２７に示す。図２７の例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（bitstream3.mp4乃至bitstream6.mp4）。そして、MPDは、サブリプレゼンテーション（Sub-Representation）が拡張され、各タイル画像のビットストリーム（MP4ファイル）が、全体画像のビットストリーム（MP4ファイル）（bitstream1.mp4, bitstream2.mp4）と同一のアダプテーションセットの下の、全体画像のビットストリーム（MP4ファイル）と異なるリプレゼンテーションの下の、互いに異なるサブリプレゼンテーションにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、サブリプレゼンテーションに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのサブリプレゼンテーションの下のセグメント（Segment）に設定される。
また、各タイル画像のビットストリーム（MP4ファイル）が定義されるリプレゼンテーションには、サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報（@SegmentInSubRepresentation = true）が定義される。
つまり、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が、メタデータの１つのアダプテーションセットに属する１つのリプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納され、複数の部分画像のそれぞれのビットストリームが、互いに異なるサブリプレゼンテーションに割り当てられる。
つまり、図２７に示されるように、この例の場合、全体画像（bitstream1.mp4, bitstream2.mp4）のリプレゼンテーションと並べてタイル画像のリプレゼンテーションを設けることができ、全体画像の配信と部分画像の適応的な配信とを一元的に管理することができる。
なお、本例のMPDの具体的な記述例を図２８に示す。
＜例８＞
拡張したMPDのさらに他の構成例を図２９に示す。図２９の例の場合、配信される画像データの各タイルの符号化データが1本のビットストリームにまとめられている。そして、そのビットストリームは、タイル毎にMP4ファイル化されている（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）。また、図７を参照して説明したように、各タイルのヘッダ情報等を集めたベーストラックが各タイルのビットストリームとは別にファイル化されている（bitstream7_base.mp4）。
そして、MPDは、サブリプレゼンテーション（Sub-Representation）が拡張され、各タイル画像のビットストリーム（MP4ファイル）（bitstream7_Tile1.mp4乃至bitstream7_Tile4.mp4）が、同一のアダプテーションセット（AdaptationSet）の下の同一のリプレゼンテーション（Representation）の下の互いに異なるサブリプレゼンテーションにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、サブリプレゼンテーションに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、そのサブリプレゼンテーションの下のセグメント（Segment）に設定される。
また、ベーストラックのビューポイントは、それらのサブリプレゼンテーションの上のリプレゼンテーションに定義され、そのベーストラックのビットストリーム（MP4ファイル）（bitstream7_base.mp4）のURLが、そのリプレゼンテーションの下のセグメントに設定される。また、各タイル画像のビットストリーム（MP4ファイル）が定義されるリプレゼンテーションには、サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報（@SegmentInSubRepresentation = true）が定義される。また、図４で表されるMPDの他の構成要素（例えば、AdaptationSet）で、サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報（@SegmentInSubRepresentation = true）が定義されても良い。
なお、ベーストラックのビットストリーム（MP4ファイル）（bitstream7_base.mp4）のビューポイントのバリューに定義されるｘ座標およびｙ座標には、第１の実施の形態において説明したように、例えばNULL等の、通常の座標とは明らかに異なる値が設定される。また、各ビューポイントのバリューに定義されるビュータイプの値には、HEVC等の符号化方式がサポートするタイル（Tile）であることを示す値（図２９の例の場合「２」）が設定される。
つまり、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示すセグメント情報と、互いに同じグループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての部分画像情報とがさらに生成され、制御情報の部分画像情報およびセグメント情報が、メタデータの１つのアダプテーションセットに属する１つのリプレゼンテーションに格納され、制御情報のファイルが、リプレゼンテーションに割り当てられ、複数の部分画像のそれぞれの部分画像情報が、リプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納され、ビットストリームが部分画像毎に分割された複数のファイルのそれぞれが、互いに異なるサブリプレゼンテーションに割り当てられる。
なお、本例のMPDの具体的な記述例を図３０に示す。
＜例９＞
拡張したMPDのさらに他の構成例を図３１に示す。図３１の例の場合、配信される画像データの各タイルの符号化データが1本のビットストリームにまとめられている。そして、そのビットストリームは、図８の例のように１つのファイルとなるようにMP4ファイル化されている（bitstream7.mp4）。
そして、MPDは、サブリプレゼンテーション（Sub-Representation）が拡張され、タイル画像のビットストリーム（MP4ファイル）（bitstream7.mp4）が、アダプテーションセット（AdaptationSet）の下のリプレゼンテーション（Representation）の下において定義されている。その上のリプレゼンテーションにおいては、タイル画像のビットストリーム（MP4ファイル）（bitstream7.mp4）に対応するビューポイント（Viewpoint）が定義され、さらに、サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報（@SegmentInSubRepresentation = true）が定義される。
そのリプレゼンテーションの下のサブリプレゼンテーションには、各タイルのビューポイントが設定され、その下のセグメントにおいては、（bitstream7.mp4）における各タイルのデータの場所がバイトで指定される。
つまり、サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報と、互いに同じグループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての部分画像情報とがさらに生成され、制御情報の部分画像情報およびセグメント情報がメタデータの１つのアダプテーションセットに属する１つのリプレゼンテーションに格納され、ビットストリームがリプレゼンテーションに割り当てられ、複数の部分画像のそれぞれの部分画像情報が、リプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納され、ビットストリームにおける各部分画像のデータの場所を示す情報が、互いに異なるサブリプレゼンテーションに割り当てられる。
＜例１０＞
拡張したMPDのさらに他の構成例を図３２に示す。図３２の例の場合、配信される画像データの各タイルの符号化データがそれぞれ１つのビットストリーム（MP4ファイル）とされている（bitstream3.mp4乃至bitstream6.mp4）。そして、MPDは、セグメント（Segment）が拡張され、アダプテーションセットの下のリプレゼンテーションの下に複数のセグメント（Segment）が定義されている。
リプレゼンテーションには、全タイル画像の合成画像のビューポイントが定義され、リプレゼンテーションの下に、同時刻のタイル画像が割り当てられた複数のセグメントが存在することを示すマルチセグメント情報（@multiSegmentInRepresentation = true）が定義される。また、図４で表されるMPDの他の構成要素（例えば、AdaptationSet）で, サブリプレゼンテーションの下にビットストリームの情報が存在することを示すセグメント情報（@SegmentInSubRepresentation = true）が定義されても良い。
各タイル画像のビットストリーム（MP4ファイル）が、全体画像のビットストリーム（MP4ファイル）（bitstream1.mp4, bitstream2.mp4）と同一のアダプテーションセットの下の、全体画像のビットストリーム（MP4ファイル）と異なるリプレゼンテーションの下の、互いに異なるセグメントにおいて定義されている。
タイル用のディスクリプションであるビューポイント（Viewpoint）は、そのセグメントに定義され、そのビューポイントに対応するタイルのビットストリーム（MP4ファイル）のURLが、各セグメント（Segment）に設定される。
つまり、リプレゼンテーションの下に同時刻のビットストリームの情報が複数存在することを示すマルチセグメント情報がさらに生成され、マルチセグメント情報がメタデータの１つのアダプテーションセットに属する１つのリプレゼンテーションに格納され、互いに同じグループに属する複数の部分画像のそれぞれの部分画像情報が、リプレゼンテーションに属する互いに異なるセグメントに格納され、複数の部分画像のそれぞれのビットストリームが、互いに異なるセグメントに割り当てられる。
つまり、図３２に示されるように、この例の場合、全体画像（bitstream1.mp4, bitstream2.mp4）のリプレゼンテーションと並べてタイル画像のリプレゼンテーションを設けることができ、全体画像の配信と部分画像の適応的な配信とを一元的に管理することができる。
なお、本例のMPDの具体的な記述例を図３３に示す。
＜例１１＞
拡張したMPDのさらに他の構成例を図３４に示す。図３４の例の場合、配信される画像データの各タイルの符号化データがまとめて１つのビットストリーム（MP4ファイル）とされている（bitstream7.mp4）。そして、MPDは、サブセグメント（Sub-Segment）が拡張され、アダプテーションセットの下のリプレゼンテーションの下のセグメントの下に複数のサブセグメント（Sub-Segment）が定義されている。
リプレゼンテーションには、サブリプレゼンテーションの下にビットストリームの情報が存在しないことを示すセグメント情報（@SegmentInSubRepresentation = false）が定義される。
セグメントには、全タイル画像の合成画像のビューポイントが定義され、その下のサブセグメントにおいて、ssixによって各タイル画像のデータが示される。
つまり、サブリプレゼンテーションの下にビットストリームの情報が存在しないことを示すセグメント情報と、互いに同じグループに属する複数の部分画像を含む１つのビットストリームについての部分画像情報とがさらに生成され、セグメント情報がメタデータの１つのアダプテーションセットに属する１つのリプレゼンテーションに格納され、部分画像情報がリプレゼンテーションに属する１つのセグメントに格納され、ビットストリームがセグメントに割り当てられ、ビットストリームにおける各部分画像のデータの場所を示す情報が、セグメントに属する、互いに異なるサブセグメントに割り当てられる。
もちろん、MPDの拡張方法は、任意であり、上述した例以外のものであってもよい。
＜タイル画像配信を利用するアプリケーションの他の例＞
次に、以上に説明したタイル画像の適応的な配信（提供）を利用するアプリケーションの他の例について説明する。
例えば、図３５の左に示されるようなシステムにおいて、モバイルデバイス２２１がサーバ２２０から、全体画像２１０の４枚のタイル画像２１１からなる1920x1080サイズの部分画像２１２を3G回線で取得し、再生中であるとする。
テレビジョン信号受像機（TV）２２２に表示を切り替えるため、切り替え先のTV２２２の再生環境(ネットワーク帯域)や再生能力(解像度・デコーダ能力)などの情報をTV２２２から取得する。この情報の取得方法は任意であり、例えば、モバイルデバイス２２１が直接TV２２２と通信することで取得するようにしても良いし、モバイルデバイス２２１が、サーバ２２０を介して取得するようにしても良い。
モバイルデバイス２２１は、MPDの情報から、切り替え先のTV２２２に最適なタイル画像を選択する。図３５の例の場合、5x5のタイル画像２１１よりなる部分画像２１３が選択される。
以上のように選択されたタイル画像のビットストリームを、切り替え先のTV２２２が取得し、再生する。
なお、以上のような最適なストリームの選択や取得をモバイルデバイス２２１が行って、切り替え先のTV２２２にプッシュ（Push）するようにしても良いし、TV２２２がそのような選択や取得を行うようにしても良い。
＜タイル画像配信を利用するアプリケーションのさらに他の例＞
また、例えば、図３６の左に示されるようなシステムにおいて、モバイルデバイス２２１が、全体画像の一部を再生しているとする（モバイルデバイス２２１Ａの状態）。
再生中の領域をずらして別の領域を再生するために、モバイルデバイス２２１のユーザが、タッチパネル上で、指を、再生したい方向が画面上に表示されるように、画像を動かすように（矢印２３３のように）、ずらす。例えば、矢印２３４のように現在表示されている領域（部分画像２３１）よりも右上の領域（部分画像２３２）を表示したい場合、ユーザは、指を、画面の右上から左下の方向になぞる。
このようなユーザ入力が行われると、モバイルデバイス２２１が、入力された指の動きなどに基づいて、画像の移動先を算出し、MPD情報から、表示するべきタイル画像のストリームを選択する。
そして、モバイルデバイス２２１は、選択されたビットストリームをサーバ２２０から取得し、再生・表示する（モバイルデバイス２２１Ｂの状態）。
なお、タイル画像の選択は、モバイルデバイス２２１において実行されるアプリケーションで行っても良いし、指の動きから取得した画像の移動先の方向をサーバ２２０に送り、サーバ２２０が画像の選択をするようにしても良い。
画像を実際に移動させる際には、突然、表示領域が切り替わるように行っても良いし、スムーズな切り替えを行うために、表示領域を少しずつずらしながら切り替えても良い。
＜４．第４の実施の形態＞
＜MPD拡張の他の例＞
図３７は、タイル画像配信を利用するアプリケーションの、さらに他の例を示す図である。
放送など、複数のチャンネルの番組の中から、ユーザに、好きな番組を選んでもらうために、複数のチャンネルの画像を１枚の画像(HD)として符号化することで、メニューのようなものを作成する。このような異なる画像を並べるように合成した合成画像をモザイクビデオと定義する。
例えば、テレビジョン信号受像機のように大きなディスプレイを有するデバイスであれば、ユーザは、容易に、全チャンネルの番組が合成されたモザイクビデオから各番組の内容を把握し、所望の番組を選択して表示させることができる。
しかしながら、モバイルデバイスの場合、そのディスプレイは小さく、例えばHD画像以下のような、画サイズの小さな（低解像度の）画像しか表示することができない。つまり、このようなモバイルデバイスに対しては、1920x1080の画像しか配信することができない。
しかしながら、そのような小さな画サイズでは、モザイクビデオの各チャンネルの番組が表示される領域が小さ過ぎ、ユーザがそのようなモザイクビデオから各番組の内容を把握し、所望の番組を選択することは困難であった。
そこで、上述したような、部分画像のデータを適応的に提供する技術を適用し、ユーザがモザイクビデオの中から気になる番組が映っている場所を選択してズームすると、より少数の番組の画像が表示される別のHD画像に切り替わるようにする。このようなズーム（画像の切り替え）を繰り返すことにより、ユーザが容易に所望の番組のみを表示させることができるようにする。
図３７の例の場合、楕円で示される範囲内のタイルをモバイルデバイスが取得し、表示することができるとする。一番左のモザイクビデオにおいては、モザイクビデオ全体を表示させることができる。このとき１６チャンネル分の番組の画像が表示される。この状態では、各番組の表示領域（Ａ乃至Ｐ）が小さ過ぎて、ユーザが所望の番組を選択することは困難であった。そこで、ユーザが左上の部分をタップする等して選択すると、配信されるファイル（ビットストリーム）が切り替えられ、図３７の中央に示されるような、画サイズが1920x1080の、モザイクビデオの左上のタイル画像が表示される。このタイル画像においては、４番組が表示される（Ａ、Ｂ、Ｅ、Ｆ）。つまり、表示される番組数が低減し、１番組当たりの表示領域が広がっている。
さらに、ユーザがそのモザイクビデオの左上の部分をタップする等して選択すると、配信されるファイル（ビットストリーム）が切り替えられ、図３７の右に示されるような、画サイズが1920x1080の、モザイクビデオの左上のタイル画像が表示される。このタイル画像においては、１番組が表示される（Ａ）。つまり、表示される番組数がさらに低減し、１番組当たりの表示領域が広がっている。
以上のような配信データの切り替えを、上述したようにDASH規格を拡張することにより実現させる。つまり、例えば、１画面を構成するモザイクビデオの構造をMPDに定義し、モザイクビデオをユーザインタフェース等（UI/UX）として利用できるようにする。
例えば、画面構成と、ユーザが選択した位置情報の関係を求めて、次に切り替えるべきストリームを選択する。画面上でユーザが触った座標と、モザイクビデオ上の座標を求め、その座標位置が含まれる、次のLayer(拡大)のモザイクビデオを求めて、切り替える。
ビューポイントのエレメント（Viewpoint element）を利用し、新しいschemeIdUri（urn:mpeg:DASH:mosaic:2013）を定義する。それに対するバリュー（value）の中身（部分画像情報）には、例えば以下の情報を定義する。
・1画面を構成するモザイク画像の数
・モザイク画像の大きさが均等であるかを表すフラグ
・均等でない場合に、各モザイク画像の左上の原点座標と、横幅（Width）,高さ（Height）の情報
より具体的には、以下のようなビューポイントが定義される。そして、このような部分画像情報を用いてMPDを拡張する。
<Viewpoint schemeIdUri=“urn:mpeg:DASH:mosaic:2013” value=“モザイク画像の数, 均等画像フラグ, モザイク画像の位置情報”>
なお、このビューポイントのエレメントは、モザイクビデオに対するものである（urn:mpeg:DASH:mosaic:2013）。上述したように部分画像のデータを適応的に提供するためには、さらに、図１０のＡに示されるようなタイル用のビューポイントのエレメントを定義する必要がある。つまり、上述のモザイクビデオ用のビューポイントのエレメントは、タイル用のビューポイントのエレメントの拡張エレメントという位置づけとなる。
例えば、図３８の上側に示されるような複数番組が表示される状態の場合、タイル用のビューポイントのエレメントと、モザイクビデオ用のビューポイントのエレメントとの両方を、アダプテーションセットにおいて定義する必要がある。
これに対して、ユーザが番組を絞り込んだ結果、図３８の下側に示されるような、１番組のみが表示される状態となった場合、モザイクビデオとなっていないので、モザイクビデオ用のビューポイントのエレメントの定義は不要である。ただし、タイル用のビューポイントのエレメントは、全体画像（Full video）であることを示すため、定義する必要がある。
なお、上述したモザイクビデオ用のビューポイントのエレメントのバリューにおいて、もし各タイル画像のサイズが均等である場合、画像の位置情報は、オプション扱いとなる。書いても書かなくてもよい。書くなら全画像を書く必要がある。また、上述した例以外の情報を、バリューとして定義するようにしてもよい。
＜５．第５の実施の形態＞
＜MP4ファイルの構成例とそれに対応するMPDの拡張例＞
MP4ファイルの構成例については、第１の実施の形態において、図７や図８を参照して説明した。しかしながら、MP4ファイルの構成例は、これに限らない。以下において、MP4ファイルの構成例とそれに対応するMPDの構成例（拡張例）について説明する。
＜１トラックの場合：MP4ファイル＞
図３９は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図３９の例の場合、図８のＡの例と同様に、各タイルのビットストリームがまとめて１つのファイルとされ、さらに各タイルのデータが１つのトラックとして管理されている。
ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））等のパラメータセットは、サンプルエントリ（Sample Entry）によりサンプル毎に管理される。また、各タイルについては、サンプルグループディスクリプション（Sample Group Description）においてタイルリージョングループエントリ（TileRegionGroupEntry）により定義される。図３９に示されるように、タイルリージョングループエントリ（TileRegionGroupEntry）として、当該タイルを識別する識別情報であるGroupID、当該タイルの水平方向の位置（オフセット）を示すH_offset、当該タイルの垂直方向の位置（オフセット）を示すV_offset、当該タイルの水平方向の大きさ（幅）を示すH_width、当該タイルの垂直方向の大きさ（高さ）を示すV_heightの５つのパラメータの値が定義される。
例えば、タイル１（Tile1）のタイルリージョングループエントリ（TileRegionGroupEntry）では、GroupID = 1, H_offset = 0, V_offset = 0, H_width = 960, V_height = 540が定義されている。また、例えば、タイル２（Tile2）のタイルリージョングループエントリ（TileRegionGroupEntry）では、GroupID = 2, H_offset = 960, V_offset = 0, H_width = 960, V_height = 540が定義されている。さらに、例えば、タイル３（Tile3）のタイルリージョングループエントリ（TileRegionGroupEntry）では、GroupID = 3, H_offset = 0, V_offset = 540, H_width = 960, V_height = 540が定義されている。また、例えば、タイル４（Tile4）のタイルリージョングループエントリ（TileRegionGroupEntry）では、GroupID =4, H_offset = 960, V_offset = 540, H_width = 960, V_height = 540が定義されている。この場合、全体画像（1920x1080）は、縦2枚x横2枚の4枚のタイル（960x540）からなる。
なお、このMP4ファイルのファイル名をbitstream.mp4とする。
＜１トラックの場合：MPD＞
図３９の例のようなタイル構造を有するビットストリームのMP4ファイルを管理するために、従来のMPEG-DASH規格のMPDを、例えば、図４０のように拡張する。
図４０の例の場合、全体画像並びに各タイルについて、それぞれ、互いに異なるアダプテーションセット（AdaptationSet）において定義されている。そして、図４０に示されるように、全体画像について定義する図中一番上のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、サプリメンタルプロパティ（SupplementalProperty）が定義されるようにする。
サプリメンタルプロパティ（SupplementalProperty）は既存のエレメントである。既存のエレメントを利用することにより、従来のMPDとの親和性の低減を抑制することができる（従来のデコーダが解析できないディスクリプションの増大を抑制することができる）。また、このサプリメンタルプロパティは、従来のデコーダにおいてもデコード可能なビットストリームを定義するアダプテーションセットにおいて定義される。例えば、図４０の場合、従来のデコーダでもデコード可能な全体画像について定義するアダプテーションセットにおいて定義されている。
このサプリメンタルプロパティは、例えば、以下のように拡張されて定義される。
<SupplementalProperty schemeIdUri=" "
value="source id,x,y,width,height,width_all,height_all,stream type">
つまり、サプリメンタルプロパティのエレメントにおいて、画像情報を格納するためのスキーマ（schemeIdUri）が定義される。図４０の例の場合、このスキーマとして、「urn:mpeg:dash:srd:2013」が定義されている。
また、このスキーマのバリュー（value）が定義される。「source id」は、当該アダプテーションセットのコンテンツソースが他のアダプテーションセットのコンテンツソースと同一であるか否かを示す識別情報である。図４０の場合、各アダプテーションセットのコンテンツソースは共通（bitstream.mp4）であるので、この「source id」として「1」が定義されている。
「x,y」は、当該アダプテーションセットが定義するタイルの位置（左上のx座標とy座標）を示す情報である。図４０の場合、当該アダプテーションセットは全体画像を定義するので、この「x,y」として「0,0」が定義されている。
「width,height」は、当該アダプテーションセットが定義するタイルの大きさ（幅と高さ）を示す情報である。図４０の場合、当該アダプテーションセットは全体画像を定義するので、この「width,height」として「1920,1080」が定義されている。
「width_all,height_all」は、全体画像の大きさ（幅と高さ）を示す情報である。図４０の場合、この「width_all,height_all」として「1920,1080」が定義されている。
「stream type」は、当該アダプテーションセットがビットストリーム全体を定義するのか、ビットストリームの一部を定義するのかを示す識別情報である。図４０の場合、この「stream type」として、ビットストリーム全体を定義することを示す「0」が定義されている。
つまり、図４０の例の図中一番上のアダプテーションセットの場合、サプリメンタルプロパティは、例えば、以下のように定義される。
<SupplementalProperty schemeIdUri=" urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,1920,1080,0">
また、図４０に示されるように、タイル１（Tile1）について定義する図中上から２番目のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、エッセンシャルプロパティ（EssentialProperty）が定義されるようにする。
エッセンシャルプロパティ（EssentialProperty）は既存のエレメントである。既存のエレメントを利用することにより、従来のMPDとの親和性の低減を抑制することができる（従来のデコーダが解析できないディスクリプションの増大を抑制することができる）。また、このエッセンシャルプロパティは、従来のデコーダではデコード不可能なビットストリームを定義するアダプテーションセットにおいて定義される。例えば、図４０の場合、従来のデコーダではデコード不可能な各タイルの画像について定義するアダプテーションセットにおいて定義されている。
つまり、このエッセンシャルプロパティを解釈することができるデコーダのみ、当該アダプテーションセットにより管理されるビットストリームを復号し、このエッセンシャルプロパティを解釈することができないデコーダは、当該アダプテーションセットを読み飛ばす。
このエッセンシャルプロパティは、例えば、以下のように拡張されて定義される。つまり、エッセンシャルプロパティは、サプリメンタルプロパティと同様に定義される。
<EssentialProperty schemeIdUri=" "
value="source id,x,y,width,height,width_all,height_all,stream type">
図４０の例の図中上から２番目のアダプテーションセットの場合、このスキーマとして、「urn:mpeg:dash:srd:2013」が定義されている。また、このスキーマのバリュー（value）の「source id」として「1」が定義され、「x,y」として「0,0」が定義され、「width,height」として「960,540」が定義され、「width_all,height_all」として「1920,1080」が定義され、「stream type」として、ビットストリームの一部を定義することを示す「1」が定義されている。
この「stream type」の値が「1」の場合、すなわち、当該アダプテーションセットにおいて、ビットストリームの一部が定義される場合、そのビットストリームの一部を指し示す情報としてエッセンシャルプロパティがさらに拡張される。例えば、当該アダプテーションセットで管理されるMP4ファイルにHEVCのタイル（Tile）が含まれている場合、そのタイルに対応するアダプテーションセットは、ビットストリームの一部に対応することになる。このような場合、そのビットストリームの一部についてのエッセンシャルプロパティが、さらに、例えば、以下のように拡張されて定義される。
<EssentialProperty schemeIdUri=" "
value="Sub-Sample-Type,Sub-Sample-is-extracted,ID">
この場合、エッセンシャルプロパティのエレメントにおいて、ファイルの一部を指し示す情報を格納するためのスキーマ（schemeIdUri）が定義される。図４０の例の図中上から２番目のアダプテーションセットの場合、このスキーマとして、「urn:mpeg:dash:hevc:2013」が定義されている。
また、このスキーマのバリュー（value）が定義される。「Sub-Sample-Type」は、当該アダプテーションセットが対応するビットストリームの一部がどのような情報で構成されているかを示す情報である。例えば、この値が「0」の場合、そのビットストリームの一部がナルベースド（Nal based）により構成されていることを示す。また、例えば、この値が「1」の場合、そのビットストリームの一部がデコーディングユニットベースド（Decoding-unit-based）により構成されていることを示す。さらに、例えば、この値が「2」の場合、そのビットストリームの一部がタイルベースド（Tile-based）により構成されていることを示す。また、例えば、この値が「3」の場合、そのビットストリームの一部がCTUローベースド（CTU-row-based）により構成されていることを示す。さらに、例えば、この値が「4」の場合、そのビットストリームの一部がスライスベースド（slice-based）により構成されていることを示す。図４０の例の図中上から２番目のアダプテーションセットの場合、この「Sub-Sample-Type」として、「2」が定義されている。
「Sub-Sample-is-extracted」は、当該アダプテーションセットが対応するビットストリームの一部がトラック（track）に分割（extract）されているかどうかを示す情報である。例えば、この値が「0」の場合、そのビットストリームの一部が分割されていない（false）ことを示し、この値が「1」の場合、そのビットストリームの一部がトラックに分割されている（true）ことを示す。図４０の例の図中上から２番目のアダプテーションセットの場合、図３９を参照して説明したようにトラックは１つである（分割されていない）ので、この「Sub-Sample-is-extracted」として、「0」が定義されている。
「ID」は、識別情報であり、「Sub-Sample-Type」として、「2」が定義されている場合、すなわち、タイルの場合、MP4ファイルのタイルリージョングループエントリ（TileRegionGroupEntry）のGroupIDが定義される。図４０の例の図中上から２番目のアダプテーションセットの場合、当該ビットストリームの一部はタイル１（Tile1）のデータであるので、この「ID」として、「1」が定義されている。
つまり、図４０の例の図中上から２番目のアダプテーションセットの場合、エッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,0,1">
同様にして、図４０の例の図中上から３番目のアダプテーションセットの場合、エッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,0,2">
同様にして、図４０の例の図中上から４番目のアダプテーションセットの場合、エッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,0,3">
同様にして、図４０の例の図中一番下のアダプテーションセットの場合、エッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,0,4">
＜１トラックの場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜１ファイル複数トラック（エクストラクタによる参照）の場合：MP4ファイル＞
図４１は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図４１の例の場合、図８のＢの例と同様に、各タイルのビットストリームがまとめて１つのファイルとされ、さらに各タイルのデータが互いに異なるトラックとして管理されている。
図４１の例の場合、トラック１（Track1）は、全体画像（1920x1080）のデータを管理しており、このトラック１（Track1）を再生することにより、その全体画像を再生することができる。また、トラック２（Track2）は、タイル１（Tile1）のデータを管理しており、このトラック２（Track2）を再生することにより、タイル１（Tile1）の画像を再生することができる。同様に、トラック３（Track3）は、タイル２（Tile2）のデータを管理しており、このトラック３（Track3）を再生することにより、タイル２（Tile2）の画像を再生することができる。同様に、トラック４（Track4）は、タイル３（Tile3）のデータを管理しており、このトラック４（Track4）を再生することにより、タイル３（Tile3）の画像を再生することができる。同様に、トラック５（Track5）は、タイル４（Tile4）のデータを管理しており、このトラック５（Track5）を再生することにより、タイル４（Tile4）の画像を再生することができる。
図４１に示されるように、トラック１（Track1）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットや、SEI（Supplemental Enhancement Information）等の実体（実データとも称する）や、各タイルのビットストリームの参照情報（エクストラクタ（extractor）とも称する）等が格納される。
エクストラクタ（Track2）は、トラック２（Track2）に格納されるタイル１（Tile1）の実データ（Slice1）を参照するのに利用される情報（リファレンス情報）である。例えば、その実データ（Slice1）の格納場所を示す。同様に、エクストラクタ（Track3）は、トラック３（Track3）に格納されるタイル２（Tile2）の実データ（Slice2）のリファレンス情報であり、エクストラクタ（Track4）は、トラック４（Track4）に格納されるタイル３（Tile3）の実データ（Slice3）のリファレンス情報であり、エクストラクタ（Track5）は、トラック５（Track5）に格納されるタイル４（Tile4）の実データ（Slice4）のリファレンス情報である。
各パラメータセットやエクストラクタ等は、サンプルエントリ（Sample Entry）によりサンプル毎に管理される。
また、トラック２（Track2）には、パラメータセット等のエクストラクタ（Track1）や、タイル１（Tile1）の実データ（Slice1）等が格納される。パラメータセットのエクストラクタ（Track1）は、トラック１（Track1）に格納されるパラメータセット等の実データ（VPS,SPS,SEI,PPS等）のリファレンス情報である。例えば、その実データの格納場所を示す。
さらに、トラック３（Track3）には、パラメータセット等のエクストラクタ（Track1）や、タイル２（Tile2）の実データ（Slice2）等が格納される。トラック４（Track4）には、パラメータセット等のエクストラクタ（Track1）や、タイル３（Tile3）の実データ（Slice3）等が格納される。トラック５（Track5）には、パラメータセット等のエクストラクタ（Track1）や、タイル４（Tile4）の実データ（Slice4）等が格納される。
図３９の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
参照関係を示すエクストラクタは、サンプル毎に定義される。つまり、サンプル毎に参照関係を設定することができる。したがって、このエクストラクタを用いることにより、例えば、ビットストリーム中において参照関係を変更する等、より自由な参照関係を構築することができる。より具体的には、例えば、ビットストリーム中において、タイルの大きさや形状を変更すること等を容易に実現することができる。
なお、このMP4ファイルのファイル名をbitstream.mp4とする。
＜１ファイル複数トラック（エクストラクタによる参照）の場合：MPD＞
この場合のMPDも、上述した１トラックの場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図４２にその例を示す。
つまり、図４２の例の場合も、全体画像並びに各タイルについて、それぞれ、互いに異なるアダプテーションセット（AdaptationSet）において定義されており、全体画像について定義する図中一番上のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、サプリメンタルプロパティ（SupplementalProperty）が定義される。
図４２に示されるように、この場合も、図中一番上のアダプテーションセットのサプリメンタルプロパティは、例えば、以下のように定義される。
<SupplementalProperty schemeIdUri=" urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,1920,1080,0">
また、図４２の例の場合も、タイル１（Tile1）について定義する図中上から２番目のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、エッセンシャルプロパティ（EssentialProperty）が定義される。そして、そのビットストリームの一部についてのエッセンシャルプロパティが、さらに拡張されて定義される。
つまり、図４２に示されるように、図中上から２番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1,1">
この場合、当該アダプテーションセットが対応するビットストリームの一部がトラック（track）に分割（extract）されている（すなわち、複数のトラックが形成されている）ので、「Sub-Sample-is-extracted」として、「1（true）」が定義されている。
同様にして、図４２の例の図中上から３番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1,2">
同様にして、図４２の例の図中上から４番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1,3">
同様にして、図４２の例の図中一番下のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1,4">
＜１ファイル複数トラック（エクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜複数ファイル複数トラック（エクストラクタによる参照）の場合：MP4ファイル＞
図４３は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図４３の例の場合、図７の例と同様に、各タイルのビットストリームが互いに異なるファイルとして管理されている。各ファイルのトラックは互いに異なるので、各タイルのビットストリームは、互いに異なるトラックとして管理されているともいえる。
図４３の一番上のMP4ファイル（MP4File）（すなわち、トラック１（Track1））は、全体画像（1920x1080）のデータを格納（管理）している。このMP4ファイル（すなわち、トラック１）を再生することにより、その全体画像を再生することができる。
また、図４３の上から２番目のMP4ファイル（MP4File）（すなわち、トラック２（Track2））は、タイル１（Tile1）のデータを格納（管理）している。このMP4ファイル（すなわち、トラック２）を再生することにより、タイル１（Tile1）の画像を再生することができる。同様に、図４３の上から３番目のMP4ファイル（MP4File）（すなわち、トラック３（Track3））は、タイル２（Tile2）のデータを格納（管理）している。このMP4ファイル（すなわち、トラック３）を再生することにより、タイル２（Tile2）の画像を再生することができる。同様に、図４３の上から４番目のMP4ファイル（MP4File）（すなわち、トラック４（Track4））は、タイル３（Tile3）のデータを格納（管理）している。このMP4ファイル（すなわち、トラック４）を再生することにより、タイル３（Tile3）の画像を再生することができる。同様に、図４３の一番下のMP4ファイル（MP4File）（すなわち、トラック５（Track5））は、タイル４（Tile4）のデータを格納（管理）している。このMP4ファイル（すなわち、トラック５）を再生することにより、タイル４（Tile4）の画像を再生することができる。
図４３に示されるように、図４３の一番上のMP4ファイル（トラック１）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットやSEI等の実データや、各タイルのビットストリームのエクストラクタ（Track2, Track3, Track4, Track5）等が格納される。これらの各パラメータセットやエクストラクタ等は、サンプルエントリ（Sample Entry）によりサンプル毎に管理される。
また、図４３の上から２番目のMP4ファイル（トラック２）には、パラメータセット等のエクストラクタ（Track1）や、タイル１（Tile1）の実データ（Slice1）等が格納される。さらに、図４３の上から３番目のMP4ファイル（トラック３）には、パラメータセット等のエクストラクタ（Track1）や、タイル２（Tile2）の実データ（Slice2）等が格納される。また、図４３の上から４番目のMP4ファイル（トラック４）には、パラメータセット等のエクストラクタ（Track1）や、タイル３（Tile3）の実データ（Slice3）等が格納される。さらに、図４３の一番下のMP4ファイル（トラック５）には、パラメータセット等のエクストラクタ（Track1）や、タイル４（Tile4）の実データ（Slice4）等が格納される。
図３９の場合と同様に、これらのMP4ファイル（トラック２乃至トラック５）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
以上のように、この例の場合も、参照関係を示す情報としてエクストラクタが用いられている。したがって、例えば、ビットストリーム中において参照関係を変更する等、より自由な参照関係を構築することができる。
なお、図４３の一番上のMP4ファイルのファイル名をbitstream_base.mp4とし、図４３の上から２番目のMP4ファイルのファイル名をbitstream_tile1.mp4とし、図４３の上から３番目のMP4ファイルのファイル名をbitstream_tile2.mp4とし、図４３の上から４番目のMP4ファイルのファイル名をbitstream_tile3.mp4とし、図４３の一番下のMP4ファイルのファイル名をbitstream_tile4.mp4とする。
＜複数ファイル複数トラック（エクストラクタによる参照）の場合：MPD＞
この場合のMPDも、上述した１トラックの場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図４４にその例を示す。
つまり、図４４の例の場合も、全体画像並びに各タイルについて、それぞれ、互いに異なるアダプテーションセット（AdaptationSet）において定義されており、全体画像について定義する図中一番上のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、サプリメンタルプロパティ（SupplementalProperty）が定義される。
図４４に示されるように、この場合も、図中一番上のアダプテーションセットのサプリメンタルプロパティは、例えば、以下のように定義される。
<SupplementalProperty schemeIdUri=" urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,1920,1080,0">
なお、この場合、アダプテーションセットに属するリプレゼンテーション（Representation）も拡張され、ファイル（タイル）間の依存関係を示す情報が追加定義される。
図４４に示されるように、図中一番上のアダプテーションセットに属するリプレゼンテーションには、例えば、以下のような情報が定義される。
<id="bs" dependencyId="tl1.tl2.tl3.tl4">
また、そのリプレゼンテーションに属するセグメント（Segment）には、bitstream_base.mp4が定義される。
また、図４４の例の場合も、タイル１（Tile1）について定義する図中上から２番目のアダプテーションセットにおいては、タイル用のディスクリプションとして、第１の実施の形態において説明したビューポイント（Viewpoint）の代わりに、エッセンシャルプロパティ（EssentialProperty）が定義される。そして、そのビットストリームの一部についてのエッセンシャルプロパティが、さらに拡張されて定義される。
つまり、図４４に示されるように、図中上から２番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1">
この場合、当該アダプテーションセットが対応するビットストリームがトラック（track）に分割（extract）されたHEVC Tileである（すなわち、複数のトラック（複数のファイル）が形成されている）ので、「Sub-Sample-is-extracted」として、「1（true）」が定義されている。
また、この場合、ファイル分割されており、１ファイルには１トラックしか含まれないので、「ID」は省略される。したがって、その分、情報量の増大が抑制される。
そして、図４４に示されるように、このアダプテーションセットに属するリプレゼンテーションには、例えば、以下のような情報が定義される。
<id="tl1" dependencyId="be">
また、そのリプレゼンテーションに属するセグメント（Segment）には、bitstream_tile1.mp4が定義される。
同様にして、図４４の例の図中上から３番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1">
そして、このアダプテーションセットに属するリプレゼンテーションには、例えば、以下のような情報が定義される。
<id="tl2" dependencyId="be">
また、そのリプレゼンテーションに属するセグメント（Segment）には、bitstream_tile2.mp4が定義される。
同様にして、図４４の例の図中上から４番目のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1">
そして、このアダプテーションセットに属するリプレゼンテーションには、例えば、以下のような情報が定義される。
<id="tl3" dependencyId="be">
また、そのリプレゼンテーションに属するセグメント（Segment）には、bitstream_tile3.mp4が定義される。
同様にして、図４４の例の図中一番下のアダプテーションセットのエッセンシャルプロパティは、例えば、以下のように定義される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080,1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2,1">
そして、このアダプテーションセットに属するリプレゼンテーションには、例えば、以下のような情報が定義される。
<id="tl4" dependencyId="be">
また、そのリプレゼンテーションに属するセグメント（Segment）には、bitstream_tile4.mp4が定義される。
＜複数ファイル複数トラック（エクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜１ファイル複数トラック（トラックリファレンスによる参照）の場合：MP4ファイル＞
図４５は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図４５の例の場合、図４１の例と同様に、各タイルのビットストリームがまとめて１つのファイルとされ、さらに各タイルのデータが互いに異なるトラックとして管理されている。
ただし、図４１の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義されているが、図４５の例の場合、トラックリファレンス（Track Reference）を用いて行う。
トラックリファレンス（Track Reference）は、トラック同士の参照関係（どのトラックがどのトラックを参照するか（若しくはどのトラックから参照されるか））を示す情報である。つまり、トラックリファレンスは、トラック単位の情報であり、１トラックにつき１回定義される。「dpnd」は、当該トラックを参照するトラック（すなわち参照元）を定義する情報であり、「prnt」は、当該トラックが参照するトラック（すなわち参照先）を定義する情報である。
例えば、図４５の例の場合、トラック１（Track1）においては、トラックリファレンス（Track Reference）として、「dpnd=2,3,4,5」が定義されている。これは、トラック１が、トラック２乃至トラック５によって参照されることを示す。同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることが示されている。
上述したように、エクストラクタ（extractor）は、サンプル毎に定義されるため、参照関係の設定の自由度が向上するが、参照関係が固定の場合、そのエクストラクタの冗長性が増大し、情報量が不要に増大する可能性があった。例えば、ビットストリーム中において、各タイルのサイズや形状が一定の場合、参照関係は１度示されれば十分である。
これに対して、トラックリファレンス（Track Reference）は、上述したように、１トラックにつき１回のみ定義される。したがって、このようなトラックリファレンスを用いることにより、参照関係の定義の冗長性を低減させ、不要な情報量の増大を抑制することができる。
なお、この例の場合、トラック１（Track1）は、パラメータセット等を格納するためだけに存在し、このトラック１の再生（全体画像（1920x1080）の再生）を行うことはできない。ただし、トラックリファレンスの順序に従って、トラック２からトラック５の実データを再生することで、全体画像を再生することができる。
また、図３９の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
なお、このMP4ファイルのファイル名をbitstream.mp4とする。
＜１ファイル複数トラック（トラックリファレンスによる参照）の場合：MPD＞
この場合のMPDも、上述したエクストラクタによる参照の場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図４６にその例を示す。
つまり、図４６に示されるように、この場合、図４２の例と同様のMPDによりMP4ファイルを管理することができる。
＜１ファイル複数トラック（トラックリファレンスによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜複数ファイル複数トラック（トラックリファレンスによる参照）の場合：MP4ファイル＞
図４７は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図４７の例の場合、図４３の例と同様に、各タイルのビットストリームが互いに異なるファイルとして管理されている。各ファイルのトラックは互いに異なるので、各タイルのビットストリームは、互いに異なるトラックとして管理されているともいえる。
図４７の一番上のMP4ファイル（MP4File）（すなわち、トラック１（Track1））は、パラメータセット等（VPS,SPS,PPS,SEI等）を格納（管理）している。
また、図４７の上から２番目乃至５番目のMP4ファイル（MP4File）（すなわち、トラック２（Track2）乃至トラック５（Track））は、タイル１（Tile1）乃至タイル４（Tile4）のデータを格納（管理）している。これらの内いずれかのMP4ファイル（すなわち、いずれかのトラック）を再生することにより、いずれかのタイルの画像を再生することができる。
ただし、図４３の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義されているが、図４７の例の場合、図４５の場合と同様にトラックリファレンス（Track Reference）を用いて行う。
例えば、図４７の例の場合、トラック１（Track1）においては、トラックリファレンス（Track Reference）として、「dpnd=2,3,4,5」が定義されている。これは、トラック１が、トラック２乃至トラック５によって参照されることを示す。同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることが示されている。
なお、図３９の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
以上のように、この例の場合も、参照関係を示す情報としてトラックリファレンスが用いられている。したがって、参照関係の定義の冗長性を低減させ、不要な情報量の増大を抑制することができる。
なお、図４７の各MP4ファイルのファイル名を上から順に、bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4、bitstream_tile4.mp4とする。
＜複数ファイル複数トラック（トラックリファレンスによる参照）の場合：MPD＞
この場合のMPDも、上述したエクストラクタによる参照の場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図４８にその例を示す。
つまり、図４８に示されるように、この場合、図４４の例と同様のMPDによりMP4ファイルを管理することができる。
＜複数ファイル複数トラック（トラックリファレンスによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜１ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MP4ファイル＞
図４９は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図４９の例の場合、図４１や図４５の例と同様に、各タイルのビットストリームがまとめて１つのファイルとされ、さらに各タイルのデータが互いに異なるトラックとして管理されている。
ただし、図４１の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義され、図４５の例の場合、トラック間におけるデータの参照関係は、トラックリファレンスを用いて定義されているが、図４９の例の場合、エクストラクタとトラックリファレンスの両方を用いて行う。
より具体的には、トラック１（Track1）は、図４１の場合と同様にエクストラクタを用いてトラック２（Track2）乃至トラック５（Track5）の情報を参照し、トラック２（Track2）乃至トラック５（Track5）は、図４５の場合と同様にトラックリファレンスを用いてトラック１（Track1）の情報を参照するようになされている。
つまり、図４９に示されるように、トラック１（Track1）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットやSEI等の実データや、トラック２乃至トラック５のタイルのデータを参照するためのエクストラクタ等が格納される。
また、図４９に示されるように、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることが示されている。
このようにすることにより、図４５の場合のように冗長性を低減しながら、図４１の場合のように、このトラック１の再生（全体画像（1920x1080）の再生）を行うことができるようにすることができる。
また、図３９の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
なお、このMP4ファイルのファイル名をbitstream.mp4とする。
＜１ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPD＞
この場合のMPDも、上述したエクストラクタによる参照の場合（図４２）やトラックリファレンスによる参照の場合（図４６）と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図５０にその例を示す。
つまり、図５０に示されるように、この場合、図４２や図４６の例と同様のMPDによりMP4ファイルを管理することができる。
＜１ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MP4ファイル＞
図５１は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図５１の例の場合、図４３や図４７の例と同様に、各タイルのビットストリームが互いに異なるファイルとして管理されている。各ファイルのトラックは互いに異なるので、各タイルのビットストリームは、互いに異なるトラックとして管理されているともいえる。
ただし、図４３の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義され、図４７の例の場合、トラック間におけるデータの参照関係は、トラックリファレンスを用いて定義されているが、図５１の例の場合、エクストラクタとトラックリファレンスの両方を用いて行う。
より具体的には、図５１の一番上のMP4ファイル（トラック１（Track1））は、図４３の場合と同様にエクストラクタを用いて図５１の上から２番目乃至５番目のMP4ファイル（トラック２（Track2）乃至トラック５（Track5））の情報を参照し、図５１の上から２番目乃至５番目のMP4ファイル（トラック２（Track2）乃至トラック５（Track5））は、図４７の場合と同様にトラックリファレンスを用いて、図５１の一番上のMP4ファイル（トラック１（Track1））の情報を参照するようになされている。
つまり、図５１に示されるように、一番上のMP4ファイル（トラック１）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットやSEI等の実データや、各タイルのビットストリームのエクストラクタ（Track2, Track3, Track4, Track5）等が格納される。これらの各パラメータセットやエクストラクタ等は、サンプルエントリ（Sample Entry）によりサンプル毎に管理される。
また、図５１に示されるように、上から２番目乃至５番目のMP4ファイル（トラック２（Track2）乃至トラック５（Track5））のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることが示されている。
このようにすることにより、図４７の場合のように冗長性を低減しながら、図４３の場合のように、図５１の一番上のMP4ファイル（トラック１）の再生（全体画像（1920x1080）の再生）を行うことができるようにすることができる。
また、図３９の場合と同様に、上から２番目乃至５番目のMP4ファイル（トラック２（Track2）乃至トラック５（Track5））のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。
なお、図５１の各MP4ファイルのファイル名を上から順に、bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4、bitstream_tile4.mp4とする。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPD＞
この場合のMPDも、上述したエクストラクタによ る参照の場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図５２にその例を示す。
つまり、図５２に示されるように、この場合、図４４や図４８の例と同様のMPDによりMP4ファイルを管理することができる。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜１ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MP4ファイル＞
以上の図４１、図４５および図４９に示した、１個のMP4ファイルが複数トラックを有する例においては、実データであるスライスsliceを、タイル毎に異なるトラックに格納している。しかし、１個のMP4ファイルが複数トラックを有する場合において、各タイルのsliceを１つのトラックにまとめて配置することもできる。この場合の例を図５３を参照して以下に説明する。
図５３は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図５３の例の場合、図４１、図４５および図４９の例と同様に、各タイルのビットストリームがまとめて１つのMP4ファイルとされ、さらに各タイルは互いに異なるトラックで管理されている。ただし、図５３のMP4ファイルにおいては、各タイルの実データである各sliceが１つのトラックにまとめて格納されている。
図４１の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義され、図４５の例の場合、トラック間におけるデータの参照関係は、トラックリファレンスを用いて定義されている。これに対して図５３の例の場合、図４９の例と同様に、エクストラクタとトラックリファレンスの両方が用いられる。ただし、エクストラクタとトラックリファレンスを用いる方法が、図４９の場合と異なっている。
より具体的には、図５３に示されるように、ベーストラックであるトラック１（Track1）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットやSEI等の実データが格納されている。ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットは、サンプルエントリ（Sample Entry）によりサンプル毎に管理される。さらにトラック１（Track1）には、HEVCのタイルの実データであるスライスslice1乃至slice4等が格納されている。
トラック２（Track2）乃至トラック５（Track5）は、トラック１（Track1）の情報を参照するために、エクストラクタとトラックリファレンスの両方を有している。
すなわち、図５３に示されるように、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることになる。
また、トラック２（Track2）乃至トラック５（Track5）のそれぞれには、エクストラクタとして、「ext1」が定義されている。つまり、これらのエクストラクタによって、例えばトラック２のタイルを再生する場合、トラック１のスライスslice1が参照される。同様に、トラック３のタイルを再生する場合、トラック１のスライスslice2が参照される。さらに、トラック４のタイルを再生する場合、トラック１のスライスslice3が参照され、トラック５のタイルを再生する場合、トラック１のスライスslice4が参照される。
このようにすることにより、全体画像（1920x1080）の再生を行う場合、トラック１だけを再生すればよく、全体画像を再生する場合の負荷を軽減することができる。
また、図３９、図４１、図４３、図４５、図４７、図４９、および図５１の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。その定義は、図４１、図４３、図４５、図４７、図４９、および図５１の各トラックの場合（図３９の各タイルの場合）と同様である。
なお、このMP4ファイルのファイル名をbitstream.mp4とする。
＜１ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPD＞
図５３のMP4ファイルのMPDが図５４に示される。このMPDにおいても、図４１、図４５および図４９のMP4ファイルにそれぞれ対応する図４２、図４６および図５０のMPDと同様の拡張が行われる。すなわち、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。
図５４のMPDは、基本的に図４２、図４６および図５０のMPDと同様に構成されているが、図５４のMPDにおいては、各RepresentationにIDが格納されている点が、それらのMPDと異なっている。図５４において最も上側に位置するRepresentationには、ベーストラックであることを意味するID（bs）が格納されており、上から２番目のRepresentationには、タイル１のIDを意味するID（tl1）が格納されている。以下同様に、3番目乃至５番目のRepresentationには、それぞれタイル２乃至タイル４のIDを意味するID（tl2乃至tl4）が格納されている。
さらに上から２番目のRepresentationには、ベーストラックに依存するトラックであることを意味するID（dependencyid=bs）が格納されている。同様に、3番目乃至５番目のRepresentationにも、それぞれベーストラックに依存するトラックであることを意味するID（dependencyid=bs）が格納されている。
図５４のMPDにより図５３のMP4ファイルを管理することができる。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MP4ファイル＞
図５５は、例えば図６のＢのようなタイル（Tile）構造を有するビットストリーム（bitstream7）をファイル化したMP4ファイルの構成例を示す図である。図５５の例の場合、図４３、図４７および図５１の例と同様に、各タイルのトラックがそれぞれ異なるMP4ファイルとされ、さらに各タイルの実データである各sliceがベーストラックであるトラック１（Track1）にまとめて格納されている。
図４１の例の場合、トラック間におけるデータの参照関係は、エクストラクタを用いて定義され、図４５の例の場合、トラック間におけるデータの参照関係は、トラックリファレンスを用いて定義されている。これに対して図５５の例の場合、図４９の例と同様に、エクストラクタとトラックリファレンスの両方が用いられる。ただし、エクストラクタとトラックリファレンスを用いる方法が、図５３の場合と同様に、図４９の場合と異なっている。
具体的には、図５５に示されるように、トラック１（Track1）には、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）等のパラメータセットやSEI等の実データが格納されている。さらにトラック１（Track1）には、HEVCのタイルの実データであるスライスslice1乃至slice4等が格納されている。トラック２（Track2）乃至トラック５（Track5）は、トラック１（Track1）の情報を参照するために、エクストラクタとトラックリファレンスの両方を有している。
すなわち、図５５に示されるように、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいては、トラックリファレンス（Track Reference）として、「prnt=1」が定義されている。これは、これらのトラックが、トラック１を参照することを示す。つまり、これらのトラックリファレンスによって、トラック２乃至トラック５のいずれか（いずれかのタイル）を再生する際に、トラック１の情報（パラメータセット等）が参照されることになる。
また、トラック２（Track2）乃至トラック５（Track5）のそれぞれには、エクストラクタとして、「ext1」が定義されている。つまり、これらのエクストラクタによって、例えばトラック２のタイルを再生する場合、トラック１のスライスslice1が参照される。同様に、トラック３のタイルを再生する場合、トラック１のスライスslice2が参照される。さらに、トラック４のタイルを再生する場合、トラック１のスライスslice3が参照され、トラック５のタイルを再生する場合、トラック１のスライスslice4が参照される。
このようにすることにより、全体画像（1920x1080）の再生を行う場合、トラック１だけを再生すればよく、全体画像を再生する場合の負荷を軽減することができる。
また、図５５においても、図３９、図４１、図４３、図４５、図４７、図４９、図５１および図５３の場合と同様に、トラック２（Track2）乃至トラック５（Track5）のそれぞれにおいて、タイルリージョングループエントリ（TileRegionGroupEntry）が定義される。つまり、各トラックにおいて１つずつタイルの定義が行われている。その内容は、図３９等と同様である。
このように、図５５のMP4ファイルは、図５３の例では個別とされていたMP4ファイルを１つのMP4ファイルとしてまとめた点を除き、その基本的構成が図５３のMP4ファイルと同様である。
なお、図５５の各MP4ファイルのファイル名を上から順に、bitstream_base.mp4、bitstream_tile1.mp4、bitstream_tile2.mp4、bitstream_tile3.mp4、bitstream_tile4.mp4とする。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPD＞
図５５のMP4ファイルのMPDも、上述したエクストラクタによる参照の場合と同様に、アダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（SupplementalProperty）やエッセンシャルプロパティ（EssentialProperty）が拡張される。図５６にその例を示す。図５６のMPDは、図５４のMPDと同様に構成されている。
図５６のMPDにより図５５のMP4ファイルを管理することができる。
＜複数ファイル複数トラック（トラックリファレンスとエクストラクタによる参照）の場合：MPDの利用＞
なお、このような拡張されたMPDの生成は、第１の実施の形態の場合と同様に行うことができる。例えば、配信データ生成装置１０１（図１２）が、配信データ生成処理（図１４）を実行し、そのタイル型MPD生成部１４１（タイル型画像情報生成部１２４）（図１２）が、タイル型MPDファイル生成処理（図１５）を実行することにより、このような拡張されたMPDを生成する（MPDを拡張する）ことができる。したがって、この場合も、配信データ生成装置１０１は、配信サーバ１０２に、部分画像のデータを、DASH規格に準拠して適応的に配信（提供）させることができる。すなわち、部分画像のデータの適応的な提供を実現することができる。
また、このような拡張されたMPDを利用した配信データの再生も、第１の実施の形態の場合と同様に行うことができる。例えば、端末装置１０３（図１３）が配信データ再生処理（図１６）を実行することにより、このような拡張されたMPDを正しく解析し、配信サーバ１０２による部分画像のデータのDASH規格に準拠した適応的な配信（提供）を受けることができる。つまり、配信サーバ１０２から正しく部分画像のデータを取得し、再生することができる。つまり、部分画像のデータの適応的な提供を実現することができる。
このように、図５３乃至図５６の例においては、部分画像情報がトラックリファレンスとエクストラクタを含み、トラックリファレンスとエクストラクタは、複数の部分画像のそれぞれに対応する各トラックに格納され、部分画像のスライスを格納するトラックを参照する。
本技術の適用範囲は、部分画像を提供したり、または、受け取ったりすることができるあらゆる情報処理装置に適用することができる。
＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図５７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図５７に示されるコンピュータ５００において、CPU（Central Processing Unit）５０１、ROM（Read Only Memory）５０２、RAM（Random Access Memory）５０３は、バス５０４を介して相互に接続されている。
バス５０４にはまた、入出力インタフェース５１０も接続されている。入出力インタフェース５１０には、入力部５１１、出力部５１２、記憶部５１３、通信部５１４、およびドライブ５１５が接続されている。
入力部５１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部５１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部５１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部５１４は、例えば、ネットワークインタフェースよりなる。ドライブ５１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５２１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５１３に記憶されているプログラムを、入出力インタフェース５１０およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア５２１をドライブ５１５に装着することにより、入出力インタフェース５１０を介して、記憶部５１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部５１４で受信し、記憶部５１３にインストールすることができる。
その他、このプログラムは、ROM５０２や記憶部５１３に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
＜７．第７の実施の形態＞
＜多視点画像符号化・多視点画像復号の適用＞
上述した一連の処理に関わる画像符号化・画像復号の方式として、多視点画像符号化・多視点画像復号を適用することができる。図５８は、多視点画像符号化方式の一例を示す。
図５８に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。
図５８のような多視点画像の配信において、上述した各実施の形態の方法を適用するようにしてもよい。このようにすることにより、多視点画像についても、部分画像のデータの適応的な提供を実現することができる。
さらに、上述した各実施の形態の方法で使用されるフラグやパラメータ（例えば、符号化情報としてのVPS,SPS等）等の符号化・復号に必要な情報を、各ビューの符号化・復号において共有するようにしてもよい。このようにすることにより、冗長な情報の伝送を抑制し、符号化効率の低減を抑制することができる。
＜多視点画像符号化装置＞
図５９は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図５９に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
このような多視点画像符号化装置６００を、例えば、配信データ生成装置１０１（図１１）の画像符号化部１２２（の符号化処理部の１つ）（図１２）として適用するようにしてもよい。このようにすることにより、多視点画像の配信においても、上述した各実施の形態の方法を適用することができ、部分画像のデータの適応的な提供を実現することができる。
＜多視点画像復号装置＞
図６０は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図６０に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
このような多視点画像復号装置６１０を、例えば、端末装置１０３（図１１）の画像復号部１５５（の復号処理部の１つ）として適用するようにしてもよい。このようにすることにより、多視点画像の配信においても、上述した各実施の形態の方法を適用することができ、部分画像のデータの適応的な提供を実現することができる。
＜８．第８の実施の形態＞
＜階層画像符号化・階層画像復号の適用＞
上述した一連の処理に関わる画像符号化・画像復号の方式として、階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）を適用することができる。図６１は、階層画像符号化方式の一例を示す。
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラブル（scalable）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号（スケーラブル復号）は、その階層画像符号化に対応する復号である。
画像の階層化は、画像に関するパラメータであって、スケーラブル機能を有する所定のパラメータを変化させることにより行われる。つまり、図６１に示されるように、階層化された画像（階層画像）は、スケーラブル機能を有する所定のパラメータの値が互いに異なる複数の画像により構成される。それらの複数の画像の各画像がそれぞれ階層（レイヤ）とされる。
階層画像の複数のレイヤは、符号化・復号の際に他のレイヤの情報を利用せずに自身のレイヤの情報のみを用いるベースレイヤと、符号化・復号の際に他のレイヤの情報を利用することができるノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの情報を利用することもできるし、他のノンベースレイヤの情報を利用することもできる。
階層画像符号化は、このような階層画像を符号化する処理である。例えば、ベースレイヤの画像がベースレイヤの情報のみを用いて符号化され、ベースレイヤの符号化データが生成される。また、例えば、ノンベースレイヤの画像がベースレイヤの情報とノンベースレイヤの情報を用いて符号化され、ノンベースレイヤの符号化データが生成される。
階層画像復号は、階層画像符号化された符号化データを復号し、任意のレイヤの復号画像を生成する処理である。例えば、ベースレイヤの符号化データが復号され、ベースレイヤの復号画像が生成される。また、例えば、ベースレイヤの符号化データが復号され、そのベースレイヤの情報を用いてノンベースレイヤの符号化データが復号され、ノンベースレイヤの復号画像が生成される。
このように、階層符号化により符号化データがレイヤ毎に分けて生成されるので、復号の際には、必ずしも全てのレイヤの符号化データが必要では無く、所望の復号画像を得るために必要なレイヤの符号化データのみが得られればよい。したがって、符号化側から復号側へのデータ伝送量の増大を抑制することができる。
なお、このような符号化・復号に用いられる他のレイヤの情報は任意であるが、例えば、画像（例えば復号画像）であってもよい。例えば、他のレイヤの画像を用いてレイヤ間での予測を行うようにしてもよい。このようにすることにより、レイヤ間の冗長性を低減させることができる。特にノンベースレイヤの符号量の増大を抑制することができる。なお、このようなレイヤ間の情報の利用（例えば、レイヤ間予測等）は、動画像の全てのピクチャにおいて行われるようにしてもよいし、図６１に示されるように、一部のピクチャにおいて行われるようにしてもよい。
上述したように、階層画像の各レイヤの画像は、スケーラブル機能を有する所定のパラメータについて品質が互いに異なる。つまり、階層画像を階層画像符号化・階層画像復号することにより、状況に応じて多様な品質の画像を容易に得ることができる。各レイヤの品質の設定は任意であるが、一般的には、ベースレイヤの画像の方が、そのベースレイヤの情報を利用するエンハンスメントレイヤの画像よりも低品質に設定される。
例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報（符号化データ）を伝送するようにし、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報（符号化データ）を伝送するようにしてもよい。
一般的に、低品質の画像を再生する処理の方が、高品質の画像を再生する処理よりも負荷が小さい。したがって、このように伝送することにより、例えば、処理能力の低い端末に低品質の動画像を再生させ、処理能力の高い端末に高品質の動画像を再生させる等、各端末に対して、その能力に応じた再生処理を実行させることができる。つまり、より多様な処理能力の端末に対して、動画像の再生を正常に（破綻しないように）実行させることができる。また、上述したように、各端末に対して必要なレイヤの符号化データのみを伝送すれば良いので、伝送する符号化データのデータ量（伝送量）の増大を抑制することができる。さらに、上述したように、他のレイヤの情報を利用することにより、符号量の増大を抑制することができる。そして、階層符号化・階層復号の場合、このような端末に応じたデータ配信を、トランスコード処理を必要とせずに実現することができる。
図６１のような階層画像の配信において、上述した各実施の形態の方法を適用するようにしてもよい。このようにすることにより、階層画像についても、部分画像のデータの適応的な提供を実現することができる。
さらに、上述した各実施の形態の方法で使用されるフラグやパラメータ（例えば、符号化情報としてのVPS,SPS等）等の符号化・復号に必要な情報を、各レイヤの符号化・復号において共有するようにしてもよい。このようにすることにより、冗長な情報の伝送を抑制し、符号化効率の低減を抑制することができる。
＜スケーラブルなパラメータ＞
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラブル（scalable）機能を有するパラメータは、任意である。例えば、図６２に示されるような空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎の空間的な解像度（すなわちピクチャの画素数）が異なる。図６２の例では、各ピクチャが、低解像度のベースレイヤと、高解像度のエンハンスメントレイヤの２階層に階層化されている。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラブル性を持たせるパラメータとして、例えば、図６３に示されるような、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎に時間的な解像度（すなわちフレームレート）が異なる。図６３の例の場合、低フレームレート（7.5fps）のレイヤ、中フレームレート（15fps）のレイヤ、高フレームレートのレイヤ（30fps）の３階層に階層化されている。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
さらに、このようなスケーラブル性を持たせるパラメータとして、例えば、図６４に示されるような、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。図６４の例の場合、各ピクチャが、SNRが低いベースレイヤと、SNRが高いエンハンスメントレイヤの２階層に階層化されている。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラブル性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラブル性を持たせるパラメータとして、ビット深度を用いることもできる（bit-depth scalability）。このビット深度スケーラビリティ（bit-depth scalability）の場合、レイヤ毎にビット深度が異なる。例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、エンハンスメントレイヤ（enhancement layer）が10ビット（bit）画像よりなるようにしてもよい。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。また、各階層のビット深度も任意であり、上述した例に限らない。
例えば、ベースレイヤを標準的なダイナミックレンジを持つSDR（Standard Dynamic Range）画像とし、エンハンスメントレイヤをより幅広いダイナミックレンジを持つHDR（High Dynamic Range）画像としてもよい。このSDR画像を、例えば、８ビットや１６ビットの整数精度の画像データとし、HDR画像を、例えば、３２ビットの浮動小数点精度の画像データとしてもよい。
また、スケーラブル性を持たせるパラメータとして、例えば、クロマフォーマットを用いることもできる（chroma scalability）。このクロマスケーラビリティ（chroma scalability）の場合、レイヤ毎にクロマフォーマットが異なる。例えば、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、エンハンスメントレイヤ（enhancement layer）が4:2:2フォーマットのコンポーネント画像よりなるようにしてもよい。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。また、各階層のクロマフォーマットも任意であり、上述した例に限らない。
さらに、スケーラブル性を持たせるパラメータとして、例えば、色域を用いるようにしてもよい。例えば、エンハンスメントレイヤの色域が、ベースレイヤの色域を包含する（すなわち、ベースレイヤの色域よりも広い）ようにしてもよい。
＜階層画像符号化装置＞
図６５は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図６５に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
このような階層画像符号化装置６２０を、例えば、配信データ生成装置１０１（図１１）の画像符号化部１２２（の符号化処理部の１つ）（図１２）として適用するようにしてもよい。このようにすることにより、階層画像の配信においても、上述した各実施の形態の方法を適用することができ、部分画像のデータの適応的な提供を実現することができる。
＜階層画像復号装置＞
図６６は、上述した階層画像復号を行う階層画像復号装置を示す図である。図６６に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
このような階層画像復号装置６３０を、例えば、端末装置１０３（図１１）の画像復号部１５５（の復号処理部の１つ）として適用するようにしてもよい。このようにすることにより、階層画像の配信においても、上述した各実施の形態の方法を適用することができ、部分画像のデータの適応的な提供を実現することができる。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、２つの応用例について説明する。
＜９．応用例＞
＜第１の応用例：テレビジョン受像機＞
図６７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、およびスピーカ９０８を有する。また、テレビジョン装置９００は、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、およびバス９１２を有する。さらに、テレビジョン装置９００は、MP4処理部９１４およびMPEG-DASH処理部９１５を有する。
チューナ９０２は、アンテナ９０１を介して受信される放送波信号から所望のチャンネル（選局したチャンネル）の信号を抽出し、抽出した信号を復調する。チューナ９０２は、復調して得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、符号化ビットストリームにスクランブルが施されている場合、デマルチプレクサ９０３が、その符号化ビットストリームに対してデスクランブルを行うようにしてもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。デコーダ９０４は、必要に応じて、MP4処理部９１４やMPEG-DASH処理部９１５を利用して復号を行う。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に画像を表示させる。また、映像信号処理部９０５は、例えば受信部９１３を介して外部から供給された映像データを再生し、その画像を表示部９０６に表示させることもできる。さらに、映像信号処理部９０５は、例えば受信部９１３を介して外部から供給されたアプリケーションを実行して画像を生成し、その画像を表示部９０６に表示させることもできる。
これらのような映像データの再生や画像の生成において、映像信号処理部９０５は、表示部９０６に表示させる画像に対して例えばノイズ除去などの追加的な処理を行うこともできる。また、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、その画像を表示部９０６に表示させる画像に重畳することもできる。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、例えば受信部９１３を介して外部から供給された音声データを再生し、その音声をスピーカ９０８から出力させることもできる。さらに、音声信号処理部９０７は、例えば受信部９１３を介して外部から供給されたアプリケーションを実行して音声を生成し、その音声をスピーカ９０８から出力させることもできる。
これらのような音声データの再生や音声の生成において、音声信号処理部９０７は、スピーカ９０８から出力させる音声に対して例えばノイズ除去などの追加的な処理を行うこともできる。
外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。外部機器は、例えば、コンピュータ、USB（Universal Serial Bus）やIEEE1394等の所定の規格の通信ケーブルを介して接続される外付けHDD（Hard Disk Drive）や外付け光ディスクドライブ、またはNAS（Network Attached Storage）等、テレビジョン装置９００と情報を授受することができるものであればどのような電子機器であってもよい。
また、ネットワークは、通信媒体となる通信網である。このネットワークは、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、このネットワークは、単数の通信網であってもよいし、複数の通信網であってもよい。例えば、このネットワークが、サーバや中継装置等を介して互いに接続される複数の通信網により構成されるようにしてもよい。また、例えば、このネットワークは、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。さらに、例えば、このネットワークは、その一部若しくは全部が、IEEE（Institute of Electrical and Electronic Engineers）802.11無線LANのアドホックモード、IrDA（InfraRed Data Association）のような赤外線等の光通信、またはBluetooth（登録商標）等の所定の規格に準拠する方法であっても良いし、独自の通信方式の無線通信により構成されるようにしてもよい。
このネットワークには、テレビジョン装置９００の他、他の装置（外部機器）等が接続され、テレビジョン装置９００は、このネットワークを介してその外部機器と通信を行う（情報を授受する）ことができる。
外部インタフェース部９０９は、外部機器から通信ケーブルやネットワークを介して供給される符号化ビットストリームを受信することができる。外部インタフェース部９０９は、符号化ビットストリームを受信すると、その符号化ビットストリームを、バス９１２を介してデマルチプレクサ９０３に供給する。
デマルチプレクサ９０３は、その符号化ビットストリームを、チューナ９０２から供給される符号化ビットストリームと同様に処理し、映像ストリームと音声ストリームとを分離したり、EPG等の補助的なデータを抽出したり、デスクランブルを行ったりする。このように、テレビジョン装置９００は、符号化ビットストリームを含む放送波信号を受信するだけでなく、ネットワークを介して伝送される符号化ビットストリームを受信し、その符号化ビットストリームを復号して、その映像や音声を出力することができる。
つまり、アンテナ９０１や外部インタフェース部９０９は、テレビジョン装置９００における受信部として機能する。
なお、テレビジョン装置９００は、外部インタフェース部９０９を介して外部機器に情報を送信することもできる。この情報は任意である。例えば、映像や音声等のコンテンツの要求であってもよいし、通信を確立するために必要なテレビジョン装置９００の通信機能に関する情報であってもよいし、テレビジョン装置９００が有する復号機能や画像表示機能や音声出力機能等に関する情報であってもよい。また、テレビジョン装置９００が、アンテナ９０１を介して受信された符号化ビットストリームを、この外部インタフェース部９０９を介して外部機器に送信することができるようにしてもよい。つまり、外部インタフェース部９０９が、テレビジョン装置９００における送信部として機能するようにしてもよい。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、外部インタフェース部９０９を介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
アンテナ９０１若しくは外部インタフェース部９０９を介して受信された映像ストリームがMP4ファイルの場合、デコーダ９０４は、そのMP4ファイルをMP4処理部９１４に供給する。MP4処理部９１４は、供給されたMP4ファイルを解析し、MP4ファイルに含まれる符号化データを復号する。MP4処理部９１４は、復号して得られた画像データをデコーダ９０４に供給する。デコーダ９０４は、その画像データを映像信号処理部９０５に供給する。
このようなMP4処理部９１４の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MP4処理部９１４が、端末装置１０３（図１１）のファイル取得部１５４、画像復号部１５５、およびタイル画像合成部１５６（図１３）を有するようにしてもよい。この場合、MP4処理部９１４は、所望の範囲に含まれるタイルのデータを含むMP4ファイルをデコーダ９０４等を介して取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをデコーダ９０４に供給する。このようにすることにより、MP4処理部９１４が、各実施の形態において上述した各種のMP4ファイルを処理し、所望の画像データを得ることができる。つまり、テレビジョン装置９００は、部分画像のデータの適応的な提供を実現することができる。
また、アンテナ９０１若しくは外部インタフェース部９０９を介して受信された映像ストリームがMPDファイルの場合、デコーダ９０４は、そのMPDファイルをMPEG-DASH処理部９１５に供給する。MPEG-DASH処理部９１５は、供給されたMPDを解析し、そのMPDに基づいて、所望の画像データを取得する。例えば、画像データが符号化された符号化データを含むMP4ファイルがMPDにより管理されている場合、MPEG-DASH処理部９１５は、そのMPDに基づいて所望の画像に対応するMP4ファイルを取得し、そのMP4ファイルに含まれる符号化データを復号し、復号して得られた画像データをデコーダ９０４に供給する。デコーダ９０４は、その画像データを映像信号処理部９０５に供給する。
このようなMPEG-DASH処理部９１５の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MPEG-DASH処理部９１５が、端末装置１０３（図１１）のMPD取得部１５１乃至タイル画像合成部１５６（図１３の表示部１５７以外の各処理部）を有するようにしてもよい。MPEG-DASH処理部９１５は、MPDを解析して、所望の範囲に含まれるタイルのデータを含むMP4ファイルをデコーダ９０４等を介して取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをデコーダ９０４に供給する。このようにすることにより、MPEG-DASH処理部９１５が、各実施の形態において上述した各種のMPDを処理し、所望の画像データを得ることができる。つまり、テレビジョン装置９００は、部分画像のデータの適応的な提供を実現することができる。
＜第２の応用例：携帯電話機＞
図６８は、本開示を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
さらに、携帯電話機９２０は、MP4処理部９３４およびMPEG-DASH処理部９３５を有する。MP4処理部９３４およびMPEG-DASH処理部９３５は、バス９３３に接続されている。
通信部９２２は、アンテナ９２１を介した無線信号の送受信に関する処理を行う。音声コーデック９２３は、音声データの符号化や、音声データが符号化された音声符号化データの復号等に関する処理を行う。カメラ部９２６は、被写体を撮像し、画像データを生成する等の、撮像に関する処理を行う。
画像処理部９２７は、画像データに対する処理を行う。例えば、画像処理部９２７は、画像データに対して任意の画像処理を行うことができる。また画像処理部９２７は、画像データを符号化したり、画像データが符号化された符号化データを復号したりすることもできる。
多重分離部９２８は、例えば画像データと音声データ等、複数データの多重化や、多重化されたデータの分離等に関する処理を行う。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有し、その記憶媒体へのデータの書き込み（記録）や、その記憶媒体に記憶されているデータの読み出し（再生）等に関する処理を行う。この記憶媒体は、例えば、RAMやフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカードなどの外部装着型の記憶媒体であってもよい。
表示部９３０は、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）を有し、画像表示に関する処理を行う。
制御部９３１は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、携帯電話機９２０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えば操作部９３２から入力される操作信号に応じて、携帯電話機９２０の各処理部の動作を制御する。
MP4処理部９３４は、MP4ファイルに関する処理を行う。MPEG-DASH処理部９３５は、MPDやMP4ファイルの生成等、MPEG-DASHの規格に準拠した方法で配信される配信データやその制御情報の生成に関する処理を行う。また、MPEG-DASH処理部９３５は、MPDの解析やMP4ファイルの処理等、MPEG-DASHの規格に準拠した方法で配信される配信データの再生に関する処理も行う。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード、テレビ電話モード等、様々な動作モードで、音声信号の送受信、電子メールや画像データの送受信、画像の撮像、データの記録などの各種動作を行う。
例えば、音声通話モードの場合、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号をデジタルの音声データへA/D変換し、符号化（圧縮）する。そして、音声コーデック９２３は、圧縮後の音声データ（音声符号化データ）を通信部９２２へ出力する。通信部９２２は、その音声符号化データをさらに符号化したり変調したりして送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。
また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅したり周波数変換したりして受信信号を取得し、その受信信号を復調したり復号したりして音声符号化データを生成し、それを音声コーデック９２３へ出力する。音声コーデック９２３は、供給された音声符号化データを復号（伸張）したり、D/A変換したりしてアナログ音声信号を生成する。そして、音声コーデック９２３は、そのアナログ音声信号をスピーカ９２４に供給してその音声を出力させる。
また、例えば、データ通信モードにおいてメール送信を行う場合、制御部９３１は、ユーザによる操作部９３２を介した文字入力を受け付け、その入力された文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介してユーザからのメール送信指示を受け付け、その指示に応じて電子メールデータを生成し、それを通信部９２２に供給する。通信部９２２は、供給された電子メールデータを符号化したり変調したりして送信信号を生成し、それを周波数変換したり増幅したりして、アンテナ９２１を介して基地局（図示せず）へ送信する。
また、例えば、データ通信モードにおいてメール受信を行う場合、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅したり周波数変換したりして受信信号を取得し、その受信信号を復調したり復号したりして電子メールデータを復元し、復元した電子メールデータを制御部９３１に供給する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
また、例えば、撮影モードの場合、カメラ部９２６は、被写体を撮像して画像データを生成する。カメラ部９２６は、生成した画像データを、バス９３３を介して画像処理部９２７に供給する。画像処理部９２７は、その画像データに対して画像処理を行う。カメラ部９２６は、画像処理した画像データを、バス９３３を介して表示部９３０に供給し、その画像を表示させる。また、画像処理部９２７は、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、画像処理した画像データを符号化して符号化データを生成し、その符号化データ（画像符号化データ）を、バス９３３を介して記録再生部９２９に供給し、その記憶媒体に記憶させる。
なお、撮影モードにおいて撮影とともに集音も行う場合、カメラ部９２６が被写体を撮像して画像データを生成するとともに、マイクロホン９２５が集音してアナログ音声信号を生成する。画像処理部９２７は、カメラ部９２６が生成した画像データに対して画像処理を行い、その画像処理した画像データの画像を表示部９３０に表示させる。音声コーデック９２３は、マイクロホン９２５が生成したアナログ音声信号の音声をスピーカ９２４から出力させる。
そして、画像処理部９２７は、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、画像データを符号化して画像符号化データを生成し、その画像符号化データを、バス９３３を介して多重分離部９２８に供給する。音声コーデック９２３は、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、アナログ音声信号をA/D変換して音声データを生成し、さらにそれを符号化して音声符号化データを生成し、その音声符号化データを、バス９３３を介して多重分離部９２８に供給する。多重分離部９２８は、供給された画像符号化データと音声符号化データとを多重化して多重化データを生成する。多重分離部９２８は、その多重化データを、バス９３３を介して記録再生部９２９に供給し、その記憶媒体に記憶させる。
また、例えば、データ通信モードにおいて画像データを送信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、通信部９２２は、バス９３３を介して画像処理部９２７や記録再生部９２９等から画像符号化データを取得し、それを符号化したり変調したりしてその送信信号を生成し、それを周波数変換したり増幅したりして、アンテナ９２１を介して基地局（図示せず）へ送信する。
例えば、テレビ電話のように、画像と音声を送信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、通信部９２２は、バス９３３を介して多重分離部９２８から画像と音声のデータ（例えば画像符号化データと音声符号化データと）が多重化された多重化データを取得し、それを符号化したり変調したりしてその送信信号を生成し、それを周波数変換したり増幅したりして、アンテナ９２１を介して基地局（図示せず）へ送信する。
また、例えば、画像データを符号化してMP4ファイルを生成し、そのMP4ファイルを送信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、MP4処理部９３４は、バス９３３を介してカメラ部９２６、画像処理部９２７、若しくは記録再生部９２９等から画像データを取得し（多重分離部９２８から多重化データを取得してもよい）、それを符号化して符号化データを生成し、さらにその符号化データを格納するMP4ファイルを生成し、そのMP4ファイルを、バス９３３を介して通信部９２２に供給する。通信部９２２は、制御部９３１の制御に基づいて、供給されたMP4ファイルを符号化したり変調したりしてその送信信号を生成し、それを周波数変換したり増幅したりして、アンテナ９２１を介して基地局（図示せず）へ送信する。
このようなMP4処理部９３４の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MP4処理部９３４が、配信データ生成装置１０１（図１１）の画面分割処理部１２１、画像符号化部１２２、ファイル生成部１２３、およびサーバアップロード処理部１２６（図１２）を有するようにしてもよい。この場合、MP4処理部９３４は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、それを配信サーバ１０２にアップロードする。このようにすることにより、MP4処理部９３４が、各実施の形態において上述した各種のMP4ファイルを生成することができる。つまり、携帯電話機９２０は、部分画像のデータの適応的な提供を実現することができる。
また、例えば、画像データの情報を管理するMPDを生成し、そのMPDを送信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、MPEG-DASH処理部９３５は、バス９３３を介してカメラ部９２６、画像処理部９２７、若しくは記録再生部９２９等から画像データを取得し（多重分離部９２８から多重化データを取得してもよい）、その画像データを管理するMPDを生成し、そのMPDファイルを、バス９３３を介して通信部９２２に供給する。通信部９２２は、制御部９３１の制御に基づいて、供給されたMPDファイルを符号化したり変調したりしてその送信信号を生成し、それを周波数変換したり増幅したりして、アンテナ９２１を介して基地局（図示せず）へ送信する。その際、MPEG-DASH処理部９３５は、その画像データを、MPDファイルとともに通信部９２２を介して送信するようにしてもよい。
また、MPEG-DASH処理部９３５は、画像データを符号化し、その符号化データを管理するMPDを生成し、そのMPDファイルを、通信部９２２を介して送信するようにしてもよい。さらに、MPEG-DASH処理部９３５は、その符号化データを、MPDファイルとともに通信部９２２を介して送信するようにしてもよい。
また、MPEG-DASH処理部９３５は、画像データを符号化し、その符号化データを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、そのMPDファイルを、通信部９２２を介して送信するようにしてもよい。さらに、MPEG-DASH処理部９３５は、そのMP4ファイルを、MPDファイルとともに通信部９２２を介して送信するようにしてもよい。
このようなMPEG-DASH処理部９３５の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MPEG-DASH処理部９３５が、配信データ生成装置１０１（図１１）の画面分割処理部１２１乃至サーバアップロード処理部１２６（図１２のタイル型MPD生成部１４１を含む）を有するようにしてもよい。この場合、MPEG-DASH処理部９３５は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、それらを配信サーバ１０２にアップロードする。このようにすることにより、MPEG-DASH処理部９３５が、各実施の形態において上述した各種のMPD（やMP4ファイル）を生成することができる。つまり、携帯電話機９２０は、部分画像のデータの適応的な提供を実現することができる。
また、例えば、データ通信モードにおいて画像データを受信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、通信部９２２は、アンテナ９２１を介して無線信号を受信し、それを増幅したり周波数変換したりして受信信号を生成し、それを復調したり復号したりして画像符号化データを生成し、それを、バス９３３を介して画像処理部９２７や記録再生部９２９等に供給する。例えば、画像処理部９２７は、供給された画像符号化データを復号し、得られた画像データを表示部９３０に供給してその画像を表示させる。また、例えば、記録再生部９２９は、供給された画像符号化データを記憶媒体に記憶する。
例えば、テレビ電話のように、画像と音声を受信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、通信部９２２は、アンテナ９２１を介して無線信号を受信し、それを増幅したり周波数変換したりして受信信号を生成し、それを復調したり復号したりして、画像と音声のデータ（例えば画像符号化データと音声符号化データと）が多重化された多重化データを生成する。通信部９２２は、それを、バス９３３を介して多重分離部９２８に供給する。例えば、多重分離部９２８は、供給された多重データに含まれる画像符号化データと音声符号化データを分離し、画像符号化データを、バス９３３を介して画像処理部９２７や記録再生部９２９等に供給し、音声符号化データを、バス９３３を介して音声コーデック９２３に供給する。例えば、画像処理部９２７は、供給された画像符号化データを復号し、得られた画像データを表示部９３０に供給してその画像を表示させる。また、例えば、記録再生部９２９は、供給された画像符号化データを記憶媒体に記憶する。また、例えば、音声コーデック９２３は、供給された音声符号化データを復号し、得られた音声データをD/A変換してアナログ音声信号を生成し、そのアナログ音声信号の音声をスピーカ９２４から出力させる。
また、例えば、通信部９２２が画像データの符号化データを格納するMP4ファイルを受信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、MP4処理部９３４は、通信部９２２からバス９３３を介してそのMP4ファイルを取得し、それを解析して符号化データを抽出し、さらにその符号化データを復号し、得られた画像データを、バス９３３を介して画像処理部９２７、記録再生部９２９、表示部９３０等に供給する。なお、MP4ファイルから多重化データが抽出される場合、または、符号化データを復号して多重化データが得られる場合、MP4処理部９３４は、得られた多重化データを多重分離部９２８に供給する。
このようなMP4処理部９３４の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MP4処理部９３４が、端末装置１０３（図１１）のファイル取得部１５４、画像復号部１５５、およびタイル画像合成部１５６（図１３）を有するようにしてもよい。この場合、MP4処理部９３４は、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、通信部９２２等を介して取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データを、バス９３３を介して画像処理部９２７、記録再生部９２９、表示部９３０等に供給する。このようにすることにより、MP4処理部９３４が、各実施の形態において上述した各種のMP4ファイルを処理し、所望の画像データを得ることができる。つまり、携帯電話機９２０は、部分画像のデータの適応的な提供を実現することができる。
また、例えば、通信部９２２が画像データの情報を管理するMPDファイルを受信する場合、制御部９３１の制御（操作部９３２を介して入力されたユーザ指示等）に基づいて、MPEG-DASH処理部９３５は、通信部９２２からバス９３３を介してそのMPDファイルを取得し、それを解析し、そのMPDに基づいて、所望の画像データを取得する。例えば、画像データが符号化された符号化データを含むMP4ファイルがMPDにより管理されている場合、MPEG-DASH処理部９３５は、通信部９２２を介して、そのMPDに基づいて所望の画像に対応するMP4ファイルを取得し、そのMP4ファイルに含まれる符号化データを復号し、復号して得られた画像データをバス９３３を介して画像処理部９２７、記録再生部９２９、表示部９３０等に供給する。なお、MP4ファイルから多重化データが抽出される場合、または、符号化データを復号して多重化データが得られる場合、MPEG-DASH処理部９３５は、得られた多重化データを多重分離部９２８に供給する。
このようなMPEG-DASH処理部９３５の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MPEG-DASH処理部９３５が、端末装置１０３（図１１）のMPD取得部１５１乃至タイル画像合成部１５６（図１３の表示部１５７以外の各処理部）を有するようにしてもよい。MPEG-DASH処理部９３５は、MPDを解析して、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、通信部９２２等を介して取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データを画像処理部９２７、記録再生部９２９、表示部９３０等に供給する。このようにすることにより、MPEG-DASH処理部９３５が、各実施の形態において上述した各種のMPDを処理し、所望の画像データを得ることができる。つまり、携帯電話機９２０は、部分画像のデータの適応的な提供を実現することができる。
＜１０．第１０の実施の形態＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
＜ビデオセット＞
本技術をセットとして実施する場合の例について、図６９を参照して説明する。図６９は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図６９に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図６９に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図６９の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図６９のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図６９において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３８に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
例えば、ビデオプロセッサ１３３２が、MP4ファイルに関する処理や、MPEG-DASHの規格に準拠した方法で配信される配信データやその制御情報の生成や再生に関する処理を行うようにしてもよい。ビデオプロセッサ１３３２の詳細については後述する。
また、アプリケーションプロセッサ１３３１が、アプリケーションを実行することにより、MP4ファイルに関する処理や、MPEG-DASHの規格に準拠した方法で配信される配信データやその制御情報の生成や再生に関する処理を行うようにしてもよい。そして、このようなアプリケーションプロセッサ１３３１の処理として、上述した各実施の形態の方法を適用するようにしてもよい。
つまり、例えば、アプリケーションプロセッサ１３３１が、アプリケーションを実行することにより、配信データ生成装置１０１（図１１）の画面分割処理部１２１乃至サーバアップロード処理部１２６（図１２のタイル型MPD生成部１４１を含む）の機能を有するようにしてもよい。この場合、アプリケーションプロセッサ１３３１は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、それを配信サーバ１０２にアップロードすることができる。また、アプリケーションプロセッサ１３３１は、生成したMP4ファイルを管理するMPDを生成し、それらを配信サーバ１０２にアップロードすることもできる。このようにすることにより、アプリケーションプロセッサ１３３１は、各実施の形態において上述した各種のMPDやMP4ファイルを生成することができる。つまり、ビデオセット１３００は、部分画像のデータの適応的な提供を実現することができる。
また、例えば、アプリケーションプロセッサ１３３１が、アプリケーションを実行することにより、端末装置１０３（図１１）のMPD取得部１５１乃至タイル画像合成部１５６（図１３の表示部１５７以外の各処理部）の機能を有するようにしてもよい。この場合、アプリケーションプロセッサ１３３１は、ユーザ指示等に基づいて、所望の範囲に含まれるタイルのデータを含むMP4ファイルを取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成することができる。また、アプリケーションプロセッサ１３３１は、MPDを取得し、取得したMPDを解析し、その解析結果に基づいて、所望の範囲に含まれるタイルのデータを含むMP4ファイルを取得し、そのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成することもできる。このようにすることにより、アプリケーションプロセッサ１３３１は、各実施の形態において上述した各種のMPDやMP4ファイルを処理し、所望の画像データを得ることができる。つまり、ビデオセット１３００は、部分画像のデータの適応的な提供を実現することができる。
＜ビデオプロセッサの構成例＞
図７０は、本開示を適用したビデオプロセッサ１３３２（図６９）の概略的な構成の一例を示している。
図７０に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。さらに、ビデオプロセッサ１３３２は、MP4処理部１４１５およびMPEG-DASH処理部１４１６を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。さらに、エンコード・デコードエンジン１４０７は、必要に応じて、MP4処理部１４１５やMPEG-DASH処理部１４１６を利用して画像データの符号化や、画像データが符号化された符号化データの復号を行う。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
MP4処理部１４１５は、MP4ファイルの生成や再生等、MP4ファイルに関する処理を行う。MPEG-DASH処理部１４１６は、MPDやMP4ファイルの生成や再生等、MPEG-DASHの規格に準拠した方法で配信される配信データやその制御情報の生成や再生に関する処理を行う。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
MP4処理部１４１５は、例えばフレームメモリ１４０５に記憶されている画像データを、エンコード・デコードエンジン１４０７を介して取得し、それを符号化して符号化データを生成し、さらにその符号化データを格納するMP4ファイルを生成する。MP4処理部１４１５は、生成したMP4ファイルをエンコード・デコードエンジン１４０７に供給する。エンコード・デコードエンジン１４０７は、供給されたMP4ファイルを、例えば、ビデオESバッファ１４０８Ａ、多重化部（MUX）１４１２、ストリームバッファ１４１４等を介して、ビデオプロセッサ１３３２の外部に出力し、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力させる。
また、MP4処理部１４１５は、例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークから取得され、ビデオESバッファ１４０８Ｂに記憶されているMP4ファイルを、エンコード・デコードエンジン１４０７を介して取得し、それを解析して符号化データを抽出し、さらにその符号化データを復号する。MP4処理部１４１５は、得られた画像データをエンコード・デコードエンジン１４０７に供給する。エンコード・デコードエンジン１４０７は、供給された画像データを、フレームメモリ１４０５を介してビデオ出力処理部１４０４に供給し、ビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。
このようなMP4処理部１４１５の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MP4処理部１４１５が、配信データ生成装置１０１（図１１）の画面分割処理部１２１、画像符号化部１２２、ファイル生成部１２３、およびサーバアップロード処理部１２６（図１２）を有するようにしてもよい。この場合、MP4処理部１４１５は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、それを、コネクティビティ１３２１等を介して配信サーバ１０２にアップロードする。このようにすることにより、MP4処理部１４１５が、各実施の形態において上述した各種のMP4ファイルを生成することができる。
また、MP4処理部１４１５が、端末装置１０３（図１１）のファイル取得部１５４、画像復号部１５５、およびタイル画像合成部１５６（図１３）を有するようにしてもよい。この場合、MP4処理部１４１５は、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、コネクティビティ１３２１等を介して配信サーバ１０２からダウンロードし、そのMP4ファイルからそのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。このようにすることにより、MP4処理部１４１５が、各実施の形態において上述した各種のMP4ファイルを処理し、所望の画像データを得ることができる。
つまり、ビデオプロセッサ１３３２（すなわち、ビデオセット１３００）は、部分画像のデータの適応的な提供を実現することができる。
MPEG-DASH処理部１４１６は、例えばフレームメモリ１４０５に記憶されている画像データを、エンコード・デコードエンジン１４０７を介して取得し、その画像データを管理するMPDを生成し、そのMPDファイルを、エンコード・デコードエンジン１４０７に供給する。エンコード・デコードエンジン１４０７は、供給されたMPDファイルを、例えば、ビデオESバッファ１４０８Ａ、多重化部（MUX）１４１２、ストリームバッファ１４１４等を介して、ビデオプロセッサ１３３２の外部に出力し、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力させる。
また、MPEG-DASH処理部１４１６は、画像データを符号化し、その符号化データを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、そのMPDファイルを、外部ネットワークに出力させるようにしてもよい。さらに、MPEG-DASH処理部１４１６は、そのMP4ファイルを、MPDファイルとともに外部ネットワークに出力させるようにしてもよい。
また、MPEG-DASH処理部１４１６は、例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークから取得され、ビデオESバッファ１４０８Ｂに記憶されているMPDファイルを、エンコード・デコードエンジン１４０７を介して取得し、それを解析し、そのMPDに基づいて、所望の画像データを取得する。例えば、画像データが符号化された符号化データを含むMP4ファイルがMPDにより管理されている場合、MPEG-DASH処理部１４１６は、そのMPDに基づいて所望の画像に対応するMP4ファイルを外部ネットワークから取得し、そのMP4ファイルに含まれる符号化データを復号し、復号して得られた画像データをエンコード・デコードエンジン１４０７に供給する。エンコード・デコードエンジン１４０７は、供給された画像データを、フレームメモリ１４０５を介してビデオ出力処理部１４０４に供給し、ビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。
このようなMPEG-DASH処理部１４１６の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MPEG-DASH処理部１４１６が、配信データ生成装置１０１（図１１）の画面分割処理部１２１乃至サーバアップロード処理部１２６（図１２のタイル型MPD生成部１４１を含む）を有するようにしてもよい。この場合、MPEG-DASH処理部１４１６は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、それらを、コネクティビティ１３２１等を介して配信サーバ１０２にアップロードする。このようにすることにより、MPEG-DASH処理部１４１６が、各実施の形態において上述した各種のMPDを生成することができる。
また、MPEG-DASH処理部１４１６が、端末装置１０３（図１１）のMPD取得部１５１乃至タイル画像合成部１５６（図１３の表示部１５７以外の各処理部）を有するようにしてもよい。この場合、MPEG-DASH処理部１４１６は、MPDを解析して、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、コネクティビティ１３２１等を介して配信サーバ１０２からダウンロードし、そのMP4ファイルからそのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。このようにすることにより、MPEG-DASH処理部１４１６が、各実施の形態において上述した各種のMPDを処理し、所望の画像データを得ることができる。
つまり、ビデオプロセッサ１３３２（すなわち、ビデオセット１３００）は、部分画像のデータの適応的な提供を実現することができる。
なお、MP4処理部１４１５やMPEG-DASH処理部１４１６において、本技術（すなわち、上述した配信データ生成装置１０１や端末装置１０３の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
＜ビデオプロセッサの他の構成例＞
図７１は、本開示を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図７１の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図７１に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図７１に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図７１に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、およびHEVC/H.265(Multi-view)１５４５、並びに、MPEG-DASH１５５１およびMP4処理部１５５２を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、MPDやMP4ファイルの生成や再生等、MPEG-DASHの規格に準拠した方法で配信される配信データやその制御情報の生成や再生に関する処理を行う。MP4処理部１５５２は、MP4ファイルの生成や再生等、MP4ファイルに関する処理を行う。なお、MPEG-DASH１５５１およびMP4処理部１５５２は、画像データの符号化・復号を行う場合、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
コーデックエンジン１５１６のMP4処理部１５５２は、例えば外部メモリ１３１２から読み出された画像データを取得し、それをMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５のいずれかを用いて符号化して符号化データを生成し、さらにその符号化データを格納するMP4ファイルを生成する。MP4処理部１５５２は、生成したMP4ファイルを、例えばメモリインタフェース１５１７を介して外部メモリ１３１２に供給し、記憶させる。このMP4ファイルは、例えば、メモリインタフェース１５１７により読み出され、多重化・逆多重化部（MUX DMUX）１５１８やネットワークインタフェース１５１９を介して、ビデオプロセッサ１３３２の外部に出力し、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力させる。
また、MP4処理部１５５２は、例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークから取得され、ネットワークインタフェース１５１９、多重化・逆多重化部（MUX DMUX）１５１８、メモリインタフェース１５１７等を介して外部メモリ１３１２に供給され、記憶されているMP4ファイルを、メモリインタフェース１５１７を介して取得する。MP4処理部１５５２は、取得したMP4ファイルを解析して符号化データを抽出し、さらにその符号化データを、MPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５のいずれかを用いて復号する。MP4処理部１５５２は、得られた画像データを、例えばメモリインタフェース１５１７を介して外部メモリ１３１２に供給し、記憶させる。この画像データは、例えば、メモリインタフェース１５１７により読み出され、画像処理エンジン１５１４、ディスプレイエンジン１５１３、およびディスプレイインタフェース１５１２等を介して、例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。
このようなMP4処理部１５５２の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MP4処理部１５５２が、配信データ生成装置１０１（図１１）の画面分割処理部１２１、画像符号化部１２２、ファイル生成部１２３、およびサーバアップロード処理部１２６（図１２）を有するようにしてもよい。この場合、MP4処理部１５５２は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、それを、コネクティビティ１３２１等を介して配信サーバ１０２にアップロードする。このようにすることにより、MP4処理部１５５２が、各実施の形態において上述した各種のMP4ファイルを生成することができる。
また、MP4処理部１５５２が、端末装置１０３（図１１）のファイル取得部１５４、画像復号部１５５、およびタイル画像合成部１５６（図１３）を有するようにしてもよい。この場合、MP4処理部１５５２は、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、コネクティビティ１３２１等を介して配信サーバ１０２からダウンロードし、そのMP4ファイルからそのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。このようにすることにより、MP4処理部１５５２が、各実施の形態において上述した各種のMP4ファイルを処理し、所望の画像データを得ることができる。
つまり、ビデオプロセッサ１３３２（すなわち、ビデオセット１３００）は、部分画像のデータの適応的な提供を実現することができる。
MPEG-DASH１５５１は、例えば外部メモリ１３１２から読み出された画像データを取得し、その画像データを管理するMPDを生成する。MPEG-DASH１５５１は、生成したMPDファイルを、例えばメモリインタフェース１５１７を介して外部メモリ１３１２に供給し、記憶させる。このMP4ファイルは、例えば、メモリインタフェース１５１７により読み出され、多重化・逆多重化部（MUX DMUX）１５１８やネットワークインタフェース１５１９を介して、ビデオプロセッサ１３３２の外部に出力し、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力させる。
また、MPEG-DASH１５５１は、画像データを符号化し、その符号化データを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、そのMPDファイルを、外部ネットワークに出力させるようにしてもよい。さらに、MPEG-DASH１５５１は、そのMP4ファイルを、MPDファイルとともに外部ネットワークに出力させるようにしてもよい。
また、MPEG-DASH１５５１は、例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークから取得され、ネットワークインタフェース１５１９、多重化・逆多重化部（MUX DMUX）１５１８、メモリインタフェース１５１７等を介して外部メモリ１３１２に供給され、記憶されているMPDファイルを、メモリインタフェース１５１７を介して取得する。MPEG-DASH１５５１は、取得したMPDを解析し、そのMPDに基づいて、所望の画像データを取得する。例えば、画像データが符号化された符号化データを含むMP4ファイルがMPDにより管理されている場合、MPEG-DASH１５５１は、そのMPDに基づいて所望の画像に対応するMP4ファイルを外部ネットワークから取得し、そのMP4ファイルに含まれる符号化データを抽出し、さらにその符号化データを、MPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５のいずれかを用いて復号する。MPEG-DASH１５５１は、得られた画像データを、例えばメモリインタフェース１５１７を介して外部メモリ１３１２に供給し、記憶させる。この画像データは、例えば、メモリインタフェース１５１７により読み出され、画像処理エンジン１５１４、ディスプレイエンジン１５１３、およびディスプレイインタフェース１５１２等を介して、例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。
このようなMPEG-DASH１５５１の処理として、上述した各実施の形態の方法を適用するようにしてもよい。つまり、MPEG-DASH１５５１が、配信データ生成装置１０１（図１１）の画面分割処理部１２１乃至サーバアップロード処理部１２６（図１２のタイル型MPD生成部１４１を含む）を有するようにしてもよい。この場合、MPEG-DASH１５５１は、画像をタイル毎に分割して符号化し、タイル毎のデータを格納するMP4ファイルを生成し、そのMP4ファイルを管理するMPDを生成し、それらを、コネクティビティ１３２１等を介して配信サーバ１０２にアップロードする。このようにすることにより、MPEG-DASH１５５１が、各実施の形態において上述した各種のMPDを生成することができる。
また、MPEG-DASH１５５１が、端末装置１０３（図１１）のMPD取得部１５１乃至タイル画像合成部１５６（図１３の表示部１５７以外の各処理部）を有するようにしてもよい。この場合、MPEG-DASH１５５１は、MPDを解析して、所望の範囲に含まれるタイルのデータを含むMP4ファイルを、コネクティビティ１３２１等を介して配信サーバ１０２からダウンロードし、そのMP4ファイルからそのタイルの符号化データを抽出して復号し、得られたタイルの画像データ（タイル画像）を適宜合成して所望の範囲の画像データを生成し、その画像データをビデオ信号としてビデオプロセッサ１３３２の外部に出力させる。このようにすることにより、MPEG-DASH１５５１が、各実施の形態において上述した各種のMPDを処理し、所望の画像データを得ることができる。
つまり、ビデオプロセッサ１３３２（すなわち、ビデオセット１３００）は、部分画像のデータの適応的な提供を実現することができる。
なお、MPEG-DASH１５５１やMP4処理部１５５２において、本技術（すなわち、上述した配信データ生成装置１０１や端末装置１０３の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図６７）や携帯電話機９２０（図６８）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図６６を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図６６を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図６７）や携帯電話機９２０（図６８）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図６６を参照して上述した効果と同様の効果を得ることができる。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る情報処理装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
また、本明細書では、各種メタデータが、ビットストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、ビットストリームに多重化されることなく、ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像のビットストリームとは別の伝送路上で伝送されてもよい。また、情報は、画像のビットストリームとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像のビットストリームとは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
なお、本技術は以下のような構成も取ることができる。
（１） 全体画像の一部である部分画像に関する情報である部分画像情報を生成する部分画像情報生成部と、
前記部分画像情報生成部により生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成するメタデータ生成部と
を備える情報処理装置。
（２） 前記部分画像情報は、
前記部分画像情報に対応する画像が部分画像であるかを示すビュータイプと、
前記全体画像のサイズに関する情報と、
前記全体画像における前記部分画像の位置を示す情報と、
前記部分画像が属する、１画像として表示可能な部分画像のグループを識別するグループ識別情報と
を含む
（１）に記載の情報処理装置。
（３） 前記メタデータ生成部は、互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記メタデータの互いに異なるアダプテーションセット（AdaptationSet）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるアダプテーションセットに割り当てる
（１）または（２）に記載の情報処理装置。
（４） 前記メタデータ生成部は、互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する互いに異なるリプレゼンテーション（Representation）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるリプレゼンテーションに割り当てる
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記メタデータ生成部は、互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記メタデータの互いに異なるアダプテーションセット（AdaptationSet）に格納し、前記複数の部分画像を含む１つのビットストリームが部分画像毎に分割された複数のファイルのそれぞれを、互いに異なるアダプテーションセットに割り当てる
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記部分画像情報生成部は、前記ビットストリームに含まれる制御情報についての前記部分画像情報をさらに生成し、
前記メタデータ生成部は、前記制御情報の部分画像情報を、各部分画像の部分画像情報とは異なるアダプテーションセットに格納し、前記制御情報のファイルを、前記アダプテーションセットに割り当てる
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記メタデータ生成部は、互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記メタデータの全体画像と同じアダプテーションセット（AdaptationSet）に属する互いに異なるリプレゼンテーション（Representation）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるリプレゼンテーションに割り当てる
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記部分画像情報生成部は、互いに同じ前記グループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての前記部分画像情報をさらに生成し、
前記メタデータ生成部は、
前記複数の部分画像のそれぞれの部分画像情報を、前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する互いに異なるリプレゼンテーション（Representation）に格納し、前記ビットストリームが部分画像毎に分割された複数のファイルのそれぞれを、互いに異なるリプレゼンテーションに割り当て、
前記制御情報の部分画像情報を、各部分画像の部分画像情報とは異なるリプレゼンテーションに格納し、前記制御情報のファイルを、前記リプレゼンテーションに割り当てる
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記メタデータ生成部は、互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に属する互いに異なるサブリプレゼンテーション（Sub-Representation）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるサブリプレゼンテーションに割り当てる
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記部分画像情報生成部は、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示すセグメント情報と、互いに同じ前記グループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての前記部分画像情報とをさらに生成し、
前記メタデータ生成部は、
前記制御情報の部分画像情報および前記セグメント情報を、前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に格納し、前記制御情報のファイルを、前記リプレゼンテーションに割り当て、
前記複数の部分画像のそれぞれの部分画像情報を、前記リプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納し、前記ビットストリームが部分画像毎に分割された複数のファイルのそれぞれを、互いに異なるサブリプレゼンテーションに割り当てる
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記部分画像情報生成部は、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示すセグメント情報と、互いに同じ前記グループに属する複数の部分画像を含む１つのビットストリームに含まれる制御情報についての前記部分画像情報とをさらに生成し、
前記メタデータ生成部は、
前記制御情報の部分画像情報および前記セグメント情報を前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に格納し、前記ビットストリームを前記リプレゼンテーションに割り当て、
前記複数の部分画像のそれぞれの部分画像情報を、前記リプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納し、前記ビットストリームにおける各部分画像のデータの場所を示す情報を、互いに異なるサブリプレゼンテーションに割り当てる
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記部分画像情報生成部は、リプレゼンテーション（Representation）の下に同時刻のビットストリームの情報が複数存在することを示すマルチセグメント情報をさらに生成し、
前記メタデータ生成部は、
前記マルチセグメント情報を前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に格納し、
互いに同じ前記グループに属する複数の部分画像のそれぞれの部分画像情報を、前記リプレゼンテーションに属する互いに異なるセグメント（Segment）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるセグメントに割り当てる
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記部分画像情報生成部は、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在しないことを示すセグメント情報と、互いに同じ前記グループに属する複数の部分画像を含む１つのビットストリームについての前記部分画像情報とをさらに生成し、
前記メタデータ生成部は、
前記セグメント情報を前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に格納し、
前記部分画像情報を前記リプレゼンテーションに属する１つのセグメント（Segment）に格納し、前記ビットストリームを前記セグメントに割り当て、
前記ビットストリームにおける各部分画像のデータの場所を示す情報を、前記セグメントに属する、互いに異なるサブセグメント（Sub-Segment）に割り当てる
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記全体画像および前記部分画像の画像データを符号化し、ビットストリームを生成する符号化部をさらに備える
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記全体画像の画像データから各部分画像の画像データを生成する画面分割処理部をさらに備える
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 全体画像の一部である部分画像に関する情報である部分画像情報を生成し、
生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成する
情報処理方法。
（１７） 全体画像の一部である部分画像に関する情報である部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得る解析部と、
前記解析部により得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択する選択部と、
前記選択部により選択されたビットストリームを取得するビットストリーム取得部と
を備える情報処理装置。
（１８） 前記メタデータを取得するメタデータ取得部をさらに備える
（１７）に記載の情報処理装置。
（１９） 前記ビットストリーム取得部により取得された前記ビットストリームを復号する復号部をさらに備える
（１７）または（１８）に記載の情報処理装置。
（２０） 全体画像の一部である部分画像に関する情報である部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得て、
得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択し、
選択されたビットストリームを取得する
情報処理方法。
（２１） 全体画像の一部である部分画像に関する情報である部分画像情報を生成する部分画像情報生成部と、
前記部分画像情報生成部により生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成するメタデータ生成部と
を備え、
前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセット（AdaptationSet）のコンテンツソースが他のアダプテーションセットのコンテンツソースと同一であるか否かを示す識別情報を含む
情報処理装置。
（２２） 前記部分画像情報は、
前記全体画像における前記部分画像の位置を示す情報と、
前記部分画像のサイズに関する情報と、
前記全体画像のサイズに関する情報と
をさらに含む
（２１）に記載の情報処理装置。
（２３） 前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセットがビットストリーム全体を定義するのか、ビットストリームの一部を定義するのかを示す識別情報をさらに含む
（２１）または（２２）に記載の情報処理装置。
（２４） 前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセットが対応するビットストリームの一部がどのような情報で構成されているかを示す情報をさらに含む
（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２５） 前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセットが対応するビットストリームの一部がトラックに分割されているかを示す情報をさらに含む
（２１）乃至（２４）のいずれかに記載の情報処理装置。
（２６） 前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセットが対応する前記部分画像の識別情報をさらに含む
（２１）乃至（２５）のいずれかに記載の情報処理装置。
（２７）前記部分画像情報は、トラックリファレンスとエクストラクタを含み、
前記トラックリファレンスとエクストラクタは、複数の前記部分画像のそれぞれに対応する各トラックに格納され、前記部分画像のスライスを格納するベーストラックを参照する
（２１）乃至（２６）のいずれかに記載の情報処理装置。
（２８） 全体画像の一部である部分画像に関する情報であり、前記部分画像情報が格納されるアダプテーションセット（AdaptationSet）のコンテンツソースが他のアダプテーションセットのコンテンツソースと同一であるか否かを示す識別情報を含む部分画像情報を生成し、
生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成する
情報処理方法。
（２９） 全体画像の一部である部分画像に関する情報である部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得る解析部と、
前記解析部により得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択する選択部と、
前記選択部により選択されたビットストリームを取得するビットストリーム取得部と
を備え、
前記部分画像情報は、前記部分画像情報が格納されるアダプテーションセット（AdaptationSet）のコンテンツソースが他のアダプテーションセットのコンテンツソースと同一であるか否かを示す識別情報を含む
情報処理装置。
（３０） 全体画像の一部である部分画像に関する情報であり、前記部分画像情報が格納されるアダプテーションセット（AdaptationSet）のコンテンツソースが他のアダプテーションセットのコンテンツソースと同一であるか否かを示す識別情報を含む部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得て、
得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択し、
選択されたビットストリームを取得する
情報処理方法。
（４１） 全体画像の一部である部分画像に関する情報である部分画像情報を生成する部分画像情報生成部と、
前記部分画像情報生成部により生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成するメタデータ生成部と
を備える情報処理装置。
（４２） 前記部分画像情報は、前記部分画像の前記全体画像内の位置を示す位置情報を含む
（４１）に記載の情報処理装置。
（４３） 前記位置情報は、前記部分画像の左上の位置を示す
（４２）に記載の情報処理装置。
（４４） 前記メタデータ生成部は、複数の部分画像のそれぞれの部分画像情報を、前記メタデータの互いに異なるアダプテーションセット（AdaptationSet）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるアダプテーションセットに割り当てる
（４１）乃至（４３）のいずれかに記載の情報処理装置。
（４５） 前記メタデータ生成部は、複数の部分画像のそれぞれの部分画像情報を、前記メタデータの互いに異なるアダプテーションセット（AdaptationSet）に格納し、前記複数の部分画像を含む１つのビットストリームが部分画像毎に分割された複数のファイルのそれぞれを、互いに異なるアダプテーションセットに割り当てる
（４１）乃至（４４）のいずれかに記載の情報処理装置。
（４６） 前記メタデータ生成部は、複数の部分画像のそれぞれの部分画像情報を、前記メタデータの１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に属する互いに異なるサブリプレゼンテーション（Sub-Representation）に格納し、前記複数の部分画像のそれぞれのビットストリームを、互いに異なるサブリプレゼンテーションに割り当てる
（４１）乃至（４５）のいずれかに記載の情報処理装置。
（４７） 前記部分画像情報生成部は、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示す情報をさらに生成する
（４６）に記載の情報処理装置。
（４８） 前記複数の部分画像のそれぞれのビットストリームは、１つのMP4ファイルのそれぞれのTRACKに格納される
（４６）または（４７）に記載の情報処理装置。
（４９） 前記メタデータ生成部は、前記１つのMP4ファイルのデータの場所を示す情報をさらに生成する
（４８）に記載の情報処理装置。
（５０） 前記部分画像情報は、前記全体画像のサイズに関する情報をさらにを含む
（４１）乃至（４９）のいずれかに記載の情報処理装置。
（５１） 前記部分画像情報は、前記部分画像が属する、１画像として表示可能な部分画像のグループを識別するグループ識別情報をさらに含む
（４１）乃至（５０）のいずれかに記載の情報処理装置。
（５２） 前記全体画像および前記部分画像の画像データを符号化し、ビットストリームを生成する符号化部をさらに備える
（４１）乃至（５１）のいずれかに記載の情報処理装置。
（５３） 前記全体画像の画像データから各部分画像の画像データを生成する画面分割処理部をさらに備える
（４１）乃至（５２）のいずれかに記載の情報処理装置。
（５４） 前記部分画像情報は、
前記全体画像を構成する前記部分画像の数を示す情報と、
前記部分画像の大きさが均等であるかを表す識別情報と、
前記部分画像の大きさが均等で無い場合、各部分画像の位置および大きさを示す情報と
を含む
（４１）乃至（５３）のいずれかに記載の情報処理装置。
（５５） 全体画像の一部である部分画像に関する情報である部分画像情報を生成し、
生成された前記部分画像情報を用いて、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを生成する
情報処理方法。
（５６） 全体画像の一部である部分画像に関する情報である部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得る解析部と、
前記解析部により得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択する選択部と、
前記選択部により選択されたビットストリームを取得するビットストリーム取得部と
を備える情報処理装置。
（５７） 前記部分画像情報は、前記部分画像の前記全体画像内の位置を示す位置情報を含む
（５６）に記載の情報処理装置。
（５８） 前記位置情報は、前記部分画像の左上の位置を示す
（５７）に記載の情報処理装置。
（５９） 前記解析部は、複数の部分画像のそれぞれの部分画像情報が、互いに異なるアダプテーションセット（AdaptationSet）に格納され、前記複数の部分画像のそれぞれのビットストリームが、互いに異なるアダプテーションセットに割り当てられた前記メタデータを解析する
（５６）乃至（５８）のいずれかに記載の情報処理装置。
（６０） 前記解析部は、複数の部分画像のそれぞれの部分画像情報が、互いに異なるアダプテーションセット（AdaptationSet）に格納され、前記複数の部分画像を含む１つのビットストリームが部分画像毎に分割された複数のファイルのそれぞれが、互いに異なるアダプテーションセットに割り当てられた前記メタデータを解析する
（５６）乃至（５９）のいずれかに記載の情報処理装置。
（６１） 前記解析部は、複数の部分画像のそれぞれの部分画像情報が、１つのアダプテーションセット（AdaptationSet）に属する１つのリプレゼンテーション（Representation）に属する互いに異なるサブリプレゼンテーション（Sub-Representation）に格納され、前記複数の部分画像のそれぞれのビットストリームが、互いに異なるサブリプレゼンテーションに割り当てられた前記メタデータを解析する
（５６）乃至（６０）のいずれかに記載の情報処理装置。
（６２） 前記部分画像情報は、サブリプレゼンテーション（Sub-Representation）の下にビットストリームの情報が存在することを示す情報を含む
（６１）に記載の情報処理装置。
（６３） 前記複数の部分画像のそれぞれのビットストリームは、１つのMP4ファイルのそれぞれのTRACKに格納される
（６１）または（６２）に記載の情報処理装置。
（６４） 前記メタデータは、前記１つのMP4ファイルのデータの場所を示す情報を含む
（６３）に記載の情報処理装置。
（６５） 前記部分画像情報は、前記全体画像のサイズに関する情報をさらにを含む
（５６）乃至（６４）のいずれかに記載の情報処理装置。
（６６） 前記部分画像情報は、前記部分画像が属する、１画像として表示可能な部分画像のグループを識別するグループ識別情報をさらに含む
（５６）乃至（６５）のいずれかに記載の情報処理装置。
（６７） 前記ビットストリーム取得部により取得された前記ビットストリームを復号する復号部をさらに備える
（５６）乃至（６６）のいずれかに記載の情報処理装置。
（６８） 前記復号部により前記ビットストリームが復号されて得られた前記部分画像の画像データから全体画像の画像データを生成する画面合成処理部をさらに備える
（６７）に記載の情報処理装置。
（６９） 前記部分画像情報は、
前記全体画像を構成する前記部分画像の数を示す情報と、
前記部分画像の大きさが均等であるかを表す識別情報と、
前記部分画像の大きさが均等で無い場合、各部分画像の位置および大きさを示す情報と
を含む
（５６）乃至（６８）のいずれかに記載の情報処理装置。
（７０） 全体画像の一部である部分画像に関する情報である部分画像情報を含み、前記全体画像のビットストリームの提供および前記部分画像のビットストリームの提供に利用されるメタデータを解析し、前記部分画像情報を得て、
得られた前記部分画像情報を用いて、所望の部分画像のビットストリームを選択し、
選択されたビットストリームを取得する
情報処理方法。
１００ 配信システム， １０１ 配信データ生成装置， １０２ 配信サーバ， １０３ 端末装置， １０４ ネットワーク， １２１ 画面分割処理部， １２２ 画像符号化部， １２３ ファイル生成部， １２４ タイル型画像情報生成部， １２５ MPD生成部， １２６ サーバアップロード処理部， １３１乃至１３３ 符号化処理部， １４１ タイル型MPD生成部， １５１ MPD取得部， １５２ パース処理部， １５３ タイル画像選択部， １５４ ファイル取得部， １５５ 画像復号部， １５６ タイル画像合成部， １５７ 表示部， １６１乃至１６３ 復号処理部， １７１ タイル型画像情報処理部

Claims (16)

  1. 全体画像のビットストリームの提供および前記全体画像の一部である部分画像のビットストリームの提供に利用されるメタデータであって、１画像として表示可能な部分画像からなるグループを識別するグループ識別情報を含む部分画像に関する情報がアダプテーションセット以下の階層に格納されている、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）に基づいて、所望の部分画像のビットストリームを取得するビットストリーム取得部
    を備える情報処理装置。
  2. 前記部分画像は、１または複数のタイル画像により構成される
    請求項１に記載の情報処理装置。
  3. 前記タイル画像は、HEVC（High Efficiency Video Coding）におけるタイル（Tile）画像である
    請求項２に記載の情報処理装置。
  4. 前記部分画像に関する情報は、部分画像であるか否かを示す情報を含む
    請求項１に記載の情報処理装置。
  5. 前記部分画像に関する情報は、前記部分画像の前記全体画像内の位置を示す位置情報を含む
    請求項１に記載の情報処理装置。
  6. 前記位置情報は、前記部分画像の左上の位置を示す
    請求項５に記載の情報処理装置。
  7. 前記部分画像に関する情報は、前記全体画像のサイズに関する情報を含む
    請求項１に記載の情報処理装置。
  8. 前記部分画像に関する情報は、
    前記全体画像を構成する前記部分画像の数を示す情報と、
    前記部分画像の大きさが均等であるかを表す識別情報と、
    前記部分画像の大きさが均等で無い場合、各部分画像の位置および大きさを示す情報とを含む
    請求項１に記載の情報処理装置。
  9. 前記部分画像に関する情報は、前記アダプテーションセットのディスクリプタタイプエレメントであるビューポイントに格納されている
    請求項１に記載の情報処理装置。
  10. 複数の前記部分画像に関する情報は、前記MPDの互いに異なるアダプテーションセットに格納されている
    請求項１に記載の情報処理装置。
  11. 複数の前記部分画像に関する情報は、１つの前記アダプテーションセット以下の階層に格納されている
    請求項１に記載の情報処理装置。
  12. 複数の前記部分画像に関する情報は、前記MPDの１つのアダプテーションセットに属する１つのリプレゼンテーションに属する互いに異なるサブリプレゼンテーションに格納されている
    請求項１１に記載の情報処理装置。
  13. 前記部分画像に関する情報は、サブリプレゼンテーションの下にビットストリームの情報が存在することを示す情報を含む
    請求項１２に記載の情報処理装置。
  14. 複数の部分画像のそれぞれのビットストリームは、１つのMP4ファイルのそれぞれのTRACKに格納されている
    請求項１２に記載の情報処理装置。
  15. 前記MPDは、前記１つのMP4ファイルのデータの場所を示す情報を含む
    請求項１４に記載の情報処理装置。
  16. 情報処理装置が、全体画像のビットストリームの提供および前記全体画像の一部である部分画像のビットストリームの提供に利用されるメタデータであって、１画像として表示可能な部分画像からなるグループを識別するグループ識別情報を含む部分画像に関する情報がアダプテーションセット以下の階層に格納されている、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）に基づいて、所望の部分画像のビットストリームを取得する
    情報処理方法。
JP2019021599A 2013-07-19 2019-02-08 情報処理装置および方法 Expired - Fee Related JP6658931B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013150977 2013-07-19
JP2013150977 2013-07-19
JP2014002046 2014-01-08
JP2014002046 2014-01-08
JP2014058762 2014-03-20
JP2014058762 2014-03-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015527309A Division JP6493765B2 (ja) 2013-07-19 2014-07-16 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JP2019088023A JP2019088023A (ja) 2019-06-06
JP6658931B2 true JP6658931B2 (ja) 2020-03-04

Family

ID=52346223

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015527310A Pending JPWO2015008775A1 (ja) 2013-07-19 2014-07-16 情報処理装置および方法
JP2015527309A Expired - Fee Related JP6493765B2 (ja) 2013-07-19 2014-07-16 情報処理装置および方法
JP2019021599A Expired - Fee Related JP6658931B2 (ja) 2013-07-19 2019-02-08 情報処理装置および方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015527310A Pending JPWO2015008775A1 (ja) 2013-07-19 2014-07-16 情報処理装置および方法
JP2015527309A Expired - Fee Related JP6493765B2 (ja) 2013-07-19 2014-07-16 情報処理装置および方法

Country Status (12)

Country Link
US (3) US10306273B2 (ja)
EP (3) EP3461142B1 (ja)
JP (3) JPWO2015008775A1 (ja)
KR (1) KR102224332B1 (ja)
CN (3) CN105519130B (ja)
AU (2) AU2014291253B2 (ja)
CA (1) CA2916878A1 (ja)
MX (2) MX364810B (ja)
MY (1) MY182338A (ja)
RU (2) RU2671946C2 (ja)
SG (1) SG11201600223UA (ja)
WO (2) WO2015008774A1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015013685A1 (en) 2013-07-25 2015-01-29 Convida Wireless, Llc End-to-end m2m service layer sessions
US10721530B2 (en) 2013-07-29 2020-07-21 Koninklijke Kpn N.V. Providing tile video streams to a client
WO2015060165A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示処理装置、配信装置、および、メタデータ
KR20160105793A (ko) * 2014-01-07 2016-09-07 캐논 가부시끼가이샤 인터-계층 종속성을 인코딩하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
CA2952847A1 (en) * 2014-08-07 2016-02-11 Sonic Ip, Inc. Systems and methods for protecting elementary bitstreams incorporating independently encoded tiles
WO2016092759A1 (ja) 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
WO2016127374A1 (zh) * 2015-02-12 2016-08-18 华为技术有限公司 多媒体流业务呈现方法和相关装置及相关系统
EP3249873B1 (en) * 2015-02-15 2018-09-12 Huawei Technologies Co., Ltd. Media presentation guide method based on hyper text transport protocol media stream and related device
US10791364B2 (en) * 2015-02-27 2020-09-29 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10681107B2 (en) 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US20180242028A1 (en) * 2015-08-20 2018-08-23 Koninklijke Kpn N.V. Forming A Tiled Video On The Basis Of Media Streams
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
EP3742747B1 (en) * 2016-01-13 2024-02-14 Sony Group Corporation Information processing apparatus and information processing method
EP3405865A1 (en) * 2016-01-21 2018-11-28 Playgiga S.L. Modification of software behavior in run time
EP3422702B1 (en) 2016-02-22 2022-12-28 Sony Group Corporation File generation device, file generation method, reproduction device, and reproduction method
WO2017145757A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
US9992517B2 (en) * 2016-02-23 2018-06-05 Comcast Cable Communications, Llc Providing enhanced content based on user interactions
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
JP2017199994A (ja) * 2016-04-26 2017-11-02 日本放送協会 映像配信装置及び映像配信方法
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
EP3627844A1 (en) * 2016-05-13 2020-03-25 SONY Corporation File generation device, file generation method, reproducing device, and reproducing method
WO2017202899A1 (en) 2016-05-25 2017-11-30 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
US10841566B2 (en) * 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US10491963B1 (en) * 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
ES2883151T3 (es) 2016-10-12 2021-12-07 Koninklijke Kpn Nv Procesamiento de datos de vídeo esféricos sobre la base de una zona de interés
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
KR102130429B1 (ko) * 2016-11-07 2020-07-07 한화테크윈 주식회사 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
DE112017006610T5 (de) * 2016-12-27 2019-09-12 Sony Corporation Bildverarbeitungsvorrichtung und Verfahren
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
WO2018164911A1 (en) 2017-03-07 2018-09-13 Pcms Holdings, Inc. Tailored video streaming for multi-device presentations
US11363248B2 (en) 2017-03-17 2022-06-14 Lg Electronics Inc. Method and device for transmitting region information of 360-degree video
WO2018180511A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像生成装置および画像生成方法、並びに画像再生装置および画像再生方法
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
CN110546688B (zh) * 2017-05-30 2023-11-17 索尼公司 图像处理装置和方法、文件生成装置和方法及程序
WO2019002662A1 (en) 2017-06-26 2019-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
KR20200107945A (ko) 2018-01-12 2020-09-16 소니 주식회사 정보 처리 장치 및 방법
JP7246855B2 (ja) * 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019199024A1 (ko) * 2018-04-10 2019-10-17 엘지전자 주식회사 360 영상 데이터의 서브픽처 기반 처리 방법 및 그 장치
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
EP3858023A1 (en) 2018-09-27 2021-08-04 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
WO2021002338A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN112215743A (zh) * 2020-02-08 2021-01-12 朱明华 图像数据处理方法、装置及图像处理系统
CN113824958A (zh) * 2020-06-18 2021-12-21 中兴通讯股份有限公司 视频分块方法、传输方法、服务器、适配器和存储介质
US11276206B2 (en) 2020-06-25 2022-03-15 Facebook Technologies, Llc Augmented reality effect resource sharing
US11888913B2 (en) 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties
CN114998112A (zh) * 2022-04-22 2022-09-02 南通悦福软件有限公司 基于自适应频域滤波的图像去噪方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532332B2 (ja) * 1995-11-10 2004-05-31 パイオニア株式会社 画像情報再生装置
EP1202577B1 (fr) * 2000-10-10 2006-05-17 Koninklijke Philips Electronics N.V. Procédé de traîtement de données vidéo
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
JP4443181B2 (ja) * 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
JP5239423B2 (ja) * 2008-03-17 2013-07-17 株式会社リコー 情報処理装置，情報処理方法，プログラム，および記録媒体
JP4539754B2 (ja) * 2008-04-11 2010-09-08 ソニー株式会社 情報処理装置及び情報処理方法
JP2012505569A (ja) * 2008-10-07 2012-03-01 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 多視点メディアデータ
JP5222227B2 (ja) * 2009-05-22 2013-06-26 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5037574B2 (ja) * 2009-07-28 2012-09-26 株式会社ソニー・コンピュータエンタテインメント 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法
WO2011087449A1 (en) * 2010-01-18 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for http media stream distribution
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN102130936B (zh) * 2010-08-17 2013-10-09 华为技术有限公司 一种在动态http流传输方案中支持时移回看的方法和装置
KR101206698B1 (ko) 2010-10-06 2012-11-30 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
CN102136948B (zh) * 2011-03-15 2014-04-02 华为技术有限公司 用于统计用户体验的方法、终端设备和系统
WO2012125006A2 (ko) 2011-03-16 2012-09-20 한국전자통신연구원 레프리젠테이션을 사용하는 스트리밍 콘텐츠 제공 장치 및 방법
KR101781717B1 (ko) 2011-06-08 2017-10-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
KR101719998B1 (ko) 2011-12-12 2017-03-27 엘지전자 주식회사 미디어 컨텐트를 수신하는 장치 및 방법
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
CN110139130B (zh) * 2012-10-12 2022-09-20 佳能株式会社 流传输数据的方法、发送和接收视频数据的方法和设备
CA2897152C (en) * 2013-01-07 2019-03-05 Kemal Ugur Inter-layer video encoding and decoding with adaptive resolution change at indicated switching points
JP6968516B2 (ja) * 2013-01-18 2021-11-17 キヤノン株式会社 生成装置、生成方法、提供装置、提供方法、及び、プログラム
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014230055A (ja) 2013-05-22 2014-12-08 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
JP6419173B2 (ja) 2013-07-12 2018-11-07 キヤノン株式会社 プッシュメッセージ制御による適応型データストリーミング方法
ES2907602T3 (es) * 2014-12-31 2022-04-25 Nokia Technologies Oy Predicción entre capas para la codificación y decodificación de vídeo escalable

Also Published As

Publication number Publication date
EP3013065B1 (en) 2019-10-16
EP3013064A4 (en) 2016-11-16
JP6493765B2 (ja) 2019-04-03
US20160156943A1 (en) 2016-06-02
SG11201600223UA (en) 2016-02-26
CN105519130A (zh) 2016-04-20
MX2016000335A (es) 2016-05-05
AU2018241185A1 (en) 2018-11-01
MX364810B (es) 2019-05-07
EP3461142B1 (en) 2020-12-30
US20160156949A1 (en) 2016-06-02
RU2671946C2 (ru) 2018-11-08
CN105519130B (zh) 2019-03-08
AU2014291253B2 (en) 2018-07-05
US10306273B2 (en) 2019-05-28
MX2019004446A (es) 2019-07-15
CN110035300A (zh) 2019-07-19
CN105519131A (zh) 2016-04-20
CA2916878A1 (en) 2015-01-22
EP3013064B1 (en) 2019-03-13
JPWO2015008775A1 (ja) 2017-03-02
EP3013065A4 (en) 2016-11-16
AU2014291253A1 (en) 2016-02-11
AU2018241185B2 (en) 2019-08-08
EP3013064A1 (en) 2016-04-27
US10038922B2 (en) 2018-07-31
RU2018135725A (ru) 2018-11-21
EP3013065A1 (en) 2016-04-27
EP3461142A1 (en) 2019-03-27
US20190191194A1 (en) 2019-06-20
CN105519131B (zh) 2019-05-03
JPWO2015008774A1 (ja) 2017-03-02
RU2016100862A (ru) 2017-07-17
JP2019088023A (ja) 2019-06-06
WO2015008775A1 (ja) 2015-01-22
MY182338A (en) 2021-01-20
KR102224332B1 (ko) 2021-03-08
WO2015008774A1 (ja) 2015-01-22
KR20160034282A (ko) 2016-03-29

Similar Documents

Publication Publication Date Title
JP6658931B2 (ja) 情報処理装置および方法
JP6708271B2 (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6658931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees