JPWO2016002496A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JPWO2016002496A1
JPWO2016002496A1 JP2016531241A JP2016531241A JPWO2016002496A1 JP WO2016002496 A1 JPWO2016002496 A1 JP WO2016002496A1 JP 2016531241 A JP2016531241 A JP 2016531241A JP 2016531241 A JP2016531241 A JP 2016531241A JP WO2016002496 A1 JPWO2016002496 A1 JP WO2016002496A1
Authority
JP
Japan
Prior art keywords
information
base layer
file
enhancement layer
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531241A
Other languages
English (en)
Other versions
JP6642427B2 (ja
Inventor
平林 光浩
光浩 平林
央二 中神
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016002496A1 publication Critical patent/JPWO2016002496A1/ja
Priority to JP2019222799A priority Critical patent/JP6908098B2/ja
Application granted granted Critical
Publication of JP6642427B2 publication Critical patent/JP6642427B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、複複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにする情報処理装置および方法に関する。本技術の情報処理装置は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する。本技術は、例えば、情報処理装置、画像処理装置、画像符号化装置、または、画像復号装置等に適用することができる。

Description

本技術は、情報処理装置および方法に関し、特に、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにした情報処理装置および方法に関する。
近年、HTTP(HyperText Transfer Protocol)を利用したコンテンツ配信技術としてMPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)が標準化された(例えば、非特許文献1参照)。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS(Adaptive Bitrate Streaming)技術が採用されている。
ところで、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能(例えばCPU等の処理能力やディスプレイの大きさ等)や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
また、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化等が考えられた。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
しかしながら、従来のMPEG-DASH規格では、ビットレート(Bitrate)を切り替えるという概念しかなく、複数階層からなる画像の各階層の画像のタイル構造を利用し、任意の階層の任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。
本技術は、このような状況に鑑みて提案されたものであり、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにすることを目的とする。
本技術の一側面は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部を備える情報処理装置である。
前記ファイル生成部は、前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納することができる。
前記ファイル生成部は、前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納することができる。
前記ファイル生成部は、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納することができる。
前記ファイル生成部は、各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納することができる。
前記ファイル生成部は、各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納することができる。
前記ファイル生成部は、前記トラック毎に前記ファイルに生成することができる。
前記ファイル生成部は、レイヤ毎に前記ファイルを生成することができる。
前記ファイル生成部は、全てのトラックを格納するファイルを生成することができる。
本技術の一側面は、また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する情報処理方法である。
本技術の他の側面は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部を備える情報処理装置である。
前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むようにすることができる。
前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含むようにすることができる。
前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含むようにすることができる。
前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含むようにすることができる。
前記メタデータ生成部は、前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定することができる。
前記メタデータ生成部は、前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定することができる。
前記メタデータ生成部は、全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定することができる。
前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定することができる。
本技術の他の側面は、また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する情報処理方法である。
本技術の一側面においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルが生成される。
本技術の他の側面においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータが生成される。
本技術によれば、情報を処理することが出来る。また本技術によれば、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 MP4ファイルフォーマットの構成例を示す図である。 分割サイズの例を説明する図である。 拡張データの例を説明する図である。 階層切り替えの例を説明する図である。 階層切り替えの例を説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイル生成処理の流れの例を説明するフローチャートである。 MPDの主な構成例を示す図である。 MPDの主な構成例を示す図である。 MPD生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明する、図20に続くフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 MP4ファイル再生処理の流れの例を説明するフローチャートである。 MPD再生処理の流れの例を説明するフローチャートである。 MP4ファイルの他の構成例を示す図である。 MP4ファイルの他の構成例を示す図である。 MP4ファイル生成処理の流れの、他の例を説明するフローチャートである。 MPDの他の構成例を示す図である。 MPDの他の構成例を示す図である。 MPD生成処理の流れの他の例を説明するフローチャートである。 MPD生成処理の流れの他の例を説明する、図30に続くフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、他の例を説明するフローチャートである。 MPD再生処理の流れの、他の例を説明するフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、さらに他の例を説明するフローチャートである。 MPD再生処理の流れの、さらに他の例を説明するフローチャートである。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(タイル毎にファイル化する場合)
2.第2の実施の形態(タイル毎にレイヤ間参照する場合)
3.第3の実施の形態(レイヤ毎にファイル化する場合)
4.第4の実施の形態(全レイヤをファイル化する場合)
5.第5の実施の形態(配信システム)
6.第6の実施の形態(コンピュータ)
<1.第1の実施の形態>
<DASH>
従来、HTTP(HyperText Transfer Protocol)を利用したコンテンツ配信技術として、例えば非特許文献1に記載のように、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS(Adaptive Bitrate Streaming)技術が採用されている。
DASHによるコンテンツの伝送の手順を、図1を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD(Media Presentation Description)ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ(DASHセグメント)をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
MPDは、例えば図2に示されるような構成を有する。MPDの解析(パース)においては、クライアントは、MPD(図2のMedia Presentation)のピリオド(Period)に含まれるリプレゼンテーション(Representation)の属性から最適なものを選択する。
クライアントは、選択したリプレゼンテーション(Representation)の先頭のセグメント(Segment)を読んでイニシャライズセグメント(Initialization Segment)を取得し、処理する。続いて、クライアントは、後続のセグメント(Segment)を取得し、再生する。
なお、MPDにおける、ピリオド(Period)、リプレゼンテーション(Representation)、およびセグメント(Segment)の関係は、図3のようになる。つまり、1つのメディアコンテンツは、時間方向のデータ単位であるピリオド(Period)毎に管理することができ、各ピリオド(Period)は、時間方向のデータ単位であるセグメント(Segment)毎に管理することができる。また、各ピリオド(Period)について、ビットレート等の属性の異なる複数のリプレゼンテーション(Representation)を構成することができる。
したがって、このMPDのファイル(MPDファイルとも称する)は、ピリオド(Period)以下において、図4に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図5の例のようになる。図5の例から明らかなように、同一のセグメント(Segment)に対して複数のリプレゼンテーション(Representation)が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
<タイル構造>
このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能(例えばCPU等の処理能力やディスプレイの大きさ等)や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
このような部分画像の適応的な配信を行うために、タイル(Tile)という概念が用いられた。タイル(Tile)は、予め定められたレイアウト(大きさ、形状、数等)で全体画像を分割した部分領域である。以下において、1タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される(ファイルとして公開される)。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図6のAに示される例のように、各タイルの符号化データをそれぞれ1つのビットストリームとしてもよい。
図6のAの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに2分割された960x540サイズのタイル画像(4枚の部分画像)のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて1本のビットストリーム(bitstream1)とされ、1980x1080サイズの全体画像のデータも、符号化されて1本のビットストリーム(bitstream2)とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、1本のビットストリーム(bitstream3乃至bitstream6)とされている。
各ビットストリームにおいては、ビデオパラメータセット(VPS(Video Parameter Set))、シーケンスパラメータセット(SPS(Sequence Parameter Set))、SEI(Supplemental Enhancement Information)、ピクチャパラメータセット(PPS(Picture Parameter Set))等のヘッダ情報が付加され、画像データのビットストリームがスライス(Slice)毎に並べられている。
このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図6のAの例の場合、各タイル画像を、全体画像と同様に配信することができる。
ところで、例えばHEVC(High Efficiency Video Coding)等の符号化方式では、全体画像を分割するタイル(Tile)と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
このような符号化方式の機能を利用して、図6のBに示される例のように、複数のタイル画像の符号化データを、1本のビットストリーム(bitstream7)とすることもできる。つまり、この場合、上述した配信の為のタイル(Tile)を符号化方式がサポートするタイル(Tile)として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス(Slice)として並べられている。
<MP4ファイル>
上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図7に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック(Track)という単位で管理される。また、各タイルのヘッダ(Header)情報と、各トラックへの参照が記述されたベーストラック(Base Track)が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
また、図8に示される例のように、各タイルのビットストリームをまとめて1つのファイルとすることもできる。その際、図8のAのように、各タイルのデータをまとめて1つのトラックで管理することもできるし、図8のBのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図7の場合と同様に、各タイルのヘッダ(Header)情報と、各トラックへの参照が記述されたベーストラック(Base Track)が設けられる。
<MP4ファイルフォーマット>
次に、MP4ファイルフォーマットの概要について説明する。図9に示されるように、MPEG-DASHに準拠したMP4ファイル(MP4 file)は、ftyp、moov、およびmdatを含む。
図9に示されるように、HEVCの各サンプル(ピクチャ)のデータは、AVデータとして、mdatに格納される。
また、moovには、サンプル(例えばピクチャ)毎に管理情報がサンプルテーブルボックス(Sample Table Box(stbl))に格納される。
図9に示されるように、サンプルテーブルボックス(Sample Table Box)には、サンプルディスクリプションボックス(Sample Description Box)、タイムトゥーサンプルボックス(Time To Sample Box)、サンプルサイズボックス(Sample Size Box)、サンプルトゥーチャンクボックス(Sample to Chunk Box)、チャンクオフセットボックス(Chunk Offset Box)、およびサブサンプルインフォメーションボックス(Subsample Information Box)が設置されている。
サンプルディスクリプションボックスには、コーデックや画サイズ等に関する情報が格納される。例えば、符号化パラメータ等の情報は、このサンプルディスクリプションボックス内のHEVCサンプルエントリ(HEVC sample entry)に格納される。
タイムトゥーサンプルボックスには、サンプルの時刻に関する情報が格納される。サンプルサイズボックスには、サンプルのサイズに関する情報が格納される。サンプルトゥーチャンクボックスには、サンプルのデータの位置に関する情報が格納される。チャンクオフセットボックスには、データのオフセットに関する情報が格納される。サブサンプルインフォメーションボックスには、サブサンプルに関する情報が格納される。
<分割方法>
タイル(Tile)は、図10のAの例のように全体画像を均等に分割するものであってもよいし、図10のBの例のように全体画像を不均等に分割するものであってもよい。つまり、全体画像を構成する各タイル画像の画像サイズは互いに同一であってもよいし、異なっていてもよい。
<アプリケーション>
このようなタイル(Tile)構造を利用するアプリケーションとして、例えば、表示させる部分画像のサイズを制御するアプリケーションが考えられる。
図10のAに示される全体画像10はタイル化され、互いに同じ大きさの複数のタイル画像11に分割することができるとする。例えば、この画像をディスプレイのサイズが小さいモバイルデバイス21に表示させる場合、アプリケーションは、2x2の4枚のタイル画像からなる部分画像12を表示させる。また、例えば、この画像をディスプレイのサイズが大きなテレビジョン信号受像機(TV)22に表示させる場合、アプリケーションは、6x5の30枚のタイル画像からなる部分画像13を表示させる。このように、画像を表示する端末の性能等に応じて表示させる部分画像の画サイズを制御するアプリケーションが考えられる。
また、図10のBの例の場合、各タイル画像の画サイズは不均等である。アプリケーションは、タイル3(Tile3)の画像を表示させることにより、HD解像度の画像を表示させることができ、タイル2(Tile2)乃至タイル4(Tile4)の画像を表示させることにより、シネマ(Cinema)解像度の画像を表示させることができ、タイル1(Tile1)乃至タイル5(Tile5)の画像を表示させることにより、さらに大きな拡張サイズ(EXT)の画像を表示させることができる。このように、表示させる部分画像の画サイズを制御することにより、表示画像の解像度やアスペクト比を制御するアプリケーションが考えられる。
これらのようなアプリケーションに対して、表示させる部分画像の画サイズに応じて、上述したように配信する部分画像のサイズを適応的に制御する(配信するタイル画像の数を制御する)ことにより、表示されない不要な部分の画像を配信する必要がないので、サーバ、端末、伝送路等の負荷を適応的に制御することができ、不要な負荷の増大を抑制することができる。
<タイル画像の適応的な提供>
画像のタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行う場合、例えば、全体画像の一部である部分画像に関する情報である部分画像情報をMPDに含めるようにする。
なお、提供の対象となる部分画像は、全体画像の一部分であればどのようなものであってもよく、その形状や大きさ等は任意である。例えば、部分画像は、他の部分と独立して符号化することができる部分であればよい。以下においては、説明の便宜上、部分画像は、上述したタイル単位の画像であるものとする。つまり、部分画像は、1つまたは複数のタイル画像により構成されるものとする。
例えば、MPDのディスクリプタタイプエレメント(DescriptorType element)を活用して、タイル(Tile)用のディスクリプション(description)を、図11のAのように定義する。また、例えば、このエレメントが示す画像がどのような画像であるかを示すビュータイプ(viewtype)を、図11のBに示されるように定義する。
<複数レイヤにおけるタイル画像の適応的な提供>
ところで、画像の符号化・復号方式として、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化・階層復号方式がある。
画像配信等において、このような階層符号化・階層復号方式を適用する場合、複数レイヤの各レイヤにおいて、部分画像を適応的に提供することが求められるが、従来のMPEG-DASH規格では、このような複数レイヤにおける適応的な部分画像のデータの提供を行うことができなかった。
そこで、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するようにする。
また、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの符号化方式を示す符号化情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するようにしてもよい。
さらに、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納するようにしてもよい。
このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するようにする。
なお、ベースレイヤ全体の情報を格納する情報が、ベースレイヤの符号化方式を示す符号化情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤの部分領域の情報のみが含まれることを示す符号化情報を含み、エンハンスメントレイヤ全体の情報が、エンハンスメントレイヤの符号化方式を示す符号化情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤの部分領域の情報のみが含まれることを示す符号化情報を含むようにしてもよい。
また、ベースレイヤ全体の情報が、ベースレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤ全体の情報が、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含むようにしてもよい。
このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
<ユースケース>
以下においては、ベースレイヤとエンハンスメントレイヤとからなる2階層の画像データが、レイヤ間の予測を用いて階層符号化されて配信される場合を例に用いて本技術を説明する。もちろん、画像データの階層数は任意であり、3層以上であってもよい。また、ベースレイヤの画像は、エンハンスメントレイヤの画像と相関性が高く(解像度等の所定の画像パラメータ以外は基本的に同一の画像であり)、かつ、その解像度が、エンハンスメントレイヤの画像よりも低解像度であるものとする。
また、説明の便宜上、各レイヤの画像は、縦2個・横2個の合計4個のタイル(部分領域)に分割されるものとする。もちろん、各レイヤの画像のタイル分割数は任意である。
まず、このような階層符号化の用途の例について説明する。例えば、図12の例のように、低解像度(低画質)のベースレイヤ(BL)の画像を拡大表示する場合、一部のタイルが抽出されて元の画像サイズまで拡大することになる。この拡大率によっては、高解像度(高画質)のエンハンスメントレイヤ(EL)の画像の一部のタイルを抽出して表示させる方が、拡大率が少なくて済む場合がある。図12の例の場合、エンハンスメントレイヤの画像を用いることにより、拡大せずに済む。したがって、表示される画像の内容は略同一であるものの、エンハンスメントレイヤの画像を表示する方が、より高画質な画像を表示することができる。
つまり、このようなケースにおいて、配信する画像をベースレイヤからエンハンスメントレイヤに切り替えることができると、画質の低減を抑制することができる(より高画質な画像を提供することができる)。
従来のMPEG-DASHにおいても、低解像度のストリームと高解像度のストリームを用意し、状況に応じて配信するストリームを適宜切り替えるようにすることは可能である。
しかしならが、このようなデータ配信においては、画像再生を安定させるために、例えばストリーミング配信であっても、表示のタイミングよりも十分に早くデータを配信し、例えば数秒乃至数十秒分のデータを受信側がバッファに保持させるのが一般的である。
したがって、図13のAに示されるように、例えば時刻T1の画像において、上述したように配信するストリームの切り替え(ストリーム1からストリーム2への切り替え)が行われると、バッファに蓄積されたストリーム1の時刻T1乃至時刻T2のデータは、全て破棄される。そして、ストリーム2の時刻T2のデータから配信が開始される。
逆方向(ストリーム2からストリーム1へ)の切り替えの場合も同様である。例えば、時刻T3の画像において、配信するストリームがストリーム2からストリーム1に切り替えられると、バッファに蓄積されたストリーム2の時刻T3乃至時刻T4のデータは、全て破棄される。そして、ストリーム1の時刻T3のデータから配信が開始される。
つまり、配信するストリームを切り替える度に、バッファのデータが破棄されて無駄になってしまっていた。また、バッファのデータが0になるので、再生も不安定になるおそれがあった。
これに対して、階層符号化されたデータの場合、図13のBに示されるように、ベースレイヤのストリームは常に配信され、エンハンスメントレイヤの画像を表示する場合のみエンハンスメントレイヤのストリームが配信される。
したがって、表示する画像をベースレイヤからエンハンスメントレイヤに切り替える場合、バッファのデータを破棄する必要が無い。つまり、バッファに蓄積されたベースレイヤの符号化データは、その後も利用される。そして、エンハンスメントレイヤのストリームの配信が開始されるが、レイヤ間予測が行われているので、エンハンスメントレイヤのストリームは、図13のAの場合のストリーム2よりデータ量が少ない。つまり、バッファが0にならない。したがって、切り替えが行われた時刻T1後も、図13のAの場合よりも画像の表示を安定させることができる。
逆方向(エンハンスメントレイヤからベースレイヤへ)の切り替えの場合も同様である。例えば、時刻T3の画像において、表示する画像がエンハンスメントレイヤからベースレイヤに切り替えられると、バッファに蓄積されたエンハンスメントレイヤの時刻T3乃至時刻T4のデータは、全て破棄される。ただし、破棄されるデータ量は、図13のAのストリーム2を破棄する場合よりも少ない。また、ベースレイヤのデータは、時刻T3の前から配信されており、バッファは0にならない。したがって、切り替えが行われた時刻T3後も、図13のAの場合よりも画像の表示を安定させることができる。
複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することを実現することにより、例えば、このような効果を得ることができる。本技術では、配信用のフォーマット、例えば、MP4ファイルやMPD等においてこのような機能を実現する。
<ファイル生成装置>
次に、このようなMP4ファイルやMPDを生成する装置について説明する。図14は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図14において、ファイル生成装置100は、ベースレイヤの画像(BL画像)とエンハンスメントレイヤの画像(EL画像)を階層符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。
図3に示されるように、ファイル生成装置100は、ベースレイヤ符号化部101、エンハンスメントレイヤ符号化部102、MP4ファイル生成部103、およびMPD生成部104を有する。
ベースレイヤ符号化部101は、入力されたベースレイヤの画像(BL画像)を所定の符号化方式(例えばHEVC)で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部101は、生成したベースレイヤの符号化データ(HEVC)をMP4ファイル生成部103に供給する。また、ベースレイヤ符号化部101は、ベースレイヤの画像(例えば復号画像)を参照画像として、エンハンスメントレイヤ符号化部102に供給する。ベースレイヤ符号化部101は、また、符号化に関する情報である符号化情報をエンハンスメントレイヤ符号化部102に供給する。
エンハンスメントレイヤ符号化部102は、入力されたエンハンスメントレイヤの画像(EL画像)を所定の符号化方式(例えばSHVC)で符号化し、エンハンスメントレイヤの符号化データを生成する。その際、エンハンスメントレイヤ符号化部102は、ベースレイヤ符号化部101から供給される参照画像や符号化情報を用いてレイヤ間予測を行う。これにより符号化効率の低減を抑制することができる。エンハンスメントレイヤ符号化部102は、生成したエンハンスメントレイヤの符号化データ(SHVC)をMP4ファイル生成部103に供給する。
MP4ファイル生成部103は、ベースレイヤ符号化部101から供給されたベースレイヤの符号化データ(HEVC)と、エンハンスメントレイヤ符号化部102から供給されたエンハンスメントレイヤの符号化データ(SHVC)とを格納するファイル(MP4ファイル)を生成する。MP4ファイル生成部103は、ベースレイヤの符号化データ(HEVC)と、エンハンスメントレイヤの符号化データ(SHVC)とを、MP4ファイルの互いに異なるトラックに格納させる。MP4ファイル生成部103は、生成したMP4ファイルを出力する。また、MP4ファイル生成部103は、生成したMP4ファイルをMPD生成部104に供給する。
MPD生成部104は、MP4ファイル生成部103から供給されたMP4ファイルの配信を制御するMPDを生成する。MPD生成部104は、生成したMPDを出力する。
<MP4ファイル構成例>
ファイル生成装置100のMP4ファイル生成部103は、ベースレイヤの符号化データ(HEVC)とエンハンスメントレイヤの符号化データ(SHVC)とを格納するMP4ファイルとして、例えば、図15および図16に示されるような構成のMP4ファイルを生成する。
図15および図16に示されるように、MP4ファイル生成部103は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報のそれぞれを格納するトラックを生成する。また、この場合、MP4ファイル生成部103は、各トラックをそれぞれMP4ファイル化している。
つまり、MP4ファイル生成部103は、ベースレイヤについて、ベースレイヤ全体の情報を格納するトラック1(Track1)を格納するMP4ファイル(MP4ファイル)、ベースレイヤの画像のタイル1(tile1)の情報を格納するトラック2(Track2)を格納するMP4ファイル(MP4ファイル)、ベースレイヤの画像のタイル2(tile2)の情報を格納するトラック3(Track3)を格納するMP4ファイル(MP4ファイル)、ベースレイヤの画像のタイル3(tile3)の情報を格納するトラック4(Track4)を格納するMP4ファイル(MP4ファイル)、ベースレイヤの画像のタイル4(tile4)の情報を格納するトラック5(Track5)を格納するMP4ファイル(MP4ファイル)を生成する(図15)。
同様に、MP4ファイル生成部103は、エンハンスメントレイヤについて、エンハンスメントレイヤ全体の情報を格納するトラック6(Track6)を格納するMP4ファイル(MP4ファイル)、エンハンスメントレイヤの画像のタイル1(tile1)の情報を格納するトラック7(Track7)を格納するMP4ファイル(MP4ファイル)、エンハンスメントレイヤの画像のタイル2(tile2)の情報を格納するトラック8(Track8)を格納するMP4ファイル(MP4ファイル)、エンハンスメントレイヤの画像のタイル3(tile3)の情報を格納するトラック9(Track9)を格納するMP4ファイル(MP4ファイル)、エンハンスメントレイヤの画像のタイル4(tile4)の情報を格納するトラック10(Track10)を格納するMP4ファイル(MP4ファイル)を生成する(図16)。
ベースレイヤ全体の情報を格納するトラック1(Track1)には、ベースレイヤの各タイルへの参照情報であるエクストラクタのサンプル(EXT sample)が格納される。また、このトラック1のサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される(Sample Entry = 'hvc2')。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション(configuration)情報を格納するhvcCボックス(hvcC box)が設定されている。そして、このトラック1のトラック間の参照に関する情報であるトラックリファレンス(Track Reference)には、参照するサンプルを格納するトラックを示す情報と、その参照の種類を示す情報とを含むが設定されている(scal=2,3,4,5)。つまり、トラック1がトラック2乃至トラック5を参照し、その参照の種類が”scal”であることが示されている。
ベースレイヤの画像のタイルの情報を格納するトラック2(Track2)乃至トラック5(Track5)には、それぞれ、ベースレイヤの各タイルのサンプル(tile1 sample、tile2 sample、tile3 sample、またはtile4 sample)が格納される。また、トラック2乃至トラック5のサンプルエントリには、ベースレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される(Sample Entry = 'hvt1')。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション(configuration)情報を格納するhvtCボックス(hvtC box)が設定されている。そして、これらのトラックのトラックリファレンス(Track Reference)には、トラック1を参照し、その参照の種類が”tbas”であることが示されている(tbas=1)。また、これらのトラックには、タイルリージョングループエントリ(TileRegionGroupEntry)として、ベースレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置(オフセット)、当該タイルの垂直方向の位置(オフセット)、当該タイルの水平方向の大きさ(幅)、当該タイルの垂直方向の大きさ(高さ)等が設定されている。
エンハンスメントレイヤ全体の情報を格納するトラック6(Track6)には、エンハンスメントレイヤの各タイルへの参照情報であるエクストラクタのサンプル(EXT sample)が格納される。また、このトラック6のサンプルエントリには、エンハンスメントレイヤの符号化方式がSHVCであることを示す符号化情報が設定される(Sample Entry = 'lhv1')。また、このサンプルエントリには、SHVC符号化データのデコードに必要なコンフィギュレーション(configuration)情報を格納するhvcCボックス(hvcC box)が設定されている。
このトラック6のトラックリファレンス(Track Reference)には、トラック7乃至トラック10を参照し、その参照の種類が”scal”であること(scal=7,8,9,10)が示されている。このトラック6のトラックリファレンス(Track Reference)には、さらに、ベースレイヤ全体の情報を格納するトラック1を参照し、その参照の種類が”sbas”であることも示されている(sbas=1)。これにより、エンハンスメントレイヤのトラックからベースレイヤのトラックを参照することができる。
エンハンスメントレイヤの画像のタイルの情報を格納するトラック7(Track7)乃至トラック10(Track10)には、それぞれ、エンハンスメントレイヤの各タイルのサンプル(tile1 sample、tile2 sample、tile3 sample、またはtile4 sample)が格納される。
また、トラック7乃至トラック10のサンプルエントリには、エンハンスメントレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される(Sample Entry = 'lht1')。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション(configuration)情報を格納するlhtCボックス(lhtC box)が設定されている。このように、エンハンスメントレイヤのタイルを格納する各トラックの符号化情報をベースレイヤのタイルを格納する各トラックの符号化情報と異なるものとすることにより、これらのトラックがエンハンスメントレイヤのタイルを格納する情報であることを識別することができる。
そして、これらのトラックのトラックリファレンス(Track Reference)には、トラック6を参照し、その参照の種類が”tbas”であることが示されている(tbas=6)。つまり、エンハンスメントレイヤのタイルを格納するトラックは、ベースレイヤ全体の情報を格納するトラック1ではなく、エンハンスメントレイヤ全体の情報を格納するトラック6を参照することが示される。
また、これらのトラックには、タイルリージョングループエントリ(TileRegionGroupEntry)として、エンハンスメントレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置(オフセット)、当該タイルの垂直方向の位置(オフセット)、当該タイルの水平方向の大きさ(幅)、当該タイルの垂直方向の大きさ(高さ)等が設定されている。
MP4ファイル生成部103は、このような構成のMP4ファイルを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MP4ファイル生成処理の流れ>
図17のフローチャートを参照して、図14のファイル生成装置100により実行される、このようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。
MP4ファイル生成処理が開始されると、ベースレイヤ符号化部101は、ステップS101において、ベースレイヤ画像を符号化する。
ステップS102において、MP4ファイル生成部103は、ベースレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
ステップS103において、MP4ファイル生成部103は、ベースレイヤのエクストラクタのトラックにサンプルエントリを生成する。
ステップS104において、MP4ファイル生成部103は、ベースレイヤの各タイルのトラックを生成し、MP4ファイル化する。
ステップS105において、MP4ファイル生成部103は、ベースレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
ステップS106において、MP4ファイル生成部103は、ベースレイヤの各タイルのトラックに、サンプルエントリを生成する。
ステップS107において、MP4ファイル生成部103は、ベースレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
ステップS108において、MP4ファイル生成部103は、ベースレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
ステップS109において、エンハンスメントレイヤ符号化部102は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
ステップS110において、MP4ファイル生成部103は、エンハンスメントレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
ステップS111において、MP4ファイル生成部103は、エンハンスメントレイヤのエクストラクタのトラックにサンプルエントリを生成する。
ステップS112において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックを生成し、MP4ファイル化する。
ステップS113において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
ステップS114において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックに、サンプルエントリを生成する。
ステップS115において、MP4ファイル生成部103は、エンハンスメントレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
ステップS116において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
ステップS117において、MP4ファイル生成部103は、エンハンスメントレイヤのエクストラクタのトラックに、ベースレイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
ステップS118において、MP4ファイル生成部103は、以上のように生成した各MP4ファイルを出力する。
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置100は、図15や図16に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD構成例>
ファイル生成装置100のMPD生成部104は、MP4ファイル生成部103が上述したように生成したMP4ファイルから、例えば、図18および図19に示されるような構成のMPDを生成する。
図18および図19に示されるように、MPD生成部104は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報を含むメタデータを生成する。また、この場合、トラック毎にMP4ファイル化されているので、MPD生成部104は、MP4ファイル(トラック)毎に、アダプテーションセット(AdaptationSet)を設定し、それぞれのセグメント(Segment)にMP4ファイルを設定(登録)する。
つまり、MPD生成部104は、ベースレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーション(Representation)を設定し、その下位にセグメント(Segment)を設定し、そのセグメントに、ベースレイヤ全体の情報を格納するMP4ファイル(Bl_bs.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="hvc2">)。また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される(<id="bl_bs">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="bl_tile1,bl_tile2,bl_tile3,bl_tile4"associationType="scal">
同様に、MPD生成部104は、ベースレイヤの画像のタイル1(tile1)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル1の情報を格納するMP4ファイル(Bl_tile1.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="hvt1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル1の情報であることを示す識別情報が設定される(<id="bl_tile1">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="bl_bs "associationType="tbas">
同様に、MPD生成部104は、ベースレイヤの画像のタイル2(tile2)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル2の情報を格納するMP4ファイル(Bl_tile2.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="hvt1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル2の情報であることを示す識別情報が設定される(<id="bl_tile2">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
<associationid="bl_bs "associationType="tbas">
同様に、MPD生成部104は、ベースレイヤの画像のタイル3(tile3)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル3の情報を格納するMP4ファイル(Bl_tile3.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="hvt1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル3の情報であることを示す識別情報が設定される(<id="bl_tile3">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
<associationid="bl_bs "associationType="tbas">
同様に、MPD生成部104は、ベースレイヤの画像のタイル4(tile4)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル4の情報を格納するMP4ファイル(Bl_tile4.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="hvt1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル4の情報であることを示す識別情報が設定される(<id="bl_tile4">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
<associationid="bl_bs "associationType="tbas">
以上の構成を図18に示す。
また、MPD生成部104は、エンハンスメントレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤ全体の情報を格納するMP4ファイル(El_bs.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs="lhv1">)。また、MPD生成部104は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される(<id="el_bs">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="bl_bs "associationType="sbas">
<associationid="el_tile1,el_tile2,el_tile3,el_tile4"associationType="scal">
これにより、エンハンスメントレイヤのアダプテーションセットからベースレイヤのアダプテーションセットを参照することができる。
同様に、MPD生成部104は、エンハンスメントレイヤの画像のタイル1(tile1)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル1の情報を格納するMP4ファイル(el_tile1.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs=lht1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,3840,2160">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル1の情報であることを示す識別情報が設定される(<id="el_tile1">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="el_bs "associationType="tbas">
同様に、MPD生成部104は、エンハンスメントレイヤの画像のタイル2(tile2)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル2の情報を格納するMP4ファイル(el_tile2.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs=lht1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,0,1920,1080,3840,2160">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル2の情報であることを示す識別情報が設定される(<id="el_tile2">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="el_bs "associationType="tbas">
同様に、MPD生成部104は、エンハンスメントレイヤの画像のタイル3(tile3)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル3の情報を格納するMP4ファイル(el_tile3.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs=lht1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,1080,1920,1080,3840,2160">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル3の情報であることを示す識別情報が設定される(<id="el_tile3">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="el_bs "associationType="tbas">
同様に、MPD生成部104は、エンハンスメントレイヤの画像のタイル4(tile4)の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル4の情報を格納するMP4ファイル(el_tile4.mp4)を登録する。
MPD生成部104は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する(<codecs=lht1">)。また、MPD生成部104は、このアダプテーションセットに、エッセンシャルプロパティ(EssentialProperty)を設定し、そのエレメントとしてタイル用のスキーマ(schemeIdUri="urn:mpeg:dash:srd:2013")を設定し、そのバリュー(value)として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,1080,1920,1080,3840,2160">
また、MPD生成部104は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル4の情報であることを示す識別情報が設定される(<id="el_tile2">)。さらに、MPD生成部104は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
<associationid="el_bs "associationType="tbas">
以上の構成を図18に示す。
このように、エンハンスメントレイヤの各タイルのアダプテーションセットの符号化情報をベースレイヤの各タイルのアダプテーションセットの符号化情報と異なるものとすることにより、これらがエンハンスメントレイヤのタイルのアダプテーションセットであることを識別することができる。
また、これらのアダプテーションセットに属するリプレゼンテーションのアソシエーション情報には、"el_bs"を参照し、その参照の種類が"tbas"であることが示されている。つまり、エンハンスメントレイヤの各タイルのアダプテーションセットから、ベースレイヤ全体の情報のアダプテーションセット(bl_bs)ではなく、エンハンスメントレイヤ全体の情報のアダプテーションセット(el_bs)を参照することができる。
MPD生成部104は、このような構成のMPDを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD生成処理の流れ>
図20および図21のフローチャートを参照して、図14のファイル生成装置100により実行される、このようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。
MPD生成処理が開始されると、ベースレイヤ符号化部101は、図20のステップS121において、ベースレイヤ画像を符号化する。
ステップS122において、エンハンスメントレイヤ符号化部102は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
ステップS123において、MP4ファイル生成部103は、ベースレイヤの符号化データおよびエンハンスメントレイヤの符号化データを格納するMP4ファイルを生成する。この処理は、図17のフローチャートを参照して説明したMP4ファイル生成処理と同様であるので、その説明を省略する。
ステップS124において、MPD生成部104は、ベースレイヤのエクストラクタのアダプテーションセットを生成する。
ステップS125において、MPD生成部104は、ベースレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
ステップS126において、MPD生成部104は、ベースレイヤのエクストラクタのリプレゼンテーションを生成する。
ステップS127において、MPD生成部104は、ベースレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
ステップS128において、MPD生成部104は、ベースレイヤのエクストラクタのリプレゼンテーションにベースレイヤの各タイルとの関連情報(アソシエーション情報)を設定する。
ステップS129において、MPD生成部104は、ベースレイヤのエクストラクタのセグメントを生成する。
ステップS130において、MPD生成部104は、ベースレイヤの各タイルのアダプテーションセットを生成する。
ステップS131において、MPD生成部104は、ベースレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
ステップS132において、MPD生成部104は、ベースレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
ステップS133において、MPD生成部104は、ベースレイヤの各タイルのリプレゼンテーションを生成する。
ステップS134において、MPD生成部104は、ベースレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
ステップS135において、MPD生成部104は、ベースレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報(アソシエーション情報)を設定する。
ステップS136において、MPD生成部104は、ベースレイヤの各タイルのセグメントを生成する。
図21のステップS141において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのアダプテーションセットを生成する。
ステップS142において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
ステップS143において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのアダプテーションセットにベースレイヤのエクストラクタとの関連情報(アソシエーション情報)を設定する。
ステップS144において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションを生成する。
ステップS145において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
ステップS146において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションにエンハンスメントレイヤの各タイルとの関連情報(アソシエーション情報)と、ベースレイヤのエクストラクタとの関連情報(アソシエーション情報)とを設定する。
ステップS147において、MPD生成部104は、エンハンスメントレイヤのエクストラクタのセグメントを生成する。
ステップS148において、MPD生成部104は、エンハンスメントレイヤの各タイルのアダプテーションセットを生成する。
ステップS149において、MPD生成部104は、エンハンスメントレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
ステップS150において、MPD生成部104は、エンハンスメントレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
ステップS151において、MPD生成部104は、エンハンスメントレイヤの各タイルのリプレゼンテーションを生成する。
ステップS152において、MPD生成部104は、エンハンスメントレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
ステップS153において、MPD生成部104は、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報(アソシエーション情報)を設定する。
ステップS154において、MPD生成部104は、エンハンスメントレイヤの各タイルのセグメントを生成する。
ステップS155において、MPD生成部104は、以上のように生成したMPDを出力する。
以上のようにMPD生成処理を実行することにより、ファイル生成装置100は、図18や図19に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<ファイル再生装置>
次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図22は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図22において、ファイル再生装置200は、図14のファイル生成装置100により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤおよびエンハンスメントレイヤのいずれか一方または両方の復号画像を生成し、出力する装置である。
図22に示されるように、ファイル再生装置200は、MPD解析部201、MP4ファイル再生部202、ベースレイヤ復号部203、およびエンハンスメントレイヤ復号部204を有する。
<MP4ファイル再生処理の流れ>
図22のファイル再生装置200は、MP4ファイル再生処理を実行することにより、入力されるMP4ファイルを再生し、任意のレイヤの復号画像を生成する。図23のフローチャートを参照して、このMP4ファイル再生処理の流れの例を説明する。
MP4ファイル再生処理が開始されると、MP4ファイル再生部202は、ステップS171において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS172に進む。
ステップS172において、MP4ファイル再生部202は、ベースレイヤのエクストラクタのMP4ファイルを取得する。
ステップS173において、MP4ファイル再生部202は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
ステップS174において、MP4ファイル再生部202は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
ステップS175において、ベースレイヤ復号部203は、符号化データを復号し、ベースレイヤの復号画像(BL画像)を生成する。
ステップS176において、ベースレイヤ復号部203は、ベースレイヤの復号画像(BL画像)を出力する。ステップS176の処理が終了すると、処理はステップS189に進む。
また、ステップS171において、エンハンスメントレイヤを復号すると判定された場合、処理はステップS178に進む。
ステップS178において、MP4ファイル再生部202は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップS179に進む。
ステップS179乃至ステップS183の各処理は、ステップS172乃至ステップS176の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像(BL画像)が出力されると、処理はステップS184に進む。また、ステップS178においてベースレイヤの画像が取得済みであると判定された場合、処理はステップS184に進む。
ステップS184において、MP4ファイル再生部202は、エンハンスメントレイヤのエクストラクタのMP4ファイルを取得する。
ステップS185において、MP4ファイル再生部202は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
ステップS186において、MP4ファイル再生部202は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
ステップS187において、エンハンスメントレイヤ復号部204は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像(EL画像)を生成する。
ステップS188において、エンハンスメントレイヤ復号部204は、エンハンスメントレイヤの復号画像(EL画像)を出力する。ステップS188の処理が終了すると、処理はステップS189に進む。
ステップS189において、MP4ファイル再生部202は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS171に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS171乃至ステップS189の各処理が適宜実行され、ステップS189において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置200は、図15や図16に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD再生処理の流れ>
図22のファイル再生装置200は、MPD再生処理を実行することにより、入力されるMPDを再生し、任意のレイヤの復号画像を生成する。図24のフローチャートを参照して、このMPD再生処理の流れの例を説明する。
MPD再生処理が開始されると、MPD解析部201は、ステップS201において、MPDを取得する。
ステップS202において、MPD解析部201は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS203に進む。
ステップS203において、MPD解析部201は、ベースレイヤの再生するタイルのアダプテーションセットを特定する。
ステップS204において、MPD解析部201は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部202に取得させる。
ステップS205において、MP4ファイル再生部202およびベースレイヤ復号部203は、取得したMP4ファイルを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図23のステップS172乃至ステップS176の各処理が実行される。ステップS205の処理が終了すると処理はステップS211に進む。
また、ステップS202において、エンハンスメントレイヤを再生すると判定された場合、処理はステップS206に進む。
ステップS206およびステップS207の各処理は、ステップS203およびステップS204の各処理と同様に実行される。
ステップS208において、MPD解析部201は、エンハンスメントレイヤの再生するタイルのアダプテーションセットを特定する。
ステップS209において、MPD解析部201は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部202に取得させる。
ステップS210において、MP4ファイル再生部202乃至エンハンスメントレイヤ復号部204は、取得したMP4ファイルを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図23のステップS178乃至ステップS188の各処理が実行される。ステップS210の処理が終了すると処理はステップS211に進む。
ステップS211において、MPD解析部201は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS202に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS202乃至ステップS211の各処理が適宜実行され、ステップS211において再生を終了すると判定された場合、MPD再生処理が終了する。
以上のようにMPD再生処理を実行することにより、ファイル再生装置200は、図18や図19に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<2.第2の実施の形態>
<ベースレイヤの参照>
エンハンスメントレイヤの各タイルからベースレイヤの各タイルを参照することができるようにしてもよい。図25および図26にMP4ファイルの他の構成例を示す。
この場合、図15および図16に示される構成に加え、エンハンスメントレイヤの各タイルのトラックにベースレイヤを参照するトラックリファレンスが追加されている。
例えば、図26のトラック7のトラックリファレンス(Track Reference)に、トラック2を参照し、その参照の種類が"sbas"であることが示され(sbas=2)、トラック8のトラックリファレンス(Track Reference)に、トラック3を参照し、その参照の種類が"sbas"であることが示され(sbas=3)、トラック9のトラックリファレンス(Track Reference)に、トラック4を参照し、その参照の種類が"sbas"であることが示され(sbas=4)、トラック10のトラックリファレンス(Track Reference)に、トラック5を参照し、その参照の種類が"sbas"であることが示されている(sbas=5)。
したがって、この場合、エンハンスメントレイヤのタイルを格納する各トラックから、ベースレイヤの対応するタイルのトラックを参照することができる。
<MP4ファイル生成処理の流れ>
図27のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
図27のステップS221乃至ステップS236の各処理は、図17のステップS101乃至ステップS116の各処理と同様に実行される。
ステップS237において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックに、ベースレイヤの対応するタイルのトラックを示すトラックリファレンスを生成する。
図27のステップS238およびステップS239の各処理は、図17のステップS117およびステップS118の各処理と同様に実行される。
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置100は、図25や図26に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD構成例>
ファイル生成装置100のMPD生成部104は、MP4ファイル生成部103が上述したように生成したMP4ファイルから、例えば、図28および図29に示されるような構成のMPDを生成する。
この場合、図18および図19に示される構成に加え、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤを参照するアソシエーション情報が追加されている。
例えば、図29のエンハンスメントレイヤのタイル1のリプレゼンテーションに、ベースレイヤのタイル1のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
<associationid="bl_tile1" associationType="sbas">
同様に、エンハンスメントレイヤのタイル2のリプレゼンテーションに、ベースレイヤのタイル2のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
<associationid="bl_tile2" associationType="sbas">
同様に、エンハンスメントレイヤのタイル3のリプレゼンテーションに、ベースレイヤのタイル3のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
<associationid="bl_tile3" associationType="sbas">
同様に、エンハンスメントレイヤのタイル4のリプレゼンテーションに、ベースレイヤのタイル4のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
<associationid="bl_tile4" associationType="sbas">
したがって、この場合、エンハンスメントレイヤのタイルのアダプテーションセットから、ベースレイヤの対応するタイルのアダプテーションセットを参照することができる。
<MPD生成処理の流れ>
図30および図31のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
図30のステップS251乃至ステップS266の各処理は、図20のステップS121乃至ステップS136の各処理と同様に実行される。
また、図31のステップS271乃至ステップS282の各処理は、図21のステップS141乃至ステップS152の各処理と同様に実行される。
図31のステップS283において、MPD生成部104は、エンハンスメントレイヤの各タイルのリプレゼンテーションに、ベースレイヤの対応するタイルとの関連情報(アソシエーション情報)を設定する。
図31のステップS284乃至ステップS286の各処理は、図21のステップS153乃至ステップS155の各処理と同様に実行される。
以上のようにMPD生成処理を実行することにより、ファイル生成装置100は、図28や図29に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
なお、MP4ファイル再生処理やMPD再生処理は、第1の実施の形態の場合と同様に行うことができるので、その説明は省略する。
<3.第3の実施の形態>
<レイヤ毎のファイル化>
図32および図33にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えばレイヤ毎にファイル化するようにしてもよい。図32の例の場合、ベースレイヤの情報を格納する各トラック(トラック1乃至トラック5)が1つのMP4ファイルに格納されている。また、図33の例の場合、エンハンスメントレイヤの情報を格納する各トラック(トラック6乃至トラック10)が1つのMP4ファイルに格納されている。各トラックの内部の構成は、第2の実施の形態の場合(図25、図26)と同様である。もちろん、この各トラックの内部の構成を、第1の実施の形態の場合(図15、図16)と同様にしてもよい。
<MP4ファイル生成処理の流れ>
図34のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
ステップS301の処理は、図27のステップS221の処理と同様に実行される。
ステップS302において、MP4ファイル生成部103は、ベースレイヤのエクストラクタのトラックを生成する。
ステップS303の処理は、図27のステップS223の処理と同様に実行される。
ステップS304において、MP4ファイル生成部103は、ベースレイヤの各タイルのトラックを生成する。
ステップS305乃至ステップS308の各処理は、図27のステップS225乃至ステップS228の各処理と同様に実行される。
ステップS309において、MP4ファイル生成部103は、ベースレイヤの各トラックをまとめてファイル化する。つまり、ベースレイヤの各トラックを1つのファイルに格納する。
ステップS310の処理は、図27のステップS229の処理と同様に実行される。
ステップS311において、MP4ファイル生成部103は、エンハンスメントレイヤのエクストラクタのトラックを生成する。
ステップS312の処理は、図27のステップS231の処理と同様に実行される。
ステップS313において、MP4ファイル生成部103は、エンハンスメントレイヤの各タイルのトラックを生成する。
ステップS314乃至ステップS319の各処理は、図27のステップS233乃至ステップS238の各処理と同様に実行される。
ステップS320において、MP4ファイル生成部103は、エンハンスメントレイヤの各トラックをまとめてファイル化する。つまり、エンハンスメントレイヤの各トラックを1つのファイルに格納する。
ステップS321の処理は、図27のステップS239の処理と同様に実行される。
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置100は、図32や図33に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD構成例>
ファイル生成装置100のMPD生成部104は、MP4ファイル生成部103が上述したように生成したMP4ファイルから、例えば、図35および図36に示されるような構成のMPDを生成する。
この場合、MP4ファイルは、レイヤ毎にファイル化されているので、MPDにおいても、アダプテーションセットは、レイヤ毎に作成される。
図35に示されるように、ベースレイヤのアダプテーションセットには、その下位に、ベースレイヤ全体の情報を含むリプレゼンテーションが生成され、その下位のセグメントにベースレイヤのMP4ファイル(bl.mp4)が設定(登録)される。各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
図36に示されるように、エンハンスメントレイヤの構成も、図35と同様である。
<MPD生成処理の流れ>
図37のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
ステップS341乃至ステップS343の各処理は、図30のステップS251乃至ステップS253の各処理と同様に実行される。
ステップS344において、MPD生成部104は、ベースレイヤのアダプテーションセットを生成する。
ステップS345において、MPD生成部104は、ベースレイヤのリプレゼンテーションを生成する。
ステップS346において、MPD生成部104は、ベースレイヤのセグメントを生成する。
ステップS347において、MPD生成部104は、ベースレイヤの各タイルのサブリプレゼンテーションを生成する。
ステップS348において、MPD生成部104は、ベースレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
ステップS349において、MPD生成部104は、ベースレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
ステップS350において、MPD生成部104は、ベースレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
ステップS351において、MPD生成部104は、エンハンスメントレイヤのアダプテーションセットを生成する。
ステップS352において、MPD生成部104は、エンハンスメントレイヤのリプレゼンテーションを生成する。
ステップS353において、MPD生成部104は、エンハンスメントレイヤのセグメントを生成する。
ステップS354において、MPD生成部104は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションを生成する。
ステップS355において、MPD生成部104は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
ステップS356において、MPD生成部104は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
ステップS357において、MPD生成部104は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
ステップS358において、MPD生成部104は、以上のように生成したMPDを出力する。
以上のようにMPD生成処理を実行することにより、ファイル生成装置100は、図35や図36に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MP4ファイル再生処理の流れ>
次に、図38のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
MP4ファイル再生処理が開始されると、MP4ファイル再生部202は、ステップS371において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS372に進む。
ステップS372において、MP4ファイル再生部202は、ベースレイヤのMP4ファイルを取得する。
ステップS373において、MP4ファイル再生部202は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを特定する。
ステップS374において、MP4ファイル再生部202は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
ステップS375において、ベースレイヤ復号部203は、符号化データを復号し、ベースレイヤの復号画像(BL画像)を生成する。
ステップS376において、ベースレイヤ復号部203は、ベースレイヤの復号画像(BL画像)を出力する。ステップS376の処理が終了すると、処理はステップS388に進む。
また、ステップS371において、エンハンスメントレイヤを復号すると判定された場合、処理はステップS377に進む。
ステップS377において、MP4ファイル再生部202は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップS378に進む。
ステップS378乃至ステップS382の各処理は、ステップS372乃至ステップS376の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像(BL画像)が出力されると、処理はステップS383に進む。また、ステップS377においてベースレイヤの画像が取得済みであると判定された場合、処理はステップS383に進む。
ステップS383において、MP4ファイル再生部202は、エンハンスメントレイヤのMP4ファイルを取得する。
ステップS384において、MP4ファイル再生部202は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを取得する。
ステップS385において、MP4ファイル再生部202は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
ステップS386において、エンハンスメントレイヤ復号部204は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像(EL画像)を生成する。
ステップS387において、エンハンスメントレイヤ復号部204は、エンハンスメントレイヤの復号画像(EL画像)を出力する。ステップS387の処理が終了すると、処理はステップS388に進む。
ステップS388において、MP4ファイル再生部202は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS371に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS371乃至ステップS388の各処理が適宜実行され、ステップS388において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置200は、図32や図33に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD再生処理の流れ>
図39のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
MPD再生処理が開始されると、MPD解析部201は、ステップS401において、MPDを取得する。
ステップS402において、MPD解析部201は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS403に進む。
ステップS403において、MPD解析部201は、ベースレイヤのアダプテーションセットを特定する。
ステップS404において、MPD解析部201は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部202に取得させる。
ステップS405において、MPD解析部201は、再生するタイルのサブリプレゼンテーションを特定する。
ステップS406において、MP4ファイル再生部202およびベースレイヤ復号部203は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図38のステップS372乃至ステップS376の各処理が実行される。ステップS406の処理が終了すると処理はステップS414に進む。
また、ステップS402において、エンハンスメントレイヤを再生すると判定された場合、処理はステップS407に進む。
ステップS407乃至ステップS409の各処理は、ステップS403およびステップS405の各処理と同様に実行される。
ステップS410において、MPD解析部201は、エンハンスメントレイヤのアダプテーションセットを特定する。
ステップS411において、MPD解析部201は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部202に取得させる。
ステップS412において、MPD解析部201は、再生するタイルのサブリプレゼンテーションを特定する。
ステップS413において、MP4ファイル再生部202乃至エンハンスメントレイヤ復号部204は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図38のステップS377乃至ステップS387の各処理が実行される。ステップS413の処理が終了すると処理はステップS414に進む。
ステップS414において、MPD解析部201は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS402に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS402乃至ステップS414の各処理が適宜実行され、ステップS414において再生を終了すると判定された場合、MPD再生処理が終了する。
以上のようにMPD再生処理を実行することにより、ファイル再生装置200は、図35や図36に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<4.第4の実施の形態>
<全レイヤのファイル化>
図40および図41にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えば全レイヤを1つのファイルにファイル化するようにしてもよい。各トラックの内部の構成は、第2の実施の形態の場合(図25、図26)と同様である。もちろん、この各トラックの内部の構成を、第1の実施の形態の場合(図15、図16)と同様にしてもよい。
<MP4ファイル生成処理の流れ>
図42のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
ステップS431乃至ステップS448の各処理は、図34のステップS301乃至ステップS308並びにステップS310乃至319の各処理と同様に実行される。
ステップS449において、MP4ファイル生成部103は、全レイヤの各タイル(各トラック)をまとめてファイル化する(全トラックを含む1つのMP4ファイルを生成する)。
ステップS450において、MP4ファイル生成部103は、生成したMP4ファイルを出力する。
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置100は、図40や図41に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD構成例>
ファイル生成装置100のMPD生成部104は、MP4ファイル生成部103が上述したように生成したMP4ファイルから、例えば、図43および図44に示されるような構成のMPDを生成する。
図43および図44に示されるように、この場合、アダプテーションセットは、1つのみ作成される(全レイヤ共通のアダプテーションセットが作成される)。
その下位に、全レイヤの情報を含むリプレゼンテーションが生成され、その下位のセグメントに全レイヤのMP4ファイル(blel.mp4)が設定(登録)される。各レイヤの各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
<MPD生成処理の流れ>
図45のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
ステップS471乃至ステップS473の各処理は、図30のステップS251乃至ステップS253の各処理と同様に実行される。
ステップS474において、MPD生成部104は、全レイヤ共通のアダプテーションセットを生成する。
ステップS475において、MPD生成部104は、全レイヤ共通のリプレゼンテーションを生成する。
ステップS476において、MPD生成部104は、全レイヤ共通のセグメントを生成する。
ステップS477において、MPD生成部104は、各レイヤの各タイルのサブリプレゼンテーションを生成する。
ステップS478において、MPD生成部104は、各レイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
ステップS479において、MPD生成部104は、各レイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
ステップS480において、MPD生成部104は、各レイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
ステップS481において、MPD生成部104は、以上のように生成したMPDを出力する。
以上のようにMPD生成処理を実行することにより、ファイル生成装置100は、図43や図44に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MP4ファイル再生処理の流れ>
次に、図46のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
MP4ファイル再生処理が開始されると、MP4ファイル再生部202は、ステップS501において、MP4ファイルを取得する。
ステップS502において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS503に進む。
ステップS503において、MP4ファイル再生部202は、ベースレイヤ全体の情報のトラックのトラックリファレンスに基づいて、ベースレイヤの再生するタイルのトラックを特定する。
ステップS504乃至ステップS506の各処理は、図38のステップS374乃至ステップS376の各処理と同様に実行される。
ステップS506の処理が終了すると、処理はステップS516に進む。
また、ステップS502において、エンハンスメントレイヤを復号すると判定された場合、処理はステップS507に進む。
ステップS507において、MP4ファイル再生部202は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップS508に進む。
ステップS508乃至ステップS511の各処理は、ステップS503乃至ステップS506の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像(BL画像)が出力されると、処理はステップS512に進む。また、ステップS507においてベースレイヤの画像が取得済みであると判定された場合、処理はステップS512に進む。
ステップS512において、MP4ファイル再生部202は、エンハンスメントレイヤ全体の情報のトラックのトラックリファレンスに基づいて、エンハンスメントレイヤの再生するタイルのトラックを取得する。
ステップS513乃至ステップS515の各処理は、図38のステップS385乃至ステップS387の各処理と同様に実行される。ステップS515の処理が終了すると、処理はステップS516に進む。
ステップS516において、MP4ファイル再生部202は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS501に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS501乃至ステップS516の各処理が適宜実行され、ステップS516において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置200は、図40や図41に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<MPD再生処理の流れ>
図47のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
MPD再生処理が開始されると、MPD解析部201は、ステップS531において、MPDを取得する。
ステップS532において、MPD解析部201は、取得したMPDの全レイヤ共通のアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部202に取得させる。
ステップS533において、MPD解析部201は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップS534に進む。
ステップS534において、MPD解析部201は、再生するタイルのサブリプレゼンテーションを特定する。
ステップS535において、MP4ファイル再生部202およびベースレイヤ復号部203は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図46のステップS503乃至ステップS506の各処理が実行される。ステップS535の処理が終了すると処理はステップS538に進む。
また、ステップS533において、エンハンスメントレイヤを再生すると判定された場合、処理はステップS536に進む。
ステップS536において、MPD解析部201は、再生するタイルのサブリプレゼンテーションを特定する。
ステップS537において、MP4ファイル再生部202乃至エンハンスメントレイヤ復号部204は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図46のステップS507乃至ステップS515の各処理が実行される。ステップS537の処理が終了すると処理はステップS538に進む。
ステップS538において、MPD解析部201は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップS531に戻り、それ以降の処理が繰り返される。
各サンプルについてステップS531乃至ステップS538の各処理が適宜実行され、ステップS538において再生を終了すると判定された場合、MPD再生処理が終了する。
以上のようにMPD再生処理を実行することにより、ファイル再生装置200は、図43や図44に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像(例えばタイル)を適応的に提供することができるようになる。
<5.第5の実施の形態>
<配信システム>
各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
図48は、本技術を適用した配信システムの主な構成例を示す図である。図48に示される配信システム300は、静止画像および動画像を配信するシステムである。図48に示されるように、配信システム300は、配信データ生成装置301、配信サーバ302、ネットワーク303、端末装置304、および端末装置305を有する。
配信データ生成装置301は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置301は、生成した配信データを配信サーバ302に供給する。配信サーバ302は、配信データ生成装置301が生成した配信データを記憶部などに記憶して管理し、ネットワーク303を介して端末装置304や端末装置305に対して、その配信データの配信サービスを提供する。
ネットワーク303は、通信媒体となる通信網である。ネットワーク303は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN(Local Area Network)、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク303は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク303は、その一部若しくは全部が、例えばUSB(Universal Serial Bus)ケーブルやHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
配信サーバ302、端末装置304、および端末装置305は、このネットワーク303に接続されており、互いに通信可能な状態になされている。これらのネットワーク303への接続方法は任意である。例えば、これらの装置が、ネットワーク303に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置(通信設備)を介してネットワーク303に接続されるようにしてもよい。
端末装置304および端末装置305は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置304や端末装置305は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ302に対して要求する。
配信サーバ302は、要求された配信データを要求元に送信する。配信を要求した端末装置304若しくは端末装置305は、その配信データを受信し、再生する。
このような配信システム300において、配信データ生成装置301として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置100を、配信データ生成装置301として用いるようにする。
また、端末装置304や端末装置305として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置200を、端末装置304や端末装置305として用いるようにする。
このようにすることにより、配信データ生成装置301、端末装置304、および端末装置305は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム300は、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができ、例えば、第1の実施の形態において説明したユースケースのようなレイヤの切り替えを実現することができる。
<6.第6の実施の形態>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図49は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図49に示されるコンピュータ400において、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403は、バス404を介して相互に接続されている。
バス404にはまた、入出力インタフェース410も接続されている。入出力インタフェース410には、入力部411、出力部412、記憶部413、通信部414、およびドライブ415が接続されている。
入力部411は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部412は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部413は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部414は、例えば、ネットワークインタフェースよりなる。ドライブ415は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア421を駆動する。
以上のように構成されるコンピュータでは、CPU401が、例えば、記憶部413に記憶されているプログラムを、入出力インタフェース410およびバス404を介して、RAM403にロードして実行することにより、上述した一連の処理が行われる。RAM403にはまた、CPU401が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア421に記録して適用することができる。その場合、プログラムは、リムーバブルメディア421をドライブ415に装着することにより、入出力インタフェース410を介して、記憶部413にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部414で受信し、記憶部413にインストールすることができる。
その他、このプログラムは、ROM402や記憶部413に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能(機能ブロック等)を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
を備える情報処理装置。
(2) 前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
(1)に記載の情報処理装置。
(3) 前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
(1)または(2)に記載の情報処理装置。
(4) 前記ファイル生成部は、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
(3)に記載の情報処理装置。
(5) 前記ファイル生成部は、
各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記ファイル生成部は、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
(1)乃至(5)のいずれかに記載の情報処理装置。
(7) 前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
(1)乃至(6)のいずれかに記載の情報処理装置。
(8) 前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
(1)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記ファイル生成部は、全てのトラックを格納するファイルを生成する
(1)乃至(8)のいずれかに記載の情報処理装置。
(10) 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
情報処理方法。
(11) 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
を備える情報処理装置。
(12) 前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
(11)に記載の情報処理装置。
(13) 前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
(11)または(12)に記載の情報処理装置。
(14) 前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
(13)に記載の情報処理装置。
(15) 前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
(11)乃至(14)のいずれかに記載の情報処理装置。
(16) 前記メタデータ生成部は、
前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
(11)乃至(15)のいずれかに記載の情報処理装置。
(17) 前記メタデータ生成部は、
前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
(11)乃至(16)のいずれかに記載の情報処理装置。
(18) 前記メタデータ生成部は、
全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
(11)乃至(17)のいずれかに記載の情報処理装置。
(19) 前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
(11)乃至(18)のいずれかに記載の情報処理装置。
(20) 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
情報処理方法。
100 ファイル生成装置, 101 ベースレイヤ符号化部, 102 エンハンスメントレイヤ符号化部, 103 MP4ファイル生成部, 104 MPD生成部, 200 ファイル再生装置, 201 MPD解析部, 202 MP4ファイル再生部, 203 ベースレイヤ復号部, 204 エンハンスメントレイヤ復号部, 300 配信システム, 301 配信データ生成装置, 302 配信サーバ, 303 ネットワーク, 304および305 端末装置, 400 コンピュータ

Claims (20)

  1. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
    を備える情報処理装置。
  2. 前記ファイル生成部は、
    前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
    前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
    前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
    前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
    請求項1に記載の情報処理装置。
  3. 前記ファイル生成部は、
    前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
    前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
    請求項1に記載の情報処理装置。
  4. 前記ファイル生成部は、
    前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
    請求項3に記載の情報処理装置。
  5. 前記ファイル生成部は、
    各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
    各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
    請求項1に記載の情報処理装置。
  6. 前記ファイル生成部は、
    各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
    請求項1に記載の情報処理装置。
  7. 前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
    請求項1に記載の情報処理装置。
  8. 前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
    請求項1に記載の情報処理装置。
  9. 前記ファイル生成部は、全てのトラックを格納するファイルを生成する
    請求項1に記載の情報処理装置。
  10. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
    情報処理方法。
  11. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
    を備える情報処理装置。
  12. 前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
    前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
    請求項11に記載の情報処理装置。
  13. 前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
    請求項11に記載の情報処理装置。
  14. 前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
    請求項13に記載の情報処理装置。
  15. 前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
    請求項11に記載の情報処理装置。
  16. 前記メタデータ生成部は、
    前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
    前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
    前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
    前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
    請求項11に記載の情報処理装置。
  17. 前記メタデータ生成部は、
    前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
    前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
    請求項11に記載の情報処理装置。
  18. 前記メタデータ生成部は、
    全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
    請求項11に記載の情報処理装置。
  19. 前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
    請求項11に記載の情報処理装置。
  20. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
    情報処理方法。
JP2016531241A 2014-06-30 2015-06-16 情報処理装置および方法 Expired - Fee Related JP6642427B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019222799A JP6908098B2 (ja) 2014-06-30 2019-12-10 情報処理装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014135147 2014-06-30
JP2014135147 2014-06-30
PCT/JP2015/067234 WO2016002496A1 (ja) 2014-06-30 2015-06-16 情報処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019222799A Division JP6908098B2 (ja) 2014-06-30 2019-12-10 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2016002496A1 true JPWO2016002496A1 (ja) 2017-04-27
JP6642427B2 JP6642427B2 (ja) 2020-02-05

Family

ID=55019043

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016531241A Expired - Fee Related JP6642427B2 (ja) 2014-06-30 2015-06-16 情報処理装置および方法
JP2019222799A Active JP6908098B2 (ja) 2014-06-30 2019-12-10 情報処理装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019222799A Active JP6908098B2 (ja) 2014-06-30 2019-12-10 情報処理装置および方法

Country Status (5)

Country Link
US (2) US10187648B2 (ja)
EP (2) EP3163882B1 (ja)
JP (2) JP6642427B2 (ja)
CN (2) CN106464941B (ja)
WO (1) WO2016002496A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527786B (en) * 2014-07-01 2016-10-26 Canon Kk Method, device, and computer program for encapsulating HEVC layered media data
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
JP7160513B2 (ja) * 2016-06-06 2022-10-25 ヤフー株式会社 端末プログラム、端末装置、および、情報処理方法
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CN109327699B (zh) 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
JP2021500764A (ja) * 2017-08-29 2021-01-07 Line株式会社 映像通話の映像品質向上
US11582463B2 (en) * 2019-12-30 2023-02-14 Tencent America LLC Method for alignment across layers in coded video stream
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
US20140082054A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Method and device for generating a description file, and corresponding streaming method
WO2015144735A1 (en) * 2014-03-25 2015-10-01 Canon Kabushiki Kaisha Methods, devices, and computer programs for improving streaming of partitioned timed media data

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2959351A (en) * 1955-11-02 1960-11-08 Ibm Data storage and processing machine
US5649102A (en) * 1993-11-26 1997-07-15 Hitachi, Ltd. Distributed shared data management system for controlling structured shared data and for serializing access to shared data
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
JP2004005492A (ja) * 2002-04-26 2004-01-08 Casio Comput Co Ltd データ通信装置、データ通信システム、動画付き文書表示方法および動画付き文書表示プログラム
US7460724B2 (en) 2003-03-07 2008-12-02 Ricoh Co., Ltd. JPP-stream to JPEG 2000 codestream conversion
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
JP4416611B2 (ja) * 2003-10-01 2010-02-17 キヤノン株式会社 画像処理方法、画像処理装置
JP4418762B2 (ja) * 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
JP4716949B2 (ja) 2005-09-02 2011-07-06 株式会社リコー 画像処理装置および画像処理方法
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
JP2008028534A (ja) * 2006-07-19 2008-02-07 Pentax Corp デジタルカメラ
WO2009005301A1 (en) * 2007-07-02 2009-01-08 Lg Electronics Inc. Digital broadcasting system and data processing method
JP4958831B2 (ja) * 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP5340091B2 (ja) * 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
US8676855B2 (en) * 2009-05-01 2014-03-18 Brother Kogyo Kabushiki Kaisha Distributed storage system, management apparatus, node apparatus, recording medium on which node program is recorded, page information acquisition method, recording medium on which page information sending program is recorded, and page information sending method
JP5601006B2 (ja) * 2010-04-08 2014-10-08 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
GB2492396A (en) * 2011-06-30 2013-01-02 Canon Kk Decoding a Scalable Video Bit-Stream
WO2013046586A1 (ja) * 2011-09-28 2013-04-04 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び画像符号化復号化装置
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
EP3687173A1 (en) * 2012-09-03 2020-07-29 Sony Corporation Image processing device and method with inter-layer motion vector compression
KR101968070B1 (ko) * 2012-10-12 2019-04-10 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
MX342466B (es) * 2012-11-27 2016-09-30 Lg Electronics Inc Aparato de transmision-recepcion de señal y metodo de transmision-recepcion de señal.
US20140229657A1 (en) * 2013-02-08 2014-08-14 Microsoft Corporation Readdressing memory for non-volatile storage devices
KR102255012B1 (ko) * 2013-03-21 2021-05-24 소니그룹주식회사 화상 부호화 장치 및 방법과, 화상 복호 장치 및 방법
CN104604234B (zh) * 2013-07-12 2019-07-16 索尼公司 图像编码设备和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
US20140082054A1 (en) * 2012-09-14 2014-03-20 Canon Kabushiki Kaisha Method and device for generating a description file, and corresponding streaming method
WO2015144735A1 (en) * 2014-03-25 2015-10-01 Canon Kabushiki Kaisha Methods, devices, and computer programs for improving streaming of partitioned timed media data
JP2017515336A (ja) * 2014-03-25 2017-06-08 キヤノン株式会社 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADITYA MAVLANKAR ET AL.: "An interactive region-of-interest video streaming system for online lecture viewing", PROCEEDINGS OF 2010 IEEE 18TH INTERNATIONAL PACKET VIDEO WORKSHOP (PV 2010), JPN6015037425, 13 December 2010 (2010-12-13), US, pages 64 - 71, XP031899005, ISSN: 0004034048, DOI: 10.1109/PV.2010.5706821 *
MINA MAKAR ET AL.: "Real-time video streaming with interactive region-of-interest", PROCEEDINGS OF 2010 IEEE 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2010), JPN6015037427, 26 September 2010 (2010-09-26), US, pages 4437 - 4440, XP031815133, ISSN: 0004034049 *

Also Published As

Publication number Publication date
JP6642427B2 (ja) 2020-02-05
CN106464941A (zh) 2017-02-22
WO2016002496A1 (ja) 2016-01-07
US10187648B2 (en) 2019-01-22
US20170134736A1 (en) 2017-05-11
JP6908098B2 (ja) 2021-07-21
CN106464941B (zh) 2019-10-29
EP3163882A1 (en) 2017-05-03
EP3163882A4 (en) 2018-05-16
CN110636238A (zh) 2019-12-31
EP3541079A1 (en) 2019-09-18
CN110636238B (zh) 2022-01-28
JP2020053996A (ja) 2020-04-02
EP3163882B1 (en) 2019-08-07
EP3541079B1 (en) 2021-06-16
US20190045200A1 (en) 2019-02-07
US10623754B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
JP6908098B2 (ja) 情報処理装置および方法
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
WO2015182491A1 (ja) 情報処理装置および情報処理方法
CN106464943B (zh) 信息处理装置和方法
JP6508206B2 (ja) 情報処理装置および方法
CN105122818A (zh) 计算机系统、分发控制系统、分发控制方法和计算机可读存储介质
WO2018142946A1 (ja) 情報処理装置および方法
WO2019187437A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016002494A1 (ja) 情報処理装置および方法
US20180109585A1 (en) Information processing apparatus and information processing method
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105580398A (zh) 分发管理设备、终端和分发管理方法
JP6506084B2 (ja) 動画再生装置及びプログラム
JP2019106732A (ja) 動画再生装置及びプログラム
KR20100062847A (ko) Smmd 미디어 생성 및 재생 장치

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20161122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R151 Written notification of patent or utility model registration

Ref document number: 6642427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees