JP6439691B2 - ファイル生成装置および方法、並びにコンテンツ再生装置および方法 - Google Patents

ファイル生成装置および方法、並びにコンテンツ再生装置および方法 Download PDF

Info

Publication number
JP6439691B2
JP6439691B2 JP2015527273A JP2015527273A JP6439691B2 JP 6439691 B2 JP6439691 B2 JP 6439691B2 JP 2015527273 A JP2015527273 A JP 2015527273A JP 2015527273 A JP2015527273 A JP 2015527273A JP 6439691 B2 JP6439691 B2 JP 6439691B2
Authority
JP
Japan
Prior art keywords
file
information
sub
sample
subsample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015527273A
Other languages
English (en)
Other versions
JPWO2015008686A1 (ja
Inventor
平林　光浩
光浩 平林
しのぶ 服部
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015008686A1 publication Critical patent/JPWO2015008686A1/ja
Application granted granted Critical
Publication of JP6439691B2 publication Critical patent/JP6439691B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10916—Seeking data on the record carrier for preparing an access to a specific address

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、ファイル生成装置および方法、並びにコンテンツ再生装置および方法に関し、特に、セグメント内のデータ種別によるアクセスを効率よく行うことができるようにしたファイル生成装置および方法、並びにコンテンツ再生装置および方法に関する。
次世代の動画配信技術「MPEG-DASH(Dynamic Adaptive Streaming over HTTP)」が国際標準になることが、2011年12月に決まった。動画配信の通信プロトコルに、Webサイトと同じ「HTTP(hypertext transfer protocol)」を用いる「適応型ストリーミング技術」である。
MPEG-DASHにおいては、任意の時間のsegmentを取得するための情報がMPDに記述されている。Segment file内の任意の時間のデータを取得するために、segment fileの先頭のsidxにsegment内のsubsegmentのアクセス情報が記述されている。さらに、trick playなどの目的で、任意のI/P pictureだけを取得するために、segment fileの先頭のsidxの後のssixにIPBのpictureの依存階層の情報とそのsize情報が記述されている。
sidxやssixは、MP4(moof)の構造を解釈する必要がなく、汎用的なアクセス情報であり、MPEG-2TSなどのストリームのアクセス情報にも利用することが可能である（非特許文献１参照）。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
ところで、HEVCでは、Tile構造を利用し、アプリケーションによりデコードが必要となる領域のみをデコードすることが可能となっている。しかしながら、MPEG-DASHにおいてTile構造に対応する場合、Tileは、subsampleとして扱われるが、上述したssixにおいては、picture単位のI/B/Pのアクセス情報しか記述することができなかった。
したがって、picture内の任意のTileへのアクセスは、moof内のsubsample imformationを解析する必要があるなど、実データを取得する前の処理が多く、データ取得の効率がよくなかった。
本開示は、このような状況に鑑みてなされたものであり、サンプル内の任意のサブサンプルへのアクセスを効率よく行うようにするものである。
本開示の第１の側面のファイル生成装置は、画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されたビットストリームを含むファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報を配置して、前記ファイルを生成するファイル生成部を備える。
前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される。
前記サブサンプルアクセス情報は、すべての前記サブサンプルのインデックス情報とサイズ情報である。
前記サブサンプルアクセス情報は、general subsegment index boxに配置される。
前記サブサンプルアクセス情報は、moofにおける前記サブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である。
前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される。
前記サブサンプルは、タイルである。
前記画像が複数の前記サブサンプルに分割されたコンテンツを符号化して、前記ビットストリームを生成する符号化部をさらに備えることができる。
本開示の第１の側面のファイル生成方法は、ファイル生成装置が、画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されるビットストリームを含むファイルの先頭に、前記複数のサブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報を配置して、前記ファイルを生成する。
本開示の第２の側面のコンテンツ再生装置は、画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて生成された前記ファイルから、前記サブサンプルアクセス情報を取得するアクセス情報取得部と、前記アクセス情報取得部により取得された前記サブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得するサンプル取得部と、前記サンプル取得部により取得された前記任意のサブサンプルを再生する再生部とを備える。
前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される。
前記サブサンプルアクセス情報は、すべての前記サブサンプルのインデックス情報とサイズ情報である。
前記サブサンプルアクセス情報は、general subsegment index boxに配置される。
前記サブサンプルアクセス情報は、moofにおける前記サブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である。
前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される。
前記サブサンプルは、タイルである。
前記コンテンツは、ネットワークを介して接続されるサーバに記憶されている。
コンテンツ再生装置が、画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、複数の前記サブサンプルうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて生成された前記ファイルから、前記サブサンプルアクセス情報を取得し、取得された前記サブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得し、取得された前記任意のサブサンプルを再生する。
本開示の第１の側面においては、画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されるビットストリームを含むファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて、前記ファイルが生成される。
本開示の第２の側面においては、画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて生成された前記ファイルから、前記サブサンプルアクセス情報が取得される。そして、 取得された前記サブサンプルアクセス情報を用いて、前記任意のサブサンプルが取得され、 取得された前記任意のサブサンプルが再生される。
なお、上述のファイル生成装置およびコンテンツ再生装置は、それぞれ、独立した装置であっても良いし、１つの装置を構成している内部ブロックであってもよい。
本開示の第１の側面によれば、ファイルを生成することができる。特に、セグメント内のデータ種別によるアクセスを効率よく行うことができる。
本開示の第２の側面によれば、コンテンツを再生することができる。特に、セグメント内のデータ種別によるアクセスを効率よく行うことができる。
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
MPEG-DASHに準拠したMP4ファイルの構成例を示す図である。 レベルアサインメントの仕組みを説明する図である。 MPEG-DASHに準拠したMP4ファイルの他の構成例を示す図である。 general subsegment index box（gsix）のシンタックスの例を示す図である。 サンプルグループエントリのマッピングを説明する図である。 サンプルグループエントリのシンタックスの例を示すである。 Type assignment boxのシンタックスの例を示す図である。 SubsampleBox LocationBoxのシンタックスの例を示す図である。 コンテンツ再生システムの構成例を示すブロック図である。 ファイル生成装置の構成例を示すブロック図である。 ファイル生成処理を説明するフローチャートである。 TILE(A)再生処理の例を説明するフローチャートである。 TILE(A)トリックプレイ再生処理の例を説明するフローチャートである。 MPEG-DASHに準拠したMP4ファイルの論理的構成例を示す図である。 図１４のMP4ファイルの構成例を示す図である。 図１４のMP4ファイルの他の構成例を示す図である。 ファイル生成処理を説明するフローチャートである。 タイルトラック再生処理の例を説明するフローチャートである。 MPEG-DASHに準拠したMP4ファイルの論理的構成の他の例を示す図である。 図１９のMP4ファイルの構成例を示す図である。 図１９のMP4ファイルの他の構成例を示す図である。 ファイル生成処理を説明するフローチャートである。 タイルトラック再生処理の例を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（コンテンツ再生システム）
２．第２の実施の形態（コンピュータ）
＜０．概要＞
［概要］
MPEG-DASHにおいては、任意の時間のセグメント(segment)を取得するための情報がMPD(Media Presentation Discriotion)ファイルに記述されている。また、セグメントファイル(Segment file)内の任意の時間のデータを取得するために、セグメントファイルの先頭のsidx(Segment index box)にセグメント内のサブセグメント(subsegment)のアクセス情報が記述されている。さらに、トリックプレイ(trick play)などの目的で、任意のI/Pピクチャだけを取得するために、セグメントファイルの先頭のsidxの後のssix(Subsegment index box)にIPBのピクチャの依存階層(レベル)の情報とそのサイズ情報が記述されている。
sidxやssixは、MP4(moof)の構造を解釈する必要がなく、汎用的なアクセス情報であり、MPEG-2TSなどのストリームのアクセス情報にも利用することが可能である。
［MPEG-DASHに準拠したMP4ファイルの構成例］
図１は、sidxおよびssix を含むMPEG-DASHに準拠したMP4ファイルの構成例を示す図である。
図１の例において、MPEG-DASHに準拠したMP4ファイルは、符号化の初期化情報が格納されるInitial segmentファイルと、サンプルが格納される複数のmedia segmentファイルから構成されている。
Initial segmentファイルは、ftypと、stbl(sample table box)およびmvexを含むmoovから構成されている。
media segment（以下、単にセグメントとも称する）ファイルは、複数のmoofとピクチャが格納されるmdatを含み、先頭のmoofの前、すなわち、セグメントファイルの先頭には、styp、sidx、ssixが配置されている。ここで、セグメントファイルに含まれる複数のmoofおよびmdatをサブセグメントと呼ぶ。
sidxやssixには、MPDの情報（時間、URL）から取得したセグメントファイルを構成するサブセグメントへのアクセス情報が格納されている。
sidxには、図中左下に示されるように、サブセグメント(moof＋mdat)のサイズ(referenced_size)のテーブルが格納されている。したがって、sidxの情報から、任意の時間のサブセグメントだけを取得すること、すなわち、ランダムアクセスが可能である。
また、図中右下に示されるように、ssixには、サブセグメントを構成するビデオ（ピクチャ）のレベル（coding level）とサイズ（range_size）のテーブルが格納されている。なお、moofは、先頭のIDRのサイズに含まれている。また、並んだBピクチャのサイズは複数まとめて管理されている。なお、レベルは、依存階層を示すものである。
したがって、このssixの情報から、任意の時間のサブセグメントまたは任意のビデオのレベルのデータのみを取得することができる。
［レベルアサインの仕組み］
次に、図２を参照して、ssixに格納されている情報の１つであるレベルを決める仕組みについて説明する。
図中左側に示されるように、Initial segmentファイルのstblのsgpd(sample group description box)において、’ tele’のサンプルグループを定義することで、レベルの意味が定義される。sgpdにおけるgrouping_typeであるteleは、Temporal level sample groupingであることを示しており、Temporal level sample groupingの仕組みを用いることを表している。
teleでは、entry_count=3として、３つエントリされることが記述されており、Level_independently_decodableというフラグのみを使って、Iピクチャであるかどうかを定義する。例えば、上から順に、インデックス１がLevel_independently_decodable=1（コーディング依存関係なし）でReserved=0としてエントリされている。インデックス２が、Level_independently_decodable=0（コーディング依存関係あり）でReserved=0としてエントリされている。インデックス３が、Level_independently_decodable=0（コーディング依存関係あり）でReserved=0としてエントリされている。
また、図中右側に示されるように、Initial segmentファイルのmvexのleva(level assignment box)において、level_countが３つあり、それらがそれぞれどのレベルにアサインするかが示される。level_countは、上から順に、レベル１乃至レベル３であり、いずれも、track_id=1,padding_flag=0,assignment_type=0,grouping_type=’tele’を定義するものである。
そして、sgpdとleveの各エントリは、インデックス順で紐付けされている。すなわち、上から順に、レベル１は、sgpdのインデックス１と紐付けされている。したがって、レベル１はコーディングの依存関係を持っておらず、IDRとAVCビデオのnon-IDRピクチャはレベル１になると解釈される。
また、レベル２は、sgpdのインデックス２と紐付けされている。したがって、レベル２は情報を持っておらず、Pピクチャは、コーディングスタンダードの依存度のレベル２になると解釈される。
レベル３は、sgpdのインデックス３と紐付けされている。したがって、レベル３は情報を持っておらず、Bピクチャは、コーディングスタンダードの依存度のレベル３になると解釈される。
[HEVCのタイル構造の対応]
ここで、HEVC規格の符号化においては、タイル構造を利用し、アプリケーションによりデコードが必要となる領域のみをデコードすることが可能となっている。
一方、MP4において、サブサンプルの定義は、コーデックごとに決まっている。例えば、HEVCにおいて１つのピクチャが複数のタイルで構成される場合、MP4ファイルにおいて、タイルは、サンプルを構成するサブサンプルとして管理される。
そして、このMP4ファイルから、サンプルを構成する任意のサブサンプル（タイル）だけを取得するためには、まず、moofを取得し、moof内のsubsample information boxを取得し、サブサンプルを取得するという処理が必要であった。すなわち、わざわざmoofを解析するなど、実データを取得する前の処理が多く、データ取得の効率がよくなかった。
また、MPEG-DASHに準拠したMP4ファイルにおいては、上述したように、sidxやssixは、MP4(moof)の構造を解釈する必要がなく、汎用的なアクセス情報であり、MPEG-2TSなどのストリームのアクセス情報にも利用することが可能である。
しかしながら、ssixにおいては、ピクチャ単位のI/B/Pのアクセス情報しか記述することができないため、結局、MP4(moof)の構造を解釈する必要があり、それゆえ、実データを取得するための処理が多かった。
さらに、セグメントが複数のmoof/mdatで構成される場合、subsample information boxが各moof内に格納されているため、実データを取得するための処理がより多くなっていた。
そこで、本技術においては、任意のサブサンプル（タイル）を取得するための情報を、まとめてセグメントファイルの先頭に格納できるボックス（gsix:general subsegment index box）を拡張定義する。例えば、gsixには、任意のサブサンプルにアクセスし、任意のサブサンプルを取得するためのサブアンプルアクセス情報が格納される。
なお、以下、サブサンプルがタイルの例を説明するが、本技術は、サブサンプルやタイルに限定されず、サンプルを構成する何かの要素を記述可能な汎用的な仕組みを拡張定義するものである。
［MPEG-DASHに準拠したMP4ファイルの構成例］
図３は、sidx、ssix、およびgsixを含むMPEG-DASHに準拠したMP4ファイルの構成例を示す図である。
図３の例においては、mdatに含まれる各ピクチャが４つのタイルで構成されている例が示されている。また、図３の例においては、mediasegment（以下、単にセグメントとも称する）ファイルの先頭に、styp、sidx、ssixに加えて、それらの後に、gsixが配置されている点のみが、図１の例と異なっている。
すなわち、図１の例と同様に、ssixにおいては、ファイル先頭より、moofとIDRが、Level=1であり、range_size=a1であることが記述されている。Bpicが、level=3であり、range_size=a2であることが記述されている。Ppicが、level=2であり、range_size=a3であることが記述されている。Bpicが、level=3であり、range_size=a4であることが記述されている。Ppicが、level=2であり、range_size=a5であることが記述されている。
一方、図１の例と異なり、gsixにおいて、moofと全タイルのインデックス情報とサイズ情報（アクセス情報）が全て記述される。gsixでは、ファイル先頭より、moofがindex=1であり、size=a1-1であることが記述されている。tile1がindex=2であり、size=a1-2であることが記述されている。以下、図示は省略されるが、同様に記述されている。
以上のようなsidx、ssix、およびgsixを用いることにより、任意のタイルである、例えば、タイル１のみを取得する、あるいは、Iピクチャのタイル１のみを取得するなどの処理を、迅速に効率よく行うことができる。
［gsixのシンタックス例］
図４は、general subsegment index box（gsix）のシンタックスの例を示す図である。なお、gsixは、各セグメントファイルのsidx/ssixの後ろに格納される。複数のグルーピング、タイプのgsixが存在する。gsixのレンジは、one or more sampleの情報、あるいは、one or more subsampleの情報を指し示すものである。
図４の例において、上から２行目のgrouping_type int(32)は、このgsixで管理するSample group entryの種別を定義している。
上から８行目のentry_indexは、タイルの位置情報に紐付けるためのType assignment box（図５）へのインデックスである。index=0は、moofデータであることを示している。なお、詳しくは図５を参照して後述するが、gsixから、Type assignment boxを用いずに、visual sample group entryへのインデックスを直接指し示すようにすることも可能である。
上から９行目のrange_sizeは、このsample group entry情報のバイトレンジ（サイズ情報）を示しており、これを参照することで、任意のタイル（サブサンプル）にアクセスすることが可能となる。
［サンプルグループエントリのマッピング］
次に、図５を参照して、サンプルグループエントリのマッピングについて説明する。
図中左側に示されるように、Initial segmentファイルのstblのsgpd(sample group description box)において、’tile’のサンプルグループを定義することでタイルが定義される。
tileでは、entry_count=nとして、nがエントリされることが記述されており、図５の例においては、４つのTileの位置情報がそれぞれ記述される４つのVisualSampleGroupEntryがエントリされている。
また、図中右側に示されるように、Initial segmentファイルのmvexのtypa(type assignment box)において、entry_count=nとして、nがエントリされることが記述されており、図５の例においては、Grouping_type=”tile”を定義する４つエントリされている。
そして、sgpdとtypaの各エントリは、インデックス順で紐付けされる。したがって、例えば、図４のgsixのentry_indexがtypaのindexを指し示し、さらに、そのindexが対応するsgpdのVisualSampleGroupEntryを指し示すことになり、Tileの位置情報を取得することができる。
なお、上述したように、図４のgsixのentry_indexが直接sgpdのindexを指し示すようにしする場合、Typa Boxは不要となる。
また、sgpdは、点線で示されるように、stblではなく、mvexへ格納するようにしてもよい。stbl は、トラック毎に構成されるboxである。これに対して、mvexは、moovに１つ構成され、フラグメント構造をとることを宣言するboxである。すなわち、複数のtrackで構成される場合、sgpdはmvexへも格納できるようにすることで、ファイル共通で利用することができるようになる。
[サンプルグループエントリのシンタックス例]
図６は、タイルの位置情報を記述するサンプルグループエントリ（sample group entry）のシンタックスの例と、’tile’のサンプルグループを定義するsample group description boxの例を示す図である。なお、図５のsample group description box は、VisualSampleGroupEntryを用いて一般的に示したものであり、実際には、VisualSampleGroupEntryは、図６に示すタイルサンプルグループエントリのように拡張される。
図６のシンタクスに示されるように、VisualSampleGroupEntryが拡張されたものであるタイルサンプルグループエントリには、タイルの位置情報として、TileのH(Horizontal)オフセット、TileのV(Vertical)オフセット、Tileのwidth、Tileのheightが格納される。
例えば、ピクチャが、図中右側に示されるようなタイル構造（Tiled Video）である場合、Sample Group description Boxで定義される’tile’のグループエントリは、インデックス１乃至４の４つのエントリを含むように構成される。
すなわち、’tile’のグループエントリには、インデックス１のTileSampleGroupEntry(“tile”)として、”0,0,960,640”というタイルの位置情報がエントリされる。また、インデックス２のTileSampleGroupEntry(“tile”)として、”960,0,960,640”というタイルの位置情報がエントリされる。また、インデックス３のTileSampleGroupEntry(“tile”)として、”0,640,960,640”というタイルの位置情報がエントリされる。さらに、インデックス４のTileSampleGroupEntry(“tile”)として、” 960,640,960,640”というタイルの位置情報がエントリされる。
したがって、タイルのインデックス番号を示すことで、タイルの位置情報を取得することができる。
[Type assignment boxのシンタックス例]
図７は、図５のType assignment boxのシンタックスの例を示す図である。図７に示されるType assignment boxにおいて、図５に示したgrouping_type=”tile”が定義される。
なお、上記説明においては、HEVCのタイルが単一トラックで構成される場合の例を説明してきた。これに対して、HEVCのタイルが以下のように複数トラックで構成される場合、サブサンプルをまとめて連続した領域に格納するようにしてもよい。
例えば、
Moof-Tile1(I)/ Tile1(B)/ Tile1(B)/ Tile1(P)/ Tile1(B)/ Tile1(B)/ Tile1(P)
Moof-Tile2(I)/ Tile2(B)/ Tile2(B)/ Tile2(P)/ Tile2(B)/ Tile2(B)/ Tile2(P)
このようにしても、gsixを配置するようにすることにより、通常サンプル（tile1/2..）からtileを取得するよりも、さらに伝送効率を向上させることができる。
なお、上記説明においては、セグメントファイルの先頭の、sidx、ssixの後に、gsixを配置する例を説明したが、任意のサブサンプルにアクセスし、任意のサブサンプルを取得するためのサブアンプルアクセス情報の例は、gsixに格納される情報に限定されない。任意のサブサンプルにアクセスし、任意のサブサンプルを取得するためのサブアンプルアクセス情報の他の例として、例えば、moof内の任意のサブサンプルをアクセスするための方法が格納されるボックスへのアクセス情報だけを、セグメントファイルの先頭の、sidx、ssixの後に配置するようにしてもよい。
[サブアンプルアクセス情報の他の例]
図８は、SubsampleBox LocationBoxのシンタックスの例を示す図である。
図８の例に示されるSubsampleBox LocationBoxは、上述した、セグメントファイルの先頭の、sidx、ssixの後に配置されるボックスであって、任意のサブサンプルをアクセスするための方法が格納されるmoof内のボックスへのアクセス情報が格納されるボックスである。
上から５行目のbox_typeにおいて、任意のサブサンプルをアクセスするための方法が格納されるボックスのタイプが4CC(4 Character Code)で記述される。このボックスの例としては、Subsample information box（’subs’）またはSubsample hint information box(‘sshi’)などがある。
Subsample information boxは、例えば、サンプルを構成するサブサンプルの情報などが格納されるボックスである。Subsample hint information boxは、例えば、複数のサブサンプルをグループ化する情報や、グループ化されたサブサンプル群のデコードに必要な情報などが格納されるボックスである。どちらのボックスもmoof内に配置されている。
また、上から７行目および８行目には、それぞれ、このSubsampleBox LocationBoxから、５行目のbox_typeに記述されたボックスの先頭位置までのオフセットと、そのボックスのサイズ情報が記述される。
このように、moof内の任意のサブサンプルをアクセスするための方法が格納されるボックスへのアクセス情報を、セグメントファイルの先頭に配置することで、moof内の情報を解釈する処理を省くことができる。これにより、サンプル内の任意のサブサンプルのアクセスを効率よく行うことができる。
以上のように、本技術においては、任意のサブサンプル（タイル）を取得するための情報を、セグメントファイルの先頭に配置するようにしたので、サンプル内の任意のサブサンプルのアクセスを効率よく行うことができる。これにより、効率的なHTTPによるデータ取得を実現することができる。
また、任意のサブサンプル（タイル）を取得するための情報を、sidxとssixの拡張ではなく、セグメントファイルの先頭のsidxとssixの後に、別のボックスを定義することにより配置するようにした。これにより、既存の機器に影響のない拡張を行うことができる。
さらに、タイル以外の情報でも、セグメント内のデータ種別によるアクセスを実現することができる。
次に、上述した技術を適用したコンテンツ再生システムの例について以下に説明する。
＜１．第１の実施の形態＞
[情報処理システム]
図９は、本技術を適用するコンテンツ再生システムの例を示す図である。
図９の例において、コンテンツ再生システムは、ファイル生成装置１０１、コンテンツサーバ１０２、コンテンツ再生装置１０３、およびネットワーク１０４を含むように構成されている。
ファイル生成装置１０１、コンテンツサーバ１０２、およびコンテンツ再生装置１０３は、ネットワーク１０４を介して接続されている。ネットワーク１０４は、無線の伝送路であってもよいし、有線の伝送路であってもよい。
例えば、ネットワーク１０４は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet（登録商標）を含む各種のLAN（Local Area Network）、WAN（Wide Area Network）などを含んでもよい。また、ネットワーク１０４は、IP‐VPN（Internet Protocol−Virtual Private Network）などの専用回線網を含んでもよい。
なお、ファイル生成装置１０１とコンテンツサーバ１０２は、ネットワーク１０４とは別の専用回線網などのネットワークで接続されているようにしてもよい。
ファイル生成装置１０１は、例えば、動画コンテンツなどのコンテンツデータを、例えば、HEVC(High Efficiency Video Coding)などで符号化する。そして、ファイル生成装置１０１は、符号化データ（ビットストリーム）のデータファイルおよび符号化データのメタ情報を含むデータファイル（後述するMPDファイル）を生成する。例えば、ファイル生成装置１０１は、符号化速度の異なるセグメント群からなる、MPEG-DASHに準拠したMP4ファイルを生成する。すなわち、このMP4ファイルは、複数のビットレートのコンテンツが数秒から十数秒程度のファイルに分割されている。
また、この符号化データは、ピクチャが複数のタイルに分割されてなる構造（タイル分割構造）で符号化されている。そして、符号化データを含むMP4ファイルは、任意のサブサンプル（タイル）を取得するためのサブサンプルアクセス情報(すなわち、gsix情報)が、セグメントファイルの先頭に配置されている。
なお、コンテンツデータは、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウエアなどであってもよい。
ファイル生成装置１０１は、生成したMP4ファイルを、コンテンツサーバ１０２に送信し、コンテンツサーバ１０２の記憶部１１１に記憶させる。また、ファイル生成装置１０１は、生成したMPDファイルも、コンテンツサーバ１０２に送信し、コンテンツサーバ１０２の記憶部１１１に記憶させる。
コンテンツサーバ１０２は、記憶部１１１と通信部１１２を有している。コンテンツサーバ１０２、記憶部１１１に、ファイル生成装置１０１により生成された符号化速度の異なるセグメント群からなるMP4ファイルを記憶する。
図９の例においては、記憶部１１１には、符号化速度3Mビット/秒のセグメント群からなるMP4ファイル、符号化速度1Mビット/秒のセグメント群からなるMP4ファイル、…などが記憶されている。
この記憶部１１１は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO（Magneto Optical）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM（Electrically Erasable Programmable Read-Onlｙ Memory）、EPROM（Erasable Programmable ROM）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD（Compact Disc）、DVD-R（Digital Versatile Disc Recordable）およびBD（Blu-Ray Disc（登録商標））などがあげられる。
また、コンテンツサーバ１０２は、記憶部１１１に記憶された各MP4ファイルの属性（ビットレート情報）およびURL（アクセス情報）を含むプレイリストファイル（以下、MPD（Media Presentation Description）ファイルと称する）も記憶する。このMPDファイルは、ファイル生成装置１０１により生成されてもよいし、コンテンツサーバ１０２により生成されてもよい。
通信部１１２は、ファイル生成装置１０１とのインタフェースとして機能し、ネットワーク１０４を介してファイル生成装置１０１と通信する。
また、通信部１１２は、コンテンツ再生装置１０３とのインタフェースとしても機能し、ネットワーク１０４を介してコンテンツ再生装置１０３と通信する。この場合、より詳細には、通信部１１２は、HTTPに従ってコンテンツ再生装置１０３と通信するHTTPサーバとしての機能を有する。例えば、通信部１１２は、 MPDファイルをコンテンツ再生装置１０３に送信し、HTTPに従ってコンテンツ再生装置１０３からMPDファイルに基づいて要求されたMP4ファイルを記憶部１１１から抽出し、HTTPレスポンスとしてコンテンツ再生装置１０３にMP4ファイルを送信する。
コンテンツ再生装置１０３は、コンテンツサーバ１０２から取得されるMPDファイルを解析し、解析したMPDファイルに基づいて、画面サイズや伝送路の状態を加味して、それに合わせた最適な画像サイズ、画面が分割された少なくとも１のタイルや符号化速度を選択する。例えば、再生の最初の段階では、符号化速度１Mビット/秒のセグメントの配信を要求し、通信状況が良好ならば、符号化速度3Mビット/秒のセグメントに切り替える。また、例えば、画面サイズが小さいならば、画面サイズに応じた任意のタイル（のみ）のセグメントの配信を要求する。このようにして受け取ったセグメントを復号処理して、コンテンツにつなぎ合わせ、画面に表示する。
なお、以下、タイルを再生する場合について具体的に説明する。コンテンツ再生装置１０３は、ストリーミング制御部１２１、HTTPアクセス部１２２、およびコンテンツ再生部１２３を含むように構成されている。
ストリーミング制御部１２１は、コンテンツサーバ１０２からMPDファイルを取得し、取得したMPDファイルを解析する。ストリーミング制御部１２１は、解析したMPDファイルに基づいて、画面サイズや伝送路の状態を加味して、それに合わせた最適な画像サイズ、タイルや符号化速度を選択し、取得するセグメントファイルのURL（アクセス）情報を取得する。
ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/gsixから、セグメントファイル内のTile(A)のインデックス番号のレンジを解析する。なお、トリックプレイの場合、ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/gsixから、セグメントファイル内のI/PのTile(A)のインデックス番号のレンジを解析する。ストリーミング制御部１２１は、解析した情報を基に、HTTPアクセス部１２２を制御する。
HTTPアクセス部１２２は、ストリーミング制御部１２１からのアクセス情報を用いて、Initial segmentを取得する。HTTPアクセス部１２２は、Initial segmentの情報から再生に必要な情報を解析する。例えば、TileSampleGroupEntryから再生したいTile(A)のtile番号(index)が解析される。さらに、HTTPアクセス部１２２は、セグメントファイルの先頭からsidx/ssix/gsixを取得する。また、HTTPアクセス部１２２は、ストリーミング制御部１２１により解析されたセグメントファイル内のTile(A)のインデックス番号のレンジに基づいて、Tile(A)だけを、HTTPで、コンテンツサーバ１０２から取得する。
なお、トリックプレイの場合、HTTPアクセス部１２２は、ストリーミング制御部１２１により解析されたセグメントファイル内のI/PのTile(A)のインデックス番号のレンジに基づいて、I/PのTile(A)aだけを、HTTPで、コンテンツサーバ１０２から取得する。
コンテンツ再生部１２３は、ストリーミング制御部１２１の制御のもと、HTTPアクセス部１２２からのタイル（コンテンツ）を再生する。すなわち、コンテンツ再生部１２３は、HTTPアクセス部１２２からのタイル（コンテンツ）を復号処理して、１本のコンテンツとしてつなぎ合わせて、図示せぬ表示部に表示させる。
なお、図９の例において、ファイル生成装置１０１、コンテンツサーバ１０２、およびコンテンツ再生装置１０３が１台ずつしか示されていないが、１台に限定されず、複数台構成されるようにしてもよい。
また、図９の例においては、ファイル生成装置１０１とコンテンツサーバ１０２を別に構成する例を示したが、コンテンツサーバ１０２内にファイル生成装置１０１を構成するようにしてもよい。
[ファイル生成装置の構成例]
図１０は、ファイル生成装置１０１の構成例を示すブロック図である。
図１０の例において、ファイル生成装置１０１は、コンテンツデータを符号化し、同一のコンテンツでビットレートが異なる複数のMP4ファイル、および上述したMPDファイルを生成する。ファイル生成装置１０１は、符号化部１５１、サブサンプル情報生成部１５２、MP4ファイルマルチプレクサ１５３、およびファイル送信部１５４を含むように構成されている。
符号化部１５１は、コンテンツデータを、例えば、HEVCなどで符号化し、ビットストリームを生成し、生成したビットストリームをMP4ファイルマルチプレクサ１５３に供給する。なお、符号化の際、符号化部１５１は、ピクチャを複数のタイルに分割して符号化を行っており、そのタイルの位置情報などタイルに関する情報（タイル情報）をサブサンプル情報として、サブサンプル情報生成部１５２に供給する。
サブサンプル情報生成部１５２は、符号化部１５１からのタイル情報に基づいて、MPEG-DASHに準拠したMP4ファイルのmoofに含まれるサブサンプル情報と、任意のサブサンプル（タイル）を取得するためのサブサンプルアクセス情報であるgsix情報（図４）を生成する。サブサンプル情報生成部１５２は、生成したサブサンプル情報とgsix情報とを、MP4ファイルマルチプレクサ１５３に供給する。
MP4ファイルマルチプレクサ１５３は、符号化部１５１からのビットストリームから、MPEG-DASHに準拠したMP4ファイルを生成し、サブサンプル情報生成部１５２からのサブサンプル情報とgsix情報とを多重化する。すなわち、サブサンプル情報とgsix情報とが多重化されたMP4ファイルが生成される。なお、具体的には、サブサンプル情報は、moof内のサブサンプルインフォメーションボックスに格納される。gsix情報は、セグメントファイルの先頭のsidxとssixの後のgsixに格納される。
MP4ファイルマルチプレクサ１５３により多重化されて生成されたMP4ファイルは、ファイル送信部１５４に供給される。ファイル送信部１５４は、MP4ファイルを、コンテンツサーバ１０２に送信し、記憶部１１１に記憶させる。
なお、図１０の例においては、図示されていないが、実際には、ファイル生成装置１０１には、MPDファイル生成部も構成され、そこでMPDファイルが生成される。そして、生成されたMPDファイルは、ファイル送信部１５４によりコンテンツサーバ１０２の記憶部１１１に記憶される。
[ファイル生成処理]
次に、図１１のフローチャートを参照して、ファイル生成装置１０１によるファイル生成処理について説明する。
符号化部１５１は、ステップＳ１０１において、コンテンツデータを、例えば、HEVCなどで符号化し、ビットストリームを生成する。符号化部１５１は、生成したビットストリームをMP4ファイルマルチプレクサ１５３に供給する。
また、符号化の際、符号化部１５１は、ピクチャを複数のタイルに分割して符号化を行っており、そのタイルに関する情報をサブサンプル情報として、サブサンプル情報生成部１５２に供給する。
これに対応して、ステップＳ１０２において、サブサンプル情報生成部１５２は、タイル情報をサブサンプル情報として取得する。
ステップＳ１０３において、サブサンプル情報生成部１５２は、タイル情報に基づいて、MPEG-DASHに準拠したMP4ファイルのmoofに含まれるサブサンプル情報と、任意のサブサンプル（タイル）を取得するための情報を格納するgsix情報（図４）を生成する。
ステップＳ１０４において、MP4ファイルマルチプレクサ１５３は、符号化部１５１からのHEVCビットストリームから、MPEG-DASHに準拠したMP4ファイルを生成し、サブサンプル情報生成部１５２からのサブサンプル情報とgsix情報とを多重化する。すなわち、サブサンプル情報とgsix情報とが多重化されたMP4ファイルが生成される。なお、具体的には、サブサンプル情報は、moofのサブサンプルインフォメーションボックスに格納される。gsix情報は、セグメントファイルの先頭のsidxとssixの後のgsixに格納される。
MP4ファイルマルチプレクサ１５３により多重化されて生成されたMP4ファイルは、ファイル送信部１５４に供給される。ファイル送信部１５４は、ステップＳ１０５において、MP4ファイルを、コンテンツサーバ１０２に送信し、記憶部１１１に記憶させる。
[TILE再生処理の例]
次に、図１２のフローチャートを参照して、コンテンツ再生装置１０３のTILE(A)再生処理について説明する。
ステップＳ１２１において、ストリーミング制御部１２１は、コンテンツサーバ１０２の記憶部１１１のMPDファイルを解析し、取得するセグメントファイルのURL（アクセス）情報を取得する。すなわち、ストリーミング制御部１２１は、解析したMPDファイルに基づいて、画面サイズや伝送路の状態を加味して、それに合わせた最適な画像サイズ、タイルや符号化速度を選択することで、取得するセグメントファイルのURL（アクセス）情報を取得する。このアクセス情報は、HTTPアクセス部１２２に供給される。
ステップＳ１２２において、HTTPアクセス部１２２は、ストリーミング制御部１２１からのアクセス情報を用いて、所望の符号化速度のMP4ファイルのInitial segmentを取得する。
ステップＳ１２３において、HTTPアクセス部１２２は、Initial segmentのTileSampleGroupEntryから再生したいTile(A)のtile番号(インデックス)を解析する。ステップＳ１２４において、HTTPアクセス部１２２は、セグメントファイルの先頭からsidx/ssix/gsixを取得する。
ステップＳ１２５において、ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/gsixから、セグメントファイル内のTile(A)のインデックス番号のレンジを解析する。
ステップＳ１２６において、HTTPアクセス部１２２は、Tile(A)だけを、HTTPでコンテンツサーバ１０２から取得する。すなわち、HTTPアクセス部１２２は、ストリーミング制御部１２１により解析されたセグメントファイル内のTile(A)のインデックス番号のレンジに基づいて、Tile(A)だけを、HTTPでコンテンツサーバ１０２から取得する。
ステップＳ１２７において、コンテンツ再生部１２３は、ストリーミング制御部１２１の制御のもと、HTTPアクセス部１２２からのTile(A)（コンテンツ）を再生する。すなわち、コンテンツ再生部１２３は、HTTPアクセス部１２２からのTile(A)（コンテンツ）を復号処理して、１本のコンテンツとしてつなぎ合わせて、図示せぬ表示部に表示させる。
以上のように、任意のサブサンプル（タイル）を取得するための情報を、セグメントファイルの先頭（のgsix）に配置するようにしたので、効率的なHTTPによるデータ取得を実現することができる。
[TILE TRICK PLAY再生処理の例]
次に、図１３のフローチャートを参照して、コンテンツ再生装置１０３のTILE(A) TRICK PLAY再生処理について説明する。
ステップＳ１４１において、ストリーミング制御部１２１は、コンテンツサーバ１０２の記憶部１１１のMPDファイルを解析し、取得するセグメントファイルのURL（アクセス）情報を取得する。このアクセス情報は、HTTPアクセス部１２２に供給される。
ステップＳ１４２において、HTTPアクセス部１２２は、ストリーミング制御部１２１からのアクセス情報を用いて、所望の符号化速度のMP4ファイルのInitial segmentを取得する。
ステップＳ１４３において、HTTPアクセス部１２２は、Initial segmentのTileSampleGroupEntryから再生したいTile(A)のtile番号(インデックス)を解析する。ステップＳ１４４において、HTTPアクセス部１２２は、セグメントファイルの先頭からsidx/ssix/gsixを取得する。
ステップＳ１４５において、ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/gsixから、セグメントファイル内のI/PのTile(A)のインデックス番号のレンジを解析する。
ステップＳ１４６において、HTTPアクセス部１２２はI/PのTile(A)だけを、HTTPでコンテンツサーバ１０２から取得する。すなわち、HTTPアクセス部１２２は、ストリーミング制御部１２１により解析されたセグメントファイル内のI/PのTile(A)のインデックス番号のレンジに基づいて、I/PのTile(A)だけを、HTTPでコンテンツサーバ１０２から取得する。
ステップＳ１４７において、コンテンツ再生部１２３は、ストリーミング制御部１２１の制御のもと、HTTPアクセス部１２２からのI/PのTile(A)（コンテンツ）を再生する。これにより、コンテンツ再生部１２３は、HTTPアクセス部１２２からのTile(A)（コンテンツ）を復号処理して、１本のコンテンツとしてつなぎ合わせて、図示せぬ表示部に表示させる。
以上のように、任意のサブサンプル（タイル）を取得するための情報を、セグメントファイルの先頭（のgsix）に配置するようにしたので、TRICK PLAY再生を効率的なHTTPによるデータ取得を実現することができる。
なお、図７の尚書きにおいて上述した、HEVCのタイルが複数トラックで構成される場合について以下に詳細を説明する。例えば、MPEG-DASHに準拠したMP4ファイルにおいて、タイルの情報を有する複数のトラックが、サブセグメントに対応付けて構成される例について説明する。具体的には、MPEG-DASHに準拠したMP4ファイルにおいて、HEVCのタイルが複数トラックで構成される際に、トラックリファレンス(track reference)とエクストラクタ(eatractor)を使用した例について説明する。
［MPEG-DASHに準拠したMP4ファイルの構成例］
図１４は、MPEG-DASHに準拠したMP４のファイルの論理的な構成例を示している。図１４の例においては、MP4ファイルは、5つのトラックで構成されている。
トラック１は、各トラックのタイルを参照するための参照（リファレンス）情報であるエクストラクタをトラック分有している。トラック２乃至トラック５は、スライスからなるタイルとトラックリファレンスによる参照をそれぞれ持っている。ここで、Track Reference prnt=1は、トラックリファレンスとして、パラメータを格納するトラックの番号が１であることを示している。
図１５は、図１４の場合のMPEG-DASHに準拠したMP４のセグメントファイル構造を示している。なお、図１５の例において、図１の例と同じ部分については、説明を省略する。
図１５の例のmedia segmentファイルでは、sidx,ssixに続いて各トラックが配置されており、トラック毎にmoofとmdatが構成されている。すなわち、図１５の例は、トラックに分かれたものがトラック毎に管理されている例である。
トラックは、任意の時間長の各トラックのmoof/mdat単位でインターリーブ格納されている。同一時刻のすべてのトラックのmoof/mdatがサブセグメントとされている。また、sidxは、サブセグメントを指し示しており、ssixは、トラック毎のmoof/mdatを指し示している。すなわち、sidxで、タイル１乃至５のかたまりのサブセグメントを指し示し、ssixで、タイル毎のフラグメントを指し示すことができる。
そして、図１５の例においては、トラック１は、mdatに、各トラックのタイルを参照するための参照情報であるエクストラクタを格納している。トラック２乃至トラック５は、HEVCタイルだけのサブサンプルを格納している。
図１６は、図１４の場合のMPEG-DASHに準拠したMP４のセグメントファイル構造の他の例を示している。
図１６の例のmedia segmentファイルにおいては、すべてのトラックを１つのmoof/mdatで構成している。すなわち、図１６の例は、トラックに分かれたものが１つに管理されている例である。
任意の時間長の１つのmdat内において、データだけは、トラック毎に連続して格納されている。任意の時間長毎のトラックが、別のmoof/mdat単位で格納されている。同一時間のすべてのトラックを含むmoof/mdatがサブセグメントとされている。また、sidxは、サブセグメントを指し示しており、ssixは、トラック毎のmoof/mdatを指し示している。すなわち、sidxで、タイル１乃至５が入った１つのmoofを指し示し、ssixで、トラック１は、moofと各トラックのタイルへのエクストラクタを示し、トラック２乃至５についてはタイルだけを指し示すことができる。
そして、図１６の例においては、トラック１は、各トラックのタイルへの参照エクストラクタを格納している。トラック２乃至４は、HEVCタイルだけのサブセグメントを格納している。
[ファイル生成処理]
次に、図１７のフローチャートを参照して、図１５または図１６の例のファイル生成処理について説明する。なお、この処理は、上述した図１０のファイル生成装置１０１により行われる処理である。
符号化部１５１は、ステップＳ１６１において、コンテンツデータを、例えば、HEVCなどで符号化し、ビットストリームを生成する。符号化部１５１は、生成したビットストリームをMP4ファイルマルチプレクサ１５３に供給する。
また、符号化の際、符号化部１５１は、ピクチャを複数のタイルに分割して符号化を行っており、そのタイルに関する情報をサブサンプル情報として、サブサンプル情報生成部１５２に供給する。
これに対応して、ステップＳ１６２において、サブサンプル情報生成部１５２は、タイル情報をサブサンプル情報として取得する。
ステップＳ１６３において、サブサンプル情報生成部１５２は、タイル毎のスライスを分離するためのエクストラクタを生成する。
ステップＳ１６４において、MP4ファイルマルチプレクサ１５３は、MP4ファイルを生成し、スライスをエクストラクタに置き換えたストリームと、タイル毎に分割したスライスをトラック毎に分割し、スライスに分離し、多重化する。ここで、多重化の方法としては、図１５のファイル構造と図１６のファイル構造があげられる。
MP4ファイルマルチプレクサ１５３により多重化されて生成されたMP4ファイルは、ファイル送信部１５４に供給される。ファイル送信部１５４は、ステップＳ１０５において、MP4ファイルを、コンテンツサーバ１０２に送信し、記憶部１１１に記憶させる。
[タイルトラック再生処理の例]
次に、図１８のフローチャートを参照して、図１５または図１６の例のタイルトラック再生処理について説明する。なお、この処理は、図９のコンテンツ再生装置１０３により実行される処理である。
ステップＳ１８１において、ストリーミング制御部１２１は、コンテンツサーバ１０２の記憶部１１１のMPDファイルを解析し、取得するセグメントファイルのURL（アクセス）情報を取得する。このアクセス情報は、HTTPアクセス部１２２に供給される。
ステップＳ１８２において、HTTPアクセス部１２２は、ストリーミング制御部１２１からのアクセス情報を用いて、所望の符号化速度のMP4ファイルのInitial segmentを取得する。
ステップＳ１８３において、HTTPアクセス部１２２は、Initial segmentのTileSampleGroupEntryから再生したいTile(ａ)のtile番号(インデックス)とPS（パラメータセット）を格納する番号（インデックス）を解析する。ステップＳ１８４において、HTTPアクセス部１２２は、セグメントファイルの先頭からsidx/ssixを取得する。
ステップＳ１８５において、ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/ssixから、セグメントファイル内のPSを格納するインデックス番号とタイルのTile(ａ)のインデックス番号のレンジを解析する。
ステップＳ１８６において、HTTPアクセス部１２２は、PSとTile(ａ)だけを、HTTPでコンテンツサーバ１０２から取得する。すなわち、HTTPアクセス部１２２は、ストリーミング制御部１２１により解析されたセグメントファイル内のTile(ａ)のインデックス番号のレンジに基づいて、Tile(ａ)だけを、HTTPでコンテンツサーバ１０２から取得する。
ステップＳ１８７において、コンテンツ再生部１２３は、ストリーミング制御部１２１の制御のもと、HTTPアクセス部１２２からのTile(ａ)（コンテンツ）を再生する。これにより、コンテンツ再生部１２３は、HTTPアクセス部１２２からのTile(ａ)（コンテンツ）を復号処理して、１本のコンテンツとしてつなぎ合わせて、図示せぬ表示部に表示させる。
以上のように、図１５および図１６のファイル構造の場合も、MPEG-DASHに準拠したMP４のセグメントファイルをアクセスよく再生することができる。
［MPEG-DASHに準拠したMP4ファイルの構成例］
図１９は、MPEG-DASHに準拠したMP４のファイルの論理的な構成例を示している。図１９の例においては、図１４の場合において他のトラックに配置されていたファイルの実体(スライス)がトラック１に配置され、図１４の場合においてトラック１に配置されていたトラックへのエクストラクタが、タイルとしてトラック２乃至トラック５に配置されている。
すなわち、トラック１は、通常のHEVCのスライスを格納している。これに対して、トラック２乃至トラック４は、トラックリファレンスによる参照とエクストラクタによるスライスへの参照を有している。すなわち、トラック２乃至４は、トラック１から任意のタイルを取得するためのアクセステーブルとなる。
図２０は、図１９の場合のMPEG-DASHに準拠したMP４のセグメントファイル構造を示している。なお、図２０の例において、図１５の例と同じ部分については、説明を省略する。
すなわち、図２０のファイル構造は、トラック１にHEVCストリームが格納されている点と、トラック２乃至トラック５に、HEVCタイルへのエクストラクタだけが格納されている点が、図１５のファイル構造と異なっている。
図２１は、図１９の場合のMPEG-DASHに準拠したMP４のセグメントファイル構造の他の例を示している。なお、図２１の例において、図１６の例と同じ部分については、説明を省略する。
すなわち、図２１のファイル構造は、トラック１にHEVCストリームが格納されている点と、トラック２乃至トラック５に、HEVCタイルへのエクストラクタだけが格納されている点が、図１５のファイル構造と異なっている。
[ファイル生成処理]
次に、図２２のフローチャートを参照して、図２０または図２１の例のファイル生成処理について説明する。なお、この処理は、上述した図１０のファイル生成装置１０１により行われる処理である。
符号化部１５１は、ステップＳ２０１において、コンテンツデータを、例えば、HEVCなどで符号化し、ビットストリームを生成する。符号化部１５１は、生成したビットストリームをMP4ファイルマルチプレクサ１５３に供給する。
また、符号化の際、符号化部１５１は、ピクチャを複数のタイルに分割して符号化を行っており、そのタイルに関する情報をサブサンプル情報として、サブサンプル情報生成部１５２に供給する。
これに対応して、ステップＳ２０２において、サブサンプル情報生成部１５２は、タイル情報をサブサンプル情報として取得する。
ステップＳ２０３において、サブサンプル情報生成部１５２は、タイル毎のスライスを参照するためのエクストラクタを生成する。
ステップＳ２０４において、MP4ファイルマルチプレクサ１５３は、MP4ファイルを生成し、通常のストリームとタイル毎にスライスを参照するエクストラクタをトラック毎に格納し、多重化する。ここで、多重化の方法としては、図２０のファイル構造と図２１のファイル構造があげられる。
MP4ファイルマルチプレクサ１５３により多重化されて生成されたMP4ファイルは、ファイル送信部１５４に供給される。ファイル送信部１５４は、ステップＳ２０５において、MP4ファイルを、コンテンツサーバ１０２に送信し、記憶部１１１に記憶させる。
[タイルトラック再生処理の例]
次に、図２３のフローチャートを参照して、図２０または図２１の例のタイルトラック再生処理について説明する。なお、この処理は、図９のコンテンツ再生装置１０３により実行される処理である。
ステップＳ２２１において、ストリーミング制御部１２１は、コンテンツサーバ１０２の記憶部１１１のMPDファイルを解析し、取得するセグメントファイルのURL（アクセス）情報を取得する。このアクセス情報は、HTTPアクセス部１２２に供給される。
ステップＳ２２２において、HTTPアクセス部１２２は、ストリーミング制御部１２１からのアクセス情報を用いて、所望の符号化速度のMP4ファイルのInitial segmentを取得する。
ステップＳ２２３において、HTTPアクセス部１２２は、Initial segmentのTileSampleGroupEntryから再生したいTile(ａ)のtile番号(インデックス)と全体ストリームを格納する番号（インデックス）を解析する。ステップＳ２２４において、HTTPアクセス部１２２は、セグメントファイルの先頭からsidx/ssixを取得する。
ステップＳ２２５において、ストリーミング制御部１２１は、HTTPアクセス部１２２より取得されたsidx/ssixから、セグメントファイル内のTile(ａ)のインデックス番号のレンジを解析する。
ステップＳ２２６において、HTTPアクセス部１２２は、Tile(ａ) のエクストラクタだけを、HTTPでコンテンツサーバ１０２から取得する。
ステップＳ２２７において、ストリーミング制御部１２１は、sidx/ssixから、セグメントファイル内ストリーム全体のインデックス番号のレンジを解析し、さらに、取得したTile(ａ) のエクストラクタを解析して、Tile(ａ) の実データだけのレンジを解析する。
ステップＳ２２８において、HTTPアクセス部１２２は、Tile(ａ) の実データだけを、HTTPでコンテンツサーバ１０２から取得する。
ステップＳ２２９において、コンテンツ再生部１２３は、ストリーミング制御部１２１の制御のもと、HTTPアクセス部１２２からのTile(ａ)（コンテンツ）を再生する。これにより、コンテンツ再生部１２３は、HTTPアクセス部１２２からのTile(ａ)（コンテンツ）を復号処理して、１本のコンテンツとしてつなぎ合わせて、図示せぬ表示部に表示させる。
以上のように、図２０および図２１のファイル構造の場合も、MPEG-DASHに準拠したMP４のセグメントファイルをアクセスよく再生することができる。
なお、図１４の例において全体を再生する場合には、トラック１乃至５の全部を再生しないといけないが、図１９の例において全部を再生する場合は、トラック１のみあればよく、トラック２乃至５はいらない。また、一部再生の場合、必要なトラックのみをもってこればよい。
また、部分再生を行う場合には、図１６のMP4ファイル構造よりも、図１５のトラック毎のファイル構造の方が効率的である。同様に、部分再生を行う場合には、図２１のMP4ファイル構造よりも、図２０のトラック毎のファイル構造の方が効率的である。
なお、図１５および図２０のトラック毎のフラグメント（moof+mdat）の格納順序は示されている例の順序でなくてもよい。また、図１６および図２１のフラグメント（moof+mdat）のmdat内のトラックの格納順序は、示されている例の順序でなくてもよい。
また、図２０のトラック毎のフラグメント（moof+mdat）の格納順序と、図２１のフラグメント（moof+mdat）のmdat内のトラックの格納順序については、エクストラクタのトラック２乃至５をトラック１より先に格納すると、sidx/ssixと共に連続した領域としてhttpで取得することが可能となり、より伝送効率が上がることがある。
なお、上記説明においては、HEVCにより符号化されたビットストリームをファイル化する例を説明したが、符号化方法は、画面を分割するタイル構造を有する符号化方法であれば、HEVCに限らない。
また、上記説明においては、MP4ファイルフォーマットの例を説明したが、ファイルフォーマットは、MP4ファイルフォーマットまたはAVCファイルフォーマットには限定されない。本技術による課題・効果が同じであれば、別のファイルフォーマット、伝送する際に用いるストリーム、ファイルに格納する際に用いるストリームに対して、同様に適用することができる。
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。
入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体８１１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されたビットストリームを含むファイルの先頭に、前記複数のサブサンプルうち、任意のサブサンプルを取得するためのサブサンプルアクセス情報を配置して、前記ファイルを生成するファイル生成部
を備えるファイル生成装置。
（２） 前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される
前記（１）に記載のファイル生成装置。
（３） 前記サブサンプルアクセス情報は、すべてのサブサンプルのインデックス情報とサイズ情報である
前記（１）または（２）に記載のファイル生成装置。
（４） 前記サブサンプルアクセス情報は、general subsegment index boxに配置される
前記（１）乃至（３）のいずれかに記載のファイル生成装置。
（５） 前記サブサンプルアクセス情報は、moofにおけるサブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である
前記（１）または（２）に記載のファイル生成装置。
（６） 前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される
前記（１）、（２）、または（５）に記載のファイル生成装置。
（７） 前記サブサンプルは、タイルである
前記（１）乃至（６）のいずれかに記載のファイル生成装置。
（８） 前記画像が複数のサブサンプルに分割されたコンテンツを符号化して、前記ビットストリームを生成する符号化部を
さらに備える前記（１）乃至（７）のいずれかに記載のファイル生成装置。
（９） ファイル生成装置が、
画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されるビットストリームを含むファイルの先頭に、前記複数のサブサンプルうち、任意のサブサンプルを取得するためのサブサンプルアクセス情報を配置して、前記ファイルを生成する
ファイル生成方法。
（１０） 画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、前記複数のサブサンプルうち、任意のサブサンプルを取得するためのサブサンプルアクセス情報が配置されて生成されたファイルから、前記サブサンプルアクセス情報を取得するアクセス情報取得部と、
前記アクセス情報取得部により取得されたサブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得するサンプル取得部と、
前記サンプル取得部により取得された任意のサブサンプルを再生する再生部と
を備えるコンテンツ再生装置。
（１１） 前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される
前記（１０）に記載のコンテンツ再生装置。
（１２） 前記サブサンプルアクセス情報は、すべてのサブサンプルのインデックス情報とサイズ情報である
前記（１０）または（１１）に記載のコンテンツ再生装置。
（１３） 前記サブサンプルアクセス情報は、general subsegment index boxに配置される
前記（１０）乃至（１２）のいずれかに記載のコンテンツ再生装置。
（１４） 前記サブサンプルアクセス情報は、moofにおけるサブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である
前記（１０）または（１１）に記載のコンテンツ再生装置。
（１５） 前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される
前記（１０）、（１１）、または（１４）に記載のコンテンツ再生装置。
（１６） 前記サブサンプルは、タイルである
前記（１０）乃至（１５）のいずれかに記載のコンテンツ再生装置。
（１７） 前記コンテンツは、ネットワークを介して接続されるサーバに記憶されている
前記（１０）乃至（１６）のいずれかに記載のコンテンツ再生装置。
（１８） コンテンツ再生装置が、
画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、前記複数のサブサンプルうち、任意のサブサンプルを取得するためのサブサンプルアクセス情報が配置されて生成されたファイルから、前記サブサンプルアクセス情報を取得し、
取得されたサブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得し、
取得された任意のサブサンプルを再生する
コンテンツ再生方法。
（１９） タイルの情報を有するトラックが、サブセグメントに対応付けて構成されるファイルを生成するファイル生成部を
備えるファイル生成装置。
（２０） 前記トラックは、タイルのサンプルを有する
前記（１９）に記載のファイル生成装置。
（２１） 前記トラックは、タイルのサンプルを参照するための参照情報を有する
前記（１９）に記載のファイル生成装置。
（２２） ファイル生成装置が、
タイルの情報を有するトラックを、サブセグメントに対応付けて構成されるファイルを生成するファイル生成方法。
（２３） タイルの情報を有するトラックが、サブセグメントに対応付けて構成されるファイルから、タイルへのアクセス情報を取得するアクセス情報取得部と、
取得されたタイルへのアクセス情報を用いて、タイルのサブサンプルを取得するサンプル取得部と、
取得された任意のサブサンプルを再生する再生部と
を備えるコンテンツ再生装置。
（２４） 前記トラックは、タイルのサンプルを有する
前記（２３）に記載のコンテンツ再生装置。
（２５） 前記トラックは、タイルのサンプルを参照するための参照情報を有する
前記（２３）に記載のコンテンツ再生装置。
（２６） コンテンツ再生装置が、
タイルの情報を有するトラックが、サブセグメントに対応付けて構成されるファイルから、タイルへのアクセス情報を取得し、
取得されたタイルへのアクセス情報を用いて、タイルのサブサンプルを取得し、
取得された任意のサブサンプルを再生する
コンテンツ再生方法。
１０１ ファイル生成装置， １０２ コンテンツサーバ， １０３ コンテンツ再生装置， １０４ ネットワーク， １１１ 記憶部， １１２ 通信部， １２１ ストリーミング制御部， １２２ HTTPアクセス部， １２３ コンテンツ再生部， １５１ 符号化部， １５２ サブサンプル情報生成部， １５３ MP4ファイルマルチプレクサ， １５４ ファイル送信部

Claims (18)

  1. 画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されたビットストリームを含むファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報を配置して、前記ファイルを生成するファイル生成部
    を備えるファイル生成装置。
  2. 前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される
    請求項１に記載のファイル生成装置。
  3. 前記サブサンプルアクセス情報は、すべての前記サブサンプルのインデックス情報とサイズ情報である
    請求項２に記載のファイル生成装置。
  4. 前記サブサンプルアクセス情報は、general subsegment index boxに配置される
    請求項３に記載のファイル生成装置。
  5. 前記サブサンプルアクセス情報は、moofにおける前記サブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である
    請求項２に記載のファイル生成装置。
  6. 前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される
    請求項５に記載のファイル生成装置。
  7. 前記サブサンプルは、タイルである
    請求項１に記載のファイル生成装置。
  8. 前記画像が複数の前記サブサンプルに分割されたコンテンツを符号化して、前記ビットストリームを生成する符号化部を
    さらに備える請求項１に記載のファイル生成装置。
  9. ファイル生成装置が、
    画像が複数のサブサンプルに分割されたコンテンツを符号化して生成されるビットストリームを含むファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報を配置して、前記ファイルを生成する
    ファイル生成方法。
  10. 画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて生成された前記ファイルから、前記サブサンプルアクセス情報を取得するアクセス情報取得部と、
    前記アクセス情報取得部により取得された前記サブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得するサンプル取得部と、
    前記サンプル取得部により取得された前記任意のサブサンプルを再生する再生部と
    を備えるコンテンツ再生装置。
  11. 前記サブサンプルアクセス情報は、前記ファイルの先頭におけるSegment index boxおよびSubsegment index boxの後に配置される
    請求項１０に記載のコンテンツ再生装置。
  12. 前記サブサンプルアクセス情報は、すべての前記サブサンプルのインデックス情報とサイズ情報である
    請求項１１に記載のコンテンツ再生装置。
  13. 前記サブサンプルアクセス情報は、general subsegment index boxに配置される
    請求項１２に記載のコンテンツ再生装置。
  14. 前記サブサンプルアクセス情報は、moofにおける前記サブサンプルに関する情報が格納されるボックスへのオフセット情報と前記ボックスのサイズ情報である
    請求項１１に記載のコンテンツ再生装置。
  15. 前記サブサンプルアクセス情報は、SubsampleBox LocationBoxに配置される
    請求項１４に記載のコンテンツ再生装置。
  16. 前記サブサンプルは、タイルである
    請求項１０に記載のコンテンツ再生装置。
  17. 前記コンテンツは、ネットワークを介して接続されるサーバに記憶されている
    請求項１０に記載のコンテンツ再生装置。
  18. コンテンツ再生装置が、
    画像が複数のサブサンプルに分割されたコンテンツを復号して生成されたビットストリームが含まれるファイルの先頭に、複数の前記サブサンプルのうち、任意のサブサンプルを取得するための情報であって、moofの前に配置されているサブサンプルアクセス情報が配置されて生成された前記ファイルから、前記サブサンプルアクセス情報を取得し、
    取得された前記サブサンプルアクセス情報を用いて、前記任意のサブサンプルを取得し、
    取得された前記任意のサブサンプルを再生する
    コンテンツ再生方法。
JP2015527273A 2013-07-19 2014-07-10 ファイル生成装置および方法、並びにコンテンツ再生装置および方法 Expired - Fee Related JP6439691B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013151019 2013-07-19
JP2013151019 2013-07-19
JP2014058950 2014-03-20
JP2014058950 2014-03-20
PCT/JP2014/068381 WO2015008686A1 (ja) 2013-07-19 2014-07-10 ファイル生成装置および方法、並びにコンテンツ再生装置および方法

Publications (2)

Publication Number Publication Date
JPWO2015008686A1 JPWO2015008686A1 (ja) 2017-03-02
JP6439691B2 true JP6439691B2 (ja) 2018-12-19

Family

ID=52346149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015527273A Expired - Fee Related JP6439691B2 (ja) 2013-07-19 2014-07-10 ファイル生成装置および方法、並びにコンテンツ再生装置および方法

Country Status (4)

Country Link
US (1) US9865304B2 (ja)
JP (1) JP6439691B2 (ja)
CN (1) CN105409235B (ja)
WO (1) WO2015008686A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016072858A (ja) * 2014-09-30 2016-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
JP6446347B2 (ja) * 2015-09-14 2018-12-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 サムネイル提供装置、表示装置、サムネイル映像表示システム、サムネイル映像表示方法、及びプログラム
GB2563865A (en) 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
CN109936715B (zh) 2017-12-19 2021-09-03 华为技术有限公司 一种mp4文件的处理方法及其相关设备
GB2582014A (en) * 2019-03-08 2020-09-09 Canon Kk Method, device, and computer program for optimizing transmission of portions of encapsulated media content
US11323764B2 (en) * 2019-09-20 2022-05-03 Comcast Cable Communications, Llc Caching recorded content segments on playback
GB2590435B (en) * 2019-12-17 2023-12-20 Canon Kk Method, device, and computer program for improving encapsulation of media content
GB2599170B (en) * 2020-09-29 2024-05-29 Canon Kk Method, device, and computer program for optimizing indexing of portions of encapsulated media content data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003237120B2 (en) * 2002-04-29 2008-10-09 Sony Electronics, Inc. Supporting advanced coding formats in media files
US8145721B2 (en) * 2007-03-01 2012-03-27 Telefonaktiebolaget L M Ericsson (Publ) Bit streams combination of downloaded multimedia files
KR20120010089A (ko) * 2010-07-20 2012-02-02 삼성전자주식회사 Ｈｔｔｐ 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム

Also Published As

Publication number Publication date
CN105409235B (zh) 2019-07-09
US20160163355A1 (en) 2016-06-09
CN105409235A (zh) 2016-03-16
WO2015008686A1 (ja) 2015-01-22
JPWO2015008686A1 (ja) 2017-03-02
US9865304B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
JP6439691B2 (ja) ファイル生成装置および方法、並びにコンテンツ再生装置および方法
US20210326378A1 (en) Information processing apparatus and information processing method
JP2020205632A (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
JP6467680B2 (ja) ファイル生成方法およびファイル生成装置
JP6508206B2 (ja) 情報処理装置および方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
JP2015136060A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136059A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
WO2014112186A1 (ja) コンテンツサーバおよびコンテンツ配信方法
WO2018142946A1 (ja) 情報処理装置および方法
JP2015136057A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
JP2016072858A (ja) メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
JP2015136058A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
Stockhammer MPEG's Dynamic Adaptive Streaming over HTTP (DASH)–Enabling Formats for Video Streaming over the Open Internet
CN105122821A (zh) 服务器装置、内容提供方法以及计算机程序
JP2017183762A (ja) 映像ストリーム生成方法、再生装置及び記録媒体
WO2015105037A1 (ja) ファイル生成方法、ファイル生成装置および記録媒体
WO2022220207A1 (ja) 情報処理装置および方法
Stockhammer MPEG's Dynamic Adaptive Streaming over HTTP (DASH)-‐An Enabling Standard for Internet TV
WO2016027426A1 (ja) 映像ストリーム生成方法、再生装置及び記録媒体
WO2016002493A1 (ja) ファイル生成装置および方法、並びにコンテンツ再生装置および方法
Rahimi Motem Bookmarking and Seeking Tool for Online Videos

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R151 Written notification of patent or utility model registration

Ref document number: 6439691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees