JP6556126B2 - ファイルの生成方法、ファイルの生成装置、及び、プログラム。 - Google Patents

Description

本発明は、一般的には、特に圧縮ビデオストリームにおける、対象とするユーザ選択領域のＨＴＴＰ（ハイパーテキスト転送プロトコル）ストリーミングに関してストリーム配信を改善するための、たとえば、ＭＰＥＧ標準化機構によって定義されているようなベースメディアファイルフォーマットによるタイムドメディアデータのカプセル化の分野に関する。より詳細には、本発明は、データ、特に１つ以上のタイルの効率的なストリーミングを可能にする空間タイルのような分割データを含むスケーラブルなエレメンタリストリームをカプセル化するための方法、デバイス、およびコンピュータプログラムに関する。

ビデオコード化は、一連のビデオ画像を、ビデオ画像を送信または記憶することができるようにコンパクトなデジタル化ビットストリームに変換する方法である。符号化デバイスが使用されてビデオ画像がコード化され、関連する復号デバイスが、表示および閲覧のためにビットストリームを再構築するために利用可能である。一般的な目的は、元のビデオ情報よりもサイズが小さくなるように、ビットストリームを形成することである。これによって、ビットストリームコードを送信または記憶するために必要とされる、伝送ネットワークまたは記憶デバイスの容量が低減される利点がある。送信されるために、ビデオビットストリームは、ヘッダおよびチェックビットを一般的には追加する送信プロトコルに従ってカプセル化される。

最近、動画専門家集団（ＭＰＥＧ）は、ＨＴＴＰ（ハイパーテキスト転送プロトコル）を介した既存のソリューションを統合し、それらの後継となるための新たな標準を発行した。「ＨＴＴＰを介した動的適応型ストリーミング（ＤＡＳＨ）」と呼ばれるこの新たな基準は、インテリジェンス（すなわち、ストリーミングするためのメディアデータの選択、ならびに、ユーザ選択、ネットワーク状態、およびクライアント機能に対するビットストリームの動的適合）がもっぱらクライアント選択およびデバイスに依拠する、標準的なウェブサーバに基づくＨＴＴＰを介したメディアストリーミングモデルをサポートするように意図されている

このモデルにおいて、メディア表現は、データセグメント、および、表現されるべきタイムドメディアデータの編成を表す「メディア表現記述（メディアプレゼンテーションディスクリプション）」と呼ばれるマニフェストにおいて編成される。特に、マニフェストは、データセグメントをダウンロードするためのユーザに対する資源識別子を含み、有効なメディア表現を得るためにそれらのデータセグメントを組み合わせるためのコンテキストを提供する。資源識別子は一般的には、バイト範囲と組み合わされる可能性があるＨＴＴＰ−ＵＲＬ（統一資源位置指定子）である。マニフェストに基づいて、クライアントデバイスは、任意の時点において、その要求、その能力（たとえば、サポートされるコーデック、表示サイズ、フレームレート、品質レベルなど）に従って、ネットワーク状態（たとえば、利用可能な帯域幅）に応じて、いずれのメディアセグメントがメディアデータサーバからダウンロードされるべきであるかを決定する。

加えて、ビデオ解像度は、標準精細度（ＳＤ）から高精細度（ＨＤ）、および超高精細度（たとえば、４Ｋ２Ｋまたは８Ｋ４Ｋ、すなわち、４，０９６×２，４００ピクセルまたは７，６８０×４，３２０ピクセルの画像を含むビデオ）へと向かって絶えず増大している。しかしながら、特にビデオが超高精細度であるとき、すべての受信およびビデオ復号デバイスが、フル解像度におけるビデオにアクセスするための資源（たとえば、ネットワークアクセス帯域幅またはＣＰＵ（中央処理装置））を有しているわけではなく、すべてのユーザがそのようなビデオにアクセスする必要があるわけではない。そのようなコンテキストにおいて、いくつかの関心領域（ＲＯＩ）にアクセスする、すなわち、ビデオシーケンス全体のうちのいくつかの空間下位区分のみにアクセスする能力を提供することが特に有利である。

ビデオに属するフレームの空間下位区分にアクセスするための既知のメカニズムは、ビデオの各フレームを、一般的にはタイルと称される、独立して復号可能な空間領域の配列として編成することに存する。ＳＶＣ（スケーラブルビデオコード化）またはＨＥＶＣ（高効率ビデオコード化）のようないくつかのビデオフォーマットが、タイル定義に対するサポートを提供する。ユーザ定義のＲＯＩは、１つまたはいくつかの連続したタイルをカバーし得る。

したがって、ＨＴＴＰに従って、ユーザ選択のＲＯＩをストリーミングするためには、１つ以上のタイルへの空間アクセスを可能にし、アクセスされるタイルの組み合わせを可能にするように、符号化済みビデオビットストリームのタイムドメディアデータのカプセル化を可能にすることが重要である。

符号化済みビデオビットストリームは一般的には完全なフレームに対応する連続した時間サンプルのセットとして構成され、時間サンプルは、復号順序に応じて編成されることを想起されたい。そのような符号化済みビデオビットストリームをカプセル化および記述するためのファイルフォーマットが使用される。

例示を目的として、国際標準化機構ベースメディアファイルフォーマット（ＩＳＯ ＢＭＦＦ）は、ネットワークまたは別のビットストリーム配信メカニズムを介してローカル記憶または送信のいずれかのために符号化済みタイムドメディアデータビットストリームを記述する既知の柔軟で拡張可能なフォーマットである。このファイルフォーマットはオブジェクト指向型である。これは、連続的にまたは階層的に編成され、タイミングおよび構造パラメータのような符号化済みタイムドメディアデータビットストリームのパラメータを定義する、ボックスと呼ばれる構成ブロックから構成される。このファイルフォーマットによれば、タイムドメディアデータビットストリームは、トラックボックスと称される別のデータ構造において定義されるｍｄａｔボックスと称されるデータ構造内に含まれる。トラックは、サンプルが、単一のタイムスタンプと関連付けられるすべてのデータ、すなわち、単一のフレームと関連付けられるすべてのデータ、または、同じタイムスタンプを共有するいくつかのフレームと関連付けられるすべてのデータに対応するタイムドサンプルシーケンスを表す。

ＳＶＣフォーマットのビデオのようなスケーラブルビデオについて、各トラックが特定のスケーラビリティレベルにおいてビデオを表現する、複数の従属トラックを使用することによって層状メディアデータ編成が効率的に表現され得る。トラック間のデータ重複を回避するために、抽出器が使用され得る。標準的なファイルフォーマットによれば、抽出器は、他のビットストリームからのネットワーク抽象化層（ＮＡＬ）単位の効率的な抽出を可能にする、ビットストリーム内に直に含まれるデータ構造である。それゆえ、別のビットストリーム内にすでに含まれているデータを含むビットストリームは、それらを他のビットストリームから復元することを可能にする抽出器によってこれらのデータを置き換えるように処理される。たとえば、強化層トラック（エンハンスメントレイヤトラック）のビットストリームは、基本層トラック（ベースレイヤトラック）からのＮＡＬ単位を参照する抽出器を含み得る。その後、そのような強化層トラックがそのファイルフォーマットから抽出されると、抽出器は、それらが参照しているデータに置き換えられなければならない。

特にＨＥＶＣコード化フォーマットおよびそのスケーラブルな拡張のために、副情報を記述し、この部分情報へのアクセスを容易にするか、または、ビットストリームを複数のセグメントに効率的に編成するために、これらのメカニズムを組み込んでいるＩＳＯ ＢＭＦＦを使用するときにいくつかの戦略を採用することができる。

たとえば、「Ｉｍｐｌｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ ｏｎ Ａｄａｐｔｉｖｅ ＨＴＴＰ Ｓｔｒｅａｍｉｎｇ ｏｆ Ｈ．２６４／ＳＶＣ」と題する論文において、著者Ｋｏｆｌｅｒ他は、ＩＳＯ ＢＭＦＦの可能性および制限を考慮してＨＴＴＰのためのスケーラブルビデオビットストリーム（Ｈ２６４／ＳＶＣ）を編成するための３つの異なる戦略を提示している。
ａ）すべてのＩＳＯ ＢＭＦＦメタデータ（トラック定義を含む）を含むファイルタイプボックス「ｆｔｙｐ」および動画ボックス「ｍｏｏｖ」を含む特定のファイルヘッダを含む単一のファイル、この単一のファイルは、符号化済みビデオビットストリーム全体を含む単一のｍｄａｔボックスをも含む。この編成は、ローカル記憶には適しているが、クライアントがビデオビットストリーム全体のうちの一部分を必要とするであろう場合があるＨＴＴＰストリーミングには適合していない。
ｂ）フラグメンテーションに適した複数のｍｏｏｆ／ｍｄａｔボックスを含む単一のファイル。このフォーマットはプログレッシブダウンロードを可能にする。ｍｏｏｆボックスは、フラグメントレベルにおいてはｍｏｏｖボックスと等価である。この方式によれば、フラグメント化されたメディアファイルを使用して、スケーラブルビデオビットストリームが、異なるスケーラビリティレベルにおいてビデオを表現する複数の従属トラックに分割される。他のトラックからのＮＡＬ単位を参照するために抽出器が使用される。タイルごとのトラックが使用される場合、すべてのアドレス指定可能なトラックが前もって準備される必要があり、トラックを独立して選択することはできない。いくつかのタイルが表示されるべきである場合、いくつかのビットストリームが復号されなければならず、基本層が数回復号される。
ｃ）複数のセグメントファイル、各ファイルはそれ自体のＵＲＬによってアクセス可能であり、独立してダウンロード可能である。各セグメントは一般的には、一種のファイルヘッダとして作用するセグメントタイプボックス（ｓｔｙｐ）、任意選択のセグメントインデックスボックス（ｓｉｄｘ）および１つ以上のフラグメントから構成される。ここでも、各フラグメントはｍｏｏｆおよびｍｄａｔボックスから構成される。この方式によれば、フラグメント化メディアファイルを使用して、各トラックがそれ自体のセグメント内に記憶され、関連するビットストリームが１つのスケーラビリティレベルに関連している。必要である場合、従属トラックから必要とされるビットストリームを参照するために抽出器が使用される。そのようなコード化方式は、トラックを独立してストリーミングするのに特に適している。それはＤＡＳＨ規格によく適合しているが、いくつかのビットストリームが復号されるべきであり、したがって、トラックあたり１つの復号器が必要とされるため、タイルストリーミングには適合していない。その上、２つ以上のタイルを選択するとき、基本層のビットストリームが重複する可能性がある。

空間タイルに適用されるとき、これらの戦略はいずれも、ＨＴＴＰストリーミングの文脈において特定のファイルに対する効率的なアクセスを可能にしない。実際、既存のファイルフォーマットの定義によれば、所与の時間間隔に対応するいくつかのフレームの空間タイルを表示するためには、依然として符号化済みビデオビットストリームにおける複数の非連続的なバイト範囲にアクセスする必要があるか、または、結果としてビットストリームが重複することになる。

米国特許第８，４４２，１０９号明細書は、ファイルフォーマット、特にＳＶＣタイプのビデオ圧縮フォーマットにおいてＲＯＩスケーラビリティ情報を伝えるための方法を開示している。この文献において開示されているシステムの目的は、メディアファイルからＲＯＩデータを抽出する能力を提供するための、関心領域およびスケーラビリティ層におけるＮＡＬ単位のマッピングに関するものである。この文献は、関心領域の幾何形状を伝えるために、参照される新規のボックスＩｒｏｉＩｎｆｏＢｏｘを使用することを開示している。関心領域においてＮＡＬ単位をマッピングするための（すなわち、ＮＡＬ単位をＲＯＩ識別子に関連付けるための）３つの異なる解決策、すなわち、タイル化メタデータを使用すること、トラックのサンプル上の入れ子ループを含む専用ボックスを使用すること、および、ＮＡＬ単位、または、割り当てられたＲＯＩ識別子を有するすべてのＮＡＬ単位を網羅的にリストしている特定のＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ記述子を使用することが開示されている。

スケーラビリティ層におけるＮＡＬ単位のマッピングに関連して、「ｔｉｅｒ」ボックスが使用される（単語「ｔｉｅｒ（層）」は、ドラフトＳＶＣファイルフォーマットにおける層を記述するために使用されている）。そうすることによって、ＲＯＩの幾何形状情報が、識別情報から分離される。

しかしながら、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、（ＮＡＬ単位をインデックス付けする代わりに）タイルおよびＲＯＩをインデックス付けすることが、構文解析効率の観点から、ならびに、関心領域およびタイルの抽出の観点から好ましい。

これらの問題を解決するために、いずれのトラック組み合わせがクライアントアプリケーションによって選択されようとも、ＩＳＯ ＢＭＦＦ構文解析の結果が常にビデオ復号器にとって有効なビデオエレメンタリストリームをもたらすことを保証する、スケーラブルビデオビットストリーム内の空間タイルに適切な、効率的なデータ編成およびトラック記述方式が提供される。

これらの制約に直面し、本発明者らは、サーバにおいてタイル化タイムドメディアデータをカプセル化し、複数のメディアセグメントファイル内にカプセル化されているタイル化タイムドメディアデータからタイムドメディアデータビットストリームを提供するための方法およびデバイスを提供する。

本発明の概略の目的は、上述したような従来技術の欠点を改善することである。

本発明の生成方法は、例えば、以下の構成を有する。すなわち、それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成方法であって、１つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成工程と、前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＳＰＳ（シーケンスパラメータセット）が記述されず、且つ、前記ＳＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有する。
本発明の第１の態様によれば、サーバにおいて分割同期型メディアデータをカプセル化するための方法が提供され、前記分割同期型メディアデータは同期型サンプルを含み、各同期型サンプルは、第１の層と、少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記方法は、
１つの前記同期型サンプルの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを得るステップであって、前記得られるサブサンプルが、前記１つの同期型サンプルの前記サブサンプルのセットのサブセットを形成する、サブサンプルを得るステップと、
前記少なくとも１つの得られるサブサンプルを含む１つのトラックを作成するステップと、
少なくとも１つのメディアセグメントファイルにおいて前記作成されたトラックを独立してカプセル化するステップであって、前記メディアセグメントファイルは、前記同期型サンプルの１つおよびそれが属する前記層に関する、前記少なくとも１つの得られるサブサンプルについての情報を提供するためのマッピングメタデータを含む、カプセル化するステップと
を含む。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせ、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ、有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明の方法は、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

ある実施形態において、前記マッピングメタデータは同じ構造内に記憶される。

ある実施形態において、前記分割タイムドメディアデータはタイル化タイムドメディアデータであり、前記サブサンプルは空間サブサンプルである。

ある実施形態において、前記方法は、第１のグループがサブサンプルのコード化単位を特性化する第１のタイプの情報と関連付けられ、第２のグループがサブサンプルのコード化単位を特性化する第２のタイプの情報と関連付けられる、種々のサブサンプルグループの定義を含むマッピングメタデータを記憶するためのデータ記述子を構成するステップをさらに含む。

ある実施形態において、前記第１のタイプの情報は、サブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報に関し、前記第２のタイプの情報は、サブサンプルのコード化単位と前記分割タイムドメディアデータの層編成との間の関係を特性化する情報に関する。

ある実施形態において、グループタイプは、サブサンプルの各コード化単位と関連付けられ、各コード化単位が、前記第１のグループと関連付けられる情報に応じて、または、前記第２のグループと関連付けられる情報に応じて処理されることが可能である。

ある実施形態において、前記方法は、サブサンプルグループの定義を含むマッピングメタデータを記憶するためのデータ記述子を構成するステップをさらに含み、前記マッピングメタデータは、サブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報を含む。

ある実施形態において、前記定義は、サブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含む。

ある実施形態において、サブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、サブサンプルの層従属関係情報を含む。

ある実施形態において、サブサンプルの前記層従属関係情報は、サブサンプル定義へのリンクを含む。

ある実施形態において、前記サブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、前記分割タイムドメディアデータの前記層編成の層記述へのリンクを含む。

ある実施形態において、前記データ記述子は、デフォルトで、サブサンプルのコード化単位を特性化するために使用され、前記方法は、サブサンプル識別子、ならびに、前記識別されるサブサンプルのコード化単位と前記対応するタイムドサンプルとの間の関係を特性化する対応する情報を含むマッピングメタデータを記憶するための少なくとも１つのさらなるデータ記述子を構成するステップをさらに含む。

ある実施形態において、前記マッピングメタデータを記憶するための前記少なくとも１つのさらなるデータ記述子のマッピングメタデータは、前記識別されるサブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含む。

ある実施形態において、前記サーバは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）に適合する。

ある実施形態において、前記作成されるトラックをカプセル化する結果としてもたらされる前記メディアセグメントファイルは、国際標準化機構によって定義されているものとしてのＨＴＴＰフォーマットを介した動的適応型ストリーミングおよびベースメディアファイルフォーマットに適合する。

本発明の第２の態様によれば、クライアントデバイスにおいて、メディアセグメントファイル内にカプセル化されている分割タイムドメディアデータからタイムドメディアデータビットストリームを提供するための方法が提供され、前記分割タイムドメディアデータはタイムドサンプルを含み、各タイムドサンプルは、第１の層と少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記メディアセグメントファイルは、１つの前記タイムドサンプルの前記複数のサブサンプルの中から選択される少なくとも１つのサブサンプルを含むトラックを含み、前記少なくとも１つのサブサンプルは、前記１つのタイムドサンプルの前記サブサンプルのセットのサブセットを形成し、前記方法は、
少なくとも１つのサブサンプルを表す情報の項目を選択するステップと、
前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルを含む前記トラックを要求するステップと、
前記メディアセグメントファイルを受信するステップであって、前記受信されるメディアセグメントファイルは、対応する前記サンプルおよびそれが属する前記層に対する、前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルについての情報を提供するためのマッピングメタデータを含む、メディアセグメントファイルを受信するステップと、
前記マッピングメタデータに応じて、前記受信されたメディアセグメントファイルから、前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルを復元するステップと
を含む。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明の方法は、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

ある実施形態において、前記マッピングメタデータは同じ構造内に記憶される。

ある実施形態において、前記分割タイムドメディアデータはタイル化タイムドメディアデータであり、前記サブサンプルは空間サブサンプルである。

ある実施形態において、前記方法は、第１のグループがサブサンプルのコード化単位を特性化する第１のタイプの情報と関連付けられ、第２のグループがサブサンプルのコード化単位を特性化する第２のタイプの情報と関連付けられる、種々のサブサンプルグループの定義を含むマッピングメタデータを記憶するデータ記述子を、前記受信されたメディアセグメントファイルから得るステップをさらに含む。

ある実施形態において、前記第１のタイプの情報は、サブサンプルのコード化単位と，対応する前記タイムドサンプルとの間の関係を特性化する情報に関し、前記第２のタイプの情報は、サブサンプルのコード化単位と前記分割タイムドメディアデータの層編成との間の関係を特性化する情報に関する。

ある実施形態において、前記方法は、前記受信されたサブサンプルの各コード化単位のグループタイプを判定するステップと、前記第１のグループと関連付けられる前記情報に応じて、または、前記第２のグループと関連付けられる前記情報に応じて、前記コード化単位の各々を処理するステップとをさらに含む。

ある実施形態において、前記方法は、サブサンプルグループの定義を含むマッピングメタデータを記憶するデータ記述子を、前記受信されたメディアセグメントファイルから得るステップをさらに含み、前記マッピングメタデータは、前記受信されたサブサンプルのコード化単位と、対応するタイムドサンプルとの間の関係を特性化する情報を含む。

ある実施形態において、前記定義は、受信されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含み、前記方法は、前記コード化単位と前記分割タイムドメディアデータの前記層編成との間の前記関係を特性化する前記情報に応じて受信されたサブサンプルのコード化単位を処理するステップをさらに含む。

ある実施形態において、前記方法は、サブサンプルの層従属関係情報に応じて、前記受信されたサブサンプルの前記コード化単位を処理するステップをさらに含む。

ある実施形態において、前記方法は、前記処理されるコード化単位の従属先であるサブサンプルのサブサンプル定義を得るステップをさらに含む。

ある実施形態において、受信されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、前記分割タイムドメディアデータの前記層編成の層記述へのリンクを含み、前記方法は、前記分割タイムドメディアデータの前記層編成の前記層記述への前記リンクに応じて受信されたサブサンプルのコード化単位を処理するステップをさらに含む。

ある実施形態において、前記データ記述子は、デフォルトで、受信されたサブサンプルのコード化単位を特性化するために使用され、前記方法は、サブサンプル識別子、ならびに、前記識別されるサブサンプルのコード化単位と，対応する前記タイムドサンプルとの間の関係を特性化する対応する情報を含むマッピングメタデータを記憶する少なくとも１つのさらなるデータ記述子を得るステップをさらに含み、前記方法は、処理されるべきサブサンプルが前記さらなるデータ記述子内で識別されるか否かを判定するステップをさらに含む。

ある実施形態において、マッピングメタデータを記憶している前記少なくとも１つのさらなるデータ記述子の前記マッピングメタデータは、前記識別されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含み、前記方法は、前記識別されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報に応じて受信されたサブサンプルを処理するステップをさらに含む。

ある実施形態において、前記クライアントデバイスは、ハイパーテキスト転送プロトコル（ＨＴＴＰ）に適合する。

ある実施形態において、前記受信されるメディアセグメントファイルは、国際標準化機構によって定義されているものとしてのＨＴＴＰフォーマットを介した動的適応型ストリーミング及びベースメディアファイルフォーマットに適合する。

本発明の第３の態様によれば、サーバにおいて分割タイムドメディアデータをカプセル化するための方法が提供され、前記分割タイムドメディアデータは、１つ以上のコード化単位によって表現される複数のサブサンプルを含むタイムドサンプルを含み、前記方法は、
１つの前記タイムドサンプルの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを得るステップであって、前記得られるサブサンプルが、前記１つのタイムドサンプルの前記サブサンプルのセットのうちのサブセットを形成する、サブサンプルを得るステップと、
前記得られたサブサンプルごとに１つのトラックを作成するステップと、
少なくとも１つのメディアセグメントファイルにおいて前記作成されたトラックをカプセル化するステップであって、前記メディアセグメントファイルは、
前記作成されたトラックが同じタイムドサンプルの一部であるサブサンプルを含むことを伝えるためのメタデータと、
チャンクに編成されているメディアデータであって、各チャンクは考慮されている前記タイムドサンプルの同じサブサンプルの前記コード化単位を含む、メディアデータと
を含む、カプセル化するステップと
を含む。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明の方法は、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

本発明の第４の態様によれば、クライアントデバイスにおいて、メディアセグメントファイル内にカプセル化されている分割タイムドメディアデータからタイムドメディアデータビットストリームを提供するための方法が提供され、前記分割タイムドメディアデータはタイムドサンプルを含み、各タイムドサンプルは、第１の層と少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記メディアセグメントファイルは複数のトラックを含み、各トラックは、１つの前記タイムドサンプルの前記複数のサブサンプルの中から選択される１つのサブサンプルを含み、前記トラックの前記サブサンプルは、前記１つのタイムドサンプルの前記サブサンプルのセットのサブセットを形成し、前記方法は、
少なくとも１つのサブサンプルを表す情報の項目を選択するステップと、
前記選択された情報の項目によって表現される前記サブサンプルを含む前記トラックを要求するステップと、
前記メディアセグメントファイルを受信するステップであって、前記受信されるメディアセグメントファイルは、
前記受信されるトラックが、同じタイムドサンプルの一部であるサブサンプルを含むことを伝えるためのメタデータと、
チャンクに編成されているメディアデータであって、各チャンクは考慮されている前記タイムドサンプルの同じサブサンプルの前記コード化単位を含む、メディアデータと
を含む、メディアセグメントファイルを受信するステップと、
前記マッピングメタデータに応じて、前記受信されたメディアセグメントファイルから、前記選択された情報の項目によって表現される前記サブサンプルを復元するステップと
を含む。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明の方法は、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

本発明の第５の態様によれば、サーバにおいて分割タイムドメディアデータをカプセル化するためのデバイスが提供され、前記分割タイムドメディアデータはタイムドサンプルを含み、各タイムドサンプルは、第１の層と、少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記デバイスは、前記１つのタイムドサンプルの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを得るステップであって、前記得られるサブサンプルが、前記１つのタイムドサンプルの前記サブサンプルのセットのうちのサブセットを形成する、サブサンプルを得るステップと、
前記少なくとも１つの得られるサブサンプルを含む１つのトラックを作成するステップと、
少なくとも１つのメディアセグメントファイルにおいて前記作成されたトラックを独立してカプセル化するステップであって、前記メディアセグメントファイルは、前記１つのタイムドサンプルおよびそれが属する前記層に対する、前記少なくとも１つの得られるサブサンプルについての情報を提供するためのマッピングメタデータを含む、トラックをカプセル化するステップと
を実行するように構成されている少なくとも１つのマイクロプロセッサを備える。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明のデバイスは、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

ある実施形態において、前記マッピングメタデータは同じ構造内に記憶される。

ある実施形態において、前記分割タイムドメディアデータはタイル化タイムドメディアデータであり、前記サブサンプルは空間サブサンプルである。

ある実施形態において、前記マイクロプロセッサは、第１のグループがサブサンプルのコード化単位を特性化する第１のタイプの情報と関連付けられ、第２のグループがサブサンプルのコード化単位を特性化する第２のタイプの情報と関連付けられる、種々のサブサンプルグループの定義を含むマッピングメタデータを記憶するためのデータ記述子を構成するステップを実行するようにさらに構成されている。

ある実施形態において、前記第１のタイプの情報は、サブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報に関し、前記第２のタイプの情報は、サブサンプルのコード化単位と前記分割タイムドメディアデータの層編成との間の関係を特性化する情報に関する。

ある実施形態において、グループタイプは、サブサンプルの各コード化単位と関連付けられ、各コード化単位が、前記第１のグループと関連付けられる情報に応じて、または、前記第２のグループと関連付けられる情報に応じて処理されることが可能である。

ある実施形態において、前記マイクロプロセッサは、サブサンプルグループの定義を含むマッピングメタデータを記憶するためのデータ記述子を構成する前記ステップを実行するようにさらに構成されており、前記マッピングメタデータは、サブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報を含む。

ある実施形態において、前記定義は、サブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含む。

ある実施形態において、サブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、サブサンプルの層従属関係情報を含む。

ある実施形態において、サブサンプルの前記層従属関係情報は、サブサンプル定義へのリンクを含む。

ある実施形態において、前記サブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、前記分割タイムドメディアデータの前記層編成の層記述へのリンクを含む。

ある実施形態において、前記データ記述子は、デフォルトで、サブサンプルのコード化単位を特性化するために使用され、前記マイクロプロセッサは、サブサンプル識別子、ならびに、前記識別されるサブサンプルのコード化単位と前記対応するタイムドサンプルとの間の関係を特性化する対応する情報を含むマッピングメタデータを記憶するための少なくとも１つのさらなるデータ記述子を構成する前記ステップを実行するようにさらに構成されている。

ある実施形態において、前記マッピングメタデータを記憶するための前記少なくとも１つのさらなるデータ記述子のマッピングメタデータは、前記識別されるサブサンプルの少なくとも１つのコード化単位と前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含む。

本発明の第６の態様によれば、クライアントデバイスにおいて、メディアセグメントファイル内にカプセル化されている分割タイムドメディアデータからタイムドメディアデータビットストリームを提供するためのデバイスが提供され、前記分割タイムドメディアデータはタイムドサンプルを含み、各タイムドサンプルは、第１の層と少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記メディアセグメントファイルは、１つの前記タイムドサンプルの前記複数のサブサンプルの中から選択される少なくとも１つのサブサンプルを含むトラックを含み、前記少なくとも１つのサブサンプルは、前記１つのタイムドサンプルの前記サブサンプルのセットのサブセットを形成し、前記デバイスは、
少なくとも１つのサブサンプルを表す情報の項目を選択するステップと、
前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルを含む前記トラックを要求するステップと、
前記メディアセグメントファイルを受信するステップであって、前記受信されるメディアセグメントファイルは、対応する前記サンプルおよびそれが属する前記層に対する、前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルについての情報を提供するためのマッピングメタデータを含む、メディアセグメントファイルを受信するステップと、
前記マッピングメタデータに応じて、前記受信されたメディアセグメントファイルから、前記選択された情報の項目によって表現される前記少なくとも１つのサブサンプルを復元するステップと
を実行するように構成されている少なくとも１つのマイクロプロセッサを備える。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明のデバイスは、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

ある実施形態において、前記マッピングメタデータは同じ構造内に記憶される。

ある実施形態において、前記分割タイムドメディアデータはタイル化タイムドメディアデータであり、前記サブサンプルは空間サブサンプルである。

ある実施形態において、前記マイクロプロセッサは、第１のグループがサブサンプルのコード化単位を特性化する第１のタイプの情報と関連付けられ、第２のグループがサブサンプルのコード化単位を特性化する第２のタイプの情報と関連付けられる、種々のサブサンプルグループの定義を含むマッピングメタデータを記憶するデータ記述子を、前記受信されたメディアセグメントファイルから得るステップを実行するようにさらに構成されている。

ある実施形態において、前記第１のタイプの情報は、サブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報に関し、前記第２のタイプの情報は、サブサンプルのコード化単位と前記分割タイムドメディアデータの層編成との間の関係を特性化する情報に関する。

ある実施形態において、前記マイクロプロセッサは、前記受信されたサブサンプルの各コード化単位のグループタイプを判定するステップと、前記第１のグループと関連付けられる前記情報に応じて、または、前記第２のグループと関連付けられる前記情報に応じて、前記コード化単位の各々を処理するステップとを実行するようにさらに構成されている。

ある実施形態において、前記マイクロプロセッサは、サブサンプルグループの定義を含むマッピングメタデータを記憶するデータ記述子を、前記受信されたメディアセグメントファイルから得る前記ステップを実行するようにさらに構成されており、前記マッピングメタデータは、受信されたサブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する情報を含む。

ある実施形態において、前記定義は、受信されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含み、前記マイクロプロセッサは、前記コード化単位と前記分割タイムドメディアデータの前記層編成との間の前記関係を特性化する前記情報に応じて受信されたサブサンプルのコード化単位を処理するステップを実行するようにさらに構成されている。

ある実施形態において、前記マイクロプロセッサは、サブサンプルの層従属関係情報に応じて、前記受信されたサブサンプルの前記コード化単位を処理する前記ステップを実行するようにさらに構成されている。

ある実施形態において、前記マイクロプロセッサは、前記処理されるコード化単位の従属先であるサブサンプルのサブサンプル定義を得るステップを実行するようにさらに構成されている。

ある実施形態において、受信されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報は、前記分割タイムドメディアデータの前記層編成の層記述へのリンクを含み、前記マイクロプロセッサは、前記分割タイムドメディアデータの前記層編成の前記層記述への前記リンクに応じて受信されたサブサンプルのコード化単位を処理する前記ステップを実行するようにさらに構成されている。

ある実施形態において、前記データ記述子は、デフォルトで、受信されたサブサンプルのコード化単位を特性化するために使用され、前記マイクロプロセッサは、サブサンプル識別子、ならびに、前記識別されるサブサンプルのコード化単位と、対応する前記タイムドサンプルとの間の関係を特性化する対応する情報を含むマッピングメタデータを記憶する少なくとも１つのさらなるデータ記述子を得るステップを実行するようにさらに構成されており、前記マイクロプロセッサは、処理されるべきサブサンプルが前記さらなるデータ記述子内で識別されるか否かを判定するステップを実行するようにさらに構成されている。

ある実施形態において、マッピングメタデータを記憶している前記少なくとも１つのさらなるデータ記述子の前記マッピングメタデータは、前記識別されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する情報をさらに含み、前記マイクロプロセッサは、前記識別されたサブサンプルの少なくとも１つのコード化単位と、前記分割タイムドメディアデータの前記層編成との間の関係を特性化する前記情報に応じて受信されたサブサンプルを処理するステップを実行するようにさらに構成されている。

本発明の第７の態様によれば、サーバにおいて分割タイムドメディアデータをカプセル化するためのデバイスが提供され、前記分割タイムドメディアデータは、１つ以上のコード化単位によって表現される複数のサブサンプルを含むタイムドサンプルを含み、前記デバイスは、
１つの前記タイムドサンプルの前記複数のサブサンプルの中から少なくとも１つのサブサンプルを得るステップであって、前記得られるサブサンプルが、前記１つのタイムドサンプルの前記サブサンプルのセットのうちのサブセットを形成する、得るステップと、
得られたサブサンプルごとに１つのトラックを作成するステップと、
少なくとも１つのメディアセグメントファイルにおいて前記作成されたトラックをカプセル化するステップであって、前記メディアセグメントファイルは、
前記作成されたトラックが同じタイムドサンプルの一部であるサブサンプルを含むことを伝えるためのメタデータと、
チャンクに編成されているメディアデータであって、各チャンクは考慮されているタイムドサンプルの同じサブサンプルの前記コード化単位を含む、チャンクに編成されているメディアデータとを含む、カプセル化するステップと
を実行するように構成されている少なくとも１つのマイクロプロセッサを備える。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明のデバイスは、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

本発明の第８の態様によれば、クライアントデバイスにおいて、メディアセグメントファイル内にカプセル化されている分割タイムドメディアデータからタイムドメディアデータビットストリームを提供するためのデバイスが提供され、前記分割タイムドメディアデータはタイムドサンプルを含み、各タイムドサンプルは、第１の層と少なくとも１つの第２の層とを含み、前記層のうちの少なくとも１つは、１つ以上のコード化単位によって表現される複数のサブサンプルを含み、前記メディアセグメントファイルは複数のトラックを含み、各トラックは、１つの前記タイムドサンプルの前記複数のサブサンプルの中から選択される１つのサブサンプルを含み、前記トラックのサブサンプルは、前記１つのタイムドサンプルの前記サブサンプルのセットのサブセットを形成し、前記デバイスは、
少なくとも１つのサブサンプルを表す情報の項目を選択するステップと、
前記選択された情報の項目によって表現される前記サブサンプルを含む前記トラックを要求するステップと、
前記メディアセグメントファイルを受信するステップであって、前記受信されるメディアセグメントファイルは、前記受信されるトラックが、同じタイムドサンプルの一部であるサブサンプルを含むことを伝えるためのメタデータと、チャンクに編成されているメディアデータであって、各チャンクは考慮されているタイムドサンプルの同じサブサンプルの前記コード化単位を含む、チャンクに編成されているメディアデータとを含む、メディアセグメントファイルを受信するステップと、
前記マッピングメタデータに応じて、前記受信されたメディアセグメントファイルから、前記選択された情報の項目によって表現される前記サブサンプルを復元するステップと
を実行するように構成されている少なくとも１つのマイクロプロセッサを備える。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明のデバイスは、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

ある実施形態において、サーバはハイパーテキスト転送プロトコル（ＨＴＴＰ）に適合しており、受信されるメディアセグメントファイルは、国際標準化機構によって定義されているものとしてのＨＴＴＰフォーマットを介した動的適応型ストリーミングおよびベースメディアファイルフォーマットに適合する。

ある実施形態において、クライアントデバイスはハイパーテキスト転送プロトコル（ＨＴＴＰ）に適合しており、受信されるメディアセグメントファイルは、国際標準化機構によって定義されているものとしてのＨＴＴＰフォーマットを介した動的適応型ストリーミングおよびベースメディアファイルフォーマットに適合する。

本発明の第９の態様および第１０の態様によれば、上述したデバイスを備えるビデオ符号化器および復号器が提供される。

したがって、本発明は、種々のスケーラブル部分、特に、種々のスケーラブルタイルの組み合わせること、および、クライアントデバイスによってダウンロードされるスケーラブル部分またはタイルの選択されるセットが何であれ有効なファイルフォーマットを作成することを可能にする。

それゆえ、本発明のビデオ符号化器およびビデオ復号器は、独立したスケーラブル部分またはタイルの効率的なストリーミングに適しており、有用なデータのみがクライアントデバイスに対して送信されることが必要であり、２つ以上の部分または選択タイル（すなわち、任意のＲＯＩ）に適しており、インデックス付けオーバヘッドを低減し、ＭＰＥＧ規格に統合することができる。

その上、ＲＯＩの幾何形状情報および識別情報を同じ構造内で処理するとともに、タイルおよびＲＯＩをインデックス付けすることによって、構文解析効率ならびに関心領域およびタイルの抽出が改善される。

本発明はソフトウェアにおいて実装することができるため、本発明は、任意の適切なキャリア媒体上でプログラム可能装置に提供するためのコンピュータ可読コードとして具現化することができる。有形キャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスなどのような記憶媒体を含んでもよい。一時的キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、たとえば、マイクロ波もしくはＲＦ信号のような信号を含んでもよい。

本発明のさらなる利点は、図面および詳細な説明を精査すれば、当業者には明らかになろう。任意の追加の利点が本明細書に組み込まれることが意図されている。

これから、本発明の実施形態が、例としてのみ、添付の図面を参照して説明される。

図１ａおよび図１ｂよりなる図１は、符号化済みビデオビットストリーム内のコード化タイルの例を示す。 図２は、提示されるべき、ユーザによって選択されるタイルの時間パイプを示す。 図３ａ、図３ｂ、および図３ｃよりなる図３は、ＨＥＶＣスケーラブルビットストリームの構成の種々の例を示す。 図４は、単一のｍｐ４トラックとして符号化されている、ＨＥＶＣ規格に従うタイル化ビデオビットストリームの例を示す。 図５は、ｍｐ４ファイルとして符号化されている、ＩＳＯ／ＩＥＣ １４４９６−１５に従う、サンプルベースカプセル化ＳＶＣストリームの例を示す。 図６ａおよび図６ｂよりなる図６は、第１の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。 図７ａおよび図７ｂよりなる図７は、第２の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。 図８は、ＨＥＶＣタイプのタイル化スケーラブルビデオストリームの、ｍｐ４ファイルのようなファイルへのカプセル化を可能にするＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子の新規のパラメータの例を示す。 図９ａおよび図９ｂよりなる図９は、第３の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。 図１０は、ＨＥＶＣビットストリームをカプセル化するための、特定の実施形態によるタイルおよびスケーラブル層記述子を示す。 図１１ａおよび図１１ｂよりなる図１１は、特定の実施形態による、サーバとクライアントデバイスとの間でタイムドメディアデータを送信するためのステップを示す流れ図である。 図１２は、１つ以上の実施形態のステップを実施することができるサーバまたはクライアントデバイスのブロック図を示す。 図１３ａ、図１３ｂ、および図１３ｃよりなる図１３は、ＨＥＶＣビットストリーム内のタイルおよびスライスセグメントの例を示す。 図１４ａおよび図１４ｂよりなる図１４は、様々なタイル化構成を処理するように適合している、全ビデオ中のタイルの位置、タイルのサイズ、および、いかなるアーティファクトもなくサブサンプルレベルでタイルトラックを復号することができるという指示の伝達を示す。 図１５ａおよび図１５ｂよりなる図１５は、効率的なデータアドレス指定のための、複数トラックにおけるタイルのカプセル化の例を示す。

特定の実施形態によれば、タイル化タイムドメディアデータ（たとえば、ビデオデータ）のようなスケーラブル分割タイムドメディアデータが、メディアセグメントファイル、たとえば、ｍｐ４（ＩＳＯ／ＩＥＣ １４４９６−１４）に適合するメディアセグメントファイルのセットとして送信される。メディアセグメントファイルは一般的には、ヘッダ部分およびデータ部分から構成される。ヘッダ部分は、データ部分内に含まれるデータをアドレス指定および抽出するための記述メタデータを含む。タイムドサンプルは、空間サブサンプル（タイル）を有する１つ以上の表現層（スケーラブルビデオ）を含む。各空間サブサンプルは、１つまたはいくつかのＮＡＬ単位によって表現することができる。

初期化セグメントファイルを使用して、メディアセグメントファイルを復号するために必要とされるメタデータを送信することができる。

図１ａおよび図１ｂよりなる図１は、符号化済みビデオビットストリーム内のコード化タイルの例を示す。

例示を目的として、以下の説明においては、各ビデオフレーム（タイムドサンプル）が、ビデオフレームの空間下位部分（空間サブサンプル）に対応する、独立して復号可能なタイルから構成されると考えられる。ビデオはスケーラブルであり、種々のレベルのスケーラビリティにおいて編成されることが好ましい。図１ａに示すように、ビデオフレーム１００は、ＨＤ基本層（１０２）と、４Ｋ２Ｋ強化層（１０４）とを含むことができる。さらに例示を目的として、強化層１０４は、ａ、ｂ、ｃ、およびｄとして示されている４つの規則的なタイルに分割することができる。異なる形状のタイルが処理されてもよいことが留意されるべきである。同様に、基本層１０２もいくつかのタイルに分割することができる。

図１ｂは、一般的な符号化済みビデオビットストリームを復号順序で示す。図示されているように、符号化済みビデオビットストリームはここでは、時系列順に符号化されている３つのビデオフレーム（１１０、１１２、および１１４）を含む。各ビデオフレームは強化層のＮＡＬ単位が後続する基本層（ＢＬ）のすべてのネットワーク抽象化層（ＮＡＬ）単位を含む。たとえば、第１のビデオフレーム（１１０）の基本層（１０２−１）のＮＡＬ単位（１ＢＬ、１１６）には、第１のビデオフレームの強化層（１０４−１）のＮＡＬ単位（１共通、１ａ、１ｂ、１ｃ、１ｄ、１１８）が後続する。

空間タイルを有する強化層に対応するビデオビットストリームの部分は、各タイルのＮＡＬ単位から構成される。任意選択的に、これは、すべてのタイルに共通でありタイルのいずれかを復号するために必要とされるＮＡＬ単位をも含んでもよい。所与のフレームのすべてのタイルに共通であるＮＡＬ単位は、ビデオビットストリームの対応する部分の任意の箇所（すなわち、ビデオフレームのタイルのＮＡＬ単位の前、間、または後）に位置することができる。

図示されているように、空間タイルａ、ｂ、ｃ、およびｄを含む、第１のビデオフレーム（１１０）の強化層に対応するビデオビットストリームの部分は、各タイルのＮＡＬ単位（１ａ、１ｂ、１ｃ、および１ｄ）ならびにすべてのタイルａ、ｂ、ｃ、およびｄに共通であるＮＡＬ単位（１共通）から構成される。

図２は、提示されるべき、ユーザによって選択されるタイルの時間パイプを示す。より正確には、図２は、第１のビデオフレームｎおよび第２のビデオフレームｎ＋ｍ（ｎおよびｍは整数値）を表し、第１のビデオフレームおよび第２のビデオフレームの各々は、１〜１２の番号を付された１２個のタイルを含む。これらの１２個のタイルのうち、第３のタイルおよび第７のタイルのみを表示するものとする（太い線で示す）。ビデオフレームｎおよびｎ＋ｍは、所与の期間に対応する一連の連続したフレームに属する。それゆえ、フレームｎからフレームｎ＋ｍへの各フレームの第３のタイルおよび第７のタイルが連続して表示される。

図１に示すように、ビデオビットストリームのデータは、全フレームに対応する時間サンプルとして編成される。したがって、図２を参照して上述したように所与の期間の間にこれらのフレームの特定の空間領域がアクセスされるものとするとき、各フレームのいくつかの小さいバイト範囲にアクセスすることが必要とされる。

それゆえ、ＲＯＩストリーミングのために圧縮ビデオにおいて効率的なアクセスをもたらすためには、すなわち、特定のタイルおよび特定のスケーラビリティ層のデータに対する効率的なアクセスをもたらすためには、タイムドメディアデータビットストリームは効率的に記述されるべきである。

図３ａ、図３ｂ、および図３ｃよりなる図３は、ＨＥＶＣスケーラブルビットストリームの構成の種々の例を示す。

図３ａは、基本層３００および強化層３０５を含む空間スケーラブルビデオビットストリームの例である。強化層３１０は基本層３００に応じて符号化される。そのようなビデオビットストリームフォーマットにおいては、基本層および強化層のいずれもがタイルを含むことにはならないため、画像から画像への従属関係が存在する。

図３ｂは、基本層３１０および強化層３１５を含むスケーラブルビデオビットストリームの別の例を示す。この例によれば、強化層３１５は、特にタイル３２０を含むタイル化強化層である。そのようなビデオビットストリームフォーマットにおいては、強化層のタイルが基本層に従属するため、タイルから画像への従属関係が存在する。

図３ｃはさらに、基本層３２５および強化層３３０を含むスケーラブルビデオビットストリームの別の例を示す。この例によれば、基本層３２５は、特にタイル３３５および３４０を含むタイル化基本層であり、強化層３３０は、特にタイル３４５およびタイルセット３５０を含むタイル化強化層である。基本層３２５は、強化層３３０によって空間的に強化することができる。そのようなビデオビットストリームフォーマットにおいては、強化層のタイルが基本層のタイルに従属するため、タイルからタイルへの従属関係が存在する。強化層のタイルセットが基本層のタイルに従属するため、タイルセットからタイルへの従属関係も存在する。例示を目的として、タイル３４５はタイル３４０に従属し、タイルセット３５０はタイル３３５に従属する。タイルからタイルセットへの従属関係またはタイルセットからタイルセットへの従属関係のような他の従属関係が存在する場合がある。

同様の構成が、同じくタイル化されている場合がありまたはされていない場合がある基本層の上に、タイル化されている場合がありまたはされていない場合があるＳＮＲスケーラブル層について存在することが留意されるべきである。

図４は、データを符号化するための第１の部分４００と、記述メタデータを含む第２の部分４１０を含む単一のｍｐ４トラックとして符号化されている、ＨＥＶＣ規格に適合するタイル化ビデオビットストリームの例を示す。

ビデオデータは、パラメータセット４０１と、サンプルデータ、たとえば、それぞれサンプル１およびサンプルＳに対応するサンプルデータ４０２および４０３とを含むｍｄａｔボックス４００内に符号化される。図示されているように、パラメータセットは一般的には、ＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（画像パラメータセット）、およびＳＥＩ（補足強化情報）を含む。各サンプルは、ＮＡＬ単位４０４を含むサンプルＳのように、ＮＡＬ単位を含む。図４に示す特定の構成によれば、各タイルが１つのＮＡＬ単位内に符号化される。たとえば、ＮＡＬ単位４０４はタイル４０５を含む。

示されているように、記述メタデータはｍｏｏｖボックス４１０内に含まれる。これは主に、サンプルグループ化情報を含む。特に、これは、サンプルのサンプルグループへの割り当てを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックス（「ｓｂｇｐ」）４１１と、各々が特定のサンプルグループ内のサンプルの特定タイプの共通の特性を記述する２つのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）４１２および４１３とを含む。第１のＳａｍｐｌｅＴｏＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス４１２は、ＮＡＬ単位の、タイル記述を定義するグループ（ｇｒｏｕｐＩＤ識別子を用いて識別される）へのマッピングを記述する。これらのタイル記述は、第２のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス４１３において記述されている。

所与の例に示すように、ＮＡＬＵＭａｐＥｎｔｒｙボックス４１４において宣言されている各ＮＡＬ単位は、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックス４１５および４１６のようなＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックス（「ｔｒｉｆ」（タイル領域情報）フラグ）によって識別される）を指す。各ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックスは、タイルデータが独立して復号可能であるか否かを指示し、タイル位置およびタイルサイズを指示するための復号指示のようなタイル情報を提供する。

図５は、ｍｐ４ファイル５００として符号化されている、ＩＳＯ／ＩＥＣ １４４９６−１５に従う、サンプルベースカプセル化ＳＶＣストリームの例を示す。

示されているように、記述メタデータがｍｏｏｖボックス５０１内に含まれており、ビデオデータがｍｄａｔボックス５０２内に符号化されている。

ｍｏｏｖボックス５０１は、ビデオデータサンプル、たとえば、ビデオデータサンプル５０４、５０５および５０６が記述にどのようにマッピングするかを主に記述する単一のトラック５０３をカプセル化している。その目的のために、ＳａｍｐｌｅＴｏＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス５０８および５０９を参照するＳａｍｐｌｅＴｏＧｒｏｕｐボックス５０７が使用される。より正確には、ＳａｍｐｌｅＴｏＧｒｏｕｐボックス５０７は、スケーラビリティ層へのそのＮＡＬ単位マッピングに応じて、各サンプルにマップ識別子を割り当てる。図示されているように、各サンプルは、所与の例においては、マップ０またはマップ１識別子に割り当てることができる。各ＮＡＬ単位マッピングは、ＳａｍｐｌｅＴｏＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス５０８に記憶されているＳｃａｌａｂｌｅＮＡＬＵＭａｐＥｎｔｒｙ記述子において記述されている。各ＳｃａｌａｂｌｅＮＡＬＵＭａｐＥｎｔｒｙ記述子において、ｇｒｏｕｐＩＤパラメータは、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス５１０のいずれのＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙボックス内で記述を見つけることができるかを示している。言い換えれば、ｇｒｏｕｐＩＤパラメータは、サンプルグループ記述子内で指示されているような、対応するスケーラブル、多視点、タイル、タイルセット、またはＨＥＶＣ層グループエントリを指示する。このパラメータの値がゼロである場合、これらの識別されたＮＡＬ単位にグループは関連付けられない。

スケーラビリティ層の記述は、ＳＶＣカプセル化のために導入される特定の概念に従って層を記述するために使用される「Ｔｉｅｒ」において宣言することができる。より正確には、「Ｔｉｅｒ」は、トラック内の動作点のセットを記述し、動作点、および、対応するビデオビットストリーム部分にどのようにアクセスすべきかに関する指示に関する情報が与えられる。ＳＶＣ規格によれば、動作点は、以下の３つの識別子、すなわち、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｉｄ、およびｑｕａｌｉｔｙ＿ｉｄを含むトリプレットによって表現される。「Ｔｉｅｒ」は、ＳｃａｌａｂｌｅＧｒｏｕｐＥｎｔｒｙボックス５０９のようなＳｃａｌａｂｌｅＧｒｏｕｐＥｎｔｒｙボックス内に記憶される１つまたはいくつかのボックスによって表現される。ＴｉｅｒＩｎｆｏＢｏｘとして参照される１つのボックスは、ＳｃａｌａｂｌｅＧｒｏｕｐＥｎｔｒｙボックス５０９において示すように、ビデオエレメンタリストリームならびに空間および時間分解能ストリームにおいて符号化されているようなプロファイルおよびレベル情報を提供するために、「Ｔｉｅｒ」記述において必須である。

図６ａおよび図６ｂよりなる図６は、第１の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。

図６ａに示すように、ビデオストリームは、２つの独立した空間強化層６０１および６０２によって強化することができる基本層６００を含むと仮定される。強化層Ａとして参照される強化層６０１はタイルＴ１およびＴ２を含み、強化層Ｂとして参照される強化層６０２は、タイルＴ１、Ｔ２、Ｔ３、およびＴ４を含む（強化層ＡのタイルＴ１およびＴ２は、強化層ＢのタイルＴ１およびＴ２とは異なる）。

図６ｂを参照すると、ＨＥＶＣ規格に従ってｍｐ４ファイル６１０に符号化されているタイル化スケーラブルビデオストリームをカプセル化するために、ビデオデータがｍｄａｔボックス６１２内に、特にサンプル６２０を含むサンプルのリストとして記憶される。各サンプルは１つ以上のＮＡＬ単位のセットとして符号化されている。図示されているように、サンプル６２０は、基本層（ＮＡＬ単位６２１）、タイル化強化層Ａ（ＮＡＬ単位６２２および６２３）、およびタイル化強化層Ｂ（ＮＡＬ単位６２４〜６２７）に対応するインターレースされたＮＡＬ単位６２１〜６２７を含む。

これらのデータの記述は、特にＮＡＬ単位マッピングおよびサンプルグループ化を記述するための「ｔｒａｋ」ボックスを含むｍｏｏｖボックス６１１内に記憶されている。所与の例によれば、図４を参照して説明したようなタイルへのＮＡＬ単位マッピング、および、図５を参照して説明したようなスケーラビリティ層へのＮＡＬ単位マッピングを記述することが必要とされる。

図４および図５を参照して開示される解決策を組み合わせる結果として、ＮＡＬ単位をタイルにマッピングするためのマップ（ＮＡＬＵＭａｐＥｎｔｒｙボックス６１５）に応じて、および、ＮＡＬ単位をスケーラビリティ層にマッピングするためのマップ（ＮＡＬＵＭａｐＥｎｔｒｙボックス６１５）に応じて各ビデオデータサンプルをマッピングするために２つのＳａｍｐｌｅＴｏＧｒｏｕｐボックス６１３および６１４が使用されることになる。タイル関係は、専用のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（図６には示さず）内のＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ構造内に記述することができ、一方、スケーラブル層関係は、「Ｔｉｅｒ」ボックスと等価なボックスを使用して記述することができる。

しかしながら、「Ｔｉｅｒ」はＨＥＶＣ規格においては定義されていないため、等価な構造を、層編成に関する情報を記憶するのに使用すべきである。これは、図６ｂに示すような各層のＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘボックスを使用することによって行うことができ、ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘボックス６１７、６１８、および６１９は、それぞれ基本層、強化層Ａ、および強化層Ｂに関する情報を与える。ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘボックスの構造の例が図８を参照して説明される（参照符号８０２）。

タイル記述に使用されるｇｒｏｕｐＩＤ識別子とスケーラビリティ層に使用されるｇｒｏｕｐＩＤ識別子との間の如何なる衝突も避けるために、タイルと関連付けられるＮＡＬ単位とスケーラビリティ層と関連付けられるＮＡＬ単位との間の関係が確立されるべきである。その目的のために、ｒｅｆ＿ｇｒｏｕｐｉｎｇ＿ｔｙｐｅとして参照される場合がある新たなパラメータを用いてＮＡＬＵＭａｐＥｎｔｒｙ構造が拡張される。
ｃｌａｓｓ ＮＡＬＵＭａｐＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ （‘ｎａｌｍ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｒｅｆ＿ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ｒｅｓｅｒｖｅｄ ＝ ０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌａｒｇｅ＿ｓｉｚｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｍｏｄｅ；
ｉｆ （ｌａｒｇｅ＿ｓｉｚｅ） ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｅｌｓｅ ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｆｏｒ （ｉ＝１； ｉ＜＝ ｅｎｔｒｙ＿ｃｏｕｎｔ； ｉ＋＋） ｛
ｉｆ （ｍｏｄｅ） ｛
ｉｆ （ｌａｒｇｅ＿ｓｉｚｅ） ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ＮＡＬＵ＿ｓｔａｒｔ＿ｎｕｍｂｅｒ；
ｅｌｓｅ ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ＮＡＬＵ＿ｓｔａｒｔ＿ｎｕｍｂｅｒ；
｝
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐＩＤ；
｝
｝

図６に示す例によれば、ｒｅｆ＿ｇｒｏｕｐｉｎｇ＿ｔｙｐｅパラメータの値は、マップ６１５（タイル記述を指す）として参照されるタイルに特有であるＮＡＬＵＭａｐＥｎｔｒｙ記述子を選択するための「ｔｒｉｆ」に、および、マップ６１６（スケーラビリティ層記述を指す）として参照されるスケーラビリティに特有である別のＮＡＬＵＭａｐＥｎｔｒｙ記述子を選択するための「ｓｃｉｆ」（スケーラビリティ情報を提供するスケーラブルグループエントリ）に設定することができる。
「ｔｒｉｆ」は、図４を参照して、「ｓｇｐｄ」ボックスにおいて上述している。明瞭にするために、このボックスは図６ｂには示していない。しかしながら、図４に示すように、「ｓｇｐｄ」ボックスは「ｍｏｏｖ」ボックス内に含むことができる。
「ｓｃｉｆ」は、操作点の識別子（「ｔｉｅｒ」）または「ｔｉｅｒ」ボックスに対する参照としての、スケーラビリティに関する情報を提供する別の既知のボックスである（図面を単純にするためにここでは示していない）。

これは、ＮＡＬＵマップエントリの終わりに置かれるｇｒｏｕｐＩＤ識別子の分解能に関する、ｍｐ４パーサに対する有用な指示を与える（ｇｒｏｕｐＩＤに対応する情報は任意のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス内にあり得るため）。ｒｅｆ＿ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ情報が分かることによって、パーサは、特定のｇｒｏｕｐＩＤに関係する情報を得るために１つのみのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを探索することが可能になる（探索されるＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスは、ｒｅｆ＿ｇｒｏｕｐｉｎｇ＿ｔｙｐｅの値に対応するものである）。

上述したように、タイルおよびＲＯＩの幾何形状情報および識別情報（位置、従属関係、層など）を同じ構造（ＮＡＬＵＭａｐＥｎｔｒｙ記述子）内で処理するとともに、（ＮＡＬ単位をインデックス付けする代わりに）タイルおよびＲＯＩをインデックス付けすることが、構文解析効率の観点から、ならびに、関心領域およびタイルのより迅速な抽出の観点から好ましい。

図７ａおよび図７ｂよりなる図７は、重複する情報の量を低減することを可能にする第２の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。

図６ａと同様である図７ａに示すように、ビデオストリームは、２つの独立した空間強化層７０１および７０２によって強化することができる基本層７００を含むと仮定される。強化層Ａとして参照される強化層７０１はタイルＴ１およびＴ２を含み、強化層Ｂとして参照される強化層７０２は、タイルＴ１、Ｔ２、Ｔ３、およびＴ４を含む（強化層ＡのタイルＴ１およびＴ２は、強化層ＢのタイルＴ１およびＴ２とは異なる）。

ここでも、図７ｂを参照すると、ＨＥＶＣ規格に従ってｍｐ４ファイル７１０に符号化されているタイル化スケーラブルビデオストリームをカプセル化するために、ビデオデータがｍｄａｔボックス７１２内に、特にサンプル７２０を含むサンプルのリストとして記憶される。各サンプルは１つ以上のＮＡＬ単位のセットとして符号化されている。図示されているように、サンプル７２０は、基本層（ＮＡＬ単位７２１）、タイル化強化層Ａ（ＮＡＬ単位７２２および７２３）、およびタイル化強化層Ｂ（ＮＡＬ単位７２４〜７２７）に対応するインターレースされたＮＡＬ単位７２１〜７２７を含む。

しかしながら、いくつかのＮＡＬＵＭａｐＥｎｔｒｙボックスが使用される図６を参照して説明したカプセル化方式とは対照的に、ここでのカプセル化方式は、ＮＡＬＵＭａｐＥｎｔｒｙボックス７１４において記述されている単一のＮＡＬ単位マッピングに基づく。ＮＡＬＵＭａｐＥｎｔｒｙボックス７１４は、サンプルあたりのＮＡＬ単位の数がサンプル間で一定であると考えられるため、単一のエントリを有するＳａｍｐｌｅＴｏＧｒｏｕｐボックス７１３から参照される。それゆえ、トラックのすべてのサンプルは、ＮＡＬＵＭａｐＥｎｔｒｙボックス７１４の内容に応じてマッピングされる。

ＮＡＬ単位を参照するためのｇｒｏｕｐＩＤ識別子を使用することによって、ＮＡＬ単位が、タイル記述に応じて、または、スケーラビリティ層記述に応じてのいずれかでマッピングされることが可能になることが留意されるべきである。スケーラビリティ層がタイルを含むとき、ＮＡＬ単位は最初にタイル記述に応じてマッピングされ、次にスケーラビリティ層記述に応じてマッピングされ、タイル情報は、図８を参照して説明している様に、いずれの層からそれが来るかを指示する。

図７を参照して説明した実施形態によるカプセル化は、単一のＮＡＬ単位マッピングが必要とされるという点において、図６を参照して説明したものよりもコンパクトであることも留意されるべきである。

図８は、ＨＥＶＣタイプのタイル化スケーラブルビデオストリームの、ｍｐ４ファイルのようなファイルへのカプセル化を可能にするＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子の新規のパラメータの例を示す。

図示されているように、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子８００および８０１は、この所与の例において、スケーラビリティ情報およびタイルまたは画像従属関係情報にアクセスするためのｄｅｐｅｎｄｅｎｔＧｒｏｕｐＩＤパラメータ８０３およびｌａｙｅｒＧｒｏｕｐＩＤパラメータ８０４を含む。この所与の例によれば、スケーラビリティ情報はＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子８０２内に記憶されており、タイルまたは画像従属関係情報は、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子８０１内に記憶されている。

ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子８０２は、識別子、従属関係伝達メカニズム、および、ビデオエレメンタリビットストリームに由来する追加の特性を含むＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子（またはＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘボックス）のパラメータの例を示す。例示を目的として、追加の特性は、ｖｉｓｕａｌＷｉｄｔｈおよびｖｉｓｕａｌＨｅｉｇｈｔパラメータを含む。しかしながら、追加の特性はまた、フレームレート、ビットレートならびにプロファイルおよびレベル情報のような他のパラメータをも含んでもよい。それらの特性はまた、スケーラビリティ層を記述する高レベル構文情報をも含んでもよい。

修正ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子８０１の新たな修正されたパラメータは、以下のように定義することができる：
（ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子によって定義されるような）タイル、（ＴｉｌｅＳｅｔＧｒｏｕｐＥｎｔｒｙ記述子によって定義されているような）タイルセット、または、このタイルが依存する（ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子、たとえば、ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子８０２によって定義されているような）ＨＥＶＣ層の識別子を与えるｄｅｐｅｎｄｅｎｔＧｒｏｕｐＩＤ（参照符号８０３）。従属関係がトラック参照ボックスから導き出されるとき、このパラメータは、０に設定されることが好ましい；
このタイルが属する（ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子によって定義されているような）ＨＥＶＣ層の識別子を与えるｌａｙｅｒＧｒｏｕｐＩＤ（参照符号８０４）。従属関係がこのトラック参照ボックスから導き出されるとき、パラメータは０に設定される；および
ｌａｙｅｒＧｒｏｕｐＩＤパラメーターの値がゼロと異なる場合のｌａｙｅｒＧｒｏｕｐＩＤパラメーターによって識別される層の、または、当業者に周知である、「ｍｏｏｖ」ボックス内に含まれている「ｓｔｓｄ」ボックスの視覚サンプルエントリにおいて指示されているものとしてのフレームの、輝度サンプルに関し、タイルによって表現される矩形領域の幅および高さをそれぞれ定義するｒｅｇｉｏｎ＿ｗｉｄｔｈおよびｒｅｇｉｏｎ＿ｈｅｉｇｈｔ。

ｇｒｏｕｐＩＤパラメータを符号化するために使用されるビット数を修正しながら、同様の新たなおよび修正されたパラメータもＴｉｌｅＳｅｔＧｒｏｕｐＥｎｔｒｙ記述子に適用される（タイル化およびスケーラビリティ構成は組み合わされ、単一の名前空間が使用されるため、ｇｒｏｕｐＩＤパラメータの値の数は増大されることになる）。

別の必要とされる適合は、（ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ記述子によって定義されるような）タイル、（ＴｉｌｅＳｅｔＧｒｏｕｐＥｎｔｒｙ記述子によって定義されているような）タイルセット、または、このタイルが依存する（ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子によって定義されているような）ＨＥＶＣ層の識別子を定義することができるｄｅｐｅｎｄｅｎｃｙＴｉｌｅＧｒｏｕｐＩＤ属性の解釈に関する。ｄｅｐｅｎｄｅｎｃｙＴｉｌｅＧｒｏｕｐＩＤ属性の値がゼロに等しい場合、従属関係はトラック参照ボックスから導き出される。

例示を目的として、新たなＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子（参照符号８０２）のパラメータは以下のように定義することができる：
グループによって記述される層の固有の識別子であるｇｒｏｕｐＩＤ。値０は「ｎａｌｍ」ボックスにおける特別な用途のために確保される；
その層が依存する（ＨＥＶＣＬａｙｅｒＤｅｆｉｎｉｔｉｏｎＢｏｘ記述子によって定義されているような）ＨＥＶＣ層のｇｒｏｕｐＩＤ識別子を指示するｄｅｐｅｎｄｅｎｔＧｒｏｕｐＩＤ。ｄｅｐｅｎｄｅｎｔＧｒｏｕｐＩＤパラメータの値がゼロに等しい場合、従属関係は上述したトラック参照ボックス「ｓｔｓｄ」から導き出される。これはたとえば、ＳＨＶＣビットストリームがＡＶＣ｜Ｈ２６４トラックを強化する場合である；
輝度サンプルにおけるコード化画像またはビューの幅の値を与えるｖｉｓｕａｌＷｉｄｔｈ；および
輝度サンプルにおけるコード化画像またはビューの高さの値を与えるｖｉｓｕａｌＨｅｉｇｈｔ。

タイル化が層記述子を参照するようにすること、および、層記述子がタイルまたは層のいずれかの記述子を参照することを可能にすることの利点は、ｇｒｏｕｐＩＤ識別子の使用を通じて常に、統一された柔軟な従属関係伝達がもたらされることである。タイル、タイルセットおよびＨＥＶＣ層のｇｒｏｕｐＩＤ識別子の名前空間を統一することによって、また、２つの従属関係識別子（ｄｅｐｅｎｄｅｎｔＧｒｏｕｐＩＤおよびｌａｙｅｒＧｒｏｕｐＩＤパラメータ）を導入することによって、以下の従属関係：
タイル化層間の従属関係；
非タイル化層間の従属関係；
非タイル化強化層とタイル化基本層との間の従属関係；および
タイル化強化層と非タイル化基本層との間の従属関係
が単純に定義される。

ｇｒｏｕｐＩＤ識別子の名前空間が基本層であると定義される場合（たとえば、一般的なｍｐ４ファイルにはビデオストリームの基本層は１つしか存在しないため、ほとんどの事例において、ｇｒｏｕｐＩＤ名前空間の範囲がｍｏｏｖボックスと関連付けられることを念頭に置くと、ｇｒｏｕｐＩＤの同じ値が同じ基本を参照する異なるトラックにおいては使用されない）、あるＤＡＳＨベースの解決策の場合にそうであり得るように、図６〜図８を参照して説明した解決策は、層またはタイルが異なるトラック内に記憶される場合に適用可能であることが留意されるべきである。

図９ａおよび図９ｂよりなる図９は、第３の実施形態による、単一のトラックとしてのＨＥＶＣタイプのタイル化スケーラブルビデオストリームのｍｐ４ファイルへのカプセル化の例を示す。この実施形態は、サンプルあたりのＮＡＬ単位の数がサンプルごとに変動する事例に特に適合する。図１０は、ＨＥＶＣビットストリームをカプセル化するための、特定の実施形態によるタイルおよびスケーラブル層記述子を示す。

図６ａおよび図７ａと同様である図９ａに示すように、ビデオストリームは、２つの独立した空間強化層９０１および９０２によって強化することができる基本層９００を含むと仮定される。強化層Ａとして参照される強化層９０１はタイルＴ１およびＴ２を含み、強化層Ｂとして参照される強化層９０２は、タイルＴ１、Ｔ２、Ｔ３、およびＴ４を含む（強化層ＡのタイルＴ１およびＴ２は、強化層ＢのタイルＴ１およびＴ２とは異なる）。

ここでも、図９ｂを参照すると、ＨＥＶＣ規格に従ってｍｐ４ファイル９１０に符号化されているタイル化スケーラブルビデオストリームをカプセル化するために、ビデオデータがｍｄａｔボックス９１２内に、特にサンプル９１９および９２１を含むサンプルのリストとして記憶される。各サンプルは１つ以上のＮＡＬ単位のセットとして符号化されている。サンプルあたりのＮＡＬ単位の数は変動する場合がある。

図示されているように、サンプル９１９は、基本層（１つのＮＡＬ単位）、タイル化強化層Ａ（２つのＮＡＬ単位）、およびタイル化強化層Ｂ（４つのＮＡＬ単位）に対応する７つのインターレースされたＮＡＬ単位を含むが、サンプル９２１は、基本層（１つのＮＡＬ単位）、タイル化強化層Ａ（３つのＮＡＬ単位）、およびタイル化強化層Ｂ（５つのＮＡＬ単位）に対応する９つのインターレースされたＮＡＬ単位を含む。事実、強化層ＢのタイルＴ３は、サンプル９１９内の１つのＮＡＬ単位（参照符号９２０）内にカプセル化され、一方で、２つのＮＡＬ単位内にカプセル化される（サンプル９２１内の参照符号９２２および９２３）。

サンプルあたりのＮＡＬ単位の数が変動するであろうとき、上述したようなＮＡＬＵＭａｐＥｎｔｒｙ記述子は、１つのみのＮＡＬ単位マッピングを有するタイルおよびスケーラビリティ層に関して、サンプルおよびそれらのＮＡＬ単位を記述するには適していない。

特定の実施形態によれば、そのようなＮＡＬ単位の数の変動に対処するために、ｍｐ４アグリゲータを使用することが可能である。しかしながら、ｍｐ４アグリゲータはＳＶＣおよび／またはＭＶＣフォーマットに特有であるため、ＨＥＶＣ規格には利用可能でなく、加えて、これには、ｍｄａｔボックスを生成するときに特定のＮＡＬ単位を挿入し、エレメンタリストリームを抽出するためにｍｄａｔボックスを構文解析するときにビットストリームを書き換える必要がある。存在するＮＡＬ単位パターンと同数のＮＡＬＵＭａｐＥｎｔｒｙを作成するために、サンプル内の異なるＮＡＬ単位パターンを分析することを行うことができるが、これには高い記述コストがかかることが理解されるべきである。

また特定の実施形態によれば、デフォルトのＮＡＬ単位マッピングが使用される。そのようなデフォルトのＮＡＬ単位マッピングはＭＰＥＧ−４ Ｐａｒｔ−１２のＡｍｅｎｄｍｅｎｔ ３において導入されているｄｅｆａｕｌｔＳａｍｐｌｅＧｒｏｕｐメカニズムを使用することができる。これは、ＮＡＬＵＭａｐＥｎｔｒｙ記述子９１５において伝えることができる。これは、最も一般的なＮＡＬ単位パターンに対応するように選択されることが好ましい。あるいは、そのようなデフォルトのＮＡＬ単位マッピングは、最初のＮＡＬ単位マッピング、または、タイルあたり１つのＮＡＬ単位のような、事前定義の構成に対応してもよい。

ｇｒｏｕｐＩＤパラメータの特定の値、たとえば、ゼロの値は、デフォルトとして使用されるＮＡＬＵＭａｐＥｎｔｒｙ記述子（図９に示す例においてはＮＡＬＵＭａｐＥｎｔｒｙ記述子９１５）を伝えるために確保される。
加えて、ＨＥＶＣファイルフォーマットのために導入されるＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎボックスは、図１０において参照符号１００１および１００２によって示されているように、デフォルトのＮＡＬ単位マッピングに対応するＮＡＬＵＭａｐＥｎｔｒｙ記述子（すなわち、参照符号１００５）とともに使用される、新たな「確保済み」パラメータを導入するために修正される。

したがって、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎボックスは、サンプルまたはサンプルグループ（参照符号１００３）の各サブサンプルまたは各サブサンプルグループ（参照符号１００４）を記述することを可能にするので、動的なＮＡＬＵマップを容易に定義することができ、サブサンプルはここではＮＡＬ単位に対応する。

たとえば、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎボックスの「ｆｌａｇｓ」パラメータをオーバーロードすることによって、ｇｒｏｕｐＩＤベースのサブサンプルである追加の種類のサブサンプル（ＣＴＵ行、タイル、スライス、およびＩＳＯ／ＩＥＣ １４４９６ Ｐａｒｔ １５において定義されている他のものの後）を定義することが可能である。

そのような事例において、サブサンプルは、図９において参照符号９１４を用いて示されているように、そのｇｒｏｕｐＩＤによって識別されるＨＥＶＣ層、タイル、またはタイルセットにマッピングされる。ＮＡＬＵＭａｐＥｎｔｒｙサンプルグループ記述がデフォルトのｄｅｆａｕｌｔ＿ｓａｍｐｌｅ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘと共に存在する場合、デフォルトの値は無視される（たとえば、ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ記述子は、ＮＡＬＵＭａｐＥｎｔｒｙ記述子内に存在する定義に優先する）。ｇｒｏｕｐＩＤの値がゼロに等しい場合、このＮＡＬＵと関連付けられるグループはない。

ｇｒｏｕｐＩＤパラメータの値がゼロに等しい場合、このＮＡＬ単位（またはＮＡＬ単位グループ）と関連付けられるグループはなく、これはＮＡＬ単位（またはＮＡＬ単位グループ）が、デフォルトのＮＡＬＵＭａｐＥｎｔｒｙ記述子においてこのＮＡＬ単位（またはＮＡＬ単位グループ）について宣言されているｇｒｏｕｐＩＤパラメータに関連付けられることを意味する。これは、たとえば、サンプルｉ（９１９）のＮＡＬ単位がデフォルトのマッピングに従い、一方で、明確なマッピングがサンプルｊ（９２１）に与えられる、図９ｂにおける「ｓｕｂｓ」ボックス９１４の場合である。

この組み合わせは、通常使用されるデフォルトのＮＡＬＵパターンの一時的な修正を記述するための単純な方法を提供する。ＳｕｂＳａｍｐｌｅＩｎｆｏｒｍａｔｉｏｎＢｏｘボックスがサブサンプル（ＮＡＬ単位）またはサブサンプルグループ（ＮＡＬ単位グループ）のバイトサイズを与えるため、そのような記述は、パーサが、ＮＡＬ単位グループとｍｄａｔボックスにおけるそれらの位置との間のマッピングを容易に構築することを可能にする。これは、所与の基準、たとえば、空間領域または所与の層に関与するデータに従ってデータ抽出することを容易にする。

図１１ａおよび図１１ｂよりなる図１１は、特定の実施形態による、サーバとクライアントデバイスとの間でタイムドメディアデータを送信するためのステップを示す流れ図である。図１１ａに示すステップは、タイル化タイムドメディアデータビットストリームからＲＯＩストリーミングに適合するセグメントファイルを作成することによってメディア表現を準備するためにサーバ内で実施され、一方で、図１１ｂに示すステップは、クライアントデバイス内で実施される。

第１のステップ（ステップ１１００）において、ビデオストリームは、タイルを含む、特に高分解能の１つ以上の層を有するスケーラブルビデオに圧縮される。以下のステップ（ステップ１１０２）において、サーバは、タイルと関連付けられるすべてのＮＡＬ単位を識別し、各タイルについて、その所与のタイルに対応するすべてのＮＡＬ単位から構成されるサブサンプルを含むタイル記述子を作成する。その間、サーバは、スケーラビリティ層記述子を各タイルに関連付ける。非タイル化層の場合、スケーラビリティ層記述子のみがＮＡＬ単位と関連付けられる。たとえば、サーバは、ＮＡＬ単位の種々の領域との関連を識別するためにサブ画像レベルＳＥＩメッセージに依拠し、ＨＥＶＣ標準化（ｐｒｏｐｏｓａｌ ＪＣＴＶＣ−Ｋ０１２８）において提案されているように各ＲＯＩの位置およびサイズを識別するためのシーケンスレベルＳＥＩメッセージに依拠することができる。

次に、ステップ１１０４において、サーバは、図３および図６を参照して説明したように、ＩＳＯ ＢＭＦＦ表現に従って期間を含むメディアセグメントファイルおよび初期化セグメントファイルを生成および記憶する。すべてのタイムドメディアデータトラック（たとえば、ビデオトラック）が別個のメディアセグメントファイル（時間セグメント化されている）に記憶される。

その後、サーバは、要求に応じて、初期化およびメディアセグメントファイルをクライアントデバイスに供する（ステップ１１０６）。サーバは、ＨＴＴＰ要求に応答する従来のＨＴＴＰサーバであってもよい。

ＨＴＴＰストリーミングの文脈において、また好ましい実施形態において、クライアントデバイスは、サーバから利用可能なメディア表現を記述するマニフェストファイルにアクセスすることができると仮定される。このマニフェストファイルは、クライアントデバイスが、サーバから最初に初期化セグメントを要求し、その後、メディアセグメントファイルを要求することによってメディア表現をストリーミングすることを可能にするのに十分な情報（メディア特性およびセグメントのリスト）を提供する。

クライアントデバイス側で、一般的には、ポインティングデバイスのような選択手段を用いてディスプレイ上でＲＯＩが選択されると、タイル化ビデオのストリーミング中に、選択されたＲＯＩに対応するタイルが判定される（図１１ｂにおけるステップ１１０８）。

次に、各期間について、スケーラブルメディアデータの場合、クライアントデバイスは、サーバに、従属層に対応するセグメントファイルをダウンロードすることを求める要求を送信する（ステップ１１１０）。特定の実施形態によれば、従属される層は、層から従属されている層に従属している層の前にダウンロードされる。たとえば、基本層セグメントファイルは、強化層セグメントファイルの前にダウンロードされる。

以下のステップにおいて、クライアントデバイスは、サーバに、選択されたタイルに対応するメディアセグメントファイルをダウンロードすることを求める要求を送信する（ステップ１１１２）。

次に、ダウンロードされたセグメントファイルが、クライアントデバイスによって、選択されたＲＯＩに対応する、ＩＳＯ ＢＭＦＦ規格に適合する有効な（復号可能な）タイムドメディアデータビットストリームを構築するために連結される（ステップ１１１４）。

図１２は、１つ以上の実施形態のステップを実施することができるサーバまたはクライアントデバイス１２００のブロック図を示す。

デバイス１２００は、通信バス１２０２と、デバイスが電源投入されたときにプログラムＲＯＭ１２０６からの命令を実行し、電源投入後にメインメモリ１２０８からのソフトウェアアプリケーションに関係する命令を実行することが可能な中央処理装置（ＣＰＵ）１２０４とを備える。メインメモリ１２０８は、たとえば、通信バス１２０２を介してＣＰＵ１２０４の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）タイプのものであり、そのメモリ容量は、拡張ポート（図示せず）に接続される任意選択のＲＡＭによって拡張することができる。ソフトウェアアプリケーションに関係する命令は、たとえば、ハードディスク（ＨＤ）１２１０またはプログラムＲＯＭ１２０６からメインメモリ１２０８にロードすることができる。そのようなソフトウェアアプリケーションは、ＣＰＵ１２０４によって実行されると、図１１ａを参照して説明されたステップをサーバにおいて実施させ、図１１ｂを参照して説明されたステップをクライアントデバイスにおいて実施させる。

参照符号１２１２は、デバイス１２００の通信ネットワーク１２１４への接続を可能にするネットワークインターフェースである。ソフトウェアアプリケーションは、ＣＰＵ１２０４によって実行されると、ネットワークインターフェースを通じて受信される要求に反応し、ネットワークを介して他のデバイスにデータストリームおよび要求を提供するように適合されている。

参照符号１２１６は、ユーザに情報を提示し、かつ／またはユーザからの入力を受信するためのユーザインターフェースを示す。

ここで、変形形態として、マルチメディアビットストリームの受信または送信を管理するためのデバイス１２００は、図１１ａおよび図１１ｂを参照して説明された方法を実施することが可能である１つ以上の専用集積回路（ＡＳＩＣ）から構成することができることを指摘しておくべきである。これらの集積回路は、たとえば、非限定的に、ビデオシーケンスを生成もしくは表示し、および／またはオーディオシーケンスを聴くための装置に統合される。

上述したように、本発明の実施形態は、特に、ＨＥＶＣとして知られているビデオフォーマットに適用することができる。

ＨＥＶＣ規格によれば、画像を、タイル、スライス、およびスライスセグメントへと空間的に分割することができる。この規格において、タイルは、水平および垂直境界（すなわち、行および列）によって画定される画像の矩形領域に対応する。これは、整数個のコード化ツリー単位（ＣＴＵ）を含む。それゆえ、タイルは、たとえば、関心領域の位置およびサイズを定義することによって、関心領域を識別するのに効率よく使用することができる。しかしながら、ＨＥＶＣビットストリームの構造およびネットワーク抽象化層（ＮＡＬ）単位としてのそのカプセル化は、タイルを考慮して編成されず、スライスに基づく。

ＨＥＶＣ規格において、スライスはスライスセグメントのセットであり、スライスセグメントのセットのうちの第１のスライスセグメントは独立したスライスセグメント、すなわち、ヘッダ内に記憶されている一般的な情報が別のスライスセグメントのものを参照しないスライスセグメントである。スライスセグメントセットの他のスライスセグメントは、存在する場合、従属スライスセグメント（すなわち、ヘッダ内に記憶されている一般的な情報が独立したスライスセグメントのうちの１つを参照するスライスセグメント）である。

スライスセグメントは、整数個の連続した（ラスタ走査順の）コード化ツリー単位を含む。それゆえ、スライスセグメントは、矩形形状のものとすることができるか、またはそうでなくてもよく、そのため、関心領域を表現するのに適していない。これは、スライスセグメントデータが後続するスライスセグメントヘッダの形態においてＨＥＶＣビットストリーム内に符号化される。独立スライスセグメントと従属スライスセグメントとは、それらのヘッダが異なっており、従属スライスセグメントは独立スライスセグメントに従属するため、そのヘッダの情報量が独立スライスセグメントのものよりも小さい。独立スライスセグメントおよび従属スライスセグメントは両方ともタイルを定義するためにまたは、エントロピー復号同期点として使用される、対応するビットストリーム内のエントリポイントのリストを含む。

図１３ａ、図１３ｂ、および図１３ｃよりなる図１３は、タイルおよびスライスセグメントの例を示す。より正確には、図１３ａは、垂直境界１３０５−１および１３０５−２ならびに水平境界１３１０−１および１３１０−２によって９つの部分に分割されている画像（１３００）を示す。１３１５−１〜１３１５−９として参照されている９つの部分の各々が、特定のタイルを表す。

図１３ｂは、垂直境界１３０５’によって区切られている２つの垂直タイルを含む画像（１３００’）を示す。画像１３００’は、５つのスライスセグメント、すなわち、１つの独立スライスセグメント１３２０−１（斜線によって表されている）および４つの従属スライスセグメント１３２０−２〜１３２０−５を含む単一のスライス（参照符号なし）を含む。

図１３ｃは、垂直境界１３０５’’によって区切られている２つの垂直タイルを含む画像（１３００’’）を示す。左タイルは２つのスライス、すなわち、１つの独立スライスセグメント（１３２０’−１）および１つの従属スライスセグメント（１３２０’−２）を含む第１のスライス、ならびに、１つの独立スライスセグメント（１３２０’−３）および１つの従属スライスセグメント（１３２０’−４）を含む第２のスライスを含む。右タイルは、１つの独立スライスセグメント（１３２０’−５）および１つの従属スライスセグメント（１３２０’−６）を含む１つのスライスを含む。

ＨＥＶＣ規格によれば、スライスセグメントは、以下のように要約することができる規則に従ってタイルにリンクされる（一方または両方の条件が満たされなければならない）：
スライスセグメント内のすべてのＣＴＵが同じタイルに属する（すなわち、スライスセグメントはいくつかのタイルに属することはできない）；および
タイル内のすべてのＣＴＵが同じスライスセグメントに属する（すなわち、いくつかのスライスセグメントの各々がそのタイルのみに属することを条件として、タイルはこれらのいくつかのスライスセグメントに分割することができる）。

明瞭にするために、以下において、１つのタイルが１つの独立スライスセグメントのみを有する１つのスライスを含むと考えられる。しかしながら、本発明の実施形態は、図１３ｂおよび図１３ｃに示すもののような他の構成によって実行されてもよい。

上述したように、タイルは関心領域のための適切なサポートと考えることができるが、スライスセグメントは、通信ネットワークにわたる搬送のためにＮＡＬ単位内に実際に置かれ、アクセス単位（すなわち、ファイルフォーマットレベルにおけるコード化画像またはサンプル）を形成するために集約されるエンティティである。

ＨＥＶＣ規格によれば、このタイプのＮＡＬ単位は、以下のように定義することができる２バイトのＮＡＬ単位ヘッダ内に符号化されることを想起されたい。
ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ （） ｛
ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ
ｎｕｈ＿ｌａｙｅｒ＿ｉｄ
ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１
｝

スライスセグメントをコード化するために使用されるＮＡＬ単位は、スライスセグメントアドレス構文要素によってスライスセグメント内の最初のＣＴＵのアドレスを示すスライスセグメントヘッダを含む。そのようなスライスセグメントヘッダは以下のように定義することができる。
ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ （） ｛
ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ
ｉｆ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ ＞＝ ＢＬＡ＿Ｗ＿ＬＰ ＆＆ ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ ＜＝ ＲＳＶ＿ＩＲＡＰ＿ＶＣＬ２３）
ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ
ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ
ｉｆ（！ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）｛
ｉｆ（ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）
ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｆｌａｇ
ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓ
｝

Ｉｆ（！ｄｅｐｅｎｄｅｎｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｆｌａｇ）｛
［…］

タイル化情報は、ＰＰＳ（画像パラメータセット）ＮＡＬ単位において提供される。その後、スライスセグメントとタイルとの間の関係をこれらのパラメータから推定することができる。

空間予測は（定義により）タイル境界上でリセットされるが、タイルが基準フレーム内の異なるタイルからの時間予測器を使用することを妨げるものはない。したがって、独立タイルを構築するために、符号化中、予測単位の運動ベクトルは、基準フレーム内の同じ位置にあるタイル内にあるままにするために、タイル内部に制約されることが有利である。加えて、１つのみのタイルを複合しているときにエラードリフトが導入されないように、タイル境界上ではインループフィルタ（非ブロック化およびサンプル適応オフセット（ＳＡＯ）フィルタ）は機能停止されていることが好ましい。そのようなインループフィルタの制御はＨＥＶＣ規格において利用可能であることが留意されるべきである。これは、スライスセグメントヘッダ内でｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとして知られているフラグによって設定される。このフラグを明確にゼロに設定することによって、タイル境界にある画素が、隣接するタイルの境界にかかる画素に従属することはできない。運動ベクトルおよびインループフィルタに関係するこれら２つの条件が満たされるとき、タイルは「独立復号可能タイル」または「独立タイル」と考えることができる。

ビデオビットストリームが独立タイルのセットとして符号化されると、これはその後、基準データの喪失および再構築エラーの伝播の一切の危険性なしにフレームごとのタイルベースの復号を可能にする。したがって、この構成は、たとえば、図２に示す関心領域（タイル３および７を含む）に対応する可能性がある元のビデオの空間部分のみを再構築することを可能にする。そのような構成は、タイルベースの復号が信頼できることを示すように、ビデオビットストリーム内の補足情報として示すことができる。

本発明の一実施形態によれば、ＨＴＴＰストリーミングの文脈におけるタイルへの効率のよいアクセスが、ＨＥＶＣ規格に適用されるＩＳＯ ＢＭＦＦファイルフォーマットを使用することによってもたらされる。したがって、コード化される独立タイル（たとえば、図２に示す１２個のタイル）の各々が、図６を参照して下記に説明するような「ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ」と呼ばれる、関連付けられる記述子によってカプセル化される。

上述したように、初期化セグメントファイルは、他のメディアセグメントファイル内にカプセル化されているタイムドメディアデータビットストリームを定義するのに必要であるすべてのメタデータを送信するのに使用される。初期化セグメントファイルは、ファイルタイプボックス「ｆｔｙｐ」および動画ボックス「ｍｏｏｖ」を含む。ファイルタイプボックスは、いずれのＩＳＯ ＢＭＦＦ仕様にセグメントファイルが適合するかを識別し、その仕様のバージョン番号を示すことが好ましい。動画ボックス「ｍｏｏｖ」は、メディアセグメントファイルに記憶されている表現を記述するすべてのメタデータ、特に、その表現内で利用可能なすべてのトラックを提供する。

動画ボックスは、トラック（「ｔｒａｋ」ボックス）の各々の定義を含む。

各トラックボックスは、少なくともトラックヘッダボックス「ｔｋｈｄ」およびトラックメディアボックス「ｍｄｉａ」を含む。トラックが他のトラックからのデータに従属する場合、トラック基準ボックス「ｔｒｅｆ」も存在する。

上述したように、タイムドメディアデータビットストリームをカプセル化するのに使用されるＩＳＯ ＢＭＦＦ仕様に応じて、他のボックスが必須または任意選択である場合があることが留意されるべきである。しかしながら、本発明の実施形態は、これらのボックスが適用可能であることには依拠しないため、それらはここでは提示しない。

図６を参照して説明した実施形態によれば、全ビデオ中のタイルの位置、タイルのサイズ、および、いかなるアーティファクトもなしにタイルトラックを復号することができるという指示のシグナリングは、トラックヘッダボックス「ｔｋｈｄ」（図示せず）およびメディア情報ボックス「ｍｄｉａ」（図示せず）のボックスを使用して、各トラック定義において、「ｍｏｏｖ」ボックス（６１１）内でカプセル化されるＨＥＶＣビットストリーム全体に対して一度行われる。

ビデオシーケンスに沿ったタイル化構成の変動に対処するように適合されている特定の実施形態によれば、タイルの伝達は、ＩＳＯ ＢＭＦＦ規格からのサンプルグループ化メカニズムを使用して、サンプルレベルで行われる。

そのようなサンプルグループ化メカニズムは、トラック内のサンプルの区切りを表現するのに使用される。それらは、２つのボックス、すなわち、サンプルのサンプルグループへの割り当てを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックス（「ｓｂｇｐ」）と、特定のサンプルグループ内のサンプルの共通の特性を記述するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）とを使用することに依拠する。特定のタイプのサンプルグループ化は、タイプフィールド（「ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ」）を介して１つのＳａｍｐｌｅＴｏＧｒｏｕｐボックスと１つのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとを組み合わせることによって定義される。種々のグループ化基準に基づいて、複数のグループ化インスタンス（すなわち、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスとＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスとの組み合わせ）が存在する可能性がある。

特定の実施形態によれば、サンプルのタイル化に関係付けられるグループ化基準が定義される。「ｔｉｌｅ（タイル）」と呼ばれるこのｇｒｏｕｐｉｎｇ＿ｔｙｐｅは、タイルの特性を記述し、標準的なＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙから導き出される。これは、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙとして参照することができ、以下のように定義される。
ｃｌａｓｓ ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙ （） ｅｘｔｅｎｄｓ ＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ （‘ｔｒｉｆ’） ｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｇｒｏｕｐＩＤ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（２） ｉｎｄｅｐｅｎｄｅｎｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（６） ｒｅｓｅｒｖｅｄ＝０；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｇｉｏｎ＿ｗｉｄｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ；
｝

この新たなタイプのグループエントリによれば、ｇｒｏｕｐＩＤパラメータは、グループによって記述されるタイルの固有の識別子である。ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔおよびｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔパラメータはそれぞれ、基本領域の輝度サンプルにおける、ＨＥＶＣフレームの左上画素に対する、タイルによって表現される矩形領域の左上画素の水平および垂直オフセットを設定するのに使用される。ｒｅｇｉｏｎ＿ｗｉｄｔｈおよびｒｅｇｉｏｎ＿ｈｅｉｇｈｔパラメータはそれぞれ、ＨＥＶＣフレームの輝度サンプルにおける、タイルによって表現される矩形領域の幅および高さを設定するのに使用される。独立パラメータは、タイルが、独立タイルの定義に対する参照である上述のように、同一タイルのみに属するサンプルに関係付けられる復号従属関係を含むことを指定する２ビット語である。例示を目的として、またタイル編成を記述するためのＳＥＩメッセージの標準的な使用を参照して、ｔｉｌｅ＿ｓｅｃｔｉｏｎ＿ｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇとして知られるフラグを使用して、独立フラグの値を設定することができる。後者の意味は、以下のように設定することができる：独立パラメータが０に等しい場合、このタイルと同じフレームまたは先行するフレーム内の他のタイルとの間のコード化従属関係は分からない；独立パラメータが１に等しい場合、このタイルと同じフレーム内の他のタイルとの間の空間コード化従属関係はないが、このタイルと、先行するフレーム内の同じタイルＩＤを有するタイルとの間にはコード化従属関係がある可能性がある、および、独立パラメータが２に等しい場合、このタイルと同じフレーム内または先行するフレーム内の同じタイルＩＤを有する他のタイルとの間にはコード化従属関係はない；独立パラメータ値３は確保されている。

任意選択的に、タイルあたりの平均ビットレートを記述するパラメータを、帯域幅に基づく適合のためにストリーミングクライアントに提供されるように、タイル記述子において設定することができる。

ある実施形態によれば、各タイルの特性は、各タイルトラックについて、「ｔｒｉｆ」ｇｒｏｕｐｉｎｇ＿ｔｙｐｅおよびＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙを有する１つのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（「ｓｇｐｄ」）を定義することによって動画ヘッダ（「ｍｏｏｖ」ボックス）内で一度与えられる。その後、ＩＳＯ ＢＭＦＦ規格によれば、サンプルの数は前もって分からないため、タイルトラックフラグメントの各サンプルをその特性と関連付けるために、各タイルトラックフラグメントにおいてＳａｍｐｌｅＴｏＧｒｏｕｐボックスが定義される。

図１４ａおよび図１４ｂよりなる図１４は、様々なタイル化構成を処理するように適合している、全ビデオ中のタイルの位置、タイルのサイズ、および、いかなるアーティファクトもなくサブサンプルレベルでタイルトラックを復号することができるという指示の伝達の例を示す。

図１４ａは、クライアントデバイス（たとえば、ビデオプレーヤ）によって実行されるステップを示し、一方で、図１４ｂは、単一のトラックを含むファイルの例を示し、ＨＥＶＣタイプのタイル化スケーラブルビデオストリームがカプセル化されている。より正確には、図１４ｂは，タイル化記述の例を示す。

第１のステップ（ステップ１４００）において、クライアントデバイスは、初期化データ、たとえば、一般的にはｍｏｏｖボックスの内容である、ＭＰＥＧ−４規格に適合するカプセル化ビットストリームの初期化データをダウンロードするか、または、ファイルがローカルファイルである場合は初期化データを読み出す。

これらの初期化データから、クライアントデバイスは、トラックボックス、特に、サンプル情報および記述がコード化されているサンプルテーブルボックスに含まれるトラック情報を構文解析することができる（ステップ１４０５）。次に、ステップ１４１０において、クライアントデバイスは、すべての利用可能なサンプルグループ記述ボックス（たとえば、図１４ｂにおけるサンプルグループ記述ボックス１４７０および１４７５）のリストを構築する。結果として、クライアントデバイスは、ＮＡＬＵＭａｐＥｎｔｒｙ記述子（たとえば、ＮＡＬＵＭａｐＥｎｔｒｙボックス１４７０）から参照されるｇｒｏｕｐＩＤの全リストを保持することになる。

それゆえ、サンプル記述は、クライアントデバイスが、タイル化されたスケーラブルビデオの特定の事例について、所与の分解能または品質において特定の関心領域をレンダリングするために、いずれのＮＡＬ単位をダウンロード（送信使用の場合）または抽出（ローカルファイルの場合）しなければならないかを判定することを可能にする。タイルおよび層選択は、タイル記述およびスケーラビリティ情報をレンダリングするクライアントデバイス（ステップ１４１５）のグラフィカルインターフェースを介して行うことができる。１つ以上のタイルおよび／またはスケーラビリティ層を選択することができる。

構文解析ステップ１４１０に続いて、バイト範囲のリストを、ｍｄａｔボックス（たとえば、参照符号１４６０）内の各対応する構成（タイル、層、サンプル）に関連付けるために、任意選択のインデックス付けステップが、中間データ構造において実行されてもよいことが留意されるべきである。そのような中間データ構造を構築することによって、中間クライアントデバイスが、所与の構成（タイル、層、サンプル）のデータをより迅速にダウンロードまたは抽出することが可能になる。この任意選択の構文解析ステップは、圧縮ビデオデータがカプセル化されているときはサーバ側で行うこともできる。これはその後、タイルまたは特定の層をダウンロードするためのバイト範囲に関して通知するために、また、サーバが、所与の（タイル、層、サンプル）構成をより迅速に抽出するために使用され得る。

次に、クライアントデバイスによってデータがダウンロードまたは読み出しされ（ステップ１４２０）、抽出または受信されたデータ（ｍｄａｔボックス１４６０からのサンプル）が表示のためにビデオ復号器に提供される（ステップ１４２５）。

図１４ｂに示すように、タイル化記述１４５０は、動画ボックス「ｍｏｏｖ」１４５５および「ｍｄａｔ」データボックス１４６０を含む。ボックス１４５５は、種々のサンプルグループを記述するＳａｍｐｌｅＴｏＧｒｏｕｐボックス１４６５を含むトラックあたり１つのＳａｍｐｌｅＴａｂｌｅボックスと、各サンプルのＮＡＬ単位とタイルとの間のマッピングを記述するサンプルグループ記述ボックス１４７０と、タイル記述を含むサンプルグループ記述ボックス１４７５とを含む。サンプル対グループボックス１４６５は、グループエントリＮＡＬＵＭａｐＥｎｔｒｙ記述子の「ｎａｌｍ」グループ化タイプを示す。

図１５ａおよび図１５ｂよりなる図１５は、効率的なデータアドレス指定のための、複数トラックにおけるタイルのカプセル化の例を示す。

図１５ａは、タイル構成の例を示す。例示を目的として、これは、４つのタイル（タイル１〜タイル４）を含み、各タイルのサイズは、３１０ピクセル幅および２５６ピクセル高さである。

図１５ｂに示すように、各タイルはそれ自体のトラック内にカプセル化され、結果として、５つのトラック、すなわち、各タイルをカプセル化するための、１５０１、１５０２、１５０３、および１５０４として参照される４つのタイルトラックならびにすべてのタイルトラックに共通の１つのパラメータセットトラック１５１０としてビデオがカプセル化されることになる。

ＨＥＶＣタイルトラックは、それに対して基本ＨＥＶＣ層からの「ｄｏｎｄ」（復号順序従属関係）トラック参照またはＨＥＶＣ層への「ｓｂａｓ」参照のいずれかがあるビデオトラックである。

各タイルトラック（１５０１、１５０２、１５０３、および１５０４）の記述は、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックス１５０６のようなＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックス（「ｔｒｉｆ」参照によって識別される）に基づく。

ここで「ｔｒｉｆ」ボックスは、トラックのすべてのサンプルが同じタイル記述を有することを示すために、デフォルトのサンプルグループ化メカニズム（属性ｄｅｆ＿ｓａｍｐｌｅ＿ｄｅｓｃｒ＿ｉｎｄｅｘ＝１を有する）を使用する。たとえば、タイル１に対応するＮＡＬ単位１５２１は、ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙボックス１５０６内のトラック１（１５０１として参照される）において記述されている。

ここで、所与のトラック内のすべてのサンプルがこのトラックによって記述されるタイルにマッピングするため、ＮＡＬＵＭａｐＥｎｔｒｙ記述子は必要ない。参照符号１５２１および１５２２はそれぞれ、時間１から時間Ｓまで（トラックフラグメントの場合のメディアセグメントまたはメディアファイルの継続時間）のタイル１およびタイル４のデータを含むデータチャンクを示す。

実際には、トラックサンプルは、この実施形態によれはタイルサンプルであるため、一般的なビデオサンプルではなく、タイルトラック内に記憶されているサンプルはＩＳＯ／ＩＥＣ ２３００８−２（ＨＥＶＣ）において定義されているような、１つ以上のタイルのスライスの完全なセットである。タイルトラック内に記憶されているＨＥＶＣサンプルは、サンプル内に含まれるコード化スライスが瞬時復号リフレッシュ（ＩＤＲ）スライス、クリーンランダムアクセス（ＣＲＡ）スライス、またはブロークンリンクアクセス（ＢＬＡ）スライスであることをサンプル内のＶＣＬ ＮＡＬ単位が示す場合、ｓｙｎｃサンプルとして考えられる。そのため、それらは一般的なサンプルと同じサイズを有せず、図１５ａの例によれば、一般的なＨＥＶＣサンプルは、６４０×５１２ピクセルのサイズを有し、一方、ここでは、各タイルトラック内に記憶されているＨＥＶＣサンプルは、３２０×２５６ピクセルのサイズを有する。構文解析時間における曖昧さを回避するために、タイルサンプルは新たなタイプのＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ記述子、すなわち、トラック１に割り当てられているＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ記述子１５０５（４文字コード「ｈｖｔ１」を用いて示されている）のような、ＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ記述子を用いてシグナリングされる。

ＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙについて、独立トラックにおける記述であるＴｉｌｅＲｅｇｉｏｎＧｒｏｕｐＥｎｔｒｙも使用され得ることが留意されるべきである。この事例において、サンプルのサイズは、タイルセットの境界ボックスのサイズになる。

サイズ情報に加えて、サンプルを記述するための任意の関連情報が、任意選択のｅｘｔｒａ＿ｂｏｘｅｓとしてこのＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ内に置かれ得る。

正式には、ＨＥＶＣビデオトラックのサンプルエントリは、各トラックヘッダのサンプル記述ボックス内で宣言されているＨＥＶＣＳａｍｐｌｅＥｎｔｒｙである。ここで、同じビデオストリームを表現する複数のトラックが使用されているため、各タイルトラックは、トラック内のサンプルは完全なビデオストリームの下位部分の実際のサンプルである指示を含み、これらのサンプルがＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ（各トラックのサンプル記述ボックス「ｓｔｓｄ」内の各「ｈｖｔ１」ボックス）であることが示される。

サンプル記述タイプ「ｈｖｔ１」について、タイルトラック内のサンプルまたはサンプル記述ボックスのいずれもＶＰＳ、ＳＰＳまたはＰＰＳ ＮＡＬ単位を含むべきではなく、これらのＮＡＬ単位はサンプル内、もしくは、スケーラビリティの場合は基本層（トラック参照によって識別される）を含むトラックのサンプル記述ボックス内、または、図１５ｂにおける専用トラック１５１０のような専用トラック内にあるべきである。

通常のＨＥＶＣサンプルについて定義されているサブサンプルおよびサンプルグループ化は、ＨＥＶＣタイルサンプルについて同じ定義を有する。パラメータセットトラック１５１０とタイルトラックとの間の従属関係は、１５１１として参照される復号順序従属関係「ｄｏｎｄ」によって記述される。「ｄｏｎｄ」トラック参照は、タイル順序（ここでは１、２、３、および４）を得るためにスライスヘッダを構文解析することなく元のビットストリームを再構築するのに使用することができる、順序情報を提供するため、これを使用することが推奨される。

ＨＥＶＣビデオのタイルが異なるトラック内に記憶されているとき、基本層内にサンプルが存在しない事例が起こり得る。適合するＨＥＶＣビットストリームを形成するためにタイルサンプルがどのように再構築されるか、および、再構築されるか否かは、実施態様に委ねられる。

当然ながら、ローカルなおよび特定の要件を満たすために、当業者は、上述した解決策に多くの修正および変更を適用することができるが、これらのすべてが添付の特許請求の範囲によって規定されているような本発明の保護範囲内に含まれる。

Claims (21)

1. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成方法であって、
   １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＳＰＳ（シーケンスパラメータセット）が記述されず、且つ、前記ＳＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
2. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成方法であって、
   １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＳＰＳ（シーケンスパラメータセット）が記述されず、且つ、前記ＳＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
3. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成方法であって、
   １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＶＰＳ（ビデオパラメータセット）が記述されず、且つ、前記ＶＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
4. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成方法であって、
   １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＶＰＳ（ビデオパラメータセット）が記述されず、且つ、前記ＶＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
5. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成方法であって、
   １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＰＰＳ（ピクチャパラメータセット）が記述されず、且つ、前記ＰＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
6. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成方法であって、
   １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成工程と、
   前記トラック生成工程により生成されるトラックを含むメディアファイルを生成するファイル生成工程であって、前記トラック生成工程により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＰＰＳ（ピクチャパラメータセット）が記述されず、且つ、前記ＰＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成方法。
7. 前記複数のタイル領域のそれぞれは、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に基づいて符号化されることを特徴とする請求項１乃至６のうち、何れか１項に記載の生成方法。
8. 前記サンプルは画像であり、前記メディアデータはビデオデータであることを特徴とする請求項１に記載の生成方法。
9. 前記トラックがタイルトラックであることを示す前記情報は、ＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ識別子を用いて表されることを特徴とする請求項１乃至８のうち、何れか１項に記載の生成方法。
10. 前記トラックがタイルトラックであることを示す前記情報は、ｈｖｔ１からなる４文字コードによって表されることを特徴とする請求項１乃至９のうち、何れか１項に記載の生成方法。
11. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成装置であって、
    １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＳＰＳ（シーケンスパラメータセット）が記述されず、且つ、前記ＳＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成手段とを有することを特徴とする生成装置。
12. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成装置であって、
    １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＳＰＳ（シーケンスパラメータセット）が記述されず、且つ、前記ＳＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成手段とを有することを特徴とする生成装置。
13. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成装置であって、
    １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＶＰＳ（ビデオパラメータセット）が記述されず、且つ、前記ＶＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成手段とを有することを特徴とする生成装置。
14. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成装置であって、
    １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＶＰＳ（ビデオパラメータセット）が記述されず、且つ、前記ＶＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成工程とを有することを特徴とする生成装置。
15. それぞれが複数のタイル領域を有する１以上のサンプルを含むメディアデータに基づいてメディアファイルを生成する生成装置であって、
    １つのサンプルに対応する複数のタイル領域のうちの１以上のタイル領域に対応するメディアデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するメディアデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するメディアデータのデコードのためにデコーダにより参照されるべきＰＰＳ（ピクチャパラメータセット）が記述されず、且つ、前記ＰＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成手段とを有することを特徴とする生成装置。
16. それぞれが複数のタイル領域を有する１以上の画像を含むビデオデータに基づいてメディアファイルを生成する生成装置であって、
    １つの画像内の複数のタイル領域のうちの１以上のタイル領域に対応するビデオデータを有するトラックを生成するトラック生成手段と、
    前記トラック生成手段により生成されるトラックを含むメディアファイルを生成するファイル生成手段であって、前記トラック生成手段により生成されるトラックが有するビデオデータのメタデータを記述するためのサンプル記述ボックスには、前記トラックがタイルトラックであることを示す情報が記述され、且つ、前記サンプル記述ボックスには、前記トラックが有するビデオデータのデコードのためにデコーダにより参照されるべきＰＰＳ（ピクチャパラメータセット）が記述されず、且つ、前記ＰＰＳが、複数のタイルトラックに関するパラメータを少なくとも記述する共通トラックのトラックボックスに記述されたメディアファイルを生成するファイル生成手段とを有することを特徴とする生成装置。
17. 前記複数のタイル領域のそれぞれは、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に基づいて符号化されることを特徴とする請求項１１乃至１６のうち、何れか１項に記載の生成装置。
18. 前記サンプルは画像であり、前記メディアデータはビデオデータであることを特徴とする請求項１１に記載の生成装置。
19. 前記トラックがタイルトラックであることを示す前記情報は、ＨＥＶＣＴｉｌｅＳａｍｐｌｅＥｎｔｒｙ識別子を用いて表されることを特徴とする請求項１１乃至１８のうち、何れか１項に記載の生成装置。
20. 前記トラックがタイルトラックであることを示す前記情報は、ｈｖｔ１からなる４文字コードによって表されることを特徴とする請求項１１乃至１９のうち、何れか１項に記載の生成装置。
21. コンピュータを請求項１１乃至２０のうち、何れか１項に記載の生成装置の各手段として動作させるためのプログラム。

Images