JP5542913B2 - メディアファイルを生成し処理するための方法および構成 - Google Patents

Description

請求される発明は、代替映像断片を含むメディアファイルを生成し処理するための方法および構成に関する。

使用されるファイル形式に応じて、特に動的適応がネットワーク内で必要とされるとき、ファイルがストリーミングに多かれ少なかれ適していることがある。

ＩＳＯ／ＩＥＣ１４４９６−１２：２００８、情報技術−オーディオ−ビジュアルオブジェクトの符号化−第１２部：ＩＳＯベースのメディアファイル形式（第３版）で、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）が、いくつかのより具体的ファイル形式、たとえばＭＰ４および３ＧＰなどのファイル形式の基礎の役割を果たす一般的ファイル形式を指定するＩＳＯベースのメディアファイル形式を標準化した。これらの形式についてより多くのことが、それぞれＩＳＯ／ＩＥＣ１４４９６−１４：２００３、情報技術−オーディオ−ビジュアルオブジェクトの符号化−第１４部：ＭＰ４ファイル形式、および３ＧＰＰ ＴＳ ２６．２４４、透過的エンド・ツー・エンド・パケット交換ストリーミングサービス（ＰＳＳ）、３ＧＰＰファイル形式（３ＧＰ）、リリース８（２００８）において、それぞれ得られることができる。

標準化されたファイル構造は、オブジェクト指向であり、ファイルがボックス（ｂｏｘ）と呼ばれる一連のオブジェクトにより形成され、この場合、ボックスの構造はボックスのタイプにより推測される。一部のボックスが別のボックスだけを含むが、大部分のボックスはデータを含む。ファイルのすべてのデータがボックス内に含まれる。

図１は従来技術による断片化していないファイル１００の概略図である。ファイルは、タイプ「ｍｏｏｖ」１０１の映像ボックス内に含まれるファイルの全プレゼンテーションを含む初期映像に分割されることができるが、ファイルのビットストリーム、すなわちデータチャンクを含む実際のメディアデータは、タイプ「ｍｄａｔ」１０２のメディア−データボックス内に含まれる。メディアデータは、典型的には圧縮されたデータ、たとえば圧縮されたオーディオおよびビデオのビットストリームなどの異なるトラックに分割されることができる。点線矢印で示されるように、「ｍｄａｔ」は「ｍｏｏｖ」によって参照される。

典型的メディアファイルが、タイプ「ｍｏｏｆ」の映像断片ボックス内に含まれるいくつかの増分映像断片も含む。同様に、映像断片を使用することにより、再生がクライアントのところで開始することができる前の初期遅延を低減することができる。断片がなければ、すべてのメタデータが、ファイル内の「ｍｄａｔ」の前にオーバーヘッドを追加する「ｍｏｏｖ」内に含まれなければならないからである。考慮される必要がある、断片化したファイルを使用する別の様態は、ファイルに別の映像断片を追加することが常に可能であるので、このタイプのファイルは原理的に終わりのない可能性があるということである。

図２は従来技術による断片化したファイルを図示する別の概略図である。プレゼンテーションは、「ｍｏｏｖ」１０１およびいくつかの「ｍｏｏｆ」２０１ａ、２０１ｂ内に含まれ、対応するビットストリームが「ｍｄａｔ」１０２ａ、１０２ｂ、１０２ｃ内にある。図２に示されるように、ｍｄａｔ１０２ａは「ｍｏｏｖ」１０１により参照されるが、一方「ｍｄａｔ１０２ｂ」は「ｍｏｏｆ」２０１ａにより参照され、「ｍｄａｔ１０３ｃ」は「ｍｏｏｆ２０１ｂにより参照される。簡単な理由から、図は２つの断片しか含まないが、典型的ファイルは、多くの断片が続く、短い「ｍｏｏｖ」しか含まない、または空の「ｍｏｏｖ」を含むことさえある。各映像断片は、ファイルの映像、すなわちマルチメディアプレゼンテーションを時間について拡張する。映像ボックスおよび映像断片ボックスは、ファイルのメディアプレゼンテーションを復号し描画するためのクライアントにより必要とされる情報を含むメタデータ・ボックスである。すべてのこれらボックス（「ｍｏｏｖ」、「ｍｏｏｆ」、および「ｍｄａｔ」）は、トップレベルのボックス、すなわちファイルによってしか含まれず、どんな別のボックスによっても含まれないボックスである。

ｉ）「ｍｏｏｖ」が「ｍｄａｔ」に先行するようにファイルをフォーマットすることにより、ならびにｉｉ）共通の時間間隔、たとえば１秒の継続時間に対応するオーディオおよびビデオが連続して記憶されるように「ｍｄａｔ」内でメディアデータをインタリーブすることにより、ファイルがプログレッシブダウンロード（ｐｒｏｇｒｅｓｓｉｖｅ ｄｏｗｎｌｏａｄ）のために最適化されることができる。同様に、映像断片を使用することにより、再生が開始することができる前の初期遅延を低減することができる。断片がなければ、すべてのメタデータが、ファイル内の「ｍｄａｔ」の前にオーバーヘッドを追加する「ｍｏｏｖ」内に含まれなければならない。

Ｍｉｃｒｏｓｏｆｔ社のＳｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇは、適応（ａｄａｐｔｉｖｅ）ＨＴＴＰストリーミングのために特に設計され、かつＩＳＯベースのメディアファイル形式に基づき、かつメディアファイルがそれぞれ小さなファイルと考えられることができる多くのピース（ｐｉｅｃｅ）に分割されることができるという考え、およびこれらのピースが新しいファイルを作るように組み合わせられるという考えに基づき構築される、Ｍｉｃｒｏｓｏｆｔ社のＳｉｌｖｅｒｌｉｇｈｔに対する拡張である。

基本的に、クライアントがある時点で特定のファイルからピースを要求し、これらのファイルを共に結合してメディアシーケンスを作ることができる。

ＩＳＯベースのメディアファイル形式は、映像断片および映像ボックスのコンテンツになると、非常に厳密である。たとえば、プログレッシブダウンロード中、基本的にまず全断片を再書き込みすることなく断片内のコンテンツを再符号化することができない。

さらに、Ｍｉｃｒｏｓｏｆｔ社のＳｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇは、既存のファイルリーダとバックワードコンパチブルでない。したがって、Ｍｉｃｒｏｓｏｆｔ社のＳｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇはインテリジェントクライアントを必要とし、したがって、説明された機能は既存のサービスに透過的に追加されることができない。

映像断片は、クライアントへのライブコンテンツおよび適応コンテンツの両方を配布するための主要な基本要素として使用されることができる。既に上述のように、映像断片はＩＳＯベースのメディアファイル形式からの継承により既に３ＧＰメディアファイル形式の一部となっている。

映像断片は、メタデータを多数のデータチャンクに分散させ、それにより、ファイルの再生を開始するときに、メディアファイルのメディアファイル構造の完全な知識をクライアントが有する必要性を回避することができるようにする。

３ＧＰメディアファイルが映像断片のシーケンスとして送付される限り、これらの断片は伝送中にライブで生成され、かつ／または異なるビットレートを有する異なるバージョン間で選択されることができる。後者の選択は適応性を考慮し、それにより、サーバがクライアントに向けて提供されるデータのＴＣＰ送付を監視することにより、適応性をトリガすることができる。

ＩＳＯ／３ＧＰファイル内の探索は、メディアファイルの構造に依存する。映像断片がなければ、探索は、典型的には実行するのが比較的容易なテーブルベースの手順である。しかし、メディアファイルが映像断片を含む場合、探索中、一度に１つの映像断片しか前に移動することができないので、メディアファイル内の特定の位置の探索はより困難である。これは、ファイル読出エンティティ、典型的にはサーバが、次の断片の開始を見つけ出すために、現在処理されている断片の長さが既知である必要があるという事実による。メディアファイルのサイズが限定されている場合、ランダム・アクセス・ポイント（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ：ＲＡＰ）の位置を探し出す手助けをするために、典型的には「ｍｆｒａ」と呼ばれる映像断片ランダム・アクセス・ボックスがメディアファイルの末端に追加されることができる。しかし、この情報はファイルの映像断片ボックスを見つけ出す手助けをしない。

上記に説明されるスムースストリーミング処理はクライアントにより完全に制御され、この場合、クライアントがまずマニフェスト・メディア・ファイル（ｍａｎｉｆｅｓｔ ｍｅｄｉａ ｆｉｌｅ）をダウンロードし、次に、一度に１つＩＳＯベースのメディアファイル断片を取り出し、これらの断片から連続したメディアストリームを構築する。そのようなスキームは適応性および探索を考慮するが、記憶されたファイルに対してだけである。さらに、探索はマニフェスト・メディア・ファイルに時間インスタンスと断片番号の間のマッピングを付与することを要求する。

上記で概説された問題の少なくとも一部に対処することが本発明の１つの目的である。

ファイル読出エンティティで断片の適応選択を可能にする仕組みを提供することも１つの目的である。要求される選択機構は、代替映像断片がファイル生成エンティティにより映像ファイルに追加されることができるようにし、かつそのようなファイルがファイル読出エンティティ、たとえばサーバまたはクライアントにより処理されることができるようにする仕組みを適用することにより得られることができる。

異なる様態によれば、代替映像断片を生成し処理するための方法、および示唆される方法を実行するための構成が提供される。さらに、示唆される方法のために使用されるのに適した断片化したメディアファイルが示唆される。

言及された仕組みは、必要とされる目的に適合させられた階層的ボックス構造の使用に依存する。特に適応された構成と共に使用するのに適していることに加えて、従来のファイル読出エンティティはまた、代替映像ファイルを含むファイルを処理することができる。

第１の様態では、プログレッシブダウンローディングを使用するＨＴＴＰストリーミングに適した断片化したメディアファイルを生成するためのファイル生成エンティティにおける方法が示唆される。示唆されるファイル生成エンティティは１つまたは複数のメディアソースからメディアコンテンツを得て、映像断片および少なくとも１つの関連する代替映像断片が生成されるときにこのコンテンツを使用する。各映像断片および各代替映像断片は、言及された階層的映像断片の個々のボックスの中に含まれることができ、その結果、メディアファイルを得るファイル読出エンティティが各代替映像断片を識別し、少なくとも１つの代替映像断片が映像断片に対して識別されると、代替映像断片または関連する映像断片を適応的に選択することができる。

示唆される階層的ボックス構造は、各断片が映像断片ボックス内に含まれ、かつ各代替映像断片が代替映像断片ボックス内に含まれるように説明されることができる。

生成するステップは、映像断片に関する記述（ｄｅｓｃｒｉｐｔｉｏｎ）、およびファイル読出エンティティで代替映像断片の選択のために使用される区別基準の指標を構成する、少なくとも１組の属性を生成すると説明されることができる。

含むステップは、関連する映像断片ボックスまたは代替映像断片ボックス内にさらに含まれる映像断片情報ボックスの中に少なくとも１つの属性を含むステップを含むことができる。

含むステップは、個々の映像断片ボックス内、および／または個々の代替映像断片ボックス内に分岐識別（ｂｒａｎｃｈ ｉｄｅｎｔｉｔｙ）を含むステップを含むことができる。分岐が適用される場合、少なくとも１つの分岐を列挙するテーブルおよび／または記述もファイルの中に含まれることができる。テーブルおよび／または記述は、たとえば映像拡張ボックス（ｍｏｖｉｅ ｅｘｔｅｎｄｓ ｂｏｘ）内に含まれることができる。

一例の実施形態によれば、分岐識別が、個々の映像断片ボックス内および／または代替映像断片ボックス内にさらに含まれる代替映像断片ヘッダボックス内に含まれることができる。

あるいは、またはさらに、シーケンス番号が適用されることができ、この場合、映像断片の代替を構成する複数の代替映像断片が同じシーケンス番号を割り当てられる。シーケンス番号は、たとえば映像断片ヘッダボックス内に含まれることができる。

ファイル読出エンティティが代替映像断片を含むファイルを処理することを簡略化するために、ファイルが代替映像断片を含むことができるという表示も、ファイルの中のファイルの先頭に含まれることができる。示唆される表示は、たとえば代替映像断片表示ボックスの中に含まれることができる。代替映像断片表示ボックスは、たとえば関連する映像断片ボックスの映像拡張ボックス内に含まれるか、またはそれを置換することができる。

ファイル生成エンティティでファイルを準備するとき、ファイルコンテンツがさらに分割されることができ、その結果、異なるタイプのファイルコンテンツが異なるトラック断片内に含まれる。関係のあるトラック断片に関連するトラック断片情報が、個々の代替映像断片ボックス、および／または個々の映像断片ボックスにさらに組み合わせられることができる映像断片ボックスのトラック断片内に含まれることができる。あるいは、トラック断片情報は、メディア特有の代替映像断片ボックス内にさらに含まれることができ、その結果、１つのメディア特有の代替映像断片ボックスタイプが各メディアタイプと関連付けられる。

別の様態では、適応プログレッシブダウンローディングを使用するＨＴＴＰストリーミング中に、断片化したメディアファイルを処理する方法が、通信ネットワークのファイル読出エンティティ内に提供される。メディアファイルがファイル生成エンティティによりまず受信される。ファイル読出エンティティは、メディアファイル内部の少なくとも１つの代替映像断片を識別し、この場合、それぞれの識別された代替映像断片は、関連する映像断片の代替を構成している。各映像断片および代替映像断片が、ファイル生成エンティティにより階層的ボックス構造で事前に組織化されており、それにより、ファイル読出エンティティで断片の適応選択を可能にする。

得られたメディアファイル内に少なくとも１つの代替映像断片が識別されると、ファイル読出エンティティは、少なくとも１つの代替が存在する各映像断片に対して映像断片または１つの代替映像断片を選択する。次に、選択された断片は、別のファイル読出エンティティに送信されるか、またはファイル読出エンティティで再生される。あるいは、またはファイルの再生に加えて、選択された断片はクライアントにより記憶されることができる。

断片の選択は、典型的にはファイル内に含まれる１つまたは複数の属性に基づき行われる。

識別するステップは、少なくとも１つの分岐がファイルに対して適用されているかどうかを判断するために、テーブルおよび／または記述を調べることにより簡略化されることができる。そのようなテーブルおよび／または記述は、ファイル読出エンティティによりファイルから、典型的にはファイルの先頭から得られることができる。

メディアファイル内にシーケンス番号を使用することにより、ファイル内の代替断片の識別を簡略化することができる。シーケンス番号が適用される場合、識別するステップは、識別される代替映像断片および関連する映像断片のシーケンス番号を確認する別のステップを含むことができ、この場合、互いに対して代替を構成する複数の代替断片が同じシーケンス番号を含む。

選択するステップはいくつかの異なる基準に基づき行われることができる。例示するために、利用できるビットレート、利用できるフレームレート、個々の映像断片または代替映像断片の分岐識別、およびファイルのコンテンツのうちの１つまたは複数が単独でまたは組み合わせて選択基準として使用されることができる。

同様に、メディアファイルが、多数のトラック、およびしたがって、異なるトラックに対して割り当てられる多数のトラック断片を含むことができる。これが正しい場合、示唆される方法は、ファイルが多数のトラック断片を含むかどうかを判断するステップ、およびそれぞれの識別されたトラックの受信されたメディアデータを整列させるステップをさらに含むことができる。整列するステップは、ファイルから関連するトラック断片情報を得ることにより、およびこの情報を関連するメディアデータと組み合わせることにより行われることができる。さらに、トラック断片情報は、個々の代替映像断片ボックスおよび／または上述の階層的ボックス構造に従って個々の映像断片ボックスに組み合わせられる映像断片ボックスのトラック断片ボックスから得られることができる。

上記で説明されるファイル読出エンティティは、ファイルがファイル生成エンティティからダウンロードされている間、示唆される方法を実行するように構成されるクライアントとして構成されることができる。

あるいは、ファイル読出エンティティはサーバでもよい。同様に、断片を選択することに加えて、サーバがメディアファイルを適合させるように構成されることができ、その結果、選択されない断片が、ファイルがさらに送信される前に削除され、その結果、選択するステップで選択されなかった各断片がファイルから削除されるが、一方でそれぞれの選択された映像断片が修正され、その結果、別のファイル読出エンティティにより識別され、その後、それぞれの選択された映像断片は終端するファイル読出エンティティに送信される。修正は、典型的には個々の代替映像断片を映像断片に名前を変更することを含む。それにより、名前を変更された映像断片が、典型的にはクライアントである終端するファイル読出エンティティにより受信されるとき、従来の映像断片として出現する。

上記で示唆されたようにメディアファイルから断片を適応的に選択することができるためには、特定の階層的ボックス構造に従って構成された断片化したメディアファイルが要求される。

さらに別の様態では、プログレッシブダウンローディングを使用するＨＴＴＰストリーミング中、断片化したメディアファイルを処理するのに適したファイル読出エンティティも提供される。示唆されるファイル読出エンティティは、ファイル生成エンティティからファイルを得るための第１の通信ユニット、および少なくとも１つの代替映像断片をメディアファイル内部で識別するための識別ユニットを含み、それぞれの識別された代替映像断片が、関連する映像断片の代替を構成しており、各映像断片および代替映像断片が、示唆される階層的ボックス構造に組織化される。ファイル読出エンティティはまた、少なくとも１つの代替映像断片が識別された各映像断片に対して映像断片または代替映像断片を選択するための選択ユニットを含む。

識別ユニットは、また受信された映像断片および代替映像断片に関連するシーケンス番号または分岐識別を識別するように適合されることができる。

多数のトラックが適用される場合、識別ユニットはまた、ファイルが多数のトラック断片を含むかどうかを判断するように、かつそれぞれの識別されたトラックの受信されたメディアデータを整列させるように適合されることができる。

選択ユニットは、単独でまたは組み合わせて異なる基準に基づき、代替断片を選択するように適合されることができる。考慮すべき問題が、たとえば利用できるビットレート、利用できるフレームレート、分岐識別、およびファイルのコンテンツであることがある。

上記で説明されるファイル読出エンティティは、ファイルを再生するための処理ユニットおよびグラフィック・ユーザ・インタフェースを含むクライアントとして動作するように構成されることができる。

あるいは、同様に、ファイル読出エンティティはそれぞれの選択された代替映像断片を修正するための修正ユニットを含むことができるサーバとして動作するように構成されることができ、その結果、ファイル読出エンティティは別のファイル読出エンティティ、典型的にはメディアファイルがダウンロードされているクライアントによって識別することができる。サーバが、典型的にはそれぞれの選択された映像断片および代替映像断片をその他のファイル読出エンティティに連続して送信するための第２の通信ユニットも含み、この場合、選択ユニットはメディアファイルからそれぞれの選択されない断片を削除するようにさらに適合される。

さらに別の様態では、ファイル生成エンティティと呼ばれる別のエンティティも提供される。ファイル生成エンティティは、プログレッシブダウンローディングを使用するＨＴＴＰストリーミングに適した断片化したメディアファイルを生成するように構成され、その目的のために、少なくとも１つのメディアソースから提供されるメディアコンテンツに基づき、映像断片および少なくとも１つの関連する映像断片を上記で示唆される階層的ボックス構造の中に生成するための生成ユニットを含む。ファイル生成エンティティは、また生成される映像断片および任意の１つまたは複数の関連する代替映像断片を含むための含有ユニットを含む。含有ユニットは、ファイルが前記ファイルの先頭の中に代替映像断片を含むことができる表示を含むようにさらに適合されることができる。

さらに、生成ユニットは、代替映像断片、および代替映像断片の関連する映像断片にシーケンス番号または分岐識別を割り当てるように適合されることができ、その結果、代替映像断片の識別がさらにいっそう簡略化される。

上記で示唆される概念の可能な特徴および利点が以下の詳細な説明からさらに明らかになろう。

ここで、本発明がより詳細に、実施形態および図面を参照して説明される。

従来技術による、断片を含まないメディアファイルの概略図である。 従来技術による、断片を含むメディアファイルの別の概略図である。 代替断片を含む、断片を含むメディアファイルのさらに別の概略図である。 代替メディア断片を含む断片化したメディアファイルを生成するためのコンテンツ生成エンティティの方法を図示する流れ図である。 ファイル生成エンティティから得られるメディアファイルを処理するためのファイル読出エンティティの別の方法を図示する別の流れ図である。 ファイル生成エンティティから得られるメディアファイルを処理するための別のファイル読出エンティティのさらに別の方法を図示するさらに別の流れ図である。 一例の実施形態によるファイル生成エンティティを図示する簡略化されたブロック図である。 サーバとして構成されるファイル読出エンティティを図示する簡略化されたブロック図である。 クライアントとして構成される別のファイル読出エンティティを図示する別の簡略化されたブロック図である。 一例の実施形態に従って構成される階層的ボックス構造を図示する概観図である。 クライアントに起動された要求がサーバにより処理されるのを図示する概略シナリオである。 クライアントにより提供される要求を処理するようにさらに適合されるサーバを図示する別の簡略化されたブロック図である。 サーバに、たとえば図１２を参照して説明されるサーバに要求を起動するように適合されるクライアントを図示するさらに別の簡略化されたブロック図である。 図１４ａは探索処理の結果として送付されることができる一例のメディアファイルを示す説明図であり、図１４ｂはクライアントでの符号化の変更を可能にするように適合された一例のメディアファイルを示す別の説明図である。

本文書は、多数の代替映像断片が生成され、かつ適応プログレッシブダウンロードを使用するＨＴＴＰストリーミングに適した単一メディアファイルの中に含まれることができるようにする方法および構造について言及する。さらに、このタイプのメディアファイルをファイル生成エンティティから得るように適合される、以下ファイル読出エンティティと呼ばれるエンティティにおいて、そのようなメディアファイルを処理するための方法および構成も説明される。

この文書を通して、ファイルという用語は、コンテンツの１つまたは複数のトラック、たとえば１つまたは複数のビデオトラックおよび／または１つもしくは複数のオーディオトラックなどを含むことができるメディアファイルまたはマルチメディアファイルを指す。

以下でさらに詳細に説明される、請求される実施形態によれば、代替映像断片を識別するように構成されなかったサーバまたはクライアントとして構成されるファイル読出エンティティが、受信されるデフォルト映像断片をただ選択するのに対して、任意の代替映像断片は無視される。この機能は、ＩＳＯベースのメディアファイル形式に従ってメディアファイルを処理することができる既存のサーバまたはクライアントに対してどんな修正も必要とせず達成される。それにより、このタイプのサーバおよびクライアントに対してと同様に、ＩＳＯベースのメディアファイル形式のメディアファイルを処理するように構成される任意の別のタイプのエンティティに対しても、バックワードコンパチビリティが得られる。

しかし、適応的に断片を選択するように構成されたサーバまたはクライアントが、関連するデフォルト映像断片に加えて少なくとも１つの代替映像断片が存在する各断片に対して、デフォルト映像断片または任意の利用できる代替映像断片を選択するという選択肢を有するが、サーバ構成の場合、すべての選択されない映像断片がファイルから削除され、クライアント構成の場合、すべての選択されない映像断片が無視される。より具体的には、メディアファイルに対して使用されるシンタックスを理解する任意のクライアントまたは端末が、ローカルの状況に、たとえば端末および／または表示機能、ファイルコンテンツ、あるいはネットワーク依存問題などに適合させるために、任意選択の代替断片を適合的に選択することができる。

本発明は代替映像断片の概念を使用して実現される。代替映像断片が適用されることができる１つの具体的な例示的シナリオが、たとえば、コンテンツが異なるビットレートでメディアファイルの中に符号化されるときである。ビットレート適応が、帯域幅が制限されたトランスポートチャネル全体の輻輳を避けるためと同様に、クライアント能力適応を提供するためのツールとして有用なことがある。

本文書を通して、映像断片が代替映像断片がない場合の唯一の選択肢なので、映像断片は、またデフォルト映像断片と呼ばれることがある。さらに、断片化したメディアファイルが何らかの方法で処理されるべきエンティティが、代替映像断片を認識するようにも処理するようにも適合されていない場合、エンティティによりそれに応じて処理されることになるのは、映像断片またはデフォルト映像断片である。

映像ファイルを適応的に選択するために考慮され得る別の要因は、異なるフレームレートの代替映像断片が使用されているときである。さらに別の様態が、メディアファイルのコンテンツに応じて異なる代替映像断片を提供することがあり、その結果、たとえば、サーバまたはクライアントが、完全なマルチメディアサービスから、たとえばテキストだけが分配される限定されたサービスに切り換えるように選択する選択肢を有することができる。さらに、メディア断片が異なる分岐に分割されることができ、この場合これらの分岐は断片を選択するための基礎として使用されることができる。

示唆される適応的断片選択概念は、以下代替映像断片ボックスまたは「ｍｏａｆ」と呼ばれる少なくとも１つの新しいボックスタイプを導入することにより、上述のＩＳＯベースのボックス構造を拡張することにより実現される。「ｍｏａｆ」はファイル内に含まれ、各映像断片ボックスまたは「ｍｏｏｆ」に対して、ファイルは関連する代替映像断片ボックスを何も含まない、または１つまたは複数含むことができる。

代替映像断片ボックスは、同一場所に配置される映像断片以外のプレゼンテーションに対して代替拡張を提供する。代替映像断片は、また映像断片ボックスが行うのと同じ方法でプレゼンテーション時間を拡張し、同じチャイルドボックス（ｃｈｉｌｄ ｂｏｘ）、すなわち単一映像断片ボックスとしてだけファイル内に配置されたかのように代替映像断片ボックス内に含まれることができるボックスを含む。特に、このことは、典型的にはＩＳＯに従って映像断片ボックスおよびすべての映像断片ボックスが含まれるボックス内に含まれる映像断片ヘッダ（Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ Ｈｅａｄｅｒ）ボックス「ｍｆｈｄ」およびトラック断片（Ｔｒａｃｋ Ｆｒａｇｍｅｎｔ）ボックス「ｔｒａｆ」が、同様に代替映像断片ボックス内に含まれることができることを意味する。

映像断片および１つまたは複数の関連する代替映像断片は、典型的にはそれらに同じシーケンス番号を割り当てることにより互いに対して代替と識別される。一例の実施形態によれば、シーケンス番号は映像断片ヘッダボックス「ｍｆｈｄ」内に含まれることができる。

例示のために、代替映像断片ボックスに対するシンタックスが以下の通りとすることができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＡｌｔｅｒｎａｔｅｉｖｅＭｏｖｉｅＦｒａｇｍｅｎｔＢｏｘ
ｅｘｔｅｎｄｓ Ｂｏｘ （’ｍｏａｆ’）｛
｝

図３は、個々の代替映像断片ボックス内にそれぞれ含まれた複数の代替映像断片を含む断片化したファイル３００の概略図である。図３では、ボックスの第１行が第２行に続けられる。

図２に図示されるファイルとの違いは、図３では各映像断片ボックス「ｍｏｏｆ」が、ゼロまたはそれを超える代替映像断片ボックス「ｍｏａｆ」３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ、および対応するメタ・データ・ボックス「ｍｄａｔ」３０２ａ、３０２ｂ、３０２ｃ、３０２ｄにより伴われることがあることである。どれだけ多くの「ｍｄａｔ」を使用すべきかの制限はないが、典型的ファイルが「ｍｏｏｆ」または「ｍｏａｆ」当たり１つの「ｍｄａｔ」を含む。

ここで、コンテンツ生成エンティティからサーバおよび／またはクライアントによりプログレッシブダウンローディングを使用するＨＴＴＰストリーミングに適した断片化したメディアファイルを提供する方法が、図４を参照して以下に説明される。示唆される方法は、メディアファイルが、断片ごとに代替映像断片を適応的に何も追加しない、１つまたは複数追加することによりどのようにして組み立てられることができるかを説明する。組み立てられると、そのようなメディアファイルは、ファイル読出エンティティ、たとえばサーバまたはクライアントなどにより後で取り出すために記憶されることができる。

第１のステップ４００で、コンテンツ生成エンティティが１つまたは複数のメディアソースから映像コンテンツを得ている。次の任意選択のステップ４００’では、メディアコンテンツおよびファイルを記述する情報が、まずテーブルおよび／または記述の形でファイルの中に含まれる。

次のステップ４０１で、提供されるコンテンツの第１の部分に基づいて映像断片が生成され、映像断片は、次のステップ４０２で示されるように個々のボックスの中に含まれる。従来の映像断片が生成され含まれると、それぞれの個々の映像断片に対してステップ４０３〜４０６を処理することにより、１つまたは複数の代替映像断片が、ある種のあらかじめ規定された基準に従ってファイルの中に挿入されるべきかどうかがも判断される。１つまたは複数の代替映像断片が映像断片に対して適用されるべきである場合、ステップ４０４で、代替映像断片が生成され、次のステップ４０５で、また代替映像断片が、代替映像断片を含むための専用のボックスの中に含まれる。本文書では、そのようなボックスは代替映像断片ボックス、または「ｍｏａｆ」と呼ばれる。各映像断片および代替映像断片は、メディアファイルを取得しているファイル読出エンティティ、典型的にはクライアントまたはサーバが各デフォルト映像断片だけでなく各代替映像断片も識別することができるようなやり方で組織化される階層的ボックス構造の個々のボックスの中に含まれる。

次のステップ４０６で示されるように、それぞれの必要とされる代替が新しく生成された映像断片に対してカバーされるまで、したがって、個々の映像断片に関連するすべての代替映像断片が生成されファイルの中に含まれるまで、ステップ４０４および４０５が繰り返され、別のステップ４０７で、ファイルの中に含まれるべきメディアコンテンツがこれ以上あるかどうか、したがって、手順がステップ４０１で始まる任意の追加の映像断片を生成することにより繰り返されるべきかどうか、またはすべてのメディアコンテンツがフィルの中に含まれたかどうか、したがって、処理が最後のステップ４０８で示されるように終了させられることができるかどうかが判断される。

その後の識別を可能にするための情報を提供するために１つまたは複数の属性が使用されることができる。この目的のために、本文脈では「ｍｏｆｉ」と呼ばれる映像断片情報ボックスが示唆される。「ｍｏｆｉ」は、映像断片ボックス内および代替映像断片ボックス内に含まれることができる。一実施形態によれば、属性＿名前（ａｔｔｒｉｂｕｔｅ＿ｎａｍｅ）および属性＿値（ａｔｔｒｉｂｕｔｅ＿ｖａｌｕｅ）という属性が、記述属性、および代替が存在する断片に対する区別基準として使用されることができる。

例示のために、映像断片情報ボックスに対するシンタックスが以下のように記載されることができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＭｏｖｉｅＦｒａｇｍｅｎｔＩｎｆｏｒｍａｔｉｏｎＢｏｘ
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ （’ｍｏｆｉ’、ｖｅｒｓｉｏｎ＝０、０）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｅｎｔｒｙ＿ｃｏｕｎｔ；
ｉｎｔ ｉ；
ｆｏｒ（ｉ＝０；ｉ＜ｅｎｔｒｙ＿ｃｏｕｎｔ；ｉ＋＋）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ａｔｔｒｉｂｕｔｅ＿ｎａｍｅ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ａｔｔｒｉｂｕｔｅ＿ｖａｌｕｅ；
｝

例示のために、たとえばビットレート属性が断片内の継続期間により分割される映像断片内のサンプルの全サイズを説明することができる。

さらに、メディアファイル内に代替映像断片ボックスが存在することがあることをファイル読出エンティティに警告する目的で、本明細書では「ａｍｆｉ」と呼ばれる代替映像断片表示ボックスが示唆される。「ｍｖｅｘ」ボックス内に含まれることができる「ａｍｆｉ」は以下のシンタックスを有することができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ
ＡｌｔｅｒｎａｔｉｖｅＭｏｖｉｅＦｒａｇｍｅｎｔＩｎｄｉｃａｔｉｏｎＢｏｘ ｅｘｔｅｎｄｓ
Ｂｏｘ （’ａｍｆｉ’）｛
｝

さらに、ファイルが生成されるときに映像断片が異なる分岐に分割される場合、代替映像断片ヘッダボックスまたは「ａｍｆｈ」と呼ばれる別のボックスも使用されることができる。代替映像断片ヘッダボックスは、特定の分岐を構成するそれらの代替映像断片を識別するために使用される分岐識別（分岐ＩＤ）を含む。代替移動断片ヘッダボックスが省かれた場合、分岐ＩＤが、デフォルトでたとえば１であると考えられることができる。本例によれば、「ａｍｆｉ」は「ｍｏｏｆ」および「ｍｏａｆ」のボックス内に含まれることができ、以下のシンタックスを有することができる。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ
ＡｌｔｅｒｎａｔｉｖｅＭｏｖｉｅＦｒａｇｍｅｎｔＨｅａｄｅｒＢｏｘ
ｅｘｔｅｎｄｓ ＦｕｌｌＢｏｘ （’ａｍｆｈ’、０、０）｛
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｂｒａｎｃｈ＿ＩＤ；
｝

上記で説明される方法に従って組み立てられるメディアファイルが、必要とされるときはいつでも、典型的には通常メディアファイルがサーバまたはクライアントから得られることができる任意のタイプの適切な記憶手段内に記憶されることができる。以下でさらに詳細に説明されるファイル形式は、プログレッシブダウンローディングを使用するＨＴＴＰストリーミングに特に適している。

ここで、ファイル読出エンティティと呼ばれることがあるエンティティが別のファイル読出エンティティにプログレッシブダウンローディングを使用するＨＴＴＰストリーミング中に、断片化したファイルを処理することができるようにする方法が、図５を参照して、より詳細に説明される。本例では、ファイル読出エンティティはサーバで例示される。

図５によれば、示唆される方法は、第１のステップ５００で、サーバが断片化したメディアファイルをファイル生成エンティティから得ることにより始まる。次のステップ５０１で、受信された映像断片に対してファイル内に任意の次の代替映像断片が存在するかどうか、すなわち、任意の代替映像断片がサーバにより識別されるかどうかが判断される。これが正しい場合、ステップ５０２に示されるように、サーバは映像断片、または１つもしくは複数の関連する代替映像断片の任意を選択する。選択は、１つのあらかじめ規定された選択基準だけに基づく、またはあらかじめ規定された選択基準の組合せに基づくことができる。上記で既に述べられたように、選択は、たとえば利用できるビットレートおよび／またはフレームレート、ならびに／あるいはファイルのコンテンツに基づくことができる。

映像断片または代替映像断片が選択されたとき、別のステップ５０３で示されるように、残りの関連する映像断片／代替映像断片、すなわち、すべての選択されない関連する映像断片がファイルから削除される。

ステップ５０４で確認されるように、代替映像断片が選択された場合、この映像断片はステップ５０５で修正され、その結果、映像断片は後でデフォルト映像断片と識別されることができるように名前を変更される。上述のボックスタイプを使うと、そのような名前変更は「ｍｏａｆ」タイプ断片から「ｍｏｏｆ」タイプ断片への名前変更をもたらす。記述される修正ステップは、クライアントの観点から、任意のクライアントまたは任意の別のファイル読出エンティティが、まるでちょうど代替映像断片が存在しないように、既知の形式、すなわち、１つまたは複数の「ｍｄａｔ」および「ｍｏｏｆ」が続く「ｍｏｏｖ」の映像断片しか受け取らないので、メディアファイルを後で受け取り処理する任意のクライアントまたは任意の別のファイル読出エンティティに対してバックワードコンパチビリティを保証する。次のステップ５０６で、選択された映像断片／代替映像断片は別のファイル読出エンティティ、たとえばクライアントなどに送信される。

ステップ５０１で、むしろある種の映像断片の後に代替映像断片が続かないと判断される場合、代替選択肢がない映像断片は、むしろステップ５０７に示されるようにどんな修正も必要とせず個々のファイル読出エンティティに送信される。

次のステップ５０８で示されるように、記述された手順は、ファイル内に処理し送信すべき映像断片または代替映像断片が残されなくなるまで繰り返され、最後のステップ５０９で示されるように、処理が終了する。

ここで、むしろ代替映像断片を含む断片化したメディアファイルのメディアコンテンツが再生されることができるようにする別の方法が、図６を参照して説明される。この方法は、何らかのあらかじめ規定された基準に従って断片を適応的に選択するように構成されるクライアント上で実行される。

図６によれば、第１のステップで、メディアファイルは、ファイル生成エンティティからまたは別のコンテンツ読み出しエンティティ、たとえばサーバから得られる。別のステップ６０１で、クライアントは、受信された映像断片に関連する任意の代替断片があるかどうかを、すなわち、任意の代替映像断片が識別されるかどうかを判断する。

ステップ６０１で、１つまたは複数の代替映像断片が識別される場合、ステップ６０２で、断片が選択されるが、一方で別のステップ６０３に示されるように、すべての関連する選択されない映像断片がクライアントにより無視される。別のステップ６０４ａで、選択された断片が再生され、また、任意選択のステップと考えられる別のステップ６０４ｂで示されるように多分記憶される。あるいは、クライアントはコンテンツを再生することなくメディアファイルをただ記憶しているように構成されることができ、そのような場合、ステップ６０４ｂだけが実行される。後者の場合は、別のクライアントによる後からの記憶されたファイルへのアクセスを可能にするために、従来のサーバ機能を含む、中間ユニットの機能を有するクライアントにより使用されることができる。

次に、ステップ６０５で示されるように、任意の追加の代替断片を処理するための記述される処理は、得られた映像ファイルのすべての断片がその処理に応じて処理されるまで繰り返され、そこで最後のステップ６０６で示されるように処理が終了させられる。

ここで、１つまたは複数の代替映像断片を含むことができる断片化したメディアファイルをファイル読出エンティティに提供するのに適したファイル生成エンティティが、図７を参照して説明される。

ファイル生成エンティティ７００は、図７ではメディアソース７０２により表される１つまたは複数のメディアソースから提供されるコンテンツに基づき、ファイル形式および上記で言及された階層的ボックス構造に従うファイル、すなわち代替映像断片を含むことができるファイルを生成するように適合される生成ユニット７０１を含む。ファイル生成エンティティ７００はまた、上記で説明される実施形態の任意に従ってそれぞれの生成される代替映像断片と同様に、従来のやり方で処理された任意の別のコンテンツをも階層的ボックス構造の中に含むように適合される含有ユニット７０３も含む。含有ユニット７０３は、含まれる情報を有するボックスおよびメディアファイルを通信ユニット７０４に提供するようにさらに適合され、通信ユニット７０４からサーバ８００およびクライアント９００により表されるファイル読出エンティティがメディアファイルを得ることができる。ファイル生成エンティティ７００は、また典型的には、後で取り出すためにメディアファイルが記憶されることができる別個の記憶ユニット７０５を含む。図７で明示的に示されていないが、典型的シナリオでは、メディアファイルの代替断片を適応的に選択するように構成されるクライアント９００が、従来のサーバ、すなわち代替映像断片を含むメディアファイルを修正するための機能を含まないサーバを介してファイルを得ることができることが理解されるであろう。

含有ユニット７０３は、生成されるメディアファイルが代替映像断片を含むことができるという何らかのタイプの指示または命令を含むようにさらに適合されることができる。さらに、断片が分岐識別またはシーケンス番号により識別できるものである場合、生成ユニット７０３は、シーケンス番号または分岐識別を代替映像断片および関連する映像断片に割り当てるように構成されることができる。

次に、上記で説明される方法を実行するのに適した、一例の実施形態によるサーバとして構成されるファイル読出エンティティが、図８を参照して以下にさらに詳細に説明される。

サーバ８００は、ファイル生成エンティティ７００から１つまたは複数の代替映像断片を含むファイルを得るように適合される、第１の通信ユニット８０１を含む。第１の通信ユニット８０１は、得られたメディアファイルの映像断片に関連する１つまたは複数の任意の代替映像断片があるかどうかを、そのような代替映像断片を識別することにより判断するように適合される、識別ユニット８０２に接続される。そのような識別処理は、たとえば対応するシーケンス番号に対する断片ヘッダボックスを調べることにより達成されることができる。あるいは、識別ユニット８０２は、映像拡張ボックス内に含まれる代替映像断片表示ボックスを調べることにより代替映像断片の出現を認識するように適合されることができる。サーバ８００は、またあらかじめ規定された選択基準に従って選択できる映像断片／代替映像断片から選択するように、かつメディアファイルから１つまたは複数の任意の選択されない関連する断片を削除するように適合される選択ユニット８０３を含む。

さらに、サーバ８００は、典型的には断片の名前を修正することにより、選択された代替映像断片を修正するための論理を含み、その結果、断片は従来の映像断片として別のファイル読出エンティティにより後で識別されることができる。例示的実施形態によれば、これは修正ユニット８０４により達成される。修正ユニット８０４は、従来のクライアント１１０により表される図内の１つまたは複数のクライアントに任意の選択された断片を送信するように適合される第２の通信ユニット８０５に接続される。メディアファイルの記述された処理のために、クライアント１１０により得られるメディアファイルは、標準メディアファイルとして解釈される。

上記で既に示されたように、従来のクライアントが、代替メディア断片を含むメディアファイルを得ることがで、処理することができる。しかし、代替映像断片を含むファイル内のメディア断片を適応的に選択することができるためには、クライアントはそのような処理のために構成されなければならない。したがって、ここで、一例の実施形態に従ってクライアントとして構成される別のファイル読出エンティティが、図９を参照して説明される。

クライアント９００は、ファイル生成エンティティ７００、または別のコンテンツ読出エンティティ９００、典型的にはサーバからメディアファイルを得るように適合される第１の通信ユニット９０１を含む。クライアント９００はまた、図８の識別ユニット９０２に対応する識別ユニット９０２、および得られたメディアファイルの選択できる断片から選択するように構成される選択ユニット９０３を含む。選択ユニット９０３は１つの断片を選択するように構成されるが、一方で現在処理されたメディア断片に関連するすべての選択されない断片が無視される。

選択された断片は処理ユニット９０４により従来のやり方で処理され、その結果、メディアファイルのコンテンツは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）９０５または任意の別の従来のユーザインタフェース上に提示され、かつ／あるいは後で提示するために記憶ユニット９０５上に記憶されることができる。

図に明示的に示されていない代替実施形態では、クライアント９００は、別のクライアントにより後で取り出すために、ダウンロードされたメディアファイルを単に記憶するクライアントの機能を有することができる。この実施形態によれば、ＧＵＩ９０５は、記憶されたメディアファイルにクライアントがアクセスすることができるようにする従来のサーバ機能により置換される。

図１０は、実線で示されるボックスが標準的ボックスを開示するが、点線で示されるボックスが本ボックス構造を拡張するために使用されることができる、異なる新しいボックスタイプを開示する、この文書で参照されるボックスの要約である。図１０では、これまで既知のボックスタイプを指す「ｍｏｏｖ」、「ｍｄａｔ」、および「ｍｏｏｆ」、ならびに本文書で示唆される「ｍｏａｆ」３０１が、ファイル内に直接含まれるトップレベルのボックスタイプを開示する。

図に示されるように、「ｍｏｏｆ」は、「ｍｏｆｉ」１００１および「ａｍｆｈ」１００２が上記で説明される方法の任意を実行するために有用であり得る、新しいボックスタイプであるいくつかの追加のボックスを含むことができる。さらに、ボックスタイプ「ａｍｆｉ」１００３は「ｍｖｅｘ」ボックス内に含まれることができる別の新しいボックスタイプを開示する。図に示されていないが、「ｍｏａｆ」３０１ボックスタイプは、「ｍｏｏｆ」ボックスと同じボックスタイプを含むことができる。

さらに、代替映像断片が存在し得るファイル内と同様にライブセッションのダウンロード中にもクライアントが探索することができるようにするために、サーバは、クライアントがどのタイプのファイルを受信しているかをクライアントに信号で伝えるように適合されることができる。これは、たとえば、ファイルのコンテンツがライブコンテンツであるかそうでないかをクライアントに信号で知らせる「ライブブランド（ｌｉｖｅ ｂｒａｎｄ）」、およびファイルが適応コンテンツ、すなわち代替映像断片を含むことができるファイルであることを示す「適応ブランド（ａｄａｐｔｉｖｅ ｂｒａｎｄ）」と呼ばれることがある２つの新しいブランド（ｂｒａｎｄ）を導入することにより達成されることができる。

サーバまたはファイル生成エンティティは、前方探索ができないことをクライアントに信号で知らせるために、ライブコンテンツを有するファイルの中にライブブランドを挿入するように適合されることができるが、一方で適応ブランドが挿入された場合、このことは、ファイル内の代替映像断片の可能性によりバイト要求を使用する探索ができないことをクライアントに示すものである。ライブコンテンツの場合、サーバは、またサーバで利用できるファイルコンテンツがどれだけの量かに関する情報をファイルに追加するように適合されることができ、その結果、タイムシフトが可能にされることができる。

プログレッシブにダウンロードされるＨＴＴＰストリーミング中、ＮＰＴ（Ｎｏｒｍａｌ Ｐｌａｙ Ｔｉｍｅ）または絶対時間で与えられる断片の時間がクライアントにとって有用となり得る状況がある。

一例の実施形態によれば、これは送信中にサーバで、映像断片ボックスに、または代替映像断片ボックスに適切な時間表示を追加することにより達成されることができる。説明される機能は、たとえば探索中に適用されることができ、その結果、記述される時間表示は、クライアントにより起動される探索要求に応答してクライアントに提供される。サーバからクライアントへ適切な時間を送付することは、またライブセッションのために時間を信号で知らせることが必要とされるときに、たとえばクライアントで適切なコンテンツ・タイム・スタンプと共に、ダウンロードされるファイルコンテンツの記憶を考慮するために適用されることができる。

ＨＴＴＰストリーミングは、特にライブコンテンツ、適応コンテンツ、およびそれらの組合せの場合、さらに改善されることができる。現在、ＨＴＴＰをマルチメディア送付のための主要プロトコルとして使用する傾向がある。３ＧＰにより明記されるパケット交換ストリーミングサービス（ＰＳＳ）が、ＩＳＯ／ＩＥＣ１４４９６−１２：２００８、情報技術−オーディオ−ビジュアルオブジェクトの符号化−第１２部：ＩＳＯベースのメディアファイル形式（第３版）に基づく３ＧＰメディアファイル形式を使用することによりかなりの程度までこれを既にサポートしている。３ＧＰファイルはプログレッシブダウンロードをサポートし、特定のプログレッシブ・メディア・ファイル・ブランドがこの場合のために規定されており、プログレッシブ−ダウンロードプロファイルと呼ばれる。このプログレッシブ・メディア・ファイルは、たとえばインタリーブする深さに対して要求を設定する。典型的使用事例が、あらかじめ符号化されたメディアクリップのプログレッシブダウンロード／ストリーミングである。

しかし、メディアファイル内に提供されるメディアがライブコンテンツまたは記憶されたコンテンツとして提供されるかどうかをクライアントが知ることは現在できない。提供されるコンテンツがライブかそうでないかを知らないことが、機能たとえば探索操作がいったいクライアントにより実行されることができるかどうかということをもたらす。さらに、適応性を適用するために準備されたファイル内の探索方法に関する手順が規定されていない。

２つの異なる時点でのファイルの同じ部分、たとえば０バイト〜１０００００バイトの範囲などに対する要求が、たとえば探索するときのリンク状態に応じて２つの異なる符号化をもたらすことがある。その結果、バイト範囲ジャンプがファイル内を誘導する競争力のある方法をもはや提供しない。

既知の探索手順について記述された欠陥のために、ＨＴＴＰストリーミングセッション中にコーデックを変更することもできない。そのような変更は、たとえば、サーバからクライアントに長いセッションがダウンロードされる状況で特に望ましいことがある。

既に上述されたように、Ｍｉｃｒｏｓｏｆｔ社のＳｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ Ｓｃｈｅｍｅは、ＩＳＯファイルに加えて、追加ファイルを、最も注目に値するのはマニフェストファイルを必要とする。このスキームは適応を実際に考慮しているが、クライアント制御された適応だけを考慮しているのに対して、サーバには、サーバの現在の資源状況に、またはサーバが現在認識しているトランスポート品質に適応する選択肢がない。

したがって、どの時点でメディアファイルの映像断片が始まるかをクライアントが知る必要なしに、ストリーミング中にサーバからメディアファイルのある時点をクライアントが要求できるようにするスキームが示唆される。示唆されるスキームは、また映像断片を動的に生成するように要求されることなく、送付される時点を記述することにより、応答するサーバがそのような要求に応答することができるようにする。

図１１は、サーバ１２００からメディアファイルをダウンロードしているクライアント１３００を含むシナリオの説明図である。図１１は、どのように第１のステップ１：１でクライアント１３００で起動される要求、たとえば探索コマンドなどが、別のステップ１：２でサーバ１２００に送信され、次のステップ１：３でサーバ１２００により処理され、その後、最後のステップ１：４で、処理された要求の結果がクライアント１３００に送付されるかを概略図示する。前提条件として、メディアファイルは、ファイル生成エンティティ（示されていない）またはサーバ１２００により適合させられたことがあり得て、その結果、クライアント１３００で要求を実行するのにより適している。

たとえばプレゼンテーション／ファイルの先頭から、またはＮＰＴ時間の形で、サーバからメディアファイル内の時点を要求するために、クライアントによりＵＲＬスキームが使用されることができる。要求に基づき、サーバは、要求された時間インスタンスに始まる、または時間インスタンスを含む映像断片を有するＨＴＴＰストリームを提供し、ファイルの前方に続ける。映像断片内にＲＡＰが含まれない場合、サーバは、代わりに最新のＲＡＰを有する映像断片を送信し始めることができる。

要求がＵＲＬの一部となっている一例の実施形態によれば、要求は以下の形式を有することがある。
ｈｔｔｐ：／／ｓｅｒｖｅｒ．ｃｏｍ／ｃｏｎｔｅｎｔ．３ｇｐ／ｎｐｔ＝１０．０−３０．０
ここで、示唆される要求はＮＰＴ時間間隔１０．０秒から３０．０秒までに対する要求と解釈されるべきである。そのような要求に対する応答は、有利なことにメディアファイル内に直接配置され、そのことは、たとえば個々の断片の時間を記述する映像断片内の新しいボックスタイプを使用することにより達成されることができる。

断片内で使用される時間は、絶対時間すなわち実時間でも、たとえば個々のプレゼンテーションの先頭からカウントされる相対時間でもよい。この時間は、典型的には異なるシンタックスを使用することにより信号で知らせられる。サーバが時間の前のインスタンスからカウントを提供することができるという条件で、別の可能性は、ライブコンテンツに対しても時間の後方に探索することである。

別の代替は、ＵＲＬのクエリ部分の一部として適切なパラメータを置くことである。

別の例示的実施形態では、要求は、むしろメディアファイル要求中に信号で知らせられるＨＴＴＰヘッダ拡張でもよく、この場合、要求は以下の形式を有することがある。
ＧＥＴ ｓｅｒｖｅｒ．ｃｏｍ／ｃｏｎｔｅｎｔ．３ｇｐ ＨＴＴＰ／１．１
３ＧＰ−Ｒａｎｇｅ：ｎｔｐ＝１２．２−
ここで、示唆される要求は、ＮＰＴ時間１２．２および前方に対する要求として解釈されるべきである。

ここで３ｇｐ−Ｒａｎｇｅと呼ばれる、ヘッダ内に提供されるそのような要求に対する応答が、以下のように見えることがある。
ＨＴＴＰ／１．１ ２００ ＯＫ
３ｇｐ−Ｒａｎｇｅ：ＮＰＴ＝１２．０−２５．２

ＵＲＬをフィルの一部にマッピングすることができるためには、ＵＲＬ断片（ＵＲＬ ｆｒａｇｍｅｎｔ）を使用することができる。ＵＲＬ断片はサーバに決して送られないが、クライアントによりローカルに解釈される。ＨＴＴＰ／１．１については、断片が現在のコンテンツタイプに応じて解釈されるべきである。提案システムの一部として、クライアントが、たとえば＃ｎｔｐ＝３０．０−６０．０のような断片を時間範囲として解釈して、範囲ヘッダを使用することにより対応する範囲をサーバに送信すべきである。

図１２は、断片の時間がクライアントに提供されることができるようにするようにさらに構成されるサーバの一例に関係する。図１２に示されるように、サーバ１２００は、第２の通信ユニット８０５により受信される探索要求を認識することに応答して探索処理を実行するように適合される処理ユニット１２１０を含む。

処理ユニット１２１０は、第２の通信ユニット８０５を介してクライアント１３００にダウンロードされているメディアファイルの中に応答を含むように構成される含有ユニット１１１１に接続される。適切なＮＰＴまたは絶対時間がファイルの映像断片ボックスの中に含まれることができる。

そのような時間ボックスは探索操作に限定される必要はなく、別の状況でクライアント１３００に時間に関係する情報を提供するために使用されることもできる。処理ユニット１２１０は、たとえば、ある種の所定の条件で正確なコンテンツ・タイム・スタンプと共にメディアファイルの中に記憶することを考慮するためにライブセッションに対する時間を含むように構成されることができる。

図１３は、図９のクライアントが、図９の処理ユニット９０４の機能に加えて探索要求を生成してそのような要求をサーバ１２００に提供するようにさらに適合される処理ユニット１３１０をどのように提供されることができるかを説明する。

多数のコーデックが適用されることができ、その結果、クライアント１３００がプログレッシブにダウンロードされるセッション中にコーデックを切り換えることができる場合、特別の映像記述ボックス「ｍｏｏｖ」がコンテンツ生成エンティティにより、またはサーバによりメディアファイルに追加されることができる。そのような場合、サンプルと映像記述ボックスの間のマッピングが、典型的にはメディア・ファイル・レイアウトを主に使用して行われ、その結果、プログレッシブダウンロード・セッション中に新しい「ｍｏｏｖ」ボックスを認識するとき、選択ユニット１３１１が、次のサンプルのために、古い「ｍｏｏｖ」ボックスを、新しい符号化を指定する新しい「ｍｏｏｖ」ボックスと置き換えるように適合される。

映像記述ボックスとサンプルの間の代替マッピングは明示的である。そのような場合、各「ｍｏｏｖ」ボックスはコンテンツ生成エンティティ７００により特定の識別を与えられ、各「ｍｏｏｆ」ボックスはその識別を指す。この場合、「ｍｏｏｆ」境界上でコーデックの変更が行われる。

有利なことに、多数の「ｍｏｏｖ」ボックスがメディアファイル内に存在することがあることを示す情報もファイルの中に含まれ、それにより、クライアント１３００の選択ユニット９０３は前もってこれを認識することができる。

制御プロトコルおよびトランスポートプロトコルの両方としてＨＴＴＰを使用することの代替は、ＲＴＳＰをセッション制御プロトコルとして、およびＨＴＴＰをトランスポートプロトコルとして使用することであり、トランスポートは、クライアントから提供される１つまたは多数のＳＥＴＵＰ要求により設定されることができる。現在、最も使用されているトランスポートは、ＵＤＰを介したＲＴＰ、およびＴＣＰを介したＲＴＳＰでインタリーブされたＲＴＰである。クライアントは代わりにＨＴＴＰトランスポートを提案し、次に、範囲の制御のためにＲＴＳＰを使用することを除いて、コンテンツが上記で説明されたように断片化したメディアファイルとして送信される。

図１４ａは、上記で示唆される実施形態の任意により得られる探索操作の可能な結果の図示である。サーバ、たとえばサーバ１２００により処理されるストリーミングされるコンテンツ１４００の一般構造が、クライアント、たとえばクライアント１３００から探索要求を受信した後、構造１４１０に対応する結果をクライアント１３００に提供することができる。

図１４ｂは、コーデックの変更に適合されるメディアファイルのストリーミングされるコンテンツ１４２０の別の説明図であり、この場合新しいコーデック設定が、クライアント１３００によって認識できる第２の「ｍｏｏｖ」ボックス１４３０内に含まれる。

クライアント１３００の探索操作を簡略化するために、追加のブランドが適用されることができ、その結果、サーバ１２００は適切なブランド情報をメディアファイルに追加するように適合され、その結果、クライアントは探索中にこの情報を利用することができる。

一例によれば、「ライブブランド」と呼ばれることがあるブランドが、メディアファイルがライブコンテンツを送付していることをクライアントに示すためにサーバにより使用されることができる。クライアントがそのような情報を受信する場合、したがって、ライブコンテンツのために、前方探索が現在のメディアファイルで不可能であることを認識させられることができる。

別の例、すなわち「適応ブランド」と呼ばれることがある別のブランドによれば、サーバがクライアントに、メディアファイルが適応コンテンツを含むこと、したがって、バイト要求を使用する探索が現在のメディアファイルでは不可能であることを通知することができる。ライブコンテンツに対しては、サーバで利用できるメディアファイルの前のコンテンツの量を示す情報もサーバにより追加されることができ、その結果、タイムシフトがクライアントで可能にされる。

この文書で説明される構成は、たとえば、第１の通信ユニットおよび第２の通信ユニットが、異なるタイプのエンティティと対話するように適合される１つの単独ユニットとして構成されることができるように、それぞれ異なる数の方法で実装されることができる一般的ユニットを含む簡略化された構成を参照して説明されていることが理解されよう。本文脈で通常、使用されることができるが、示唆される概念の理解に必要でないユニットは、簡略化の理由から省かれたことも理解されよう。

示唆されるファイル生成および処理の概念が具体的例示の実施形態および図面を参照して説明されたが、概念は、開示される実施形態に限定されない。むしろ、概念は、添付の特許請求の範囲に入る様々な修正形態に及ぶことが意図される。

略号：
ＨＴＴＰ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ
ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ
ＩＳＯ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ
ＭＰＥＧ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
ＮＰＴ Ｎｏｒｍａｌ Ｐｌａｙ Ｔｉｍｅ
ＰＳＳ Ｐａｃｋｅｔ−ｓｗｉｔｃｈｅｄ Ｓｔｒｅａｍｉｎｇ Ｓｅｒｖｉｃｅ
ＲＡＰ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ

Claims (35)

1. プログレッシブダウンローディングを使用するＨＴＴＰストリーミングに適した連続した映像断片のシーケンスを含む断片化したメディアファイルを生成するためのファイル生成エンティティにおける方法であって、前記映像断片の少なくとも１つに対して実行される以下の
   ａ）少なくとも１つのメディアソースからメディアコンテンツを得るステップと、
   ｂ）前記得られたメディアコンテンツに基づき、映像断片、および少なくとも１つの代替映像断片を生成するステップであって、それぞれの代替映像断片は、前記映像断片の代替を形成する情報を含むステップと、
   ｃ）前記映像断片および前記少なくとも１つの代替映像断片をオブジェクト指向の階層的ボックス構造のオブジェクトである個々のボックスの中に含むことにより前記断片化したメディアファイルを生成するステップであって、前記階層的ボックス構成は、断片の前記シーケンスを取得するファイル読出エンティティが前記少なくとも１つの代替映像断片を前記階層的ボックス構成から識別することができるように編成されているステップと、を含む、方法。
2. ステップａ）〜ｃ）が、少なくとも１つの代替映像断片が要求される各映像断片に対して繰り返される、請求項１に記載の方法。
3. 前記ステップｃ）の間、各映像断片が映像断片ボックス内に含まれ、各代替映像断片が代替映像断片ボックス内に含まれる、請求項１または２に記載の方法。
4. 前記ステップｂ）が、前記映像断片または前記代替映像断片の前記選択中に使用される区別基準の指標に対する少なくとも１つの属性を生成するステップを含む、請求項１乃至３のいずれか１項に記載の方法。
5. 前記ステップｃ）の間、前記少なくとも１つの属性が、関連する映像断片ボックスまたは代替映像断片ボックス内にさらに含まれる映像断片情報ボックス内に含まれる、請求項４に記載の方法。
6. 前記ステップｃ）の間、前記映像断片または前記代替映像断片に対して適用できる分岐識別が、個々の映像断片ボックス内に、および／または代替映像断片ボックス内にさらに含まれる代替映像断片ヘッダボックスの中に含まれる、請求項４または５に記載の方法。
7. 前記分岐識別が映像断片ヘッダボックス内に含まれる、請求項６に記載の方法。
8. 前記断片化したメディアファイルが代替映像断片を含むことがあることを示す指標を前記断片化したメディアファイルの先頭の中に含むステップをさらに含む、請求項１乃至7のいずれか一項に記載の方法。
9. 前記指標が代替映像断片表示ボックスの中に含まれる、請求項８に記載の方法。
10. 前記代替映像断片表示ボックスが、関連する映像断片ボックスの映像拡張ボックスの中に含まれる、またはそれを置換する、請求項９に記載の方法。
11. 更に、個々の映像断片ボックスの中に組み合わせられる、前記個々の代替映像断片ボックスおよび／または映像断片ボックスの、トラック断片ボックスの中にトラック断片情報を含むステップを含む、請求項１〜１０のいずれか一項に記載の方法。
12. 前記代替映像断片ボックスが、異なるメディア特有の代替映像断片ボックスタイプが異なるメディアタイプに関連付けられるように構成される、請求項１１に記載の方法。
13. 適応プログレッシブダウンローディングを使用するＨＴＴＰストリーミング中に連続したデフォルト映像断片のシーケンスを含む断片化したメディアファイルを処理するための通信ネットワークのファイル読出エンティティにおける方法であって、前記ファイル読出エンティティが、前記デフォルト映像断片の少なくとも１つに対して
    ａ）前記デフォルト映像断片、および前記断片化したメディアファイル内に含まれる少なくとも１つの代替映像断片をファイル生成エンティティから受信するステップであって、各代替映像断片が前記デフォルト映像断片の代替を形成する情報を含み、かつ前記デフォルト映像断片および前記少なくとも１つの代替映像断片が、前記デフォルト映像断片および前記少なくとも１つの代替映像断片のうちの１つの識別および適応選択のために用いられる、オブジェクト指向の階層的ボックス構造に編成されているステップと、
    ｂ）前記少なくとも１つの代替映像断片を前記階層的ボックス構造に基づいて識別するステップと、
    ｃ）前記デフォルト映像断片および前記少なくとも１つの代替映像断片の１つを選択するステップと、
    ｄ）前記選択された１つの前記デフォルト映像断片を送信するステップ、あるいは再生するステップおよび／または記憶するステップとを実行することにより特徴付けられる方法。
14. 前記ステップａ）〜ｄ）が、前記メディア断片ファイル内に含まれる少なくとも１つの代替映像断片が存在する前記断片化したメディアファイルの各デフォルト映像断片に対して繰り返される、請求項１３に記載の方法。
15. 前記ステップｃ）が、前記断片化したメディアファイル内に含まれる少なくとも１つの属性を用いて実行される、請求項１３または１４に記載の方法。
16. 前記ステップｂ）が、少なくとも１つの分岐が前記断片化したメディアファイルに対して適用されているかどうかを判断するためにテーブルおよび／または記述を調べるステップをさらに含む、請求項１３乃至１５のいずれか１項に記載の方法。
17. 前記テーブルおよび／または記述が前記断片化したメディアファイルから得られる、請求項１６に記載の方法。
18. 前記ステップｂ）が、前記デフォルト映像断片および前記少なくとも１つの代替映像断片のシーケンス番号を認識するステップをさらに含み、前記シーケンス番号が、前記デフォルト映像断片および前記少なくとも１つの代替映像断片を互いに連結する、請求項１３乃至１７のいずれか一項に記載の方法。
19. 前記ステップｃ）が、利用できるビットレートと、利用できるフレームレートと、前記映像断片および前記代替映像断片の分岐識別と、前記断片化したメディアファイルのコンテンツとのうちの１つまたは複数を用いて実行される、請求項１３乃至１８のいずれか一項に記載の方法。
20. ｅ）前記断片化したメディアファイルが多数のトラック断片を含むかどうかを判断するステップと、
    ｆ）前記ファイルが多数のトラック断片を含むと判断された場合、前記トラック断片を用いて異なるトラックのメディアデータを整列させるステップとをさらに含む、請求項１乃至１９のいずれか一項に記載の方法。
21. 前記ステップｆ）が、前記断片化したメディアファイルから関連するトラック断片情報を得ることにより、かつ前記得られたトラック断片情報を前記メディアデータと組み合わせることにより実行される、請求項２０に記載の方法。
22. 前記トラック断片情報が、前記階層的ボックス構造に従って個々の映像断片ボックスの中に組み合わせられる、個々の代替映像断片ボックスおよび／または映像断片ボックスのトラック断片ボックスから得られる、請求項２１に記載の方法。
23. 前記ファイル読出エンティティがクライアントデバイスである、請求項１３乃至２２のいずれか一項に記載の方法。
24. 前記断片化したメディアファイルが前記ファイル生成エンティティからダウンロードされている間に、前記方法ステップａ）−ｄ）が実行される、請求項２３に記載の方法。
25. ｇ）前記選択するステップで選択されなかった前記デフォルト映像断片および前記少なくとも１つの代替映像断片のそれぞれを前記断片化したメディアファイルから削除するステップと、
    ｈ）少なくとも１つの代替映像断片が前記選択するステップで選択される場合、前記選択された少なくとも１つの代替映像断片を別のファイル読出エンティティに送信するステップの前に、前記別のファイル読出エンティティにより識別できるように、前記選択された少なくとも１つの代替映像断片を修正するステップとをさらに含む、請求項１３から２２のいずれか一項に記載の方法。
26. 前記修正するステップが、前記選択された少なくとも１つの代替映像断片を、対応する映像断片に名前を変更するステップを含む、請求項２５に記載の方法。
27. 前記別のファイル読出エンティティがクライアントデバイスである、請求項２５または２６に記載の方法。
28. 請求項１３乃至２７のいずれか一項に記載の前記方法で使用されるように適合される、少なくとも１つの代替映像断片を含む断片化したメディアファイル。
29. プログレッシブダウンローディングを使用するＨＴＴＰストリーミング中に連続したデフォルト映像断片のシーケンスを含む断片化したメディアファイルを処理するための通信ネットワークのファイル読出エンティティであって、
    ファイル生成エンティティから前記断片化したメディアファイルを得るための第１の通信ユニットと、
    前記デフォルト映像断片の少なくとも１つに対して、それぞれが、前記デフォルト映像断片の代替を形成する情報を含む少なくとも１つの代替映像断片を識別するための識別ユニットであって、前記デフォルト映像断片および前記少なくとも１つの代替映像断片が、前記デフォルト映像断片および前記少なくとも１つの代替映像断片のうちの１つの識別および適応選択のために用いられる、オブジェクト指向の階層的ボックス構造に編成されている識別ユニットと、
    前記階層的ボックス構造に基づいて前記デフォルト映像断片および前記少なくとも１つの代替映像断片の１つを選択する選択ユニットと、を含むファイル読出エンティティ。
30. 前記選択ユニットが、前記利用できるビットレートと、前記利用できるフレームレートと、個々の映像断片または代替映像断片の分岐識別と、前記ファイルの前記コンテンツとのうちの１つまたは複数を用いて前記選択を実行するように適合される、請求項２９に記載のファイル読出エンティティ。
31. 前記断片化したメディアファイルを再生するための処理ユニットおよびグラフィック・ユーザ・インタフェースをさらに含む、請求項２９または３０に記載のファイル読出エンティティ。
32. クライアントデバイスである、請求項２９〜３１のいずれか一項に記載のファイル読出エンティティ。
33. 代替映像断片が選択された場合、前記選択された代替映像断片が別のファイル読出エンティティにより識別できるように、前記選択された代替映像断片を修正するための修正ユニットと、
    前記選択された代替映像断片を前記別のファイル読出エンティティに送信するための第２の通信ユニットとをさらに含み、前記選択ユニットが、前記断片化したメディアファイルから前記選択ユニットによって選択されない前記デフォルト映像断片および前記少なくとも１つの代替映像断片のそれぞれを削除するようにさらに適合される、請求項２９乃至３２のいずれか一項に記載のファイル読出エンティティ。
34. サーバデバイスである、請求項３３に記載のファイル読出エンティティ。
35. 連続した映像断片のシーケンスを含む、プログレッシブダウンローディングを使用するＨＴＴＰストリーミングに適した断片化したメディアファイルを生成するためのファイル生成エンティティであって、
    少なくとも１つのメディアソースから提供されるメディアコンテンツに基づき、映像断片、および少なくとも１つの代替映像断片を生成する生成ユニットであって、それぞれの代替映像断片は、前記映像断片の代替を形成する情報を含む生成ユニットと、
    前記断片化したメディアファイルを取得するファイル読出エンティティが、前記少なくとも１つの代替映像断片を識別し、かつ階層的ボックス構造の中に前記生成されたデフォルト映像断片および前記少なくとも１つの代替映像断片を含むための含有ユニットであって、前記階層的ボックス構造は、オブジェクト指向であり、前記階層的ボックス構造を用いて前記デフォルト映像断片および前記少なくとも１つの代替映像断片の１つを適応的に選択できるように編成されているユニットと、を含むファイル生成エンティティ。

Images