JP7426432B2 - 外部ストリーム表現プロパティ - Google Patents

Description

［関連出願の相互参照］
パリ条約に基づく適用可能な特許法及び／又は規則の下、本出願は、２０２１年４月２８日に出願された米国仮特許出願第６３／１８０，８３４号の優先権及び利益を適時に主張する。法の下にあるすべての目的のために、前述の出願の開示全体は、参照によって本出願の開示の一部として組み込まれる。

［技術分野］
本特許文書は、ファイル形式のデジタルオーディオビデオメディア情報の生成、保存及び消費に関する。

デジタルビデオは、インターネット及び他のデジタル通信ネットワークにおいて使用される最大の帯域幅を占める。ビデオを受信及び表示することができる接続されたユーザデバイスの数が増加するにつれて、デジタルビデオ使用のための帯域幅需要は増加し続ける可能性が高い。

第１態様は、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定するステップであって、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、表現が外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）であることを示すステップと、ＥＳＲに基づいてビジュアルメディアデータとメディアプレゼンテーションとの間の変換を実行するステップと、を含む、ビデオデータを処理するための方法に関する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、表現がそれ自身によって消費（ｃｏｎｓｕｍｅ）又は再生されてはならないことをＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが更に示すことを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを決定することを提供し、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、アダプテーションセット内の各表現がＥＳＲであることを示す。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）を含むことを提供し、ここで、Ｘは数字である。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、メインストリーミング表現の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）を有することを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットの外部ストリームアダプテーションセットフラグ（＠ｅｓａｓｆｌａｇ）属性を決定することを提供し、＠ｅｓａｓｆｌａｇ属性は、ＥＳＲであるアダプテーションセット内の各表現を指定するように真（ｔｒｕｅ）に等しい。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、役割要素（ｒｏｌｅ ｅｌｅｍｅｎｔ）がアダプテーションセットに含まれることを提供し、役割要素は、＠ｅｓａｓｆｌａｇ属性が真であるときに、補助（ｓｕｐｐｌｅｍｅｎｔａｒｙ）に等しい値（＠ｖａｌｕｅ）属性を含む。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、変換が、ビジュアルメディアデータをメディアデータファイルにエンコーディングすることを含むことを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、変換が、ビジュアルメディアデータをメディアデータファイルからデコーディングすることを含むことを提供する。

第２態様は、プロセッサと、その上に命令を有する非一時的メモリとを備えるビデオデータを処理するための装置に関し、命令は、プロセッサによって実行されると、該プロセッサに：ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定させ、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、表現が外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）であること示し；ＥＳＲに基づいて、ビジュアルメディアデータとメディアプレゼンテーションとの間の変換を実行させる。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、表現がそれ自身によって消費又は再生されてはならないことをＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが更に示すことを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを決定することを提供し、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、アダプテーションセット内の各表現がＥＳＲであることを示す。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）を含むことを提供し、ここで、Ｘは数字である。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、メインストリーミング表現の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）を有することを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットの外部ストリームアダプテーションセットフラグ（＠ｅｓａｓｆｌａｇ）属性を決定することを提供し、＠ｅｓａｓｆｌａｇ属性は、ＥＳＲであるアダプテーションセット内の各表現を指定するように真に等しい。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、役割要素がアダプテーションセットに含まれることを提供し、役割要素は、＠ｅｓａｓｆｌａｇ属性が真であるときに、補助に等しい値（＠ｖａｌｕｅ）属性を含む。

第３態様は、ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を含む非一時的コンピュータ読取可能媒体に関し、コンピュータプログラム製品は、プロセッサによって実行されると、ビデオコーディングデバイスに：ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定させ、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、表現が外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）であること示し；ＥＳＲに基づいて、ビジュアルメディアデータとメディアプレゼンテーションとの間の変換を実行させるように、非一時的コンピュータ読取可能媒体上に記憶されたコンピュータ実行可能命令を含む。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、表現がそれ自身によって消費又は再生されてはならないことをＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが更に示すことを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを決定することを提供し、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、アダプテーションセット内の各表現がＥＳＲであることを示す。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）を含むことを提供し、ここで、Ｘは数字である。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙが、メインストリーミング表現の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）を有することを提供する。

任意に、前述の態様のいずれかにおいて、当該態様の別の実装は、ＤＡＳＨアダプテーションセットの外部ストリームアダプテーションセットフラグ（＠ｅｓａｓｆｌａｇ）属性を決定することを提供し、＠ｅｓａｓｆｌａｇ属性は、ＥＳＲであるアダプテーションセット内の各表現を指定するように真に等しい。

明確性のために、前述の実施形態のいずれか１つを、他の前述の実施形態のいずれか１つ以上と組み合わせて、本開示の範囲内の新たな実施形態を作成してもよい。

これら及び他の特徴は、添付の図面及び特許請求の範囲と併せて用いられる以下の詳細な説明から、より明確に理解されるであろう。

本開示のより完全な理解のために、ここで、添付の図面及び詳細な説明に関連して用いられる、以下の簡単な説明を参照する。ここで、同様の参照番号は同様の部分を表す。

例示のＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）メディアファイルを示す概略図である。

例示のビデオ処理システムを示すブロック図である。

例示のビデオ処理装置のブロック図である。

ビデオ処理の例示的方法のフローチャートである。

例示のビデオコーディングシステムを示すブロック図である。

例示のエンコーダを示すブロック図である。

例示のデコーダを示すブロック図である。

例示のエンコーダの概略図である。

最初に、１つ以上の実施形態の例示的実装が以下に提供されるが、開示されるシステム及び／又は方法は、現在公知であるか、まだ開発されていないかにかかわらず、任意の数の技術を使用して実装され得ることを理解されたい。本開示は、本明細書で例示及び説明される例示的設計及び実装を含む、以下で例示される例示的実装、図面及び技術に決して限定されるべきではないが、添付の特許請求の範囲内で、それらの均等物の全範囲とともに修正されてよい。

本特許文書は、ビデオストリーミングに関する。特に、本文書は、外部ストリーム表現のプロパティのシグナリングに関する。そのようなプロパティは、メインストリーム表現内の拡張依存ランダムアクセスポイント（ＥＤＲＡＰ：ｅｘｔｅｎｄｅｄ ｄｅｐｅｎｄｅｎｔ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）ピクチャで始まるセグメントからランダムアクセスするために必要とされ得る。本明細書で説明されるアイディアは、メディアストリーミングシステム、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）規格に基づくそのようなシステム及び関連する拡張のために、個々に又は様々な組合せで適用され得る。

ビデオコーディング規格は、主に国際電気通信連合（ＩＴＵ）電気通信標準化部門（ＩＴＵ－Ｔ）及びＩＳＯ／国際電気標準会議（ＩＥＣ）規格の開発を通して発展してきた。ＩＴＵ－Ｔは、Ｈ．２６１及びＨ．２６３を生み出し、ＩＳＯ／ＩＥＣは、Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）－１及びＭＰＥＧ－４ Ｖｉｓｕａｌを生み出し、両組織は共同で、Ｈ．２６２／ＭＰＥＧ－２ Ｖｉｄｅｏ及びＨ．２６４／ＭＰＥＧ－４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）及びＨ．２６５／Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格を生み出した。Ｈ．２６２から、ビデオコーディング規格は、時間的予測と変換コーディングが利用されるハイブリッドビデオコーディング構造に基づいている。ＨＥＶＣを越える更なるビデオコーディング技術を探求するために、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）が、Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）とＭＰＥＧによって共同で設立された。ＪＶＥＴによって多くの方式が採用され、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ）と名付けられた参照ソフトウェア（Ｒｅｆｅｒｅｎｃｅ ｓｏｆｔｗａｒｅ）に入れられている。ＪＶＥＴは後に、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）プロジェクトが正式に始まったときに、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）と改称された。ＶＶＣは、ＨＥＶＣと比較して５０％のビットレート低減を目標とするコーディング規格である。ＶＶＣはＪＶＥＴによって確定された。

ＩＴＵ－Ｔ Ｈ．２６６｜ＩＳＯ／ＩＥＣ ２３０９０－３としても知られるＶＶＣ規格と、ＩＴＵ－Ｔ Ｈ．２７４｜ＩＳＯ／ＩＥＣ ２３００２－７としても知られる関連するＶｅｒｓａｔｉｌｅ Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＶＳＥＩ）規格は、テレビ放送、ビデオ会議、記憶媒体からの再生、アダプティブビットレートストリーミング、ビデオ領域抽出、複数のコーディングされたビデオビットストリームからのコンテンツの合成及びマージ、マルチビュービデオ、スケーラブルレイヤードコーディング及びビューポートアダプティブ３６０°没入型メディアのような、広範な用途における使用のために設計されている。Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＥＶＣ）規格（ＩＳＯ／ＩＥＣ ２３０９４－１）は、ＭＰＥＧによって開発された別のビデオコーディング規格である。

ファイルフォーマット規格が以下で議論される。メディアストリーミングアプリケーションは、典型的に、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）及びハイパーテキスト転送プロトコル（ＨＴＴＰ）転送方式に基づいており、典型的に、ＩＳＯＢＭＦＦのようなファイルフォーマットに依拠する。そのようなストリーミングシステムの１つが、ＤＡＳＨ（ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）である。ビデオを、ＡＶＣ及び／又はＨＥＶＣのようなビデオフォーマットでエンコーディングすることができる。エンコーディングされたビデオを、ＩＳＯＢＭＦＦトラックにカプセル化することができ、ＤＡＳＨ表現及びセグメントに含めることができる。プロファイル、層（ｔｉｅｒ）及びレベル、並びに多くの他のもののようなビデオビットストリームに関する重要な情報は、コンテンツ選択の目的のために、ファイルフォーマットレベルのメタデータとして及び／又はＤＡＳＨメディアプレゼンテーション記述（ＭＰＤ：ｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ）において公開されることがある。例えばそのような情報は、ストリーミングセッションの開始時の初期化とストリーミングセッション中のストリームアダプテーションの両方のために適切なメディアセグメントの選択に使用される可能性がある。

同様に、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）を有する画像フォーマットを使用するとき、ＡＶＣ画像ファイルフォーマット及びＨＥＶＣ画像ファイルフォーマットのような、画像フォーマットに特有のファイルフォーマット仕様が用いられてよい。ＶＶＣビデオファイルフォーマットは、ＩＳＯＢＭＦＦに基づくＶＶＣビデオコンテンツの記憶のためのファイルフォーマットであり、ＭＰＥＧが開発中である。また、ＶＶＣ画像ファイルフォーマットは、ＩＳＯＢＭＦＦに基づく、ＶＶＣを使用してコーディングされた画像コンテンツの記憶のためのファイルフォーマットであり、やはりＭＰＥＧが開発中である。

ここで、ＤＡＳＨについて議論する。ＤＡＳＨでは、マルチメディアコンテンツのビデオ及び／又はオーディオデータに対して複数の表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）が存在し得る。異なる表現は、ビデオコーディング規格の異なるプロファイル又はレベル、異なるビットレート、異なる空間解像度等のような、異なるコーディング特性に対応し得る。そのような表現のマニフェストは、メディアプレゼンテーション記述（ＭＰＤ：Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）データ構造において定義されてよい。メディアプレゼンテーションは、ＤＡＳＨストリーミングクライアントデバイスにアクセス可能なデータの構造化されたコレクションに対応し得る。ＤＡＳＨストリーミングクライアントデバイスは、クライアントデバイスのユーザにストリーミングサービスを提供するために、メディアデータ情報を要求してダウンロードし得る。メディアプレゼンテーションは、ＭＰＤデータ構造において記述されてよく、該ＭＰＤデータ構造はＭＰＤの更新を含んでよい。

メディアプレゼンテーションは、１つ以上の期間（ｐｅｒｉｏｄ）のシーケンスを含んでよい。各期間は、次の期間の開始まで、あるいは最後の期間の場合はメディアのプレゼンテーションの最後までわたり得る。各期間は、同じメディアコンテンツについて１つ又は複数の表現を含んでよい。表現は、オーディオ、ビデオ、タイムテキスト（ｔｉｍｅｄ ｔｅｘｔ）又は他のそのようなデータの複数の代替的なエンコーディングされたバージョンのうちの１つであってよい。表現は、エンコーディングタイプによって、例えばビットレート、解像度、ビデオデータとビットレートに対するコーデック、言語、及び／又はオーディオデータに対するコーデックによって異なり得る。表現という用語は、マルチメディアコンテンツの特定の期間に対応し、かつ特定の方法でエンコーディングされた、エンコーディングされたオーディオ又はビデオデータのセクションを指すために使用され得る。

特定の期間の表現は、該表現が属するアダプテーションセットを示すＭＰＤ内の属性によって示されるグループに割り当てられてよい。同じアダプテーションセット内の表現は、一般に互いに代替物（ａｌｔｅｒｎａｔｉｖｅｓ）であると考えられる。したがって、クライアントデバイスは、例えば帯域幅適応を実行するために、これらの表現の間を動的かつシームレスに切り替えることができる。例えば特定の期間のビデオデータの各表現は、表現のうちのいずれかが、対応する期間のマルチメディアコンテンツのビデオデータ又はオーディオデータのようなメディアデータをデコーディングして提示するために選択され得るように、同じアダプテーションセットに割り当てられてよい。１つの期間内のメディアコンテンツは、存在する場合、グループ０からの１つの表現、又はいくつかの例では、各非ゼログループからの多くても１つの表現の組合せ、のいずれかによって表現されてよい。期間の各表現についてのタイミングデータは、期間の開始時間に関連して表されてよい。

表現は１つ以上のセグメントを含んでよい。各表現は初期化セグメントを含んでよく、あるいは表現の各セグメントは自己初期化（ｓｅｌｆ－ｉｎｉｔｉａｌｉｚｉｎｇ）であってもよい。存在するとき、初期化セグメントは、表現にアクセスするための初期化情報を含んでよい。一般に、初期化セグメントはメディアデータを含まない。セグメントは、ユニフォームリソースロケータ（ＵＲＬ）、ユニフォームリソース名（ＵＲＮ）又はユニフォームリソース識別子（ＵＲＩ）のような識別子によって一意に参照され得る。ＭＰＤは各セグメントの識別子を提供し得る。いくつかの例において、ＭＰＤはまた、ｒａｎｇｅ属性の形態でバイト範囲を提供してもよく、これは、ＵＲＬ、ＵＲＮ又はＵＲＩによってアクセス可能なファイル内のセグメントのデータに対応し得る。

異なるタイプのメディアデータについて実質的に同時に取り出すために、異なる表現が選択されてよい。例えばクライアントデバイスは、セグメントを取り出すためのオーディオ表現、ビデオ表現及びタイムテキスト表現を選択してよい。いくつかの例では、クライアントデバイスは、帯域幅適応を実行するために特定のアダプテーションセットを選択してよい。例えばクライアントデバイスは、ビデオ表現を含むアダプテーションセット、オーディオ表現を含むアダプテーションセット及び／又はタイムテキストを含むアダプテーションセットを選択してよい。一例では、クライアントデバイスは、ビデオのような特定のタイプのメディアについてアダプテーションセットを選択し、オーディオ及び／又はタイムテキストのような他のタイプのメディアについて表現を直接選択してもよい。

例示のＤＡＳＨストリーミングプロシージャを以下のステップによって示すことができる。クライアントはＭＰＤを取得する。クライアントは、次いで、ダウンリンク帯域幅を推定し、推定されたダウンリンク帯域幅、コーデック、デコーディング能力、ディスプレイサイズ、オーディオ言語設定等に従って、ビデオ表現及びオーディオ表現を選択する。メディアプレゼンテーションの最後に到達するまで、クライアントは、選択された表現のメディアセグメントを要求し、ストリーミングコンテンツをユーザに提示する。クライアントはダウンリンク帯域幅を推定し続ける。帯域幅が、例えば低くなるか又は高くなることによって、著しく変化すると、クライアントは、新たに推定された帯域幅に適合するよう異なるビデオ表現を選択し、更新されたダウンリンク帯域幅でセグメントをダウンロードし続ける。

ここで、ＥＤＲＡＰピクチャについて、ビデオコーディング及びストリーミングに基づいて議論する。補助強化情報（ＳＥＩ：ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージを使用するＥＤＲＡＰピクチャのシグナリングは、ＶＳＥＩ仕様に採用されている。ＩＳＯＢＭＦＦのための外部ストリームトラック（ＥＳＴ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｔｒａｃｋ）設計及び／又はＤＡＳＨのための外部ストリーム表現（ＥＳＲ：ｅｘｔｅｒｎａｌ ｓｔｒｅａｍ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）設計が、ＥＤＲＡＰベースのビデオストリーミングをサポートするために使用され得る。ＥＳＲ設計は、以下で説明されるように動作する。

例示の設計では、ＥＳＲの定義は以下の通りである。外部エレメンタリストリームは、外部ピクチャを有するアクセスユニットを含むエレメンタリストリームである。外部ピクチャは、ＥＳＲ内の外部エレメンタリストリーム内にあるピクチャであって、ＭＳＲ内のある特定のＥＤＲＡＰピクチャからランダムにアクセスするとき、ＭＳＲ内のエレメンタリストリームのデコーディングの際にインター予測参照のために必要とされる。ＥＳＲは、外部エレメンタリストリームを含んでいる表現である。メインストリーム表現（ＭＳＲ：Ｍａｉｎ Ｓｔｒｅａｍ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、ビデオエレメンタリストリームを含んでいる表現である。ランダムアクセスは、デコーディング順でより早い段階のエレメンタリストリーム内のいずれのピクチャもデコーディングすることなく、特定のピクチャから開始するエレメンタリストリームのデコーディングである。

ＡｄａｐｔａｔｉｏｎＳｅｔ要素の意味の例は、以下のように説明される。

例示の拡張可能マークアップ言語（ＸＭＬ）構文を以下に記載する。

以下は、開示される技術的解決策によって解決される例示の技術課題である。いくつかのＥＳＲ設計は、ＥＳＲに関連付けられるメインストリーミング表現（ＭＳＲ）内のＥＤＲＡＰピクチャからのランダムアクセスのみをサポートする。ＥＳＲは、ＭＳＲなしにクライアント又はプレイヤによって消費されるべきではない。しかしながら、レガシーＤＡＳＨクライアント及び／又はプレイヤは、属性外部ストリームアダプテーションセットフラグ（＠ｅｓａｓＦｌａｇ）を認識しないことがあり、対応する属性を無視することがあり、再生のためにＥＳＲを選択することがあり、その結果、エラーとなる。

本明細書で開示されているのは、上記に列挙された課題の１つ以上に対処するためのメカニズムである。上記のように、ＥＳＲは、ＭＳＲとともにデコーディングされて再生されるべきである。しかしながら、ある特定のデバイスは、表現がＥＳＲであることを認識しないことがあり、ＭＳＲなしでＥＳＲをデコーディングしようとすることがあり、エラーを経験することがある。本開示は、レガシーデバイスにＥＳＲの存在を警告するための様々なメカニズムを含む。例えばＥＳＲは、表現がＥＳＲであり、単独で消費されるべきではないことを示すエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を含んでよい。一例において、ＥＳＲを含んでいるアダプテーションセットは、該アダプテーションセット内の各ＥＳＲを示すＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを含んでよい。一例において、ＥＳＲは、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ内のスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）によって示される。＠ｓｃｈｅｍｅＩｄＵｒｉは、各ＥＳＲを示すように「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」に設定されてよく、ここで、Ｘは「１」、「２」、「３」等のような数字である。一例において、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙはまた、アダプテーションセット内のＭＳＲの識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）も含んでよい。別の例では、アダプテーションセットの＠ｅｓａｓｆｌａｇ属性は、ＥＳＲであるアダプテーションセット内の各表現を指定するように真（ｔｒｕｅ）に等しく設定され得る。更なる例では、役割要素をアダプテーションセットに含めることができる。さらに、＠ｅｓａｓｆｌａｇ属性が真に等しいとき、役割要素は、補助（ｓｕｐｐｌｅｍｅｎｔａｒｙ）に等しい値（＠ｖａｌｕｅ）属性を含んでよい。

図１は、例示的なＤＡＳＨメディアファイル１００を示す概略図である。ＤＡＳＨメディアファイル１００は、メディアプレゼンテーション記述（ＭＰＤ）のようなマニフェストによって記述されてよい。クライアント及び／又はデコーダは、エンコーダから及び／又は中間サーバからＭＰＤを取得することができる。クライアントは、次いで、ＭＰＤ内の構文要素に基づいてＤＡＳＨメディアファイル１００からコンテンツを要求することができる。

メディアファイル１００は、１つ以上のアダプテーションセット１１０及び１１１を含む。アダプテーションセット１１０及び／又は１１１は、交換可能な表現のセットである。表現は、メディアコンテンツのバージョンを含む。ビデオに適用されるとき、各表現は、異なる解像度、フレームレート等で同じビデオコンテンツを含んでよい。したがって、クライアントは、利用可能なネットワーク帯域幅における変化に応じて、異なる表現を動的に要求することができる。異なるアダプテーションセット１１０は、ビデオ、オーディオ及びクローズドキャプション（ｃｌｏｓｅ ｃａｐｔｉｏｎｉｎｇ）のような異なるメディアタイプを含んでよい。さらに、異なるアダプテーションセット１１０は、異なるピクチャサイズでコーディングされた、したがって異なるクライアント画面用にサイジングされたビデオを含んでよい。したがって、アダプテーションセット１１０及び／又は１１１は、クライアントによって交換可能に使用され得る表現のセットであり、表現はメディアコンテンツのバージョンである。

本例では、表現は、１つ以上のＭＳＲ１１２と１つ以上のＥＳＲ１１４を含む。ＭＳＲ１１２は、ビデオエレメンタリストリームを含む表現である。ビデオエレメンタリストリームは、ビデオコンテンツの完全なセットである。ＥＳＲ１１４は、外部エレメンタリストリームを含む表現であり、外部エレメンタリストリームは、拡張依存ランダムアクセスポイント（ＥＤＲＡＰ）ピクチャを含むストリームである。ＥＤＲＡＰピクチャは、ランダムアクセスに使用することができるピクチャであり、ストリーム内の最初のピクチャ以外のユーザ選択された位置でビデオを開始することをサポートする。したがって、図示される構成では、クライアントは、アダプテーションセット１１０内のＥＳＲ１１４からのセグメントと、アダプテーションセット１１１内の対応するＭＳＲ１１２からのセグメントとを取得することによって、ランダムアクセスを実行する。クライアントは、次いで、ＥＳＲ１１４からのＥＤＲＡＰピクチャを使用して、ユーザへの表示のためにＭＳＲ１１２からのセグメントのデコーディングを開始することができる。ＥＳＲ１１４は、レガシークライアントによって機能的にサポートされていないことがある。例えばレガシークライアントは、第２アダプテーションセット１１１からＭＳＲ１１２セグメントを取得することなく、第１アダプテーションセット１１０からのＥＳＲ１１４セグメントを要求してデコーディングすることがある。この結果、レガシークライアントは、意図されたビデオストリームの代わりに、ＥＳＲ１１４からの単一のピクチャをデコーディングして表示することになる。

本開示は、対応するＭＳＲ１１２もデコーディングしなければＥＳＲ１１４をデコーディングすることができないことをレガシークライアントに示すようシグナリングすることを含むことにより、この問題に対処する。一例では、これを、エッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）１２６によって示すことができる。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６は、ＭＰＤに含まれる構文である。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６は、各ＥＳＲ１１４を記述する構文に含まれ、別の表現も参照せずには、対応するＥＳＲ１１４をデコーディングすることができないことを示す。別の例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６を、アダプテーションセット１１０に関連付けられる構文に含めることができる。この例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６は、アダプテーションセット１１０内の表現の各々がＥＳＲ１１４であり、したがって、アダプテーションセット１１０内の表現のいずれも、別の表現も参照せずにはデコーディングすることができないことを示す。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６は、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」に設定されたスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）を含んでよく、ここでＸは、「１」、「２」、「３」等のような数字である。これは、アダプテーションセット１１０がＥＳＲ１１４の外部ストリームを含むことを示し得る。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ１２６内の＠ｓｃｈｅｍｅＩｄＵｒｉは、ＥＳＲ１１４に対応するＭＳＲ１１２の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）も含み得る。

別の例では、外部ストリームアダプテーションセットフラグ（＠ｅｓａｓｆｌａｇ）属性１２４が、アダプテーションセット１１０に関連付けられる構文に含まれる。＠ｅｓａｓｆｌａｇ属性１２４は、アダプテーションセット１１０内の各表現がＥＳＲ１１４であり、したがって、別の表現も参照せずにはデコーディングすることができないことを指定するように、真（ｔｒｕｅ）に設定されることができる。別の例では、役割要素（ｒｏｌｅ ｅｌｅｍｅｎｔ）１２２を、アダプテーションセット１１０の構文内に含めることができる。役割要素１２２は、＠ｅｓａｓｆｌａｇ属性が真に等しいときに、補助（ｓｕｐｐｌｅｍｅｎｔａｒｙ）に等しい値（＠ｖａｌｕｅ）属性を含むことができる。これは、アダプテーションセット１１０が補助アダプテーションセット１１０であり、したがって、ＥＳＲ１１４を含むことを示す。

上記の問題及び他の問題を解決するために、以下に要約されるような方法を開示する。項目は、一般的な概念を説明するための例と考えられるべきであり、狭義に解釈されるべきではない。さらに、これらの項目を個々に適用することができ、あるいは任意の方法で組み合わせることができる。

例１

一例において、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ＵＲＩ（＠ｓｃｈｅｍｅＩｄＵｒｉ）を有するエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）が指定され、ここで、Ｘは「１」、「２」、「３」等のような数字である。表現内のこのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙの存在は、表現がＥＳＲであり、それ自身によって消費又は再生されてはならないことを示す。さらに、アダプテーションセット内のこのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙの存在は、アダプテーションセット内の各表現がＥＳＲであり、それ自身によって消費又は再生されてはならないことを示す。

例２

一例において、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ＵＲＩ（＠ｓｃｈｅｍｅＩｄＵｒｉ）を有し、Ｘが「１」、「２」、「３」等のような数字であるＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、該ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを含んでいるアダプテーションセット内の表現に関連付けられるメインストリーミング表現の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ）属性を有するように更に指定される。＠ｖａｌｕｅ属性内のｉ番目の＠ｉｄ値は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを含んでいるアダプテーションセット内のｉ番目の表現に対応する。

例３

別の例では、ルールは、＠ｅｓａｓＦｌａｇ属性の値が、アダプテーションセット内の各表現がＥＳＲであり、それ自身によって消費又は再生されてはならないことを指定するよう、真に等しいことを指定する。

例４

別の例では、ルールは、真に等しい＠ｅｓａｓＦｌａｇ属性を有する各アダプテーションセットについて、補助に等しい＠ｖａｌｕｅ属性を有する役割要素が存在することを要求することがある。

図２は、本明細書で開示される様々な技術が実装され得る例示のビデオ処理システム４０００を示すブロック図である。様々な実装は、システム４０００の構成要素の一部又はすべてを含んでよい。システム４０００は、ビデオコンテンツを受け取るための入力４００２を含んでもよい。ビデオコンテンツは、生又は非圧縮フォーマットで、例えば８又は１０ビットの多成分ピクセル値で受け取られてよく、あるいは圧縮された又はエンコーディングされたフォーマットであってもよい。入力４００２は、ネットワークインタフェース、周辺バスインタフェース又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、Ｅｔｈｅｒｎｅｔ（登録商標）、受動光ネットワーク（ＰＯＮ）等のような有線インタフェースと、Ｗｉ－Ｆｉ又はセルラインタフェースのような無線インタフェースを含む。

システム４０００は、本文書で説明される様々なコーディング又はエンコーディング方法を実装し得るコーディング構成要素４００４を含んでよい。コーディング構成要素４００４は、入力４００２からコーディング構成要素４００４の出力へのビデオの平均ビットレートを低減して、ビデオのコーディングされた表現を生成し得る。コーディング技術は、したがって、時々、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれることがある。コーディング構成要素４００４の出力は、構成要素４００６によって表されるように、記憶されるか又は接続された通信を介して伝送されてよい。入力４００２で受け取られたビデオの記憶又は通信されたビットストリーム（又はコーディングされた）表現は、ディスプレイインタフェース４０１０に送信されるピクセル値又は表示可能なビデオを生成するために、構成要素４００８によって使用されてよい。ビットストリーム表現からユーザ視聴可能ビデオを生成するプロセスは、時々、ビデオ復元（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）と呼ばれることがある。さらに、ある特定のビデオ処理操作は、「コーディング」操作又はツールと称されるが、コーディングツール又は操作はエンコーダで使用され、コーディングの結果を反対にする、対応するデコーディングツール又は操作は、デコーダで実行されることになることが認識されよう。

周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）又は高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））又はディスプレイポート等を含んでよい。ストレージインタフェースの例は、ＳＡＴＡ（ｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ、ＩＤＥインタフェース等を含む。本文書で説明される技術は、携帯電話、ラップトップ、スマートフォン、あるいはデジタルデータ処理及び／又はビデオ表示を実行することができる他のデバイスのような様々な電子デバイスにおいて具現化されてよい。

図３は、例示のビデオ処理装置４１００のブロック図である。装置４１００は、本明細書で説明される方法の１つ以上を実装するために使用されてよい。装置４１００は、スマートフォン、タブレット、コンピュータ、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）受信機等において具現化されてよい。装置４１００は、１つ以上のプロセッサ４１０２、１つ以上のメモリ４１０４及びビデオ処理回路４１０６を含んでよい。プロセッサ４１０２は、本文書で説明される１つ以上の方法を実装するよう構成されてよい。メモリ（複数のメモリ）４１０４は、本明細書で説明される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてよい。ビデオ処理回路４１０６は、ハードウェア回路において、本文書で説明されるいくつかの技術を実装するために使用されてよい。いくつかの実施形態では、ビデオ処理回路４１０６は、プロセッサ４１０２、例えばグラフィクスコプロセッサに少なくとも部分的に含まれてもよい。

図４は、ビデオ処理の例示的方法４２００のフローチャートである。方法４２００は、ステップ４２０２において、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）表現のＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを決定することを含む。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、表現がＥＳＲであることを示す。したがって、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、表現がそれ自身によって消費又は再生されてはならず、代わりにＭＳＲとともに消費及び／又は再生されるべきであることを更に示す。別の例では、ＤＡＳＨアダプテーションセットのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙも決定されてよい。アダプテーションセット内のＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、ＥＳＲであるアダプテーションセット内の各表現を示し得る。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、アダプテーションセット内に、各ＥＳＲ内に又はその両方に含まれることがある。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」（ただし、Ｘは「１」、「２」、「３」等のような数字である）に設定された＠ｓｃｈｅｍｅＩｄＵｒｉを含み、これは、１つ以上のＥＳＲの存在を示す。一例では、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、対応するＭＳＲの＠ｉｄ値を指定する＠ｖａｌｕｅ属性を有する。別の例では、ＤＡＳＨアダプテーションセットの＠ｅｓａｓｆｌａｇ属性も決定されてよい。この例では、＠ｅｓａｓｆｌａｇ属性は、ＥＳＲであるアダプテーションセット内の各表現を指定するように真に等しい。一例では、役割要素がアダプテーションセットに含まれる。役割要素は、＠ｅｓａｓｆｌａｇ属性が真に等しいとき、補助に等しい＠ｖａｌｕｅ属性を含む。

ステップ４２０４において、ＥＳＲに基づいて、ビジュアルメディアデータとメディアプレゼンテーションの間の変換が実行される。方法４２００がエンコーダ上で実行されるとき、変換は、ビジュアルメディアデータからメディアプレゼンテーションを生成することを含む。変換は、ＭＳＲとＥＳＲの両方の存在を決定することと、ＥＳＲが１つ以上のＭＳＲとともに消費されるべきであることを示すように構文要素をコーディングすることを含む。方法４２００がデコーダ上で実行されるとき、変換は、アダプテーションセット及び／又は表現を解析してデコーディングすることと、ＥＳＲの存在を決定することと、対応するＭＳＲとともにＥＳＲをデコーディングして、ビジュアルメディアデータを取得することを含む。

方法４２００は、ビデオエンコーダ４４００、ビデオデコーダ４５００及び／又はエンコーダ４６００のように、プロセッサとその上に命令を有する非一時的メモリとを含むビデオデータを処理するための装置において実装されることが可能であることに留意されたい。そのような場合、命令は、プロセッサによって実行されると、該プロセッサに方法４２００を実行させる。さらに、方法４２００は、ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を含む非一時的コンピュータ読取可能媒体によって実行されることが可能である。コンピュータプログラム製品は、プロセッサによって実行されると、ビデオコーディングデバイスに方法４２００を実行させるように、非一時的コンピュータ読取可能媒体上に記憶されるコンピュータ実行可能命令を含む。

図５は、本開示の技術を利用し得る例示のビデオコーディングシステム４３００を示すブロック図である。ビデオコーディングシステム４３００は、ソースデバイス４３１０と宛先デバイス４３２０を含んでよい。ソースデバイス４３１０は、エンコーディングされたビデオデータを生成し、ビデオエンコーディングデバイスと称されてよい。宛先デバイス４３２０は、ソースデバイス４３１０によって生成された、エンコーディングされたビデオデータをデコーディングしてよく、ビデオデコーディングデバイスと称されてよい。

ソースデバイス４３１０は、ビデオソース４３１２、ビデオエンコーダ４３１４及び入力／出力（Ｉ／Ｏ）インタフェース４３１６を含んでよい。ビデオソース４３１２は、ビデオキャプチャデバイス、ビデオコンテンツプロバイダからビデオデータを受け取るインタフェース及び／又はビデオデータを生成するためのコンピュータグラフィクスシステム又はそのようなソースの組合せのようなソースを含んでよい。ビデオデータは、１つ以上のピクチャを含んでよい。ビデオエンコーダ４３１４は、ビデオソース４３１２からのビデオデータをエンコーディングして、ビットストリームを生成する。ビットストリームは、ビデオデータのコーディングされた表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングされたピクチャ及び関連付けられるデータを含んでよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられるデータは、シーケンスパラメータセット、ピクチャパラメータセット及び他の構文構造を含んでよい。Ｉ／Ｏインタフェース４３１６は、変調器／復調器（モデム）及び／又はトランスミッタを含んでよい。エンコーディングされたビデオデータは、Ｉ／Ｏインタフェース４３１６を介してネットワーク４３３０を通して宛先デバイス４３２０に直接伝送されてよい。エンコーディングされたビデオデータはまた、宛先デバイス４３２０によるアクセスのために、記憶媒体／サーバ４３４０上に記憶されてもよい。

宛先デバイス４３２０は、Ｉ／Ｏインタフェース４３２６、ビデオデコーダ４３２４及びディスプレイデバイス４３２２を含んでよい。Ｉ／Ｏインタフェース４３２６は、受信機及び／又はモデムを含んでよい。Ｉ／Ｏインタフェース４３２６は、ソースデバイス４３１０又は記憶媒体／サーバ４３４０から、エンコーディングされたビデオデータを取得してよい。ビデオデコーダ４３２４は、エンコーディングされたビデオデータをデコーディングしてよい。ディスプレイデバイス４３２２は、デコーディングされたビデオデータをユーザに表示してよい。ディスプレイデバイス４３２２は、宛先デバイス４３２０と統合されてよく、あるいは宛先デバイス４３２０の外部であってよく、外部ディスプレイデバイスとインタフェースするよう構成され得る。

ビデオエンコーダ４３１４及びビデオデコーダ４３２４は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格、ＶＶＭ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格並びに他の現在の及び／又は更なる規格のようなビデオ圧縮規格に従って動作し得る。

図６は、ビデオエンコーダ４４００の例を示すブロック図であり、ビデオエンコーダ４４００は、図５に示されるシステム４３００内のビデオエンコーダ４３１４であってもよい。ビデオエンコーダ４４００は、本開示の技術のいずれか又はすべてを実行するよう構成されてよい。ビデオエンコーダ４４００は、複数の機能構成要素を含む。本開示で説明される技術は、ビデオエンコーダ４４００の様々な構成要素の間で共有され得る。いくつかの例において、プロセッサは、本開示で説明される技術のいずれか又はすべてを実行するよう構成されてよい。

ビデオエンコーダ４４００の機能構成要素は、分割ユニット４４０１、モード選択ユニット４４０３を含み得る予測ユニット４４０２、動き推定ユニット４４０４、動き補償ユニット４４０５、イントラ予測ユニット４４０６、残差生成ユニット４４０７、変換処理ユニット４４０８、量子化ユニット４４０９、逆量子化ユニット４４１０、逆変換ユニット４４１１、再構成ユニット４４１２、バッファ４４１３及びエントロピーエンコーディングユニット４４１４を含んでよい。

他の例では、ビデオエンコーダ４４００は、より多くの、より少ない又は異なる機能構成要素を含んでもよい。一例では、予測ユニット４４０２は、イントラブロックコピー（ＩＢＣ：ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）ユニットを含んでよい。ＩＢＣユニットは、ＩＢＣモードで予測を実行してよく、ＩＢＣモードでは、少なくとも１つの参照ピクチャは、現在のビデオブロックが配置されるピクチャである。

さらに、動き推定ユニット４４０４及び動き補償ユニット４４０５のようないくつかの構成要素が高度に統合されてもよいが、ビデオエンコーダ４４００の例では、説明の目的のために別個に表されている。

分割ユニット４４０１は、ピクチャを１つ以上のビデオブロックに分割してよい。ビデオエンコーダ４４００及びビデオデコーダ４５００は、様々なビデオブロックサイズをサポートし得る。

モード選択ユニット４４０３は、例えばエラー結果に基づいて、コーディングモード、すなわち、イントラ又はインターのうちの１つを選択し、結果として得られるイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成するために残差生成ユニット４４０７に、そして参照ピクチャとして使用するためのエンコーディングされたブロックを再構成するために再構成ユニット４４１２に提供してよい。いくつかの例において、モード選択ユニット４４０３は、予測がイントラ予測信号とインター予測信号に基づく、イントラ及びインター予測の組合せ（ＣＣＩＰ）モードを選択してもよい。モード選択ユニット４４０３はまた、インター予測の場合、ブロックについて動きベクトルの解像度（例えばサブピクセル又は整数ピクセル精度）を選択してもよい。

現在のビデオブロックにおいてインター予測を実行するために、動き推定ユニット４４０４は、バッファ４４１３からの１つ以上の参照フレームを現在のビデオブロックと比較することによって、現在のビデオブロックの動き情報を生成し得る。動き補償ユニット４４０５は、動き情報と、現在のビデオブロックに関連付けられるピクチャ以外の、バッファ４４１３からのピクチャのデコーディングされたサンプルとに基づいて、現在のビデオブロックについての予測ビデオブロックを決定し得る。

動き推定ユニット４４０４及び動き補償ユニット４４０５は、例えば現在のビデオブロックがＩスライス内にあるか、Ｐスライス内にあるか又はＢスライス内にあるかに応じて、現在のビデオブロックについて異なる操作を実行してもよい。

いくつかの例では、動き推定ユニット４４０４は、現在のビデオブロックについて、単一方向予測を実行してよく、動き推定ユニット４４０４は、現在のビデオブロックの参照ビデオブロックについて、リスト０又はリスト１の参照ピクチャを検索してよい。次に、動き推定ユニット４４０４は、参照ビデオブロックを含むリスト０又はリスト１内の参照ピクチャを示す参照インデックスと、現在のビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルを生成してもよい。動き推定ユニット４４０４は、現在のビデオブロックの動き情報として、参照インデックス、予測方向インジケータ及び動きベクトルを出力してよい。動き補償ユニット４４０５は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のブロックの予測ビデオブロックを生成してよい。

他の例では、動き推定ユニット４４０４は、現在のビデオブロックについて、双方向予測を実行してよく、動き推定ユニット４４０４は、現在のビデオブロックの参照ビデオブロックについて、リスト０内の参照ピクチャを検索してよく、また、現在のビデオブロックの別の参照ビデオブロックについて、リスト１内の参照ピクチャを検索してもよい。動き推定ユニット４４０４は、次いで、参照ビデオブロックを含んでいるリスト０及びリスト１内の参照ピクチャを示す参照インデックスと、参照ビデオブロックと現在のビデオブロックとの間の空間変位を示す動きベクトルを生成し得る。動き推定ユニット４４０４は、現在のビデオブロックの動き情報として、現在のビデオブロックの参照インデックスと動きベクトルを出力してよい。動き補償ユニット４４０５は、現在のビデオブロックの動き情報によって示される参照ビデオブロックに基づいて、現在のビデオブロックの予測ビデオブロックを生成し得る。

いくつかの例では、動き推定ユニット４４０４は、デコーダのデコーディング処理のために、動き情報の完全なセットを出力してよい。いくつかの例では、動き推定ユニット４４０４は、現在のビデオについての動き情報の完全なセットを出力しないことがある。むしろ、動き推定ユニット４４０４は、別のビデオブロックの動き情報に関連して、現在のビデオブロックの動き情報をシグナリングしてもよい。例えば動き推定ユニット４４０４は、現在のビデオブロックの動き情報が、隣接するビデオブロックの動き情報と十分に類似していると判断することがある。

一例では、動き推定ユニット４４０４は、現在のビデオブロックに関連付けられる構文構造において、現在のビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ４５００に示す値を示してよい。

別の例では、動き推定ユニット４４０４は、現在のビデオブロックに関連付けられる構文構造において、別のビデオブロックと動きベクトル差（ＭＶＤ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を識別してよい。動きベクトル差は、現在のビデオブロックの動きベクトルと、示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ４５００は、示されたビデオブロックの動きベクトルと、動きベクトル差を使用して、現在のビデオブロックの動きベクトルを決定してよい。

上記で議論したように、ビデオエンコーダ４４００は、動きベクトルを予測的にシグナリングし得る。ビデオエンコーダ４４００によって実装され得る予測シグナリング技術の２つの例は、高度動きベクトル予測（ＡＭＶＰ：ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）とマージモードシグナリングを含む。

イントラ予測ユニット４４０６は、現在のビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット４４０６が現在のビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット４４０６は、同じピクチャ内の他のビデオブロックのデコーディングされたサンプルに基づいて、現在のビデオブロックについて予測データを生成し得る。現在のビデオブロックについての予測データは、予測ビデオブロック及び様々な構文要素を含んでよい。

残差生成ユニット４４０７は、現在のビデオブロックから、現在のビデオブロックの予測ビデオブロックを減算することによって、現在のビデオブロックについての残差データを生成し得る。現在のビデオブロックの残差データは、現在のビデオブロック内のサンプルの異なるサンプル構成要素に対応する残差ビデオブロックを含んでよい。

他の例では、例えばスキップモードにおいて、現在のビデオブロックについて、現在のビデオブロックのための残差データが存在しないことがあり、残差生成ユニット４４０７は減算操作を実行しなくてよい。

変換処理ユニット４４０８は、現在のビデオブロックに関連付けられる残差ビデオブロックに１つ以上の変換を適用することによって、現在のビデオブロックについて１つ以上の変換係数ビデオブロックを生成してよい。

変換処理ユニット４４０８が、現在のビデオブロックに関連付けられる変換係数ビデオブロックを生成した後、量子化ユニット４４０９は、現在のビデオブロックに関連付けられる１つ以上の量子化パラメータ（ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）値に基づいて、現在のビデオブロックに関連付けられる変換係数ビデオブロックを量子化してよい。

逆量子化ユニット４４１０及び逆変換ユニット４４１１は、それぞれ、変換係数ビデオブロックに逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット４４１２は、再構成された残差ビデオブロックを、予測ユニット４４０２によって生成された１つ以上の予測ビデオブロックからの対応するサンプルに追加して、バッファ４４１３内への記憶のために、現在のブロックに関連付けられる再構成ビデオブロックを生成してよい。

再構成ユニット４４１２がビデオブロックを再構成した後、ループフィルタリング操作が実行され、ビデオブロックにおけるビデオブロッキングアーチファクトを低減し得る。

エントロピーエンコーディングユニット４４１４は、ビデオエンコーダ４４００の他の機能構成要素からデータを受け取ってよい。エントロピーエンコーディングユニット４４１４がデータを受け取ると、エントロピーエンコーディングユニット４４１４は、１つ以上のエントロピーエンコーディング操作を実行して、エントロピーエンコーディングされたデータを生成し、エントロピーエンコーディングされたデータを含むビットストリームを出力してよい。

図７は、ビデオデコーダ４５００の例を示すブロック図であり、ビデオデコーダ４５００は、図５に図示されるシステム４３００内のビデオデコーダ４３２４であってもよい。ビデオデコーダ４５００は、本開示の技術のいずれか又はすべてを実行するように構成されてよい。図示される例では、ビデオデコーダ４５００は、複数の機能構成要素を含む。本開示で説明される技術は、ビデオデコーダ４５００の様々な構成要素の間で共有されてよい。いくつかの例において、プロセッサは、本開示で説明される技術のいずれか又はすべてを実行するように構成されてよい。

図示される例では、ビデオデコーダ４５００は、エントロピーデコーディングユニット４５０１、動き補償ユニット４５０２、イントラ予測ユニット４５０３、逆量子化ユニット４５０４、逆変換ユニット４５０５、再構成ユニット４５０６及びバッファ４５０７を含む。ビデオデコーダ４５００は、いくつかの例において、ビデオエンコーダ４４００に関して説明されたエンコーディングパスと概ね逆のデコーディングパスを実行してよい。

エントロピーデコーディングユニット４５０１は、エンコーディングされたビットストリームを取り出してよい。エンコーディングされたビットストリームは、エントロピーコーディングされたビデオデータ（例えばビデオデータのエンコーディングされたブロック）を含み得る。エントロピーデコーディングユニット４５０１は、エントロピーコーディングされたビデオデータをデコーディングしてよく、エントロピーデコーディングされたビデオデータから、動き補償ユニット４５０２は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス及び他の動き情報を含む動き情報を決定してよい。動き補償ユニット４５０２は、例えばＡＭＶＰ及びマージモードを実行することによって、そのような情報を決定してよい。

動き補償ユニット４５０２は、動き補償されたブロックを生成してよく、場合によっては、補間フィルタに基づいて補間を実行してもよい。サブピクセル精度で使用される補間フィルタのための識別子が、構文要素に含まれてもよい。

動き補償ユニット４５０２は、ビデオブロックのエンコーディング中にビデオエンコーダ４４００によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルについての補間値を計算してよい。動き補償ユニット４５０２は、受け取った構文情報に従ってビデオエンコーダ４４００によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してよい。

動き補償ユニット４５０２は、エンコーディングされたビデオシーケンスのフレーム及び／又はスライスをエンコーディングするために使用されるブロックのサイズを決定するための構文情報、エンコーディングされたビデオシーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのようにエンコーディングされるかを示すモード、各インターコーディングされたブロックについての１つ以上の参照フレーム（及び参照フレームリスト）、及びエンコーディングされたビデオシーケンスをデコーディングするための他の情報、のうちのいくつかを使用してもよい。

イントラ予測ユニット４５０３は、例えばビットストリームで受け取られるイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してよい。逆量子化ユニット４５０４は、ビットストリームで提供され、かつエントロピーデコーディングユニット４５０１によってデコーディングされた、量子化されたビデオブロック係数を逆量子化する、すなわち、脱量子化（ｄｅ－ｑｕａｎｔｉｚｅ）する。逆変換ユニット４５０５は逆変換を適用する。

再構成ユニット４５０６は、残差ブロックを、動き補償ユニット４５０２又はイントラ予測ユニット４５０３によって生成された対応する予測ブロックと合算して、デコーディングされたブロックを形成してよい。所望であれば、ブロック性アーチファクトを除去するために、デブロッキングフィルタも適用して、デコーディングされたブロックをフィルタリングしてもよい。デコーディングされたビデオブロックは、その後バッファ４５０７に記憶され、バッファ４５０７は、後続の動き補償／イントラ予測のための参照ブロックを提供し、ディスプレイデバイス上での提示のために、デコーディングされたビデオも生成する。

図８は、例示のエンコーダ４６００の概略図である。エンコーダ４６００は、ＶＶＣの技術を実装するのに適している。エンコーダ４６００は、３つのインループフィルタ、すなわち、デブロッキングフィルタ（ＤＦ：ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）４６０２、サンプルアダプティブオフセット（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）４６０４及びアダプティブループフィルタ（ＡＬＦ：ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）４６０６を含む。予め定義されたフィルタを使用するＤＦ４６０２とは異なり、ＳＡＯ４６０４及びＡＬＦ４６０６は、それぞれ、オフセット及びフィルタ係数をシグナリングするコーディングされたサイド情報を用いて、オフセットを加えることによって及び有限インパルス応答（ＦＩＲ：ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フィルタを適用することによって、現在のピクチャの元のサンプルを利用して、元のサンプルと再構成されたサンプルとの間の平均二乗誤差を低減する。ＡＬＦ４６０６は、各ピクチャの最終処理段階に配置され、前の段階によって生成されたアーチファクトを捕捉して修復しようとするツールと見なすことができる。

エンコーダ４６００は、入力ビデオを受け取るように構成される、イントラ予測構成要素４６０８と動き推定／補償（ＭＥ／ＭＣ）構成要素４６１０を更に含む。イントラ予測構成要素４６０８は、イントラ予測を実行するように構成され、一方、ＭＥ／ＭＣ構成要素４６１０は、参照ピクチャバッファ４６１２から取得される参照ピクチャを利用して、インター予測を実行するように構成される。インター予測又はイントラ予測からの残差ブロックは、変換（Ｔ）構成要素４６１４及び量子化（Ｑ）構成要素４６１６に供給されて、量子化された残差変換係数を生成し、量子化された残差変換係数は、エントロピーコーディング構成要素４６１８に供給される。エントロピーコーディング構成要素４６１８は、予測結果及び量子化された変換係数をエントロピーコーディングし、これを、ビデオデコーダ（図示せず）に向けて伝送する。量子化構成要素４６１６から出力される量子化構成要素は、逆量子化（ＩＱ）構成要素４６２０、逆変換（ＩＴ）構成要素４６２２及び再構成（ＲＥＣ）構成要素４６２４に供給されてよい。ＲＥＣ構成要素４６２４は、画像が参照ピクチャバッファ４６１２に記憶される前に、フィルタリングのために、これらの画像をＤＦ４６０２、ＳＡＯ４６０４及びＡＬＦ４６０６に出力することができる。

次に、いくつかの例で好ましい解決策のリストを示す。

以下の解決策は、本明細書で議論される技術の例を示す。

１．メディアデータを処理する方法（例えば図４に示される方法４２００）であって、ルールに従って、ビジュアルメディア情報と、該ビジュアルメディア情報のデジタル表現との間の変換を実行するステップを含み、ここで、デジタル表現は、該デジタル表現におけるビジュアルメディア情報のストリームについて、所定のタイプの構文要素を含み、ルールは、ビジュアルメディア情報のストリームがそれ自身によって消費又は再生されないことに応答して、構文要素がデジタル表現に含まれ、予め指定された値を有することを指定する、方法。

２．解決策１の方法において、構文要素は、所定のタイプのエッセンシャルタイプの構文要素を含む。

３．解決策１－２の方法において、構文要素は、ビジュアルメディア情報のストリームに関連付けられるアダプテーションセットに含まれる。

４．解決策１－３のいずれかの方法において、ルールは、リストがデジタル表現に含まれることを指定し、リストのｉ番目のエントリは、ビジュアルメディア情報のｉ番目の表現を示す。

５．解決策１の方法において、構文要素はフラグであり、ルールは、ビジュアルメディア情報のストリームがそれ自身によって消費又は再生されないことに応答して、予め指定された値が論理真であることを指定する。

６．解決策１の方法において、構文要素は、ビジュアルメディア情報のストリームの役割を示し、ルールは、ビジュアルメディア情報のストリームがそれ自身によって消費又は再生されないことに応答して、ビジュアルメディア情報のストリームが補助タイプであることを示すように構文要素を設定することを指定する。

７．ビジュアルメディア情報のデジタル表現を取得するステップであって、デジタル表現は、解決策１－６のいずれかに記載の方法に従って生成される、ステップと、デジタル表現をストリーミングするステップとを含む、メディアデータを処理する方法。

８．ビジュアルメディア情報のデジタル表現を受け取るステップであって、デジタル表現は、解決策１－６のいずれかに記載の方法に従って生成される、ステップと、デジタル表現からビジュアルメディア情報を生成するステップとを含む、メディアデータを処理する方法。

９．解決策１－８のいずれかの方法において、変換は、ビジュアルメディアデータのビットストリーム表現を生成することと、フォーマットルールに従ってビットストリーム表現をファイルに保存することを含む。

１０．解決策１－８のいずれかの方法において、変換は、フォーマットルールに従ってファイルを解析してビジュアルメディアデータを回復することを含む。

１１．解決策１－１０のうちの１つ以上に記載される方法を実装するよう構成されるプロセッサを含む、ビデオデコーディング装置。

１２．解決策１－１０のうちの１つ以上に記載される方法を実装するよう構成されるプロセッサを含む、ビデオエンコーディング装置。

１３．コンピュータコードを記憶したコンピュータプログラム製品であって、コードは、プロセッサによって実行されると、プロセッサに、解決策１－１０のいずれかに記載される方法を実装させる。

１４．解決策１－１０のいずれかに従って生成されるファイルフォーマットにビットストリーム表現が準拠するコンピュータ読取可能媒体。

１５．本文書で説明される方法、装置又はシステム。

本明細書で説明される解決策において、エンコーダは、フォーマットルールに従ってコーディングされた表現を生成することによって、フォーマットルールに準拠し得る。本明細書で説明される解決策において、デコーダは、フォーマットルールを使用し、フォーマットルールに従って構文要素の存在及び不存在の知識によりコーディングされた表現内の構文要素を解析して、デコーディングされたビデオを生成することができる。

本文書において、「ビデオ処理」という用語は、ビデオエンコーディング、ビデオデコーディング、ビデオ圧縮又はビデオ復元を指してよい。例えばビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への又はその逆への変換の間に適用されてよい。現在のビデオブロックのビットストリーム表現は、例えば構文によって定義されるように、同一場所に配置（ｃｏ－ｌｏｃａｔｅｄ）されるか又はビットストリーム内の異なる場所に広がるビットに対応し得る。例えばマクロブロックは、変換されてコーディングされたエラー残差値に関して、またビットストリーム内のヘッダ及び他のフィールド内のビットも使用して、エンコーディングされてよい。さらに、変換中に、デコーダは、上記の解決策に記載されるように、決定に基づいて、いくつかのフィールドが存在し得るか又は不存在であり得ることの知識により、ビットストリームを解析し得る。同様に、エンコーダは、ある特定の構文フィールドが含まれるべきか又は含まれないべきかを決定し、それに応じて、その構文フィールドを含めるか又はコーディングされた表現から除外することによって、コーディングされた表現を生成してよい。

本文書で説明される、開示される又は他の解決策、例、実施形態、モジュール及び機能的操作を、デジタル電子回路において、あるいは本文書で開示される構造及びそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア又はハードウェア又はそれらの１つ以上の組合せで実装することができる。開示される及び他の実施形態を、１つ以上のコンピュータプログラム製品として、すなわち、データ処理装置による実行のため又はデータ処理装置の動作を制御するために、コンピュータ読取可能媒体上にエンコーディングされるコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータ読取可能媒体は、機械読取可能記憶装置、機械読取可能記憶基板、メモリデバイス、機械読取可能伝搬信号に影響を与える物質の組成物又は１つ以上のそれらの組合せとすることができる。「データ処理装置」という用語は、例としてプログラマブルプロセッサ、コンピュータ又は複数のプロセッサ又はコンピュータを含む、データを処理するためのすべての装置、デバイス及び機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム又はそれらの１つ以上の組合せを構成するコードを含むことができる。伝搬信号は、適切な受信機装置への伝送のために情報をエンコーディングするように生成される、人工的に生成される信号、例えば機械生成される電気信号、光学信号又は電磁信号である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとしても知られる）は、コンパイル又は解釈された言語を含め、任意の形態のプログラミング言語で書くことができ、スタンドアロンプログラムとして又はモジュールとして、構成要素、サブルーチン又はコンピューティング環境における使用に適した他のユニットを含む、任意の形態で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しない。プログラムは、他のプログラム又はデータを保持するファイルの一部分（例えばマークアップ言語文書に記憶される１つ以上のスクリプト）内に、問題のプログラム専用の単一ファイル内に、あるいは複数の協調ファイル（例えば１つ以上のモジュール、サブプログラム又はコードの一部分を記憶するファイル）内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、あるいは１箇所に配置されるか又は複数箇所にわたって分散されて通信ネットワークによって相互接続される複数のコンピュータ上で実行されるよう展開されることができる。

本文書で説明されるプロセス及び論理フローを、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行し、入力データに対して操作をして出力を生成することによって機能を実行することができる。また、プロセス及び論理フローを、特殊目的論理回路によって、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行することもでき、また、そのような特殊目的論理回路として装置を実装することもできる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用マイクロプロセッサの両方及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読取専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受け取ることになる。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気、光磁気ディスク又は光ディスクのようにデータを記憶するための１つ以上の大容量ストレージデバイスを含むか、データをそのような１つ以上の大容量ストレージデバイスから受け取るか又はデータをそのような１つ以上の大容量ストレージデバイスへ転送するか又はその両方のために動作可能に結合されることになる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ読取可能媒体は、例として半導体メモリデバイス、例えば消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）及びフラッシュメモリデバイス；磁気ディスク、例えば内部ハードディスク又は取外可能ディスク；光磁気ディスク；及びコンパクトディスク読取専用メモリ（ＣＤ ＲＯＭ）及びデジタル多用途ディスク読取専用メモリ（ＤＶＤ－ＲＯＭ）ディスクを含む、不揮発性メモリ、媒体及びメモリデバイスのすべての形態を含む。プロセッサ及びメモリは、特殊目的論理回路によって補足されるか又は特殊目的論理回路に組み込まれることができる。

本特許文書には多くの詳細が含まれているが、これらは、いずれかの主題の範囲又は特許請求され得るものに対する限定として解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。本特許文書において別個の実施形態の文脈で説明される特定の特徴を、単一の実施形態において組み合わせて実装することもできる。反対に、単一の実施形態の文脈において説明される様々な特徴を、複数の実施形態において別々に又は任意の適切な副次的組合せで実装することもできる。さらに、特徴は、特定の組合せにおいて作用するものとして上述され、最初にそのように特許請求されることもあるが、特許請求される組合せからの１つ以上の特徴が、場合によってが、その組合せから削除される可能性があり、特許請求される組合せは、副次的組合せ又は副次的組合せのバリエーションに向けられてもよい。

同様に、図面では動作が特定の順序で示されているが、これは、所望の結果を達成するために、そのような動作を示される特定の順序で又は逐次に実行すること、あるいはすべての図示される動作を実行することを要求するものとして理解されるべきではない。さらに、本特許文書で説明される実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を要求するものとして理解されるべきではない。

わずかな実装及び例のみが説明されているが、本特許文書で説明され、例示されていることに基づいて、他の実装、拡張及びバリエーションを成すことができる。

第１構成要素は、第１構成要素と第２構成要素との間の線、トレース又は別の媒体を除き、介在する構成要素が存在しないときは、第２構成要素に直接結合される。第１構成要素は、第１構成要素と第２構成要素との間に、線、トレース又は別の媒体以外に介在する構成要素が存在するときは、第２構成要素に間接的に結合される。「結合される」という用語又はその変形は、直接結合と間接的結合の両方を含む。「約」という用語の使用は、特段の記載がない限り、後続の数字の±１０％を含む範囲を意味する。

本開示においていくつかの実施形態が提供されているが、開示されたシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形態で具現化される可能性があることを理解されたい。本実施例は、例示的なものであって、限定的なものではないと考えられ、その意図は、本明細書で与えられる詳細に限定されない。例えば様々な要素又は構成要素が、別のシステムに組み合わされるか又は統合されてよく、あるいはある特定の特徴が省略されるか、実装されなくてよい。

加えて、様々な実施形態において個別又は別個に説明され、図示された技術、システム、サブシステム及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術又は方法と組み合わされるか又は統合されてよい。結合されるものとして示され又は議論される他のアイテムは、直接的に接続されてよく、あるいは電気的、機械的又は他の方法で、いくつかのインタフェース、デバイス又は中間構成要素を介して間接的に結合又は通信されてよい。変更、置換及び代替の他の例は、当業者によって確認可能であり、本明細書に開示される精神及び範囲から逸脱することなく成し得ることができる。

Claims (11)

1. ビデオデータを処理するための方法であって、
   ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定するステップであって、前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、前記表現が外部ストリーム表現（ＥＳＲ）であることを示す、ステップと、
   前記ＥＳＲに基づいて、ビジュアルメディアデータとメディアデータファイルとの間の変換を実行するステップと、
   を含む、方法。
2. 前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、前記表現が、それ自身によって消費又は再生されてはならないことを更に示す、
   請求項１に記載の方法。
3. ＤＡＳＨアダプテーションセットのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙを決定するステップを更に含み、前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、前記アダプテーションセット内の各表現がＥＳＲであることを示す、
   請求項１に記載の方法。
4. 前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ａｄａｐｔａｔｉｏｎ－ｓｅｔ－ｅｘｔｅｒｎａｌ－ｓｔｒｅａｍ：２０２Ｘ」のスキーム識別子ユニフォームリソース識別子（＠ｓｃｈｅｍｅＩｄＵｒｉ）を含み、ここでＸは数字である、
   請求項１に記載の方法。
5. 前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、メインストリーミング表現の識別子（＠ｉｄ）値のリストを指定する値（＠ｖａｌｕｅ属性）を有する、
   請求項３に記載の方法。
6. ＤＡＳＨアダプテーションセットの外部ストリームアダプテーションセットフラグ（＠ｅｓａｓｆｌａｇ）属性を決定するステップを更に含み、前記＠ｅｓａｓｆｌａｇ属性は、ＥＳＲである前記アダプテーションセット内の各表現を指定するように真に等しい、
   請求項１に記載の方法。
7. 役割要素が前記アダプテーションセットに含まれ、前記役割要素は、前記＠ｅｓａｓｆｌａｇ属性が真に等しいときに、補助に等しい値（＠ｖａｌｕｅ）属性を含む、
   請求項６に記載の方法。
8. 前記変換は、前記ビジュアルメディアデータを前記メディアデータファイルにエンコーディングすることを含む、
   請求項１乃至７のいずれか一項に記載の方法。
9. 前記変換は、前記ビジュアルメディアデータを前記メディアデータファイルからデコーディングすることを含む、
   請求項１乃至７のいずれか一項に記載の方法。
10. ビデオデータを処理するための装置であって、
    プロセッサと、
    命令を有する非一時的メモリと、を備え、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定させ、前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、前記表現が外部ストリーム表現（ＥＳＲ）であることを示し、
    前記ＥＳＲに基づいて、ビジュアルメディアデータとメディアデータファイルとの間の変換を実行させる、
    装置。
11. ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を含む非一時的コンピュータ読取可能媒体であって、前記コンピュータプログラム製品は、プロセッサによって実行されると、前記ビデオコーディングデバイスに、
    ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）表現のエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）を決定させ、前記ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙは、前記表現が外部ストリーム表現（ＥＳＲ）であることを示し、
    前記ＥＳＲに基づいて、ビジュアルメディアデータとメディアデータファイルとの間の変換を実行させる、
    ように、当該非一時的コンピュータ読取可能媒体の上に記憶されるコンピュータ実行可能命令を含む、
    非一時的コンピュータ読取可能媒体。

Images