JP4950206B2

JP4950206B2 - 効率的なスケーラブルストリーム適応のためのシステム及び方法

Info

Publication number: JP4950206B2
Application number: JP2008535118A
Authority: JP
Inventors: イクイワン; ミスカハンヌクセラ
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2005-10-11
Filing date: 2006-10-11
Publication date: 2012-06-13
Anticipated expiration: 2026-10-11
Also published as: JP5337203B2; EP1935182B1; KR101245576B1; RU2407217C2; KR20110106431A; PL2375749T3; KR20080059639A; DE602006051050C5; EP2375749A2; ZA200803201B; WO2007042916A1; CN101998123B; MY147530A; EP1935182A1; HK1149989A1; US20070110150A1; TW200727706A; BRPI0617728A8; AU2006300881B2; KR101125819B1

Description

本発明は、一般的に、メディアエンコーディング、デコーディング、記憶、及び送信に係る。より詳細には、本発明は、スケーラブルメディアエンコーディング、デコーディング、記憶、及び送信に係る。

メディアアプリケーションは、ローカル再生、ストリーミング又はオンデマンド、会話及びブロードキャスト／マルチキャストサービスを含む。マルチメディアアプリケーションに含まれる技術は、例えば、メディアコーディング、記憶、及び送信を含む。メディアタイプは、スピーチ、オーディオ、イメージ、ビデオ、グラフィック及びタイムテキストを含む。異なる技術に対して異なる規格が指定されている。

ビデオコーディング規格は、ＩＴＵ−ＴＨ．２６１、ＩＳＯ／ＩＥＣＭＰＥＧ−１ビジュアル、ＩＴＵ−ＴＨ．２６２又はＩＳＯ／ＩＥＣＭＰＥＧ−２ビジュアル、ＩＴＵ−ＴＨ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ−４ビジュアル及びＩＴＵ−ＴＨ．２６４（ＩＳＯ／ＩＥＣＭＰＥＧ−４ＡＶＣとしても知られている）を含む。更に、新たなビデオコーディング規格も開発されている。例えば、スケーラブルビデオコーディング（ＳＶＣ）規格が現在開発中である。この規格は、Ｈ．２６４／ＡＶＣへのスケーラブル拡張となる。中国ビデオコーディング規格も現在開発中である。

スケーラブルビデオコーディングは、スケーラブルビデオビットストリームを与えることができる。スケーラブルビデオビットストリームの一部分を、低い再生ビジュアルクオリティで抽出しデコードすることができる。スケーラブルビデオビットストリームは、非スケーラブルベースレイヤ及び１つ以上のエンハンスメントレイヤを含む。エンハンスメントレイヤは、時間的解像度（即ち、フレームレート）、空間的解像度、或いは単に下位レイヤ又はその一部分により表わされるビデオコンテンツのクオリティを向上させる。ある場合に、エンハンスメントレイヤのデータは、ある場所の後に、任意の位置で、裁断することができる。各裁断位置は、次第に向上されたビジュアルクオリティを表わす何らかの付加的なデータを含むことができる。このようなスケーラビリティは、微粒状（粒度）スケーラビリティ（ＦＧＳ）と称される。このＦＧＳとは対照的に、微粒状スケーラビリティを与えないクオリティエンハンスメントレイヤによって与えられるスケーラビリティは、粗粒状スケーラビリティ（ＣＧＳ）と称される。

現在草案のＳＶＣ規格におけるスケーラブルレイヤ構造は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、及びｑｕａｌｉｔｙ＿ｌｅｖｅｌと称される３つの変数により特徴付けられ、これらは、ビットストリームにおいてシグナリングされるか、又は仕様書に基づいて導出することができる。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌは、時間的スケーラビリティ又はフレームレートを指示するのに使用される。小さなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ値のピクチャーを含むレイヤは、大きなｔｅｍｐｏｒａｌ＿ｌｅｖｅｌのピクチャーを含むレイヤよりもフレームレートが低い。ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、レイヤ間コーディング依存のハイアラーキーを指示するのに使用される。いかなる時間的位置においても、小さなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値のピクチャーは、大きなｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値をもつピクチャーをコード化するためのレイヤ間予想に使用することができる。ｑｕａｌｉｔｙ＿ｌｅｖｅｌは、ＦＧＳレイヤハイアラーキーを指示するのに使用される。任意の時間的位置において、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ値が同じ場合には、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬに等しいＦＧＳピクチャーは、レイヤ間予想のためにｑｕａｌｉｔｙ＿ｌｅｖｅｌ値がＱＬ−１に等しいＦＧＳピクチャー又はベースクオリティピクチャー（即ちＱＬ−１＝０のときに非ＦＧＳピクチャー）を使用する。

図１は、上述した３つの変数の表示値をもつ例示的スケーラブルビデオストリームの時間的セグメントを示す。時間値は相対的なものであり、即ち、時間＝０は、ビットストリームにおいて表示順序で第１のピクチャーの時間を必ずしも意味しないことに注意されたい。この例の典型的な予想参照関係が、図２に示され、ここで、実線の矢印は、水平方向におけるインター予想参照関係を示し、そして破線ブロックの矢印は、レイヤ間予想参照関係を示す。指されたインスタンスは、予想参照のための他の方向におけるインスタンスである。

ここに述べるように、同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有するピクチャーのセットとしてレイヤが定義される。エンハンスメントレイヤをデコードして再生するために、通常、ベースレイヤを含む下位レイヤも入手できねばならない。というのは、エンハンスメントレイヤのコーディングにおいてレイヤ間予想のために下位レイヤが直接的又は間接的に使用されるからである。例えば、図１及び２では、（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、０）及び（８、０、０、０）に等しいピクチャーは、エンハンスメントレイヤとは独立してデコードできるベースレイヤに属する。（ｔ、Ｔ、Ｄ、Ｑ）が（４、１、０、０）に等しいピクチャーは、ベースレイヤのフレームレートを２倍にするエンハンスメントレイヤに属し、このレイヤをデコードするには、ベースレイヤピクチャーの存在が必要である。（ｔ、Ｔ、Ｄ、Ｑ）が（０、０、０、１）及び（８、０、０、１）に等しいピクチャーは、ベースレイヤのクオリティ及びビットレートをＦＧＳのように向上させるエンハンスメントレイヤに属し、このレイヤをデコードするのにも、ベースレイヤピクチャーの存在が必要である。

Ｈ．２６４／ＡＶＣ規格において、瞬時デコーディングリフレッシュ（ＩＤＲ）ピクチャーは、次のように定義される。全てのスライスがＩ又はＳＩスライスであるコード化ピクチャーは、デコーディングプロセスで、全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。ＩＤＲピクチャーのデコーディングの後に、デコーディング順序で後に続く全てのコード化ピクチャーは、ＩＤＲピクチャーの前にデコードされたピクチャーからインター予想なしにデコードすることができる。各コード化ビデオシーケンスの第１ピクチャーは、ＩＤＲピクチャーである。

ＩＤＲピクチャーの概念は、現在草案のＳＶＣ規格にも使用され、ここでは、その定義は、同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつピクチャーに適用することができる。換言すれば、ＩＤＲピクチャーとは、ＩＤＲピクチャー及び同じレイヤ（即ち、ＩＤＲピクチャーと同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々もつ）においてデコーディング順序で後続する全てのコード化ピクチャーのデコーディングを、同じレイヤにおいてデコーディング順序でＩＤＲピクチャーの前の任意のピクチャーからインター予想なしに、遂行できるようなコード化ピクチャーである。ＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。現在草案のＳＶＣ規格についてここで使用する「同じレイヤにおける」という語は、デコードされるピクチャーが、ＩＤＲピクチャーと各々同じ値のｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつことを意味する点に注意されたい。ピクチャー順序カウントの値が同じである（即ち、同じ時間的位置にある）が、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの値が異なる全てのピクチャーは、ＩＤＲピクチャーとしてコード化されるか、或いは特定の値のピクチャー順序カウントに対するピクチャーは、ＩＤＲピクチャーとしてコード化されない。換言すれば、アクセスユニットにおける全てのピクチャー（ピクチャー順序カウントの値が同じ全てのピクチャーを含む）がＩＤＲピクチャーであるか、又はアクセスユニットにおけるピクチャーは、ＩＤＲピクチャーではない。

利用可能なメディアファイルフォーマットの規格は、ＩＳＯファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２）、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、ＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）及び３ＧＰＰファイルフォーマット（３ＧＰＰＴＳ２６．２４４）を含む。ＳＶＣファイルフォーマットは、ＩＳＯ／ＩＥＣＭＰＥＧにより現在開発中であり、参考としてここに援用するＭＰＥＧＮ７４７７“VM Study Text for Scalable Video Coding (SVC) File Format”、第７３回ＩＳＯ／ＩＥＣＭＰＥＧミーティング、ポーランド、ポズナン、２００５年７月、に見ることができる。

単一レイヤコーディングに比してスケーラブルコーディングの１つの利点は、スケーラブルコーディングでは、単一のストリームで、クオリティ、ビットレート、表示サイズ等の異なる要件を満足できるが、単一レイヤコーディングでは、多数のストリームを使用しなければならないことである。多数のストリームを使用すると、より多くの記憶スペースにコストがかかると同時に、より多くの送信帯域巾にコストがかかる。ストリーミングアプリケーションでは、送信ネットワーク又は受信者の能力がそれらの初期の状態に比して変化するときに、即ち送信帯域巾が変化するときに、ストリームの適応が必要となる。ゲートウェイ及び他のメディアアウエイネットワーク要素（ＭＡＮＥ）も、ストリーム適応を実行することができる。スケーラブルにコード化されたファイルが「ローカル」に再生される（即ち、ファイルがデコーダーと同じ装置に存在するか又はデコーディング装置へ高速リンクで接続されたメモリに存在する）ときには、デコーダーが何らかの他の処理と計算リソースを共有する場合に、ストリーム適応が必要となる。例えば、マルチプロセスオペレーティングシステムを実行している汎用プロセッサでデコーディングが実行される場合には、デコーダーは、全計算パワーを一度に使用して、全スケーラブルレイヤをデコードすることができる。しかしながら、別の時間には、プロセッサの計算パワーのサブセットのみを使用して、利用可能なスケーラブルレイヤのサブセットをデコードすることもできる。適応されるストリームは、変更されたビットレート、フレームレート及び／又はビデオ解像度を有してもよい。単一レイヤコーディングでは、ストリームのスイッチング又はトランスコーディングによりストリーム適応を実行することができる。単一のスケーラブルストリームでは、レイヤスイッチングによりストリーム適応を実行できる。

スケーラブルコーディングでは、上位−下位のレイヤスイッチングを任意の位置で行うことができる。しかしながら、下位−上位のレイヤスイッチングの場合には、相違する。というのは、上位レイヤのピクチャーへのスイッチングのデコーディングは、通常、同じレイヤにデコーディング順序で以前の幾つかのピクチャーが存在することを必要とするからである。

現在草案のＳＶＣ規格では、下位−上位のレイヤスイッチングは、ＩＤＲアクセスユニット（ＩＤＲピクチャーを含む）において実行することができる。しかしながら、ＩＤＲアクセスユニットによっては、ＩＤＲアクセスユニットの頻繁なコーディング、又は迅速でないストリーム適応のために、コーディング効率が低下される。これらの問題は、両方とも、エンドユーザの経験に密接に関係している。又、理論的には、ＳＰ／ＳＩピクチャーコーディング又は段階的デコーディングリフレッシュ技術を使用して、下位−上位のレイヤスイッチングを行うこともできる。しかしながら、これらの技術は、単一レイヤコーディングに対して設計されたものである。それ故、これらの技術は、スケーラブルコーディングに対して現在機能しない。更に、これらの技術がスケーラブルコーディングに使用するように拡張された後も、それらのアプリケーションは、付加的なコーディング制約（低いコーディング効率と同等の形態の）又は実施の複雑さを生じさせる。

それ故、スケーラブルなビデオコーディングにおいて簡単で且つ効率的な下位−上位のレイヤスイッチングをサポートすることが要望される。更に、ビデオビットストリームのパーズ及び分析は複雑な計算を必要とするので、下位−上位レイヤスイッチングのための場所を見つけるのにビデオビットストリームのパーズ及び分析を必要としないように、ファイルフォーマットレベルで簡単且つ効率的な下位−上位レイヤスイッチングのシグナリングを可能にすることも要望される。

本発明は、ファイルフォーマットレベルで下位−上位のレイヤスイッチングポイントをシグナリングして、ストリーミングサーバー及びローカルファイル再生において効率的なスケーラブルなストリームスイッチングを可能にするシステム及び方法を提供する。又、本発明は、ビデオビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングして、例えば、メディアアウェアネットワーク要素におけるスケーラビリティレイヤのインテリジェントな転送、又はストリーム受信者における計算上のスケーラブルなデコーディングを可能にするシステム及び方法も開示する。

本発明は、スケーラブルなストリーム適応のための簡単且つ効率的な下位−上位レイヤスイッチングを可能にする。本発明は、著しい計算上及び実施上の負担を必要とすることになるビデオビットストリームの広範囲なパーズ及び分析をストリーミングサーバーが行う必要性を排除する。本発明は、実質上いかなるスケーラブルメディアアプリケーションにも使用できる。

本発明のこれら及び他の効果並びに特徴は、そのオペレーションの編成及び仕方と共に、多数の図面にわたり同じ要素が同じ参照番号で示された添付図面を参照した以下の詳細な説明から明らかとなろう。

図６を参照し、本発明の手順を適用するための１つのシステムである典型的なマルチメディアストリーミングシステムを説明する。

マルチメディアデータストリーミングシステムは、典型的に、１つ以上のマルティメディアソース１００、例えば、ビデオカメラ及びマイクロホン、或いはメモリキャリアに記憶されたビデオイメージ又はコンピュータグラフィックファイルを備えている。異なるマルティメディアソース１００から得られた生のデータは、編集ユニットとも称されるエンコーダー１０２において、マルチメディアファイルへと結合される。１つ以上のマルティメディアソース１００から到来する生のデータは、最初に、エンコーダー１０２に含まれた捕獲手段１０４を使用して捕獲され、この捕獲手段は、典型的に、異なるインターフェイスカード、ドライバソフトウェア、又はカードの機能を制御するアプリケーションソフトウェアとして実施することができる。例えば、ビデオデータは、ビデオ捕獲カード及びそれに関連したソフトウェアを使用して捕獲することができる。捕獲手段１０４の出力は、典型的に、非圧縮又は若干圧縮されたデータフロー、例えば、ビデオ捕獲カードに関するときにはＹＵＶ４：２：０フォーマット又はモーションＪＰＥＧイメージフォーマットの非圧縮ビデオフォーマットである。

エディタ１０６は、必要に応じて同時に再生されるべきビデオ及びオーディオフローを同期させるために異なるメディアフローを一緒にリンクする。又、エディタ１０６は、例えば、フレームレートを半分にするか又は空間的解像度を減少することによりビデオフローのような各メディアフローを編集することができる。同期しているが個別のメディアフローは、コンプレッサー１０８において圧縮され、ここで、各メディアフローは、そのメディアフローに適したコンプレッサーを使用して別々に圧縮される。例えば、ＹＵＶ４：２：０フォーマットのビデオフレームは、ＩＴＵ−Ｔ推奨勧告Ｈ．２６３又はＨ．２６４を使用して圧縮することができる。個別の、同期されそして圧縮されたメディアフローは、典型的に、マルチプレクサ１１０においてインターリーブされ、エンコーダー１０２から得られる出力は、複数のメディアフローのデータを含む、マルチメディアファイルと称される単一の均一ビットフローである。マルチメディアファイルの形成は、必ずしも複数のメディアフローを単一ファイルへマルチプレクシングすることを必要とせず、ストリーミングサーバーが、メディアフローを送信の直前にインターリーブしてもよいことに注意されたい。

マルチメディアファイルは、ストリーミングサーバー１１２へ転送され、従って、このストリーミングサーバーは、ストリーミングをリアルタイムストリーミングとして或いは前進的ダウンロードの形態で実施することができる。前進的ダウンロードでは、マルチメディアファイルは、最初に、サーバー１１２にメモリに記憶され、そこから、必要に応じて送信のために検索される。リアルタイムストリーミングでは、エディタ１０２がマルチメディアファイルの連続的メディアフローをストリーミングサーバー１１２へ送信し、そしてサーバー１１２は、フローをクライアント１１４へ直接的に転送する。又、更なるオプションとして、リアルタイムストリーミングは、マルチメディアファイルがサーバー１１２からアクセスできる記憶装置に記憶されて、そこから、リアルタイムストリーミングを駆動できると共に、マルチメディアファイルの連続的なメディアフローが必要に応じてスタートされるように、実施されてもよい。このような場合に、エディタ１０２は、必ずしも任意の手段によりストリーミングを制御しない。ストリーミングサーバー１１２は、クライアント１１４の利用可能な帯域巾、最大デコーディング及び再生レートに関するマルチメディアデータのトラフィックシェーピングを実行し、ストリーミングサーバーは、例えば、送信からＢフレームを除外するか、又はスケーラビリティレイヤの数を調整することによりメディアフローのビットレートを調整することができる。更に、ストリーミングサーバー１１２は、マルチプレクスされるメディアフローのヘッダーフィールドを変更して、それらのサイズを減少すると共に、使用するテレコミュニケーションネットワークで送信するのに適したデータパケットへマルチメディアデータをカプセル化することができる。クライアント１１４は、典型的に、適当な制御プロトコルを使用することにより、サーバー１１２のオペレーションを少なくともある程度は調整することができる。クライアント１１４は、少なくとも、クライアントへ送信するための希望のマルチメディアファイルを選択できるように、サーバー１１２を制御することができ、これに加えて、クライアントは、典型的に、マルチメディアファイルの送信を停止し、中断することができる。

クライアント１１４がマルチメディアファイルを受け取ると、そのマルチメディアファイルは、先ず、そのファイルにより構成されたメディアフローを分離するデマルチプレクサ１１６へ供給される。個別の圧縮されたメディアフローは、次いで、デコンプレッサ１１８へ供給され、ここで、各個別のメディアフローは、各特定のメディアフローに適したデコンプレッサにより解凍される。解凍され、再構成されたメディアフローは、再生ユニット１２０へ供給され、ここで、メディアフローは、それらの同期データに基づく正しいペースでレンダリングされ、そしてプレゼンテーション手段１２４へ供給される。実際のプレゼンテーション手段１２４は、例えば、コンピュータ又は移動ステーションのディスプレイ、及びスピーカ手段である。又、クライアント１１４は、典型的に、エンドユーザが典型的にユーザインターフェイスを経て制御できる制御ユニット１２２も備え、これは、上述した制御プロトコルを通してサーバーのオペレーションを制御すると共に、エンドユーザにより与えられたインストラクションに基づいて再生ユニット１２０のオペレーションを制御する。

ストリーミングサーバー１１２からクライアント１１４へのマルチメディアファイルの転送は、テレコミュニケーションネットワークを通して行われ、その転送経路は、通常、複数のテレコミュニケーションネットワーク要素を含むことに注意されたい。それ故、利用可能な帯域巾、或いはクライアント１４の最大デコーディング及び再生レートに関するマルチメディアデータのトラフィックシェーピングを、ストリーミングサーバーに関して上述したのと少なくとも一部分同様に実施できる少なくとも幾つかのネットワーク要素が存在することが考えられる。

本発明は、ファイルフォーマットレベルで下位−上位のレイヤスイッチングポイントをシグナリングして、ストリーミングサーバー及びローカルファイル再生において効率的なスケーラブルのストリームスイッチングを可能にするシステム及び方法を提供する。又、本発明は、ビデオビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングして、例えば、メディアアウェアネットワーク要素におけるスケーラビリティレイヤのインテリジェントな転送、又はストリーム受信者における計算上のスケーラブルなデコーディングを可能にするシステム及び方法も開示する。

本発明の多数の実施形態を以下に説明する。しかしながら、例えば、ここに述べる別々の実施形態のサブセットを結合することにより、これら実施形態の他の変形例も考えられることに注意されたい。

ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第１実施形態は、スケーラビリティ情報の一形式として下位−上位のレイヤスイッチングポイントの信号を使用することを含む。この実施形態では、各レイヤに対して下位−上位のレイヤスイッチングポイントをシグナリングするための新たなボックスが定義される。このボックスは、各スケーラブルレイヤのスケーラビリティ情報を含むデータ構造に含まれ、例えば、ＳＶＣファイルフォーマットの草案規格テキストに定義されたＳｃａｌａｂｌｅＬａｙｅｒＥｎｔｒｙ（）構造に含まれる。このボックスは、次のように定義される。
ボックスタイプ：‘１ｓｗｐ’
コンテナ：ＳｃａｌａｂｌｅＬａｙｅｒＥｎｔｒｙ
必須性：なし
量：０又は１

このボックスは、ストリーム内の個々のレイヤに対する下位−上位レイヤスイッチングポイントのコンパクトマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。レイヤスイッチングポイントボックスがあるレイヤに対して存在しない場合には、そのレイヤに対し、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class LayerSwitchingPointBox extends Box(lswp'){
unsigned int(32) entry_count;
int i,j;
for (i=0; i < entry_count; i++) {
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++)
signed int(16) delta_layer_id;
}
}

この例では、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、現在レイヤに対する下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。

“ｄａｌｔａ＿ｌａｙｅｒ＿ｉｄ”は、現在レイヤからストリームをスイッチできるところの上位レイヤ、又は現在レイヤへとストリームをスイッチできるところの下位レイヤを、サンプル番号がｓａｍｐｌｅ＿ｎｕｍｂｅｒに等しい現在サンプルにおいて指定する。０以上の値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒＩｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ＋１）に等しい上位レイヤへ現在レイヤからストリームがスイッチできることを指示する。０より小さい値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒＩｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ）に等しい下位レイヤから現在レイヤへストリームがスイッチできることを指示する。各レイヤのｌａｙｅｒＩｄは、各スケーラブルレイヤのスケーラビリティ情報を含むデータ構造から見出される。

ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第２実施形態は、専用ボックスにおいて全レイヤの下位−上位レイヤスイッチングポイントをシグナリングすることを含む。ボックスは、次のように定義される。
ボックスタイプ：‘１ｓｗｐ’
コンテナ：サンプルテーブルボックス（ｓｔｂｌ）
必須性：なし
量：０又は１

このボックスは、ストリーム内の全レイヤに対する下位−上位レイヤスイッチングポイントのコンパクトマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。レイヤスイッチングポイントボックスが存在しない場合には、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class LayerSwitchingPointBox extends Box(lswp'){
unsigned int(32) entry_count;
int i,j,k;
for (i=0; i < entry_count; i++) {
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++){
unsigned int(8) layer_id;
unsigned int(8) entry_count3;
for (k=0; k < entry_count3; k++)
signed int(16) delta_layer_id;
}
}
}

この例では、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。“ｌａｙｅｒ＿ｉｄ”は、下位−上位レイヤスイッチングポイントの情報が次のテーブルでシグナリングされるレイヤのレイヤ識別子を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ３”は、次のテーブルにおけるエントリーの数を与える。

“ｄａｌｔａ＿ｌａｙｅｒ＿ｉｄ”は、現在レイヤからストリームをスイッチできるところの上位レイヤ、又は現在レイヤへとストリームをスイッチできるところの下位レイヤを、サンプル番号がｓａｍｐｌｅ＿ｎｕｍｂｅｒに等しい現在サンプルにおいて指定する。０以上の値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒ＿Ｉｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ＋１）に等しい上位レイヤへ現在レイヤからストリームがスイッチできることを示す。０より小さい値は、現在サンプルにおいてレイヤ識別子が（ｌａｙｅｒ＿Ｉｄ＋ｄｅｌｔａ＿ｌａｙｅｒ＿ｉｄ）に等しい現在レイヤへ下位レイヤからストリームがスイッチできることを示す。本発明のこの特定の実施形態では、ｓａｍｐｌｅ＿ｎｕｍｂｅｒループをｌａｙｅｒ＿ｉｄループ内に入れる現在の仕方に代わって、ｓａｍｐｌｅ＿ｎｕｍｂｅｒのループをｌａｙｅｒ＿ｉｄのループ内に入れることもできる。

ファイルフォーマットで下位−上位のレイヤスイッチングポイントをシグナリングするための第３実施形態は、シグナリングトラックスイッチングポイントの使用を含む。又、この実施形態は、上述した他の実施形態のいずれかと同時に使用されてもよい。この実施形態は、スケーラブルレイヤの、独立してデコード可能な組み合せを、典型的に、参照の使用により独立トラックを形成するように合成するケースに適用される。ＩＳＯベースメディアファイルフォーマットでは、メディアデータがネットワーク独立トラックのセットとして表わされ、一方、ヒントトラックがネットワーク独立の搬送カプセルか情報を含み、そしてメディアサンプル又はその一部分を搬送パケットに関連付ける（ヒントトラックからメディアトラックへの参照により）。抽出トラックは、メディアトラックへの参照を含み、ＳＶＣアクセスユニットに対するコード化ピクチャーのサブセットが抽出トラックにおけるサンプルを形成するようにする。それ故、各抽出トラックは、スケーラブルレイヤの異なるサブセットを表わさねばならず、そして各抽出トラックは、同じメディアトラックに対して他の抽出トラックをデコードせずに判断できなければならない。

この特定の実施形態では、ヒントトラック又は抽出トラック間のスイッチングポイントを識別することができる。このトラックにおける指示されたスイッチングポイントサンプルの少なくとも１つへのスイッチングを可能にするスケーラブルレイヤの充分なサブセットを含むか又はそれを参照するトラックは、トラック参照コンテナボックスにおけるタイプ‘ｔｓｗｆ’のトラック参照によりこのトラックにリンクされる。これらトラックにおける指示されたスイッチングポイントサンプルの少なくとも１つへのスイッチングを可能にするスケーラブルレイヤの充分なサブセットをこのトラックが含むところのトラックは、トラック参照コンテナボックスにおけるタイプ‘ｔｓｗｔ’のトラック参照によりこのトラックにリンクされる。
ボックスタイプ：‘ｔｓｗｄ’
コンテナ：サンプルテーブルボックス（ｓｔｂｌ）
必須性：なし
量：０又は厳密に１

このボックスは、ヒントトラック又は抽出トラック間の下位−上位レイヤスイッチングポイントのコンパクトなマーキングを与える。テーブルは、サンプル番号の増加する順序で厳密に構成される。トラックスイッチングポイントボックスが存在しない場合には、同期サンプルボックスにおいてシグナリングされる同期サンプル、又はシャドー同期サンプルボックスにおいてシグナリングされるシャドー同期サンプル以外の付加的な下位−上位レイヤスイッチングポイントはない。
class TrackSwitchingPointBox extends Box(tswp'){
unsigned int(32) entry_count;
int i,j;
for (i=0; i < entry_count; i++) {
unsigned int(32) sample_number;
unsigned int(8) entry_count2;
for (j=0; j < entry_count2; j++)
unsigned int(32) src_track_id;
unsigned int(8) entry_count3;
for (j=0; j < entry_count3; j++)
unsigned int(32) dest_track_id;
}
}

このシナリオにおいて、“ｅｎｔｒｙ＿ｃｏｕｎｔ”は、次のテーブルにおけるエントリーの数を与える。“ｓａｍｐｌｅ＿ｎｕｍｂｅｒ”は、スイッチポイントサンプルのサンプル数を与える。“ｅｎｔｒｙ＿ｃｏｕｎｔ２”は、次のテーブルにおけるエントリーの数を与える。“ｓｒｃ＿ｔｒａｃｋ＿ｉｄ”は、現在トラックに含まれたレイヤへストリームをスイッチできるところの下位レイヤを含むトラックのトラック識別子を示す。 “ｅｎｔｒｙ＿ｃｏｕｎｔ３”は、次のテーブルにおけるエントリーの数を与える。“ｄｅｓｔ＿ｔｒａｃｋ＿ｉｄ”は、現在トラックに含まれたレイヤからストリームをスイッチできるところの上位レイヤを含むトラックのトラック識別子を示す。

別のシンタックス定義も考えられることに注意されたい。例えば、ｅｎｔｒｙ＿ｃｏｕｎｔ３と、ｄｅｓｔ＿ｔｒａｃｋ＿ｉｄの値に対する関連ループを省略することができる。更に、‘ｔｓｗｆ’ トラック参照で１つのトラックしか指示されない場合には、ｓｒｃ＿ｔｒａｃｋ＿ｉｄの値に対するループは不要である。又、トラック参照‘ｔｓｗｆ’及び／又は‘ｔｓｗｔ’なしにＴｒａｃｋＳｗｉｔｃｈｉｎｇＰｏｉｎｔＢｏｘシンタックスを独立して使用することもできる。更に、第１又は第２の代替手段を使用してメディアトラックでシグナリングされた情報を再使用し、ヒント又は抽出トラックにおいて下位−上位のレイヤスイッチングポイントを得ることができ、ここで、各ヒント又は抽出トラックに対して、例えば、トラックヘッダ又はサンプルエントリーにおいてレイヤ識別子がシグナリングされる。

ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする別の方法を以下に説明する。第１のこのような別の方法は、新たなネットワークアブストラクションレイヤ（ＮＡＬ）ユニットタイプを使用して、そのＮＡＬユニットタイプのコード化スライスを含むピクチャーがエンハンスメントレイヤの瞬時デコーディングリフレッシュ（ＥＩＤＲ）ピクチャーであることを指示する。ＥＩＤＲピクチャーは、コード化ピクチャーであって、ＥＩＤＲピクチャーと、同じレイヤ（即ち、ＥＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有する）においてデコーディング順序で後続する全てのコード化ピクチャーとのデコーディングを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前に任意のピクチャーからインター予想を行なわずに、実行することができる。ＥＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＥＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。ＥＩＤＲピクチャーでは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しくされない。この別の方法において使用される「同じレイヤ」という語は、デコードされたピクチャーが、ＥＩＤＲピクチャーと各々同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌをもつことを意味する点に注意されたい。最新の草案ＳＶＣ規格に比して同じレイヤにあるという概念の相違は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌが考慮されることである点に注意されたい。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌを考慮することにより、フレームレートの低いレイヤからフレームレートの高いレイヤへの下位−上位レイヤスイッチングを行うことができる。更に、ＥＩＤＲピクチャーのコード化効率が改善される。というのは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌの値が高い参照ピクチャーが、参照ピクチャーリストから自動的に除去され、幾つかの参照ピクチャーリスト再順序付けコマンドがセーブされるか、又は参照ピクチャーインデックスの値が小さくなって、エントロピーコーディングのコーディング効率を改善するからである。

下位レイヤは、スケーラブルコーディングの性質により上位レイヤに依存し得ないので、ＥＩＤＲピクチャーは、同じレイヤ及びそれより上位のレイヤにおけるピクチャーから予想できないが、時間的な下位レイヤを含む下位レイヤからのピクチャーから予想することはできる。これは、次の下位レイヤから、ＥＩＤＲピクチャーの位置においてＥＩＤＲピクチャーを含むレイヤへのレイヤスイッチングを行なうことができる。例えば、次のテーブル１に示すように、新たなＮＡＬユニットタイプを定義することができる。値２２は、新たなＮＡＬユニットタイプとして使用され、そしてＮＡＬユニットタイプ２０の意味は、「スケーラブル拡張における非ＩＤＲピクチャーのコード化スライス」から「スケーラブル拡張における非ＩＤＲ及び非ＥＩＤＲピクチャーのコード化スライス」へと変更される。

テーブル１

この構成は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがシグナリングされるスケーラブル拡張を使用してコード化されるスケーラブルレイヤに適用することができる。Ｈ．２６４／ＡＶＣ規格それ自体は、時間的スケーラビリティを与えるように使用でき、これは、サブシーケンス情報ＳＥＩメッセージを使用してシグナリングすることができる。しかしながら、このケースでは、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌがシグナリングされず、それ故、現在草案のＳＶＣ規格に基づいて全ての時間的スケーラブルレイヤに対してゼロとして推定される。時間的レイヤ間で効率的な下位−上位レイヤスイッチングを可能にし、そしてＨ．２６４／ＡＶＣストリーム適合性を壊さないようにするために、新たなＳＥＩメッセージを使用して、ピクチャーがＥＩＤＲピクチャーであることを指示する。しかしながら、ＳＥＩメッセージを使用することにより、ＥＩＤＲピクチャーの参照管理機能が不可能になり、即ちＳＥＩメッセージにより指示されたＥＩＤＲピクチャーは、下位−上位レイヤスイッチングのために使用できるが、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを「参照として未使用」とマークするようにはしない。これは、ＳＥＩメッセージが規格適合デコーダーに対して任意なものだからである。ＳＥＩメッセージは、次のように指定される。

ＥＩＤＲピクチャーＳＥＩメッセージシンタックス

ＥＩＤＲピクチャーＳＥＩメッセージセマンティックス：前記のセマンティックスは、次の通りである。ＥＩＤＲピクチャーＳＥＩメッセージは、これがもし存在すれば、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがビットストリームに存在せず、ひいては、全てがゼロに等しいと推測されるところのコード化ピクチャーに関連付けられる。又、ターゲットピクチャーは、時間的スケーラビリティハイアラーキーを指示するためにｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍがシグナリングされるサブシーケンス情報ＳＥＩメッセージにも関連付けられる。ＥＩＤＲピクチャーＳＥＩメッセージの存在は、ターゲットピクチャーが次のようなＥＩＤＲピクチャーであることを指示し、即ち、ピクチャー及び同じレイヤ（即ち、０に等しいｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有し、且つＥＩＤＲピクチャーと同じ値のｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍを有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前の任意のピクチャーからインター予想せず、デコードできるようなピクチャーであることを指示する。

“ｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍ”は、サブシーケンス情報ＳＥＩメッセージにおけるシンタックスエレメントｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍと同じセマンティックスを有する。その値は、同じターゲットピクチャーに関連したサブシーケンス情報ＳＥＩメッセージにおけるｓｕｂ＿ｓｅｑ＿ｌａｙｅｒ＿ｎｕｍと同じである。又、ＳＥＩメッセージのシンタックスからシンタックスエレメントｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍを除外することも考えられる。しかしながら、これが行われる場合には、ＥＩＤＲピクチャーがどの時間的スケーラブルレイヤに属するかを知るためには、サブシーケンス情報ＳＥＩメッセージをパーズすることが必要である。

ビットストリームにおいて下位−上位のレイヤスイッチングポイントをシグナリングするための第２の別の実施形態は、ＩＤＲピクチャーの定義を変更し、そしてＩＤＲピクチャーをコード化するための制約を緩和することを含む。この実施形態では、ＩＤＲが次のように変更される。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれもゼロに等しくない場合には、ＩＤＲピクチャーは、ＩＤＲピクチャー及び同じレイヤ（即ち、ＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを各々有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＩＤＲピクチャーの前の任意のピクチャーからインター予想せず、デコーディングできるようなコード化ピクチャーである。更に、このようなＩＤＲピクチャーは、デコーディングプロセスで、同じレイヤにおける全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。さもなければ、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌが全てゼロに等しい場合には、ＩＤＲピクチャーは、ＩＤＲピクチャー及びデコーディング順序で後続する全てのコード化ピクチャーを、デコーディング順序でＩＤＲピクチャーの前の任意のピクチャーからインター予想せず、デコーディングできるようなコード化ピクチャーである。このようなＩＤＲピクチャーは、デコーディングプロセスで、全ての参照ピクチャーを、ＩＤＲピクチャーのデコーディングの直後に「参照として未使用」とマークするようにさせる。

ＩＤＲピクチャーをコード化するための制約（即ち、アクセスユニットにおける全てのピクチャーがＩＤＲピクチャーであるか、又はアクセスユニットのピクチャーはＩＤＲピクチャーでない）は、次のように緩和される。ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しいピクチャーがＩＤＲピクチャーである場合には、同じアクセスユニットにおける他の全てのピクチャーがＩＤＲピクチャーである。ＩＤＲピクチャーをコード化するためのこの緩和された制約のために、ベースレイヤピクチャーが非ＩＤＲピクチャーであるアクセスユニットのエンハンスメントレイヤにＩＤＲピクチャーをもたせることができる。この第２の別の方法で観察できるように、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌのいずれもゼロに等しくないときは、ＩＤＲピクチャーの定義は、上述したようにビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする第１の別の方法のＥＩＤＲピクチャー定義と同じである。それ故、ＥＩＤＲピクチャーの全ての利点が有効となる。ここに定義されるＩＤＲピクチャーのコード化は、次の下位レイヤから、ＩＤＲピクチャーの位置にＩＤＲピクチャーを含むレイヤへのレイヤスイッチングを可能にする。

この特定の構成は、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌがシグナリングされるスケーラブル拡張を使用してコード化されるスケーラブルレイヤに適用することができる。別の方法１と同じ方法を使用して、Ｈ．２６４／ＡＶＣ規格それ自体を使用する時間的レイヤ間の効率的な下位−上位レイヤスイッチングを行うことができる。

ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングする第３の別の実施形態は、ＩＤＲピクチャーをコード化するための制約を緩和し、時間的スケーラブルレイヤに対してＳＥＩメッセージを使用することを含む。この別の実施形態では、ＩＤＲピクチャーの定義は不変であるが、ＩＤＲピクチャーをコード化する制約は、次のように緩和される。

ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの全てがゼロに等しいピクチャーがＩＤＲピクチャーである場合には、同じアクセスユニット内の他の全てのピクチャーもＩＤＲピクチャーである。この緩和は、ＩＤＲピクチャーのコード化が、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの異なる値の間で下位−上位レイヤスイッチングを可能にする。しかしながら、ＩＤＲピクチャーの定義は不変であり、即ちスケーラブルレイヤを指定するのにｔｅｍｐｏｒａｌ＿ｌｅｖｅｌが含まれないので、時間的レイヤ間の下位−上位レイヤスイッチングの問題が未解決のままである。

時間的レイヤ間の下位−上位レイヤスイッチングの問題を解決するために、それらがスケーラブル拡張を使用してコード化されるか、Ｈ．２６４／ＡＶＣ規格それ自体を使用してコード化されるかに関らず、上述した第１の別の実施形態について述べたのと同様にＥＩＤＲピクチャーＳＥＩメッセージを使用して、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位レイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示する。それでも、ＳＥＩメッセージにより指示されるＥＩＤＲピクチャーは、ＳＥＩメッセージが規格適合デコーダーに対して任意のものであるので、参照管理機能を有していない。

ＳＥＩのシンタックスは、ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングするための第１の別の実施形態と同じである。ターゲットピクチャーがＨ．２６４／ＡＶＣ規格それ自体を使用してコード化されるときにはセマンティックスも同じである。ターゲットピクチャーがスケーラブル拡張を使用してコード化されるときには、セマンティックスは、次のように変化する。

ＥＩＤＲピクチャーＳＥＩメッセージの存在は、ターゲットピクチャーが次のようなＥＩＤＲピクチャーであることを指示し、即ち、ピクチャー及び同じレイヤ（即ち、ＥＩＤＲピクチャーと同じ値のｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌを有する）においてデコーディング順序で後続する全てのコード化ピクチャーを、同じレイヤにおいてデコーディング順序でＥＩＤＲピクチャーの前の任意のピクチャーからインター予想せず、デコードできるようなピクチャーであることを指示する。“ｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍ”は、ＥＩＤＲピクチャーのｔｅｍｐｏｒａｌ＿ｌｅｖｅｌを指示する。又、ＥＩＤＲピクチャーがスケーラブル拡張を使用してコード化されるときにはＳＥＩメッセージのシンタックスからシンタックスエレメントｔｅｍｐｏｒａｌ＿ｌａｙｅｒ＿ｎｕｍを除外することもできる。

ビットストリームにおいて下位−上位レイヤスイッチングポイントをシグナリングするための第４の別の実施形態は、全てのスケーラブルレイヤに対してＳＥＩメッセージを使用することを含む。この別の実施形態では、ＥＩＤＲピクチャーＳＥＩメッセージは、ＳＥＩメッセージに関連したターゲットピクチャーが、下位−上位のレイヤスイッチングに使用できるＥＩＤＲピクチャーであることを指示するのに使用される前記第３の別の実施形態で定義されたメッセージと同様である。しかしながら、この特定の実施形態では、ＳＥＩメッセージは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ又はｑｕａｌｉｔｙ＿ｌｅｖｅｌの異なる値の間で下位−上位レイヤスイッチングの問題を解決するのにも使用される。

図３は、ネットワークを通して通信できる多数の通信装置を備えた、本発明を利用できるシステム１０を示す。このシステム１０は、移動電話ネットワーク、ワイヤレスローカルエリアネットワーク（ＬＡＮ）、ブルーツースパーソナルエリアネットワーク、イーサネット（登録商標）ＬＡＮ、トークンリングＬＡＮ、ワイドエリアネットワーク、インターネット、等を含む（これらに限定されないが）ワイヤード又はワイヤレスネットワークの組み合せで構成することができる。システム１０は、ワイヤード及びワイヤレスの両通信装置を含んでもよい。

例示のために、図３に示されたシステム１０は、移動電話ネットワーク１１及びインターネット２８を備えている。インターネット２８への接続は、長距離ワイヤレス接続、短距離ワイヤレス接続、及び種々のワイヤード接続を含み（これらに限定されないが）、このワイヤード接続は、電話線、ケーブルライン、電力ライン、等を含む（これらに限定されないが）。

システム１０の例示的通信装置は、移動電話１２、ＰＤＡ及び移動電話の組合せ１４、ＰＤＡ１６、一体化メッセージング装置（ＩＭＤ）１８、デスクトップコンピュータ２０、及びノートブックコンピュータ２２を含む（これらに限定されないが）。通信装置は、固定でもよいし、又は移動中の個人により携帯されるときには移動でもよい。又、通信装置は、自動車、トラック、タクシー、バス、ボート、航空機、自転車、オートバイ、等を含む（これらに限定されないが）輸送のモードに配置されてもよい。通信装置の幾つか又は全部がコール及びメッセージを送受信でき、そしてベースステーション２４へのワイヤレス接続２５を経てサービスプロバイダーと通信してもよい。ベースステーション２４は、移動電話ネットワーク１１とインターネット２８との間の通信を許すネットワークサーバー２６に接続することができる。システム１０は、付加的な通信装置、及び異なる形式の通信装置を含んでもよい。

通信装置は、コード分割多重アクセス（ＣＤＭＡ）、移動通信用のグローバルシステム（ＧＳＭ）、ユニバーサル移動テレコミュニケーションシステム（ＵＭＴＳ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ｅメール、インスタントメッセージングサービス（ＩＭＳ）、ブルーツース、ＩＥＥＥ８０２．１１、等を含む（これらに限定されないが）種々の送信技術を使用して通信することができる。又、通信装置は、無線、赤外線、レーザー、ケーブル接続、等を含む（これらに限定されないが）種々のメディアを使用して通信することができる。

図４及び５は、本発明を実施できる１つの代表的な移動電話１２を示す。しかしながら、本発明は、１つの特定形式の移動電話１２又は他の電子装置に限定されないことを理解されたい。図４及び５の移動電話１２は、ハウジング３０、液晶ディスプレイの形態のディスプレイ３２、キーパッド３４、マイクロホン３６、イヤホン３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の一実施形態によるＵＩＣＣの形態のスマートカード４６、カードリーダー４８、無線インターフェイス回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を含む。個々の回路及びエレメントは、全て、例えば、ノキアの範囲の移動電話においてこの技術で良く知られた形式のものである。

本発明は、ネットワーク環境内でコンピュータにより実行されるプログラムコードのようなコンピュータ実行可能なインストラクションを含むプログラム製品により一実施形態で具現化される方法ステップの一般的状況において説明された。

一般に、プログラムモジュールは、特定のタスクを実行するか又は特定のアブストラクトデータ形式を具現化するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。コンピュータ実行可能なインストラクション、関連データ構造、及びプログラムモジュールは、ここに開示する方法のステップを実行するためのプログラムコードの例を表わす。このような実行可能なインストラクション又は関連データ構造の特定シーケンスは、このようなステップにおいて説明されるファンクションを具現化するための対応するアクションの例を示す。

本発明のソフトウェア及びウェブの具現化は、種々のデータベースサーチステップ、相関ステップ、比較ステップ、及び判断ステップを実行するためのルールベースのロジック及び他のロジックを伴う標準的なプログラミング技術で達成することができる。又、この説明及び特許請求の範囲で使用する「コンポーネント」及び「モジュール」という語は、１行以上のソフトウェアコードを使用する具現化、及び／又はハードウェア具現化、及び／又は手動入力を受け取るための装置を包含することに注意されたい。

本発明の実施形態の以上の説明は、例示及び説明のためのものである。これは、本発明を余すところなく説明するものでもないし、又、ここに開示した正確な形態に制限するものでもなく、前記教示に鑑み又は本発明を実施することから、種々の変更や修正が可能であろう。前記実施形態は、本発明の原理及びその実際の応用を説明するために選択され、記述されたもので、当業者であれば、種々の実施形態において本発明を利用し、且つ意図された特定の用途に適するように種々の変更をなすことができるであろう。

３つの変数ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの表示値と共にスケーラブルビデオストリームの時間的セグメントを示す図である。図１に示された時間的セグメントに対する典型的な予想参照関係を示す図である。本発明を実施できるシステムの概略図である。本発明の原理を組み込むことのできる電子装置の斜視図である。図４の電子装置の回路図である。本発明のスケーラブルなコーディングハイアラーキーを適用できる共通のマルチメディアデータストリーミングシステムを示す図である。

Claims

ピクチャーのシーケンスをアクセスユニットのシーケンスへとエンコードする方法において、
前記ピクチャーのシーケンスの第１ピクチャーを前記アクセスユニットのシーケンスの第１アクセスユニットへとエンコードするステップであって、前記第１アクセスユニットは、インター予想を使用してコード化された第１コード化ピクチャー及び全てのスライスがＩ又はＳＩスライスである第２コード化ピクチャーを備えるようなステップと、
デコーディング順序において前記第１アクセスユニットの前の少なくとも１つのアクセスユニットを少なくとも１つのコード化された参照ピクチャーへとエンコードするステップと、
前記アクセスユニットのシーケンスへ指示を含めて、前記第２コード化ピクチャーに前記少なくとも１つのコード化された参照ピクチャーを「参照として未使用」とマークするようにさせるステップと、
を備える、方法。
前記コード化ピクチャーに対してコード化レイヤ構造をシグナリングするステップを備え、前記第２コード化ピクチャーは、前記コード化レイヤ構造に従って、前記第１コード化ピクチャーの空間的解像度又はクオリティを向上させる、請求項１に記載の方法。
前記アクセスユニットのシーケンスへ指示を含めて、前記第２コード化ピクチャーにデコーディング順序において前記第１アクセスユニットの前の全てのデコードされた参照ピクチャーを「参照として未使用」とマークするようにさせるステップを更に備える、請求項１又は２に記載の方法。
前記第２コード化ピクチャーが前記指示を備えるように、少なくとも１つのネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに対するＮＡＬユニットヘッダを生成するステップを更に備える、請求項１から３のうちのいずれか１項に記載の方法。
アクセスユニットのシーケンスをデコードされたピクチャーのシーケンスへとデコードする方法であって、前記アクセスユニットのシーケンスは、第１アクセスユニットを含み、前記第１アクセスユニットは、インター予想を使用してコード化された第１コード化ピクチャー及び全てのスライスがＩ又はＳＩスライスである第２コード化ピクチャーを備えるような方法において、
デコーディング順序において前記第１アクセスユニットの前の少なくとも１つのアクセスユニットを少なくとも１つのデコードされた参照ピクチャーへとデコードするステップと、
前記第２コード化ピクチャーを含む前記第１アクセスユニットを第１のデコードされた参照ピクチャーへとデコードするステップと、
前記第２コード化ピクチャーに関連した指示をデコードするステップと、
前記指示をデコードすることの応答として、前記少なくとも１つのデコードされた参照ピクチャーを「参照として未使用」とマークするステップと、
を備える、方法。
ピクチャーのシーケンスをアクセスユニットのシーケンスへとエンコードする電子装置において、
プロセッサと、
前記プロセッサに作動的に接続され、コンピュータプログラムを含むメモリユニットと、
を備えており、前記コンピュータプログラムは、
前記ピクチャーのシーケンスの第１ピクチャーを前記アクセスユニットのシーケンスの第１アクセスユニットへとエンコードするコンピュータコードであって、前記第１アクセスユニットは、インター予想を使用してコード化された第１コード化ピクチャー及び全てのスライスがＩ又はＳＩスライスである第２コード化ピクチャーを備えるようなコンピュータコードと、
デコーディング順序において前記第１アクセスユニットの前の少なくとも１つのアクセスユニットを少なくとも１つのコード化された参照ピクチャーへとエンコードするコンピュータコードと、
前記アクセスユニットのシーケンスへ指示を含めて、前記第２コード化ピクチャーに、前記少なくとも１つのコード化された参照ピクチャーを「参照として未使用」とマークするようにさせるコンピュータコードと、
を備える、電子装置。
前記コード化ピクチャーに対してコード化レイヤ構造をシグナリングするコンピュータコードを更に備え、前記第２コード化ピクチャーは、前記コード化レイヤ構造に基づいて、前記第１コード化ピクチャーの空間的解像度又はクオリティを向上させる、請求項６に記載の電子装置。
前記アクセスユニットのシーケンスへ指示を含めて、前記第２コード化ピクチャーに、デコーディング順序において前記第１アクセスユニットの前の全てのデコードされた参照ピクチャーを「参照として未使用」とマークするようにさせるコンピュータコードを更に備える、請求項６又は７に記載の電子装置。
前記第２コード化ピクチャーが前記指示を備えるように、少なくとも１つのネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに対するＮＡＬユニットヘッダを生成するコンピュータコードを更に備える、請求項６から８のうちのいずれか１項に記載の電子装置。
アクセスユニットのシーケンスをデコードされたピクチャーのシーケンスへとデコードする電子装置であって、前記アクセスユニットのシーケンスは、第１アクセスユニットを含み、前記第１アクセスユニットは、インター予想を使用してコード化された第１コード化ピクチャー及び全てのスライスがＩ又はＳＩスライスである第２コード化ピクチャーを備えるような電子装置において、
プロセッサと、
前記プロセッサに作動的に接続され、コンピュータプログラムを含むメモリユニットと、
を備えており、前記コンピュータプログラムは、
デコーディング順序において前記第１アクセスユニットの前の少なくとも１つのアクセスユニットを少なくとも１つのデコードされた参照ピクチャーへとデコードするコンピュータコードと、
前記第２コード化ピクチャーを含む前記第１アクセスユニットを第１のデコードされた参照ピクチャーへとデコードするコンピュータコードと、
前記第２コード化ピクチャーに関連した指示をデコードするコンピュータコードと、
前記指示をデコードすることの応答として、前記少なくとも１つのデコードされた参照ピクチャーを「参照として未使用」とマークするコンピュータコードと、
を備える、電子装置。
ピクチャーのシーケンスをアクセスユニットのシーケンスへとエンコードする方法において、
前記アクセスユニットのシーケンス内のアクセスユニットの第１サブシーケンスは、第１時間的レベルにあり、
前記アクセスユニットのシーケンス内のアクセスユニットの第２サブシーケンスは、第２時間的レベルにあり、
前記アクセスユニットの第１サブシーケンスは、前記アクセスユニットの第２サブシーケンスとは独立してデコードすることができ、
前記アクセスユニットの第２サブシーケンスは、前記アクセスユニットの第１サブシーケンスに依存しており、
前記第１時間的レベルから前記第２時間的レベルへのスイッチポイントの指示をエンコードするステップを備えており、前記スイッチポイントの指示は、前記アクセスユニットの第２サブシーケンスがデコーディング順序において前記スイッチポイントの前の前記アクセスユニットの第２サブシーケンスにおけるアクセスユニットをデコードする必要なしに前記スイッチポイントから始めてデコードすることができることを指示している、方法。
アクセスユニットのシーケンスを少なくとも１つのファイルへとカプセル化する方法において、
前記アクセスユニットのシーケンス内のアクセスユニットの第１サブシーケンスは、第１時間的レベルにあり、
前記アクセスユニットのシーケンス内のアクセスユニットの第２サブシーケンスは、第２時間的レベルにあり、
前記アクセスユニットの第１サブシーケンスは、前記アクセスユニットの第２サブシーケンスとは独立してデコードすることができ、
前記アクセスユニットの第２サブシーケンスは、前記アクセスユニットの第１サブシーケンスに依存しており、
前記第１時間的レベルから前記第２時間的レベルへのスイッチポイントの指示を前記少なくとも１つのファイルへとカプセル化するステップを備えており、前記スイッチポイントの指示は、前記アクセスユニットの第２サブシーケンスがデコーディング順序において前記スイッチポイントの前の前記アクセスユニットの第２サブシーケンスにおけるアクセスユニットをデコードする必要なしに前記スイッチポイントから始めてデコードすることができることを指示している、方法。
前記スイッチポイントの指示が含まれている補足エンハンスメント情報（ＳＥＩ）メッセージを定義するステップを更に備える、請求項１１又は１２に記載の方法。
ピクチャーのシーケンスをアクセスユニットのシーケンスへとエンコードする電子装置において、
前記アクセスユニットのシーケンス内のアクセスユニットの第１サブシーケンスは、第１時間的レベルにあり、
前記アクセスユニットのシーケンス内の第２サブシーケンスは、第２時間的レベルにあり、
前記アクセスユニットの第１サブシーケンスは、前記アクセスユニットの第２サブシーケンスとは独立してデコードすることができ、
前記アクセスユニットの第２サブシーケンスは、前記アクセスユニットの第１サブシーケンスに依存しており、
プロセッサと、
前記プロセッサに作動的に接続され、コンピュータプログラムを含むメモリユニットと、
を備えており、前記コンピュータプログラムは、
前記第１時間的レベルから前記第２時間的レベルへのスイッチポイントの指示をエンコードするコンピュータコードを備えており、前記スイッチポイントの指示は、前記アクセスユニットの第２サブシーケンスがデコーディング順序において前記スイッチポイントの前の前記アクセスユニットの第２サブシーケンスにおけるアクセスユニットをデコードする必要なしに前記スイッチポイントから始めてデコードすることができることを指示している、電子装置。
アクセスユニットのシーケンスを少なくとも１つのファイルへとカプセル化する電子装置において、
前記アクセスユニットのシーケンス内のアクセスユニットの第１サブシーケンスは、第１時間的レベルにあり、
前記アクセスユニットのシーケンス内の第２サブシーケンスは、第２時間的レベルにあり、
前記アクセスユニットの第１サブシーケンスは、前記アクセスユニットの第２サブシーケンスとは独立してデコードすることができ、
前記アクセスユニットの第２サブシーケンスは、前記アクセスユニットの第１サブシーケンスに依存しており、
プロセッサと、
前記プロセッサに作動的に接続され、コンピュータプログラムを含むメモリユニットと、
を備えており、前記コンピュータプログラムは、
前記第１時間的レベルから前記第２時間的レベルへのスイッチポイントの指示を前記少なくとも１つのファイルへとカプセル化するコンピュータコードを備えており、前記スイッチポイントの指示は、前記アクセスユニットの第２サブシーケンスがデコーディング順序において前記スイッチポイントの前の前記アクセスユニットの第２サブシーケンスにおけるアクセスユニットをデコードする必要なしに前記スイッチポイントから始めてデコードすることができることを指示している、電子装置。
ビデオビットストリームにおいて下位レイヤから上位レイヤへのスイッチングを可能にするストリーミングサーバにおいて、
アクセスユニットのシーケンスを備える前記ビデオビットストリームを受け取るための第１ユニットであって、前記アクセスユニットのシーケンス内のアクセスユニットの第１サブシーケンスは、第１時間的レベルにあり、前記アクセスユニットのシーケンス内のアクセスユニットの第２サブシーケンスは、第２時間的レベルにあり、前記アクセスユニットの第１サブシーケンスは、前記アクセスユニットの第２サブシーケンスとは独立してデコードすることができ、前記アクセスユニットの第２サブシーケンスは、前記アクセスユニットの第１サブシーケンスに依存している第１ユニットと、
少なくとも１つのファイル内へ前記第１時間的レベルから前記第２時間的レベルへのスイッチポイントの指示を識別するための第２ユニットであって、前記スイッチポイントの指示は、前記アクセスユニットの第２サブシーケンスがデコーディング順序において前記スイッチポイントの前の前記アクセスユニットの第２サブシーケンスにおけるアクセスユニットをデコードする必要なしに前記スイッチポイントから始めてデコードすることができることを指示している第２ユニットと、
前記下位から上位レイヤへのスイッチングポイントにおいてスケーラブルレイヤのサブセットの送信からスケーラブルレイヤのより大きなサブセットへスイッチングするための第３ユニットと、
を備える、ストリーミングサーバ。