JP5916624B2 - マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング - Google Patents

Description

〈関連出願への相互参照〉
本願は、ここに参照によってその全体において組み込まれる、２０１０年１月６日に出願された、米国仮出願第６１／２９２，７４１号の優先権を主張するものである。

〈分野〉
本開示は、マルチ−レイヤ化されたビデオシステムに関する。より詳細には、マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミングに関する。

近年、ビデオメディアの配信のためにマルチ−レイヤ手法を検討する、いくつかのアプリケーション及びシステムが存在する。そのようなアプリケーションやシステムは、ＳＮＲや解像度、又は一時的なスケーラブルシステムだけでなく、マルチビュー（多視点）や３Ｄ／ステレオビデオ、ビット深度及び高ダイナミックレンジ（ＨＤＲ）アプリケーションなどを特に含みうる。そのようなアプリケーションやシステムは、復号のためにかなりの計算リソースを要求し、又は配信中のネットワークにおけるバンド帯域の変化により影響を受けるだろう。

D. C. Hutchison, "Introducing DLP 3-D TV", http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf ISO/IEC JTC1/SC29/WG11, "Text of ISO/IEC 14496- 10:200X/FD AM 1 Multiview Video Coding", Doc. N9978, Hannover, Germany, July 2008. M. Hemy, U. Hengartner, P. Steenkiste, T. Gross, "MPEG System Streams in Best-Effort Networks", PacketVideo 1999. T. Meier, K. N. Ngan, "Improved single VO rate control for constant bit-rate applications using MPEG-4", Visual Communications and Image Processing 2000, Proceedings of SPIE Vol. 4067, 2000. Christian Timmerer, "Generic Adaptation of Scalable Multimedia Resources", VDM Verlag Saarbrucken, Germany, 2008.

立体ビデオの配信は、コンテンツプロバイダのかねてからの目標であった。例えばＤＬＰｓ［ここに参照によってその全体において組み込まれる非特許文献１］を可能とする３Ｄ、及び三菱やサムスンによるプラブマディスプレイのようなディスプレイ技術の最近の革新は、立体ビデオを配信するための効率的な技術を開発する緊急性を増加させた。

適応的に復号するマルチ−レイヤビデオシステムであって：ベースレイヤデコーダと；１つ以上のエンハンスメントレイヤデコーダと；前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する。

３Ｄビデオ復号フレームワークのシステム概観を示す図である。 ３Ｄビデオ復号フレームワークのシステム概観を示す図である。 本開示の教示に従うスケーラブル復号アーキテクチャのブロック図である。 本開示の教示に従うスケーラブル復号アーキテクチャのブロック図である。 開示の実施形態に従う完全復号モード（ＦＤＭ−０）を示す図である。 ピクチャの復号依存を示す図である。 開示に従うさらなる復号モード（ＦＤＭ−１）を示す図である。 開示に従う他の復号モード（ＦＤＭ−２）を示す図である。 開示に従うさらに他の復号モード（ＦＤＭ−３）を示す図である。 図７の復号モードの省略単純化を示す図である。 開示に従うまたさらなる復号モード（ＦＤＭ−４）を示す図である。 図９の復号モードの省略簡単化を示す図である。 本開示の教示に従うスケーラブル復号アルゴリズムを示す図である。 本開示の教示の操作モードを説明する高レベルの言語手順を示す図である。 開示のさらなる実施形態に従うスケーラブルパケット化のブロック図である。

第１実施形態によれば、適応的に復号するマルチ−レイヤビデオシステムであって：ベースレイヤデコーダと；１つ以上のエンハンスメントレイヤデコーダと；及び前記ベースレイヤデコーダと前記１つ以上のエンハンスメントレイヤデコーダとに接続される復号アダプタとを含み、前記復号アダプタは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する。

第２実施形態によれば、マルチ−レイヤビデオシステムの適応的な復号方法であって：ビデオ情報を読み込む段階と；前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から１つの復号モードを選択する段階と；前記選択された復号モードに従ってマルチ−レイヤシステムの１つ以上のレイヤの前記ビデオ情報を復号する段階と；それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と；及び次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む。

第３実施形態によれば、ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって：ベースレイヤビデオパケット化器と；１つ以上のエンハンスメントレイヤパケット化器と；及び前記ベースレイヤパケット化器と前記１つ以上のエンハンスメントレイヤパケット化器とに接続されるパケット化アダプタとを含み、前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器の演算を制御する。

さらに、開示の実施形態は、本出願の明細書、図面及び請求項において提供される。

図１Ａ及び図１Ｂは、ベースレイヤ復号と、エンハンスメントレイヤ復号が示される、復号システムの概観を説明する。図１Ａの復号システムを実施するアーキテクチャの一例は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４標準のステレオハイプロファイル（ＳＨＰ）である。このプロファイルは、標準仕様をサポートするステレオビデオ符号化を追加した、ＭＰＥＧ−４ ＡＶＣのマルチビュービデオ符号化を拡張した特別なケースである。例えば、ここに参照によってその全体において組み込まれる、非特許文献２を参照されたい。図１Ｂの復号システムを実施するアーキテクチャの一例は、ドルビーのフレーム互換フル解像度（ＦＣＦＲ：Frame Compatible Full Resolution）システムである。例えば、２００９年４月２０日に出願された、米国仮出願"Directed Interpolation and Data Postprocessing"と、２００９年７月４日に出願された、米国仮出願"Encoding and Decoding Architectures for Format Compatible 3D Video Delivery",を参照されたい。両方の出願とも、ここに参照によってその全体において組み込まれる。ＭＰＥＧ−４ ＡＶＣ ＳＨＰにおいて、各ビューは、別々のレイヤに記憶される。ドルビーのＦＣＦＲのベースレイヤは、各ビューからのサンプル数の半分が記憶され、例えば、特にチェッカーボードや並行してインタリービングするように、異なるインタリービング方法により構築されてもよい。エンハンスメントレイヤは、２つのビュー（各ビューに対して他の半分のサンプル）の残りの情報を提供する。復号システムは、フル解像度における２つのビューを生成するために、両方のレイヤから出力されるピクチャを合成する。

図１Ｂのシステムにおいて、参照処理ユニット（ＲＰＵ：reference processing unit）が示される。ＲＰＵは、高品質の参照ピクチャを生成するためにベースレイヤからの出力ピクチャを処理する。その参照ピクチャは、エンハンスメントレイヤの動き補償予測のために後に用いられてもよい。図１に示されるポスト処理ユニットもまた、装置に含まれてもよい。３Ｄアプリケーションの例において、ポスト処理ユニットは、２つのデコーダの出力を合成することにより、各ビューのフル解像度ピクチャを生成することができる。

本開示の実施形態は、図１３に関して、後述されるような複雑度（計算量）により適応的に復号し、ストリーミングすることを導入する。既に上述されたように、そのような技術は、例えば、リアルタイム再生や、ハイエンドからローエンドの処理システムに及ぶ様々なプラットフォーム上の３Ｄビデオ符号化システムのストリーミングのために利用されうる。本開示の教示事項は、他にも適用でき、Ｓｅｎｓｉｏ、Ｒｅａｌ−Ｄのような会社により明らかにされた３Ｄソリューション、又は同様のスケーラブルコンセプトを実施する他のソリューションのような同様のスケーラブルソリューションにも適用することができる。当業者は、本開示の教示事項が３Ｄへの適用のみに限定されるものではなく、特に高ダイナミックレンジのスケーラブルソリューションを含む、品質スケーラブルシステム、ビット深度スケーラビリティにも適用可能ということを理解するであろう。

本開示のさらなる適用は、非特許文献３−５に記載されたような異種で様々なネットワークを介して、シームレスビデオストリーミングにも向けられる。非特許文献３−５は、ここに参照によってその全体において組み込まれる。

本開示のいくつかの実施形態によれば、複雑度（計算量）の計量と、適用的なメカニズムとが提供される。図２Ａと図２Ｂは、ベースレイヤデコーダ、ＲＰＵ、及びエンハンスメントレイヤデコーダの操作（演算）を制御する復号適応モジュールを示す。図２Ａの実施形態において、ベースレイヤデコーダと１つ以上のエンハンスメントレイヤデコーダとが示される。図２Ｂの実施形態において、ＲＰＵが考慮されている。

特に、ベースレイヤデコーダとエンハンスメントレイヤデコーダのそれぞれに対し、復号適用モジュールは、完全復号モード、単純化した復号モードの実行を可能にし、又はその復号モード全てのスキップの実行を可能にする。同様に、ＲＰＵにとって、復号適用モジュールは、完全なフィルタリング、部分的なフィルタリング、又はＲＰＵステップ全てをスキップすることを可能にする。

図２Ａ及び図２Ｂの復号適応ブロック（復号アダプタ）は、ベースデコーダ、エンハンスメントデコーダ、及びＲＰＵのような全ての他のブロックからフィードバックを受けるために適合される。復号適応ブロックに渡される情報は、復号の複雑度、ブロック間の依存度、又は（ビットストリーム分析又はビットストリームに存在しうるメタデータを通して）符号化ユニット、電力消費及びビデオ品質についての情報も含むことができる。品質の推量は、今まで導入された歪みと、所定の決定が後でなされる場合に生じうる歪みとを含んでもよい。そのような情報は全て、どのモジュールがどれくらい影響されるべきかを決定するために、復号を適応的に実行するためのモジュール内で処理される。同様の事項が、図１３に関して後述されるように、（ネットワーク特性を含む）実施形態のストリーミングに関しても検討される。

以降の段落で説明される例において、異なる複雑度を伴う、６つの異なる復号モードが検討される。しかし、当業者であれば、任意の数の異なる復号モードを検討しうることを理解するだろう。以降の図面の例は、１つのエンハンスメントレイヤ及びＲＰＵを説明するが、当業者であれば、所望されれば、ＲＰＵは任意のものであり、１つ以上のエンハンスメントレイヤが提供されうることを理解するだろう。

図３は、復号モードの第１実施形態を示す。ここで、最も計算的に複雑なモード（完全復号モードとも称す）は、ベースレイヤとエンハンスメントレイヤとの両方に適用される。そのようなモードは、本開示を通してＦＤＭ−０として称されるだろう。制御された品質損失を伴う一方で、最も速い復号モードを用いるとき、ピクチャ品質は低下するだろう。

図４は、復号処理におけるピクチャ依存度を示す。例えば、処分可能な両予測ピクチャ（Ｂ）は、予測ピクチャ（Ｐ）に依存するが、参照ピクチャとして用いられない。それゆえ、そのようなＢピクチャを復号するときに発生したエラーは、他のピクチャの復号処理に影響を与えないであろう。Ｐピクチャは、後続のＰピクチャやＢピクチャのために参照ピクチャとして用いられうる。Ｐピクチャ内のエラーは、そのＰピクチャに依存する次のＰピクチャやＢピクチャに伝播するだろう。そして、さらに悪いことに、この種のエラーは、グループオブピクチャ（ＧＯＰ）全体に伝播するだろう。ここで注意すべきことは、Ｂに符号化されたピクチャは処分可能ではあるが、動き補償予測のために参照ピクチャ（この図では、ＢＲピクチャとして定義される）として用いられてもよい。同じことが、イントラ符号化ピクチャ（Ｉ）や単一方向符号化ピクチャ（Ｐ）に対してもあてはまる。過去の符号化標準において、ＩとＰはいつも参照ピクチャとして用いられるが、Ｂピクチャは処分可能であった。ＭＰＥＧ−４ ＡＶＣにおいて、このケースは、もはやそうではない。ピクチャのどんな種類でも、処分可能として信号化されてもよい。

通常独立して復号することができる、２つのイントラ（Ｉ）符号化ピクチャ間での画像は、１つの単一ＧＯＰに属するように一般的に検討される。ＭＰＥＧ−４ＡＶＣにおいて、イントラ符号化ピクチャは、瞬時デコーダリフレッシュ（ＩＤＲ：Instantaneous Decoder Refresh）ピクチャとなってもよく、又はランダムアクセスユニットとして信号化されてもよい。結果として、符号化構造の図示された例に対し、ＰピクチャはＢで符号化されたピクチャよりも重要である。同様の依存度は、固定又は適応的なＧＯＰ群の階層的な符号化構造を用いるときにも存在しうる。

それゆえ、本開示の或る実施形態によれば、まずは、処分可能なピクチャの復号の複雑度（復号計算量）を削減するためになされるだろう。復号スピードがまだ目標復号スピードよりも遅く、現在参照ピクチャの復号の複雑度が、与えられた閾値よりも高ければ、そのときは、その参照ピクチャの復号の複雑度は低減されるだろう。その参照ピクチャの復号の複雑度は、ＧＯＰ内の将来のピクチャへの影響に依存する。復号モードは、例えば、ピクチャレベルだけの代わりに、ＧＯＰレベルのように、より高いレベルに基づいて決定されることもできる。換言すると、復号モードは、一度に１つのピクチャで決定する代わりに、ＧＯＰレベルで、または一度にＮピクチャ毎に決定することができる。つまり、デコーダ（又は図１３で後に説明されるストリーミングの場合のサーバ）は、その複雑度の性能（又はストリーミングの実施形態におけるネットワークバンド帯域）を評価することができ、かつ、現在のＧＯＰ内のピクチャ全てに影響を与える決定をすぐにすることができる。つまり、次のことが言える。デブロッキングは、全てのエンハンスメントレイヤのピクチャに対してスキップされてもよいし、ＧＯＰ内の全てのピクチャに対しエンハンスメントレイヤのデブロッキングは行わなくてもよい（又は図１３のストリーミングの場合に対して任意のエンハンスメントレイヤの情報を送信しない）。また、ＧＯＰ内の依存度を分析し、完全に、又は全部ではなく部分的に（どんなレベルでも）復号されるべきピクチャはどれかを決定することに基づく。そのような場合、その決定は、広範囲（グローバル）のレベルで行われる。しかし、これは、局所的（ローカル）レベル（ピクチャ又はスライス）でも実行されうる追加的な細かい単位を排除するものではない。それゆえ、その処理は、局所的、広範囲、又は局所的と広範囲との組み合わせで行うことができる。

図５は、ＦＤＭ−０モードよりも複雑ではなく、ここではＦＤＭ−１として称される、第２復号モードを説明する。第２復号モードによれば、エンハンスメントレイヤでの復号が単純化される。例を用いると、非参照ピクチャ（通常Ｂピクチャ）のデブロッキング処理は、単純化又は削除することができる。例えば、デブロッキング処理は、システムによって特定されたデブロッキングフィルタリングメカニズムよりも簡単なデブロッキングフィルタリングメカニズムを用いることで単純化することができる。或る色成分だけのデブロッキング処理を単純化したり行わなかったり、また、或るスライスだけのデブロッキング処理を単純化したり行わなかったりする。

デブロッキング処理をいつ、どのように修正するかの決定は、複雑度だけではなく、ピクチャに影響する品質にも依存する。その決定は、復号中に集められたピクチャやＧＯＰについての情報に基づく。例を用いると、その決定は、ピクチャやスライスの動きに基づいたり、そのような処理にヒントを与える、ビットストリーム内のメタデータのような信号化された情報に基づいたりできる。

図５に示すＦＤＭ−１モードを用いると、復号処理は、一般的にピクチャ品質の損失を少し犠牲にして、ＦＤＭ−０と比較してスピードアップする。なぜなら、このモードは、処分可能な非参照ピクチャにだけ影響を与え、この単純化した復号処理によるエラーは、後続の復号ピクチャに伝播しないからである。

図６は、ＦＤＭ−２として称される、ＦＤＭ−１と比較して単純な復号モードである。ＦＤＭ−２のモードによれば、ベースレイヤとエンハンスメントレイヤとの両方での復号が単純化される。例を用いると、ベースレイヤとエンハンスメントレイヤとの両方で、非参照ピクチャのデブロッキング処理が単純化されるか、省略される。これは、ベースレイヤの歪みだけでなく、ＲＰＵにより提供される参照ピクチャの変更のせいで、エンハンスメントレイヤにおいてさらなる歪みを生じうることになる。しかし、そのようなフレームは、任意の他のピクチャの参照ピクチャとして用いられないので、復号中にドリフトするという結果にはならないであろう。ベースレイヤとエンハンスメントレイヤに対する単純化方法は異なってもよく、ＦＤＭ−１を参照し、上述した単純化方法のいずれか１つであってもよいということに注意すべきである。

図５と図６に示される、ＦＤＭ−１とＦＤＭ−２の復号方法は、復号スピードが目標スピードよりもわずかに遅い場合に用いることができる。

図７−１０は、（ＦＤＭ−３とＦＤＭ−４と呼ばれる）２つの追加的な速い復号モードを示す。それらの復号モードは、復号処理をさらに単純化するという結果を生じうる。

図７は、復号モードＦＤＭ−３を説明する。ここで、エンハンスメントレイヤは、非参照又は処分可能なピクチャを復号するときに、その残差を復号する処理を追加的に単純化することを通じて単純化される。その残差復号処理は、エントロピー復号、逆変換、及び逆量子化のようなサブ処理を含む。それゆえ、そのような処理のいずれを単純化するかによって、異なる方法が存在する。また、１つ以上の上記のサブ処理を単純化することで、異なる方法が存在する。さらに、残差復号は、異なるスライスに対して単純化することができ、各スライスは、メタデータや分析に基づく異なる単純化方法を用いることができる。

具体的な実施形態において、全体の残差復号処理は、図８に示されるように省略されてもよい。この場合、ＲＰＵ処理の出力は、エンハンスメントレイヤの出力として得られるだろう。３Ｄビデオ符号化の場合では、デコーダは、ポスト処理ステップで、ベースレイヤの出力と、ＲＰＵユニットの出力とを共に多重化することで、フル解像度のピクチャを生成するだろう。

復号モードＦＤＭ−３は、いくつかの追加された歪みを導入するだろう。なぜなら、圧縮されたビットストリームの残差部分に記憶される高周波数の信号は、エンコーダ側のその信号と一致しないからである。しかしながら、エラー伝播は、生じないだろう。さらに、そのエラーは、メタデータが単純化方法を支援するために用いられる場合、また、その単純化方法が適応的な内容である場合には、実施形態において上手く制御されることができる。例えば、残差復号処理を単純化することでの歪みの品質は、スライスレベルに基づいてエンコーダ側で測定することができ、この情報は、メタデータとしてビットストリームに埋め込むことができる。デコーダ側において、デコーダは、歪み情報によらず、或る単純化を実行可能とする決定を行うことができる。歪み情報の代わりに、異なるスライスやピクチャ間の依存度も提供されうる。一方で、その歪み情報は、単純化復号方法が検討されるならば、ビットストリームに導入されうる潜在的歪みのもっともな推定値でありうる。図１３で後述されるストリーミングの実施形態において、エラー制御は、或る情報を信号化しなくても行うことができる。

異なる実施形態において、１つのピクチャ内の或るスライスだけが復号のために選択されうる。また、これらのスライス内のマクロブロックの所定数が復号された後に、又は所定時間が経過した後に、全てのスライスの復号が、並行して開始したり停止したりしうる。復号されていない残りの領域に対して、図８に示すように、ＲＰＵからの信号が代わりに用いられうる。

図９は、ここではＦＤＭ−４と称される、さらなる復号モードを説明する。この実施形態によれば、ＲＰＵ処理、（残差復号とデブロッキングのような）そのエンハンスメントレイヤの復号、及びエンハンスメントレイヤでの非参照ピクチャのポスト処理が単純化できる。特に、単純化処理は、特定されたフィルタよりも異なる内挿フィルタを用いることを必要とするだろう。単純化処理は、ぜいたくなサブピクセル位置を用いるマクロブロックを復号せず、信号を処理するＲＰＵに戻り、両予測、又は重み付け予測などを用いるマクロブロックを復号しない。その単純化は、各サブ処理、又は各スライスで機能することができる。ＲＰＵ処理もまた、特定されたフィルタよりも異なるフィルタを用いることで単純化することができる。例えば、短いフィルタは、長いフィルタの代わりに用いられるであろう。１Ｄフィルタは、２Ｄフィルタの変わりに用いられるであろう。固定のフィルタは、明示的なフィルタの代わりに用いられるであろう。これらのフィルタは、完全なピクチャ、領域（異なるフィルタは、異なる領域に対してＲＰＵ内で信号化することができる）、又は色成分レベルに対して、選択されうる。

図１０は、図９の実施形態の特別なケースを示す。ここで、ＲＰＵ処理、残差復号処理、及びデブロッキング処理が省略される。そのＦＤＭ−４の処理は、エンハンスメントレイヤが既に完全に省略され、ベースレイヤが非参照ピクチャに属する場合に、ベースレイヤに拡張することもできる。

上記図や実施形態に示された単純化処理は、参照ピクチャにも拡張できる。１つ以上の上記実施形態を使用しても、まだ十分なデコーダの複雑度や所望のストリーミング機能の結果にならならいときにも単純化処理を拡張することができる。上記実施形態を参照ピクチャに拡張する復号モードは、ここではＦＤＭ−５として称されるだろう。これは、最速の復号モードであり、ベースレイヤ、エンハンスメントレイヤ、その両方に用いることができる。そのような場合、単純化は制御された方法で行われないと、悪いアーティファクトが生じるかもしれない。例えば、ＧＯＰ内のどのピクチャか、復号を単純化するせいで影響をうける品質がどうなるか、さらに、複雑度とストリーミングとの関係を検討することがもしあれば、このピクチャに適用されるべき処理の選択においてかなりの支援となりうる。例えば、ＧＯＰの終わり近くのピクチャは、例え参照ピクチャであっても、ＧＯＰ内で早く出現するピクチャよりも容易に犠牲にされるであろう。なぜなら、終わり近くのピクチャの品質は、多くのピクチャに対して伝播しないからである。さらに、ベースレイヤにおける参照ピクチャに影響を与える前に、（単純化や省略化を通して）エンハンスメントレイヤにおける参照ピクチャに実行することが望ましい。

特に、現在のピクチャが参照ピクチャであるとき、そのピクチャの復号の複雑度は、以降の段落で説明されるように、できるだけ品質損失を少なくするために推定されるだろう。一方で、品質損失を少なくすると同時に、復号スピードの増加を最大にする。

そのようなピクチャの復号の複雑度が一旦知られたり、推定されたりすると、（例えばメタデータを介して与えられた）ピクチャの歪みを示すためのサイド情報がなくても、復号処理は、次のように処理することができる。もし、そのピクチャの復号処理に対して推定された複雑度が、第１閾値Ｔ^０ _{ＦＤＭ−５}よりも低い場合、システムの復号能力に対して、その複雑度が十分に低いことを意味し、そのときは復号処理に何も変化させない。それ以外で、推定された複雑度が、第１閾値よりも高いが、第２閾値Ｔ^１ _{ＦＤＭ−５}よりも低い場合、その複雑度は、低すぎ、高すぎのいずれでもないことを意味し、そのときは復号処理の初期単純化、デブロッキング処理の単純化のような処理を行う。もし、それ以外で、その複雑度が、第２閾値よりも高い場合、そのときはさらに単純化、残差復号処理及びデブロッキング処理の単純化のような処理を行う。

上記の実施形態は、ピクチャレベルで説明されている。しかしながら、異なる実施形態が提供されうる。ここで、提案された符号モードの全ては、例えば、サブ−ピクチャ／領域レベルである、スライスレベルで適用できる。スライスレベルでの適用は、参照ピクチャ及び非参照ピクチャの両方に生じうる。参照ピクチャのために用いられる上述された閾値は、ビットストリームの復号中に、以前の観察、１つのピクチャの復号のために割り当てられた平均時間、及びこの割り当てを超えないで復号することを保証するために現在ピクチャのために利用できる時間などに基づいて計算される。

加えて、所望すれば、システムは、一度に一つのピクチャ又はスライスを検討する代わりに、複数のピクチャ群に対して決定してもよく、これらのピクチャに対して一緒にそのような決定を実行してもよい。複数のピクチャに対してデコーダの複雑度をスキップしたり減らしたりして複雑度を省略することは、他のピクチャに対して用いられる処理を省略するという結果につながるだろう。複数のピクチャに対する省略処理は、現在の品質よりも主観的な品質にさらに重要な影響を与えるだろう。複数のピクチャを省略するか否かを決定することは、ビットストリームのメタデータ、又は推定された所定のビットストリーム情報に提供されるピクチャの類似性に基づくことができる。ビットストリーム情報は、例えばビットストリーム内で利用可能な動きベクトルである。もし、例えば、２つの連続するピクチャの動きベクトルが同様であれば、そのとき、これらのピクチャは、類似するであろうことが知られており、同様の方法を用いて一緒に単純化（例えば省略）することができる。

上記説明した単純化を制御的に適用するスケーラブル復号手順の実施形態は、図１１に示される。復号モードは、ピクチャの読み込み後に最初に設定される。復号モードの設定の仕方の例は、後述する図１２を参照して説明されるだろう。もし、選択された復号モードが、参照ピクチャの単純化を提供する、最も速い復号モードＦＤＭ−５であるなら、上記の通り、復号の複雑度も推定される。復号モードＦＤＭ−５の説明に関して既に注意したように、復号の複雑度の推定、及び推定後の閾値パラメータとの比較処理は、ＦＤＭ−５の復号モード内で実行するいずれかの単純化処理に対して、制御された選択を可能にする。そして、スライス、ピクチャ、又はＧＯＰは、選択された復号モードに従って復号される。そして、復号時間の平均は、後述される式に従って更新される。そして、その処理は、復号が終了するまで繰り返される。

図１２に移り、開示に従って使用されるアルゴリズムが設定された復号モードの一例が説明される。もし、平均復号時間（Ｄｅｃｔｉｍｅ_ａｖｇ）が、第１閾値Ｔ_０よりも大きい場合、復号の複雑度は、単純なバージョン（ＤｅｃＭｏｄｅ＝ＤｅｃＭｏｄｅ＋１）に復号モードを変更することで低減されるだろう。もし、平均復号時間が第２閾値Ｔ_２（Ｔ_２＞Ｔ_０）よりも大きい場合、現在ピクチャの復号がかなり遅いことを意味し、復号モードは、最も低い複雑度、例えば上述したＦＤＭ−５のようなモードに設定される（ＤｅｃＭｏｄｅ＝ＦＤＭ−５）。もし、平均復号時間が、閾値Ｔ_０よりも大きくなく、かつ閾値Ｔ_１よりも小さい場合、復号が速すぎることを意味し、復号の複雑度は、ピクチャ品質を良くするために増加されるだろう。もし、他方で、平均復号時間が閾値Ｔ_０よりも大きくなく、かつ閾値Ｔ_１よりも大きい場合、前に用いられた復号の複雑度が維持される（Ｋｅｅｐ ｔｈｅ ＤｅｃＭｏｄｅ）。

以降の段落で、４つの式が、図１１及び図１２に関連する処理をより理解するために議論される。式（１）は、図１１のフローチャートにおいて平均復号時間をどのようにして更新するかを説明する。他方、式（２）−（４）は、復号の複雑度をどのようにして推定するかを説明する。

特に、式（１）は、平均復号時間ＤｅｃＴｉｍｅ_Ａｖｇがどのようにして更新されうるのかの一例を説明する。αは、更新スピードを制御する係数であり、ピクチャ群（ＧＯＰ）の長さに依存する。例の方法では、αは、ＧＯＰが長くなるほど小さくなる。

図１１の復号の複雑度の推定ステップに移り、そのような処理は、２つの部分を含みうる。

第１部分において、ＲＰＵ処理の複雑度が推定される。そのような複雑度は、フィルタタイプ及び部分領域に依存し、例えば式（２）により計算されうる。完全なピクチャのＲＰＵ処理の複雑度は、全ての部分の複雑度の合計である。

第２部分は残差復号の複雑度の推定を取り扱う。そのような推定は、符号化ビットの数と、スライスタイプとに依存し、推定を介して、式（３）により計算されうる。例えば、その推定は、ルックアップテーブルを用いる。そのようなテーブルは、前の復号統計を考慮し、同じサイズで異なるスライスタイプの復号時間のために作成されうる。

全体の複雑度は、式（４）により推定されうる。ここで、式（２）及び式（３）の結果が考慮され、βは、完全な復号処理と比較したＲＰＵ処理の複雑度の割合に対応する重み係数である。βは、集められた統計に基づいて計算される。

メタデータ情報は、例えば、ＳＥＩ（Supplemental Enhancement Information）メッセージ、ＭＰＥＧ−４又はＭＰＥＧ−２トランスポート、又はユーザがメッセージを特定したプログラムレイヤを用いて、又は他のメカニズムを通して信号化される。メタデータは、スライス、ピクチャ、又はＧＯＰの歪みの影響についてのサイド情報を提供するために用いることができる。このような付加的な情報は、上述したＦＤＭ−５モードの制御時にできるだけ単純化するよう決定するのに役に立つだろう。例えば、デコーダは、各スライス又はピクチャの品質の測定値、及び／又はピクチャ依存度、及び任意の単純化されたデコーダがメタデータとして品質又は複雑度に対して持っているだろう影響を受け取ることができる。この情報が与えられると、デコーダは参照ピクチャに対してさえも以下の事を決定することができる。すなわち、わずかな歪みを生じるだけではあるが、デコーダ全体の複雑度に重要な影響を与える、第１影響スライスにより、デコーダの単純化処理がどのように行われるかを決定することができる。決定は、歪み又は複雑度のみに基づくだけでなく、例えば、ラグランジュ最適化方法を用いる統合した決定に基づいてもよい。

図１２の例において、ＳｅｔＤｅｃｏｄｉｎｇＭｏｄｅアルゴリズムは、タイミングに基づくパフォーマンスを特定するのみであり、直接的に品質に影響を与えるわけではないことに注意が必要である。さらなる実施形態では、品質をもっと直接的に制御することが可能である。例えば、２つの方法が復号時間を同じように削減するという結果であれば、歪みがより小さい方の方法が選択されればよい。代わりに、少なくともＮ％の複雑度を削減する全てのモードを検討し、それらのモードが一緒に評価され、Ｊ＝Ｄ＋Ｃが最善の性能となる方法が選択されればよい。ここで、Ｄは、導入された歪みであり、Ｃは、複雑度であり、λはラグランジュの乗数である。

どんな単純化もなされていない又は無事な場所、ＧＯＰ及び予測関係などのような付加的な情報は提供することができる。ピクチャの複雑度についての情報も、メタデータを通して提供することができる。しかしながら、或るケースでは、複雑度は、ビットストリームを分析することで、（メタデータの存在があっても）計算されたり、厳密化されたりする必要があるかもしれない。

本開示の実施形態は、複雑度の推定処理を考慮しているが、そのような処理は、完全な復号演算を実行するよりも依然として複雑度を低くすることができる。

特に、スライスレベルでの複雑度の推定値は、そのスライスを占めるビット数でまず試してみることで得ることができる。その推定値が十分でなければ、部分的、又は完全なエントロピー復号のみが実行される。そうすることで、ヘッダー情報のビットｖｓテクスチャビットの決定を可能にする。ビットストリームが多くのヘッダービットを含む場合、多くの動きベクトルが存在することを意味し、ビットストリームにおいて許容される限り、動き補償及びデブロッキングのために実行されるべき多くの処理があることを暗示するだろう。他方、テクスチャ情報が重要である場合、変換と量子化処理のための復号をしている間に多くの時間が費やされることを暗示するだろう。

上述された複雑度の分析は、本開示で説明された任意のレイヤ及び任意のモードに対して影響を与えうる。

もし、さらなる情報が必要であれば、ピクチャの復号の複雑度についてより良い推定値を得るために、完全な動き補償処理を実行せずに、ビデオの動き情報だけを復号することができる。もし、この推定値が満足するものであれば、そのときは、ピクチャの完全な復号は続き、そうでなければ、残りの復号ステップ全ては、上述したように省略されたり、単純化されたりすることができる。

本開示で教示することは、ローエンド（Low end）プラットフォームのような異なるプラットフォーム上で、リアルタイム復号及び３Dビデオ符号化画像のストリーミングのために用いることができる。例えば、ビデオデコーダ、再生装置、及び高解像度の立体ビューを表示可能なディスプレイ装置に上記技術を用いることもできる。

本開示で教示することは、ネットワーク伝送のバンド帯域及びクライアントの復号能力を考慮するビデオストリーミングサーバにも用いることができる。ビデオストリーミングサーバに生じる処理の一般的な説明は、図１３に示される。

ストリーミングに適用する場合、以前の図面を参照して説明したことと同様であり、サーバは、クライアントのために最善の品質を保とうとする間、パケット損失率及びクライアントからの遅延を含むフィードバックに従ってパケット化処理を適応的に行うだろう。パケット化とは、小さい単位で配信されるようデータを分割し、かつ、ＩＰパケットのようなネットワーク伝送にふさわしいフォーマットにフォーマットされたブロックに、それぞれの単位をカプセル化する処理のことをいう。トラフィック情報は、クライアントにより、サーバ側の適応モジュールに返信して提供される。パケット損失率がかなり低い場合、サーバは、全てのレイヤの全てのパケットを送るだろう。もし、他方、パケット損失率が増加しているがまだ低い場合、そのときサーバは、処分可能なスライスのエンハンスメントレイヤのパケットをまず除去するだろう。もし、パケット損失率がまだ増加していれば、サーバはそのとき、処分可能なスライスのベースレイヤのパケットを捨て、かつ、さらに、非処分可能なスライスのエンハンスメントレイヤのパケットを除去するだろう。それゆえ、図１３の適用において、デコーダの複雑度のためにビットストリームを調整する代わりに、ビットストリーム内の同じ依存度を考慮しつつ、いくつかのパケットだけを、クライアントに対して信号化する（これにより、ネットワークのロードと全体のビットレートを低減する）。図１３のストリーミング又はパケット化アダプタは、サーバ自身から（クライアントから独立的に、又はクライアント情報を処理した後のいずれか）、及び／又は１又は複数のクライアントから情報を受けることができる。

開示の一実施形態によれば、サーバは、復号中に小さなドリフト、又は“エラー”が生じた情報を除去するために選択することもできる。これは、メタデータとしてクライアントに信号化されるだろう。さらに、この知識が与えられれば、クライアント側で、クライアントは（可能であれば、及び／又は所望されれば）これらのエラーの訂正を試みることもできる。サーバは、クライアント（又はマルチキャスト環境上のクライアント）の能力を知っていてもよく、クライアントの能力の知識に基づいて発生するこのようなシナリオを許容してもよい。例として、ラグランジュコストは、ネットワークのバンド帯域、各クライアントの品質、（もし関連があれば）消費電力などを含みうるパラメータの場所を提供されうる。

本開示の実施形態は、復号側での図２のアーキテクチャが、サーバ側の図１３のアーキテクチャと結合されるということも提供される。

本開示のいくつかの実施形態は、シームレスビデオ配信を達成するためにビットストリームを適応化する技術と、主として立体ビデオソリューションのコンテキストにおける異なるプラットフォーム及びシステムに対するベストユーザの経験と、を重点的に説明する。しかしながら、当業者は、スケーラブルシステム、又はマルチビュー符号化の高ダイナミックレンジ（ＨＤＲ）のような他の同様のシステムにも、ここに示された概念が適用できるということを理解するだろう。

本開示で記載した方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される諸特徴は一緒に実装されても（たとえば集積論理デバイスのような論理デバイスにおいて）、別個に実装されても（たとえば別個の接続された論理デバイスとして）よい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を含むコンピュータ可読媒体を含みうる。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）を含みうる。命令はプロセッサ（たとえばデジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラム可能論理アレイ（ＦＰＧＡ））によって実行されてもよい。

本明細書において言及されるすべての特許および刊行物は、本開示が属する分野の当業者の技術レベルを示しうる。本開示において引用されるすべての文献は、各文献が個々にその全体において参照によって組み込まれた場合と同じ程度に、参照によって組み込まれる。

本開示は特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法またはシステムはむろん変わりうるものである。本稿で使われる用語は個別的な実施形態を記述するためだけに使われているのであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項の用法では、単数形は、内容がそうでないことを明確に示しているのでない限り、複数の被指示物を含む。用語「複数」は、内容がそうでないことを明確に示しているのでない限り、二つ以上の被指示物を含む。別途定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。
いくつかの態様を記載しておく。
〔態様１〕
適応的に復号するマルチ−レイヤビデオシステムであって：
ベースレイヤデコーダと；
１つ以上のエンハンスメントレイヤデコーダと；
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタとを含み、
前記復号アダプタは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、システム。
〔態様２〕
前記ベースレイヤデコーダからフィルタ処理される予測を前記１つ以上のエンハンスメントレイヤデコーダに提供する１つ以上の処理モジュールをさらに含み：
前記復号アダプタは、さらに前記１つ以上の処理モジュールの演算を制御する、態様１記載のシステム。
〔態様３〕
前記復号アダプタは、１つ以上の前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１又は２記載のシステム。
〔態様４〕
ポスト処理モジュールをさらに含み、
前記復号アダプタは、前記ポスト処理モジュールから集められる情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１乃至３いずれか一項に記載のシステム。
〔態様５〕
前記ポスト処理される情報は、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに関連する符号化時間情報を含む、態様４記載のシステム。
〔態様６〕
前記復号アダプタは、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を単純化することで、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの演算を制御する、態様１乃至５いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様７〕
前記ベースレイヤデコーダ及び１つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの１つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することで行われる、態様６記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様８〕
前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算は、１つ以上の画像、画像の部分、スライス、画像系列、及びピクチャのグループ（ＧＯＰ）に関して制御される、態様１乃至７いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様９〕
前記復号アダプタは、非参照画像及び／又は参照画像の演算を制御する、態様８記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１０〕
前記復号アダプタは、複雑度の推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至９いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１１〕
前記復号アダプタは、平均復号時間に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至１０いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１２〕
前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、態様１乃至１１いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１３〕
前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する態様１０、１１又は１２のいずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
〔態様１４〕
マルチ−レイヤビデオシステムの適応的な復号方法であって：
ビデオ情報を読み込む段階と；
前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から１つの復号モードを選択する段階と；
前記選択された復号モードに従ってマルチ−レイヤシステムの１つ以上のレイヤの前記ビデオ情報を復号する段階と；
それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と；
次のビデオ情報が利用可能であれば、前記読み出す段階、選択する段階、及び復号する段階を繰り返す段落とを含む、方法。
〔態様１５〕
前に復号されたビデオ情報の前記復号時間は、平均復号時間である態様１４記載の方法。
〔態様１６〕
前記複数の復号モードは、最速の復号モードを含み、
前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、態様１４又は１５記載の方法。
〔態様１７〕
前記マルチ−レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、態様１６記載の方法。
〔態様１８〕
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、態様１７記載の方法。
〔態様１９〕
前記決定は、画像品質の推量にさらに基づく、態様１８記載の方法。
〔態様２０〕
前記ビデオ情報は、非参照ピクチャ情報及び参照ピクチャ情報を含み、
参照ピクチャ情報を含むビデオ情報の復号モードが選択されるとき、前記復号モードの復号の複雑度を推定する段階をさらに含む、態様１４又は１５記載の方法。
〔態様２１〕
前記マルチ−レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、態様２０記載の方法。
〔態様２２〕
前記マルチ−レイヤシステムの１つ以上のレイヤのために単純化された復号を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、態様２１記載の方法。
〔態様２３〕
前記決定は、画像品質の推量にさらに基づく、態様２２記載の方法。
〔態様２４〕
前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連のピクチャ群を含む、態様１４乃至２３いずれか一項に記載の方法。
〔態様２５〕
前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループ（ＧＯＰ）である、態様２４記載の方法。
〔態様２６〕
前記マルチ−レイヤシステムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む、態様１４乃至２５いずれか一項に記載の方法。
〔態様２７〕
前記マルチ−レイヤシステムは、前記ベースレイヤから１つ以上のエンハンスメントレイヤに復号情報を通信するために適した参照プロセッサを含む、態様２６記載の方法。
〔態様２８〕
前記複数の復号モードは、前記マルチ−レイヤシステムの１つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、
前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、態様１４記載の方法。
〔態様２９〕
前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、態様２８記載の方法。
〔態様３０〕
前記復号モードの選択は、画像品質の推量にも依存する、態様２８又は２９記載の方法。
〔態様３１〕
ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバであって：
ベースレイヤビデオパケット化器と；
１つ以上のエンハンスメントレイヤパケット化器と；
前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、
前記パケット化アダプタは、前記ベースレイヤパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器の演算を制御する、ビデオサーバ。
〔態様３２〕
前記ベースレイヤビデオパケット化器及び１つ以上のエンハンスメントレイヤビデオパケット化器の演算は、前記ベースレイヤビデオパケット化器及び前記１つ以上のエンハンスメントレイヤビデオパケット化器を通してネットワーク上にどのパケットを送信する、又は送信しないかについての決定を制御する態様３１記載のビデオサーバ。
〔態様３３〕
前記パケット化アダプタの制御は、サーバにより生成された情報に基づく、態様３１又は３２記載のビデオサーバ。
〔態様３４〕
前記パケット化アダプタの制御は、クライアントにより生成された情報に基づく、態様３１又は３２記載のビデオサーバ。
〔態様３５〕
態様１の前記復号システムと態様３１の前記ビデオサーバを含む、ビデオ処理アーキテクチャ。

Claims (27)

1. 適応的に復号するマルチ−レイヤビデオシステムであって：
   ベースレイヤデコーダと；
   １つ以上のエンハンスメントレイヤデコーダと；
   前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続される復号アダプタと；
   ポスト処理モジュールとを含み、
   前記ポスト処理モジュールは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダに接続され、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの各デコーダの出力は前記ポスト処理モジュールの入力として与えられ、
   前記ポスト処理モジュールは、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの各デコーダの出力を組み合わせるよう構成され、
   前記復号アダプタは、前に復号されたビデオ情報の復号時間に基づいて、ビデオ情報のための複数の復号モードの中から１つの復号モードを選択することによって、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算を制御し、前記複数の復号モードは、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダにおける非参照画像についてのデブロッキングまたはインループフィルタリングの少なくとも一方の単純化の度合いにおいて互いに異なるものであり、
   前記複数の復号モードの中の最速の復号モードが選択される場合、前記復号アダプタによる前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算の制御はさらに、前記ポスト処理モジュールから集められる復号複雑度推定情報および前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダのうちの１つ以上から集められる復号複雑度推定情報に基づく、
   システム。
2. 前記ベースレイヤデコーダからフィルタ処理される予測を前記１つ以上のエンハンスメントレイヤデコーダに提供する１つ以上の処理モジュールをさらに含み：
   前記復号アダプタは、さらに前記１つ以上の処理モジュールの演算を制御する、請求項１記載のシステム。
3. 前記ベースレイヤデコーダ及び１つ以上のエンハンスメントレイヤデコーダはそれぞれ、残差復号モジュール及びインループフィルタリングモジュールを含み、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの単純化は、前記ベースレイヤデコーダ及び／又は１つ以上のエンハンスメントレイヤデコーダの１つ以上の前記残差復号モジュール及びインループフィルタリングモジュールを単純化又は除去することを含む、請求項１記載の適応的に復号するマルチ−レイヤビデオシステム。
4. 前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの演算は、１つ以上の画像、画像の部分、スライス、画像系列、及びピクチャのグループ（ＧＯＰ）に関して制御される、請求項１乃至３いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
5. 前記復号アダプタは、非参照画像及び／又は参照画像の演算を制御する、請求項４記載の適応的に復号するマルチ−レイヤビデオシステム。
6. 前記復号アダプタは、複雑度の推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項１乃至５いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
7. 前記前に復号されたビデオ情報の復号時間は平均復号時間である、請求項１乃至６いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
8. 前記復号アダプタは、復号された品質推定値に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算を制御する、請求項１乃至７いずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
9. 前記復号アダプタは、メタデータ情報に基づいて、前記ベースレイヤデコーダ及び前記１つ以上のエンハンスメントレイヤデコーダの前記演算をさらに制御する請求項６、７又は８のいずれか一項に記載の適応的に復号するマルチ−レイヤビデオシステム。
10. マルチ−レイヤビデオシステムの適応的な復号方法であって：
    ビデオ情報を読み込む段階と；
    前に復号されたビデオ情報の復号時間に基づいて、前記ビデオ情報のための複数の復号モードの中から１つの復号モードを選択する段階と；
    前記選択された復号モードに従ってマルチ−レイヤシステムの１つ以上のレイヤの前記ビデオ情報を復号する段階と；
    それぞれの復号後に、前記前に復号されたビデオ情報の前記復号時間を更新する段階と；
    次のビデオ情報が利用可能であれば、前記読み込む段階、選択する段階、及び復号する段階を繰り返す段階とを含み、
    前記複数の復号モードは、前記マルチ−レイヤシステムの１つ以上のレイヤにおける非参照画像についてのデブロッキングまたはインループフィルタリングの少なくとも一方の単純化の度合いにおいて互いに異なるものである、方法。
11. 前に復号されたビデオ情報の前記復号時間は、平均復号時間である請求項１０記載の方法。
12. 前記複数の復号モードは、最速の復号モードを含み、
    前記最速の復号モードが選択されるとき、前記最速の復号モードの復号の複雑度を推定する段階をさらに含む、請求項１０又は１１記載の方法。
13. 前記マルチ−レイヤシステムのどのレイヤを前記最速の復号モードで復号するかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項１２記載の方法。
14. 前記マルチ−レイヤシステムの１つ以上のレイヤにおける非参照画像についてのデブロッキングまたはインループフィルタリングの前記少なくとも一方のために単純化された演算を用いるかについての決定は、前記最速の復号モードの前記推定された復号の複雑度にも基づく、請求項１３記載の方法。
15. 前記決定は、画像品質の推量にさらに基づく、請求項１４記載の方法。
16. 参照ピクチャ情報を含むビデオ情報を読み込み、前記選択する段階および復号する段階を繰り返すことをさらに含み、参照ピクチャ情報を含む前記ビデオ情報の復号モードを選択するとき、当該方法が、
    前記復号モードの復号の複雑度を推定する段階をさらに含む、
    請求項１０又は１１記載の方法。
17. 前記マルチ−レイヤシステムのどのレイヤを前記復号モードで復号するかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項１６記載の方法。
18. 前記マルチ−レイヤシステムの１つ以上のレイヤにおける非参照画像についてのデブロッキングまたはインループフィルタリングの前記少なくとも一方のために単純化された演算を用いるかについての決定は、前記復号モードの前記推定された復号の複雑度にも基づく、請求項１７記載の方法。
19. 前記決定は、画像品質の推量にさらに基づく、請求項１８記載の方法。
20. 前記ビデオ情報は、ピクチャ、ピクチャの部分、又は一連のピクチャ群を含む、請求項１０乃至１９いずれか一項に記載の方法。
21. 前記ピクチャの部分はスライスであり、前記一連のピクチャ群はピクチャのグループ（ＧＯＰ）である、請求項２０記載の方法。
22. 前記マルチ−レイヤシステムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む、請求項１０乃至２１いずれか一項に記載の方法。
23. 前記マルチ−レイヤシステムは、前記ベースレイヤから１つ以上のエンハンスメントレイヤに復号情報を通信するために適した参照プロセッサを含む、請求項２２記載の方法。
24. 前記複数の復号モードは、前記マルチ−レイヤシステムの１つ以上で実行される復号演算の単純化の量に基づいてそれぞれ異なり、
    前記復号モードの選択は、以前に行われた復号演算の平均復号時間を対象閾値と比較することで行われる、請求項１０記載の方法。
25. 前記復号モードの選択は、以前に選択された復号モードを維持すること、最速の復号モードを選択すること、及びより遅い復号モードを選択することの中から選択される、請求項２４記載の方法。
26. 前記復号モードの選択は、画像品質の推量にも依存する、請求項２４又は２５記載の方法。
27. 請求項１記載のシステムと、
    ネットワーク上のクライアントにビデオパケットを送るのに適した適応的なマルチ−レイヤビデオサーバとを含む、
    ビデオ処理システムであって、
    前記ビデオサーバは：
    ベースレイヤビデオパケット化器と；
    １つ以上のエンハンスメントレイヤパケット化器と；
    前記ベースレイヤビデオパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器に接続されるパケット化アダプタとを含み、
    前記パケット化アダプタは、前記ベースレイヤビデオパケット化器及び前記１つ以上のエンハンスメントレイヤパケット化器の演算をクライアントにより生成された情報に基づいて制御する、
    ビデオ処理システム。
    

Images