JP5875634B2 - マルチレイヤフレーム準拠ビデオ配信のためのシステム及び方法 - Google Patents

Description

本開示は、画像処理及びビデオ圧縮に関する。より詳細には、本発明の実施形態は、マルチレイヤフレーム準拠ビデオ配信のための符号化及び復号化システム及び方法に関する。

近年、産業界において立体（３Ｄ）ビデオ配信への有意な関心及び牽引力がある。非常に多くの映画が３Ｄ立体ビデオを主流にし、一方で主要なスポーツイベントも３Ｄで制作されブロードキャストされている。アニメーション映画は、特に、益々、立体フォ―マットで生成され再生されている。

既に十分多くの３Ｄ能力のあるシネマスクリーンが設置されているが、消費者３Ｄアプリケーションはそうではない。この分野の努力は、まだ初期だが、幾つかの産業団体は、消費者３Ｄ対応ディスプレイの開発及びマーケティングに有意な努力を投じている（文献１）。

立体ディスプレイ技術及び立体コンテンツの生成は、十分に高品質の経験を保証するために適正に解決されなければならない課題である。３Ｄコンテンツの配信は、同様に重要である。コンテンツ配信は、圧縮を含む幾つかのコンポーネントを有する立体配信は、立体配信システムが２Ｄ配信システムの２倍も多い情報を処理するので、難しい。さらに、計算及びメモリスループットの要求も、有意に増大する。

通常、立体コンテンツが消費者へ配信される２つの主な流通経路がある。つまり、ブルーレイディスクのような固定媒体と、コンテンツが先ずセットトップボックスに配信され次にＰＣへ配信されるストリーミングソリューションである。

現在展開されているブルーレイプレイヤ及びセットトップボックスの大部分は、ITU-T/ISO/IECH.２６４/１４４９６-１０（非特許文献２）のAnnex Aのプロファイルに基づく最新技術のビデオ符号化規格（MPEG-４ Part１０ AVCとしても知られる）及びSMPTE VC-１規格（非特許文献３）のようなコーデックのみに対応している。

これらのコーデックソリューションの各々は、サービスプロバイダが、単一のＨＤ画像シーケンスを１９２０ｘ１０８０ピクセル解像度で配信することを可能にする。しかしながら、立体コンテンツを配信することは、２つのシーケンス、左及び右のシーケンスのために情報を送信することを含む。素直なアプローチは、各ビューに１つの、２つの別個のビットストリームを符号化することである。アプローチは、サイマルキャストとしても知られている。

第一に、サイマルキャスト又は同様のアプローチは、圧縮効率が低い。これらは、許容可能な品質レベルを維持するために高帯域幅を用いる。これは、左及び右ビューのシーケンスが、相関していたとしても、独立に符号化されるためである。

第二に、２つの別個のビットストリームは、逆多重化され、２つの正しく同期をとられたデコーダで並列に復号化される。このようなデコーダを実施するために、２つの既存の市販のデコーダを用いることができる。さらに、並列復号化は、グラフィック処理ユニットのアーキテクチャに適する。

マルチレイヤに対応するコーデックは、立体ビデオに対して高い圧縮効率を提供し、同時に後方互換性を維持する。

マルチレイヤ又はスケーラブルビットストリームは、所定の依存関係により特徴付けられる複数のレイヤを有する。これらのレイヤの１又は複数は、他のレイヤの前に復号化される所謂基本レイであり、独立して復号化可能である。

他のレイヤは、通常、それらの機能が１又は複数の基本レイヤをパーシング及び復号化することにより得られるコンテンツを向上させることなので、拡張レイヤとして知られている。これらの拡張レイヤは、基本レイヤに依存する従属レイヤである。拡張レイヤはある種のレイヤ間予測を用い、１又は複数の拡張レイヤは、他の高優先度の拡張レイヤの復号化に依存していても良い。したがって、復号化は、中間レイヤのうちの１つで終了され得る。

マルチレイヤ又はスケーラブルビットストリームは、品質／信号対雑音比（ＳＮＲ）、空間解像度、及び／又は時間解像度、及び／又は追加の視野の利用可能性の点でも拡張性を可能にする。例えば、H.２６４/MPEG-４ Part１０, VC-１又はVP８のAnnex Aプロファイルに基づくコーデックを用い、時間的にスケーラブルなビットストリームを生成できる。

第１の基本レイヤは、復号化された場合、１５フレーム毎秒（ｆｐｓ）で画像シーケンスのバージョンを提供できる。一方で、第２の拡張レイヤは、復号化された場合、既に復号化された基本レイヤと共同で、同じ画像シーケンスを３０ｆｐｓで提供できる。

ＳＮＲ及び空間スケーラビリティも可能である。例えば、H.２６４/MPEG-４ Part１０ AVCビデオ符号化規格のScalable Video Coding（ＳＶＣ）（Annex G）を適応するとき、Annex Aで符号化された基本レイヤは、画像シーケンスの粗品質バージョンを生成する。１又は複数の拡張レイヤは、視覚的品質の点で更なる増強を提供できる。同様に、基本レイヤは、画像シーケンスの低解像度バージョンを提供できる。解像度は、追加拡張レイヤを復号化することにより、空間的及び／又は時間的に向上できる。

スケーラブルな又はマルチレイヤビットストリームは、マルチビュースケーラビリティを提供するのにも有用である。

H.２６４/AVCのMulti View Coding（ＭＶＣ）のStereo High Profile（Annex H）は、最近完成し、立体コンテンツを特徴とする次世代ブルーレイディスク（Blu-Ray ３D）のビデオコーデックとして適用されている。この符号化アプローチは、立体ビデオストリームの高ビットレート要件をある程度解決することを試みている。

Stereo High Profileは、H.２６４/AVCのAnnex AのHigh Profileに準拠する基本レイヤを利用し、基本ビューと称される１つのビュー（通常、左）を圧縮する。拡張レイヤは、次に、従属ビューと称される他のビューを圧縮する。基本レイヤはそれ自体が有効なH.２６４/AVCビットストリームであり、拡張レイヤとは独立して復号化できるが、拡張レイヤはそうではなく、通常真ではない。これは、拡張レイヤが動き補償予測の参照として、基本レイヤからの復号化ピクチャを用いるからである。その結果、従属ビュー（拡張レイヤ）はビュー間予測からの利益を得て、ビュー間の高い相関を有するシーンでは圧縮を有意に向上できる（つまり、ステレオ視差が小さい）。したがって、ＭＶＣ拡張アプローチは、ステレオ視差を活用することにより、帯域幅の増大という問題に取り組もうとしている。

A. Tourapis, P. Pahalawatta, A. Leontaris, K. Stec, and W. Husak, "Encoding and Decoding Architecture for Format Compatible ３D Video Delivery," U.S. Provisional Patent Application No. ６１/２２３,０２7, July ２００９. A. Leontaris, A. Tourapis, and P. Pahalawatta, "Enhancement Methods for Sampled and Multiplexed Image and Video Data," U.S. Provisional Patent Application No. ６１/３６５,7４３, July ２０１０. A. Tourapis, A. Leontaris, P. Pahalawatta, and K. Stec, "Directed Interpolation/Postprocessing methods for video encoded data," U.S. Provisional Patent Application No. ６１/１7０,９９５, April ２００９. P. Pahalawatta, A. Tourapis, W. Husak, "Systems and Methods for Multi-Layered Image and Video Delivery Using Reference Processing Signals", U.S. Provisional Patent Application No. ６１/３６２,６６１, July ２０１０. D.C. Hutchison, "Introducing DLP ３-D TV", http://www.dlp.com/downloads/Introducing DLP ３D HDTV Whitepaper.pdf Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation. asp?type=folders&lang=e&parent=T-REC-H.２６４, March ２０１０. SMPTE ４２１M, "VC-１ Compressed Video Bitstream Format and Decoding Process", April ２００６.

しかしながら、このようなアプローチは、既存の展開されているセットトップボックス及びブルーレイプレイヤ基盤との互換性を提供しない。既存のH.２６４デコーダは、基本ビューを復号化し表示できたとしても、従属（右）ビューを単に破棄し無視してしまう。その結果、既存のデコーダは、ＭＶＣを用いて符号化された３Ｄコンテンツを復号化し表示する能力を提供しない。したがって、ＭＶＣが３Ｄ互換性を保つと同時に、ＭＶＣはレガシー装置で３Ｄコンテンツを配信しない。後方互換性の欠如は、消費者３Ｄ立体ビデオの迅速な適用への更なる障壁である。

本開示の第１の態様によると、マルチレイヤフレームに準拠したビデオ配信のための符号化方法が提供される。当該符号化方法は、ａ）基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、ｉ）前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、ｂ）１又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、ｉ）前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップ、ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、ｉｉｉ）前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、ｉｖ）動き又は視差補償を実行するステップ、を含むステップ、を有し、前記１又は複数の拡張レイヤの各々は、前記複数のデータカテゴリの全てを処理する。

本開示の第２の態様によると、マルチレイヤフレーム準拠ビデオ配信のための符号化方法が提供される。当該符号化方法は、ａ）基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、ｉ）前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、を含むステップ、ｂ）１又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、ｉ）前記複数のデータカテゴリのうちの１つの画像又はビデオフレームの拡張レイヤ表現を供給するステップ、ｉｉ）各拡張レイヤに拡張レイヤ参照ピクチャバッファを保持するステップ、ｉｉｉ）前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、ｉｖ）動き又は視差補償を実行するステップ、を含むステップ、を有する。

本開示の第３の態様によると、マルチレイヤフレーム準拠ビデオ配信のための復号化方法が提供される。当該復号化方法は、ａ）基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、ｉ）少なくとも１つのフレーム準拠基本レイヤ復号化画像を供給するステップ、を含むステップ、ｂ）１又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、ｉ）複数のデータカテゴリの少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、ｉｉｉ）前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、ｉｖ）視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される。

本開示の第４の態様によると、マルチレイヤフレーム準拠ビデオ配信のための復号化方法が提供される。当ギア復号化方法は、ａ）基本レイヤを通じて基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、ｉ）少なくとも１つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、を含むステップ、ｂ）１又は複数の拡張レイヤを通じて複数のデータカテゴリの１又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、前記複数のデータカテゴリの各々は、別個の拡張レイヤで別個に処理され、前記１又は複数の拡張レイヤの各々は、ｉ）前記複数のデータカテゴリのうちの１つの少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、ｉｉｉ）前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、ｉｖ）視差補償を実行するステップ、を含むステップ、を有し、前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される。

添付の図面は、本願明細書に組み込まれその一部を構成する。添付の図面は、例示的な実施形態の記載と共に本開示の１又は複数の実施形態を示し、本開示の原理及び実施形態を説明するために機能する。
立体素材の配信のためのチェックボードのインタリーブ配置を示す。 立体素材の配信のための水平サンプリング／列のインタリーブ配置を示す。 立体素材の配信のための垂直サンプリング／行のインタリーブ配置を示す。 立体素材の配信のための水平サンプリング／サイドバイサイド配置を示す。 立体素材の配信のための垂直サンプリング／上下配置を示す。 立体素材の配信のための５点形サンプリング／サイドバイサイド配置を示す。 レイヤ間予測のための参照処理を有する、フレーム準拠フル解像度の３Ｄ立体スケーラブルビデオ符号化システムを示す。 レイヤ間予測のための参照処理を有する、フレーム準拠フル解像度の３Ｄ立体スケーラブルビデオ復号化システムを示す。 レイヤ間予測のための参照処理ユニットを有する、スケーラブルビデオ符号化システムを示す。 フレーム準拠フル解像度の２レイヤ配信システムのための再構成モジュールを示す。 本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤはそれぞれ拡張解像度で、（フレーム準拠）特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオデコーダを示し、拡張レイヤはそれぞれ拡張解像度で、（フレーム準拠）特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤはそれぞれ拡張解像度で、拡張解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオデコーダを示し、拡張レイヤは、拡張解像度にそれぞれ１つあり拡張解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、２つの拡張レイヤはそれぞれ１つの拡張解像度でデータカテゴリ（３Ｄ立体ビデオ配信のための各ビュー）を符号化する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオデコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、２つの拡張レイヤはそれぞれ１つの拡張解像度でデータカテゴリ（３Ｄ立体ビデオ配信のための各ビュー）を符号化する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤは残差を符号化し、拡張解像度にそれぞれ１つあり（フレーム準拠）特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオデコーダを示し、拡張レイヤは残差を符号化し、拡張解像度にそれぞれ１つあり（フレーム準拠した）特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、２つの拡張レイヤはそれぞれ１つの拡張解像度でデータカテゴリ（３Ｄ立体ビデオ配信のための各ビュー）の残差を符号化する。 本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオデコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、２つの拡張レイヤはそれぞれ１つの拡張解像度でデータカテゴリ（３Ｄ立体ビデオ配信のための各ビュー）の残差を符号化する。

既存のコーデックの後方互換性の欠如の観点から、セットトップボックス、ブルーレイプレイヤ及び高解像度ＴＶセットのインストールされた基礎を活用することは、消費者３Ｄの展開を高速化し得る。大部分のディスプレイ製造者は、３Ｄ立体ディスプレイに対応した高解像度ＴＶセットを提供している。これらのＴＶセットは、全ての主要なディスプレイ技術、ＬＣＤ、プラズマ及びＤＬＰのモデルを含む（文献１）。鍵は、VC-１及びH.２６４/AVCのような既存の展開されているコーデックを利用しながら、両方のビューを含むが依然として単一フレームの範囲内に適合するコンテンツをディスプレイに供給することである。このようなアプローチは、所謂フレーム準拠アプローチであり、単一ピクチャ又はフレームの範囲内に適合するよう立体コンテンツをフォーマットする。フレーム準拠表現のサイズは、元のビューのフレームのサイズと同じである必要はない。

Ｈ．２６４のMVC extensionと同様に、Dolbyの立体３Ｄ消費者配信システム（特許文献１）は、基本及び拡張レイヤを特徴とする。ＭＶＣのアプローチとは対照的に、消費者に、２つのビューのサブサンプリングされたバージョンを伝達することによりフレーム準拠基本レイヤ、及び基本レイヤと結合されると２つのビューのフル解像度の再構成をもたらす拡張レイヤを提供するために、ビューは２つのレイヤに多重化されても良い。

後方互換性のある３Ｄビデオ配信システムは、既存の又はレガシー２Ｄビデオハードウェア及びシステムを通じて、３Ｄビデオを家庭又は他の場所へ配信できる。フレーム準拠３Ｄビデオシステムは、このような後方互換性のある配信アーキテクチャを提供する。その場合には、基本レイヤが「フレーム準拠」フォーマットに配置された左及び右目の低解像度バージョンを提供するレイヤアプローチを用いることができる。フレーム準拠フォーマットは、サイドバイサイド、上下、及び５点形／チェックボードインタリーブを含む。図１〜６は、幾つかの指標となる例を示す。さらに、追加の前処理段階は、基本レイヤ復号化フレームを拡張レイヤの予測のための動き補償された参照として用いる前に、基本レイヤ復号化フレームが与えられる場合、拡張レイヤフレームを予測するために存在しても良い。

図７、８は、それぞれ、特許文献１に開示されたシステムのエンコーダ及びデコーダを示す。

ＭＶＣのような非フレーム準拠符号化構成でさえ、基本ビューから取られる参照を従属ビューの予測のための参照として用いる前に向上させるプリプロセッサ（例えば、参照処理ユニット（reference processing unit：RPU）／予測器）で拡張できる。このアーキテクチャは、特許文献１にも開示され、図９に示される。

特許文献１のフレーム準拠技術は、フレーム準拠基本レイヤを保証する。プリプロセッサ／ＲＰＵ要素の使用を通じ、これらの技術は、立体ビューのフル解像度再構成を実現する際のオーバヘッドを削減する。図１０は、フル解像度再構成の処理を示す。

拡張レイヤの利用可能性に基づき、最終的な再構成ビューを得るための幾つかの方法がある。幾つかの方法は、拡張レイヤの実際のピクセルデータの符号化を考慮できるか、符号化残差データ、若しくは概して基本レイヤからの差（例えば、高周波数対低周波数）のデータであって特定の形式で結合される場合に再構成された信号の高品質／解像度表現を可能にできるデータを考慮しても良い。任意の解像度をこれらの方法に用いることができる。例えば、これらの方法の幾つかは半分の解像度であり、幾つかはフル解像度又は低い、高い若しくはその間の解像度であっても良い。本開示の実施形態は、任意の解像度に向けることができる。それらは、基本レイヤフレーム準拠出力から補間され（図１０のＶ_{ＦＣ，ＢＬ}（１００２））、任意でＶ_０，ＢＬ（１００４）及び（１００６）を生成するために後処理される。代替として、それらは、拡張レイヤの適正なサンプルと共に多重化でき、各ビューのより高い表現の再構成Ｖ_{０，ＦＲ，ｏｕｔ}（１００８）及びＶ_{１，ＦＲ，ｏｕｔ}（１００８）を生成する。両方の場合に結果として生じた再構成ビューは、同じ解像度を有しても良い。しかしながら、第２の場合には、全てのサンプルの情報を符号化するが、第１の場合には、再構成ビューの情報の半分は特許文献１に開示されたように知的アルゴリズムによる補間により得られる。図１０から、基本及び拡張レイヤの復号化に続き、最終的なフル解像度の再構成ビューを引き出すために、追加の場合によってはメモリインテンシブ且つ帯域幅インテンシブな動作が用いられる。

本開示は、フレーム準拠３Ｄビデオシステムがフル解像度の３Ｄ配信を達成することを可能にする技術を提供する。本開示は、幾つかの高次表現／解像度サンプルドメインで動き及びステレオ視差補償を実行することにより、拡張レイヤの内部予測精度を向上させる方法も提供する。このようなドメインは、フレーム準拠表現のサンプルよりも高い空間又は周波数解像度を有し得る。幾つかの実施形態では、これらのドメインは、フル解像度に等しい解像度、つまり各カテゴリのフレームがフィルタリング、サンプリング及びフレーム準拠表現に多重化される前の元の解像度を有しても良い。これらの構成により圧縮データを処理するための追加の方法は、特許文献２に見られる。明細書を通じて、用語「データカテゴリ」又は「カテゴリ」は、データグループを表す。異なるデータカテゴリは、グループ間の関係を有しても有しなくても良い異なるデータグループを表し得る。３Ｄ又は立体画像若しくはビデオ配信に関連する本開示の実施形態では、用語「データカテゴリ」又は「カテゴリ」は、３Ｄ画像又はビデオの単一ビューを表す。

図１１は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤは、拡張解像度（例えば半分の水平又は垂直解像度）のそれぞれ１つ存在し特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。図１２は、本開示の実施形態による、図１１に示したエンコーダに対応するデコーダを示す。本実施形態によると、所与の時刻で、複数のデータカテゴリに属するフレームを有するビデオシーケンスの圧縮のために、マルチレイヤコーデックが提供される。

本開示の本実施形態によると、図１１の基本レイヤ（１１０２）は、複数のデータカテゴリのフレーム準拠表現を提供する。フレーム準拠表現は、ここでは、異なるデータカテゴリをサンプリングし単一フレームに多重化することを表す。この単一フレームは、元のカテゴリを有するフレームのサイズと同じサイズを有しても良い。本開示の更なる実施形態によると、図１１の基本レイヤ（１１０２）は、任意の利用可能な又はH.２６４/AVC、VP８及びVC-１のような将来のビデオコーデックを用いて実施され符号化されても良い。

続けて図１１を参照し、データを基本レイヤエンコーダ（１１０４）に送る前に、データは、サンプラ（１１０６）によりサンプリングされ、マルチプレクサ（１１０８）で多重化される。

更なる実施形態では、サンプリングはフィルタリングを有しても良い。さらに、フィルタリングは、異なるデータカテゴリの間で非対称であり得る。例えば、更に別の実施形態では、あるカテゴリは、半分より少ない情報（例えば、周波数成分）が保有されるように、フィルタリング及びサンプリングされても良い。また、別のカテゴリは、半分より多い情報が保有されるようにフィルタリング及びサンプリングされても良い。図１〜６は、画像データの２つのカテゴリの指標となるサンプリング及び多重化構成を示す。

図１１に示した実施形態によると、追加拡張レイヤ（１１５２）が設けられる。他の実施形態によると、追加拡張レイヤの数は、フレームデータ及び基本レイヤ内で既にサンプリングされインタリーブされたデータのカテゴリの数に依存する。拡張レイヤでサンプリングされインタリーブされたデータは、既に基本レイヤ内にあるデータと結合されたとき、サンプリングされインタリーブされたデータが大部分のカテゴリのデータの効率的な表現及び再構成をもたらすように、選択される。図１１に示した実施形態によると、２つのカテゴリのデータを含み、１つの拡張レイヤ（１１５２）は全ての元のデータを符号化するために用いられる。この実施形態によると、基本レイヤ（１１０２）は各カテゴリのサンプルの半分を伝達し、拡張レイヤ（１１５２）は各データカテゴリの他の失われる半分のサンプルを提供し得る。

本開示の更なる実施形態によると、基本レイヤは、１つのカテゴリのサンプルの３分の１を圧縮し、残りの３分の２は拡張レイヤに格納される。反対も可能である。同様に、基本レイヤと同様に、拡張レイヤの各カテゴリのデータ成分は、他のデータカテゴリのデータ成分と同じでなくても良い。これは、異なる種類のフィルタリング又は異なる数及び構成のサンプル（例えば、５点形と行ベースのサブサンプリング）を用いることにより実現できる。本実施形態によると、サンプリング動作は、拡張レイヤ処理のためのサンプルを引き出し、サンプリング動作はこれらのサンプルのフィルタリングを含んでも良い。

図１１に示した実施形態によると、拡張レイヤ（１１５２）は、VC-１及びH.２６４/AVCのような最新のビデオコーデックに見られるハイブリッドビデオ符号化モデルを採用する。入力データは、同じピクチャ又はフレーム内の近隣サンプルから（イントラ予測を用いて）又は同じレイヤに属し動き補償予測の参照として所謂参照ピクチャバッファ内にバッファリングされた過去に復号化したフレームから（インター予測を用いて）予測される。（基本レイヤのような）低優先度のレイヤから復号化した情報が拡張レイヤに利用可能な場合、インターレイヤ予測も可能である。このような情報へのアクセスを有する方法は、低優先度のレイヤから復号化されたピクチャを動き補償のための参照として考慮することによる。予測の後、予測残差（１１５４）は変換（１１５６）及び量子化（１１５８）が行われ、次に量子化係数がエントロピー符号化（１１６０）を用いて符号化される。図１２に示したデコーダの拡張レイヤ（１２５２）は、この処理の逆である。

過去に復号化されたピクチャ／フレームを有する単一の参照ピクチャバッファ（１１１０）を有する図１１の基本レイヤ（１１０２）と異なり、拡張レイヤ（１１５２）は、各データカテゴリに１つある、複数の内部参照ピクチャバッファ（１１６２）を保持する。図１１の実施形態では、これらのバッファに格納される参照ピクチャの生成は、デマルチプレクサ及びＲＰＵプロセッサ（１１６４）の使用を通じて達成される。デマルチプレクサ及びＲＰＵプロセッサ（１１６４）は、（イントラ又はインター予測を通じて得られた）予測残差及び予測フレームの和を処理する。

図１１のデマルチプレクサ（１１６４）は、各カテゴリのアップサンプリング及び失われるサンプルの補間も実行する。各参照ピクチャバッファ（１１６２）は、同じデータカテゴリに属するフレームのみを有する。バッファ（１１６２）は、拡張レイヤ（１１０２）に入力されるサンプルの解像度より高い解像度で、又は任意で拡張解像度で画像又はフレームを格納する。さらに、各参照ピクチャバッファにフレームを格納するために用いられる解像度は、互いに異なっても良い。あるバッファはある解像度でピクチャを格納し、一方で第２のピクチャバッファは別の解像度でピクチャを格納しても良い。視差補償（つまり、動き補償又はイントラ予測）（１１６８）を実行する前に、各参照ピクチャバッファ（１１６２）から選択された参照は、サンプラ（１１７０）でダウンサンプリングされ、マルチプレクサ（１１７２）で多重化され、単一の参照ピクチャを生成する。単一の参照ピクチャは、フレーム準拠構成でフォーマットすることができる。更なる実施形態によると、フレーム準拠フォーマットへのダウンサンプリング及び多重化動作は、２つの参照の最終的なフレーム準拠参照ピクチャへの線形又は非線形結合のようなより高機能な動作を含んでも良い。更に別の実施形態によると、内部バッファ内のフレームの解像度は、拡張解像度に一致しても良い。

図１１に示した実施形態によると、拡張レイヤ（１１５２）内のインター予測は、内部の複数の（任意で、拡張解像度の）参照ピクチャバッファから供給される参照ピクチャをサンプリング（１１７０）及び多重化（１１７２）した後に行われる。このように、インター予測は、「フレーム準拠」ドメインで行われるが、必ずしも基本レイヤと同じドメインではない。立体ビデオの更なる実施形態によると、基本レイヤフレーム準拠フォーマットは、左ビューからの偶数列及び右ビューからの奇数列を有しても良く、一方で、拡張レイヤにおいて、フレーム準拠フォーマットは、左ビューからの奇数列及び右ビューからの偶数列を有しても良い。同様の構成は、上下、サイドバイサイド等のような他のインタリーブ構成でも可能である。適正な構成の方法は、フレーム準拠基本レイヤピクチャ内で符号化されたサンプルと１又は複数の拡張レイヤ内で符号化されたサンプルとの結合が拡張解像度のデータカテゴリの再構成を生成するように、選択される。このような技術は、本開示の別の実施形態により、任意の数のレイヤ又はビューに拡張できる。さらに、インター予測処理は、符号化されデコーダに送信される各拡張レイヤの動きパラメータセットを推定することを含む。

図１１に示した実施形態によると、拡張レイヤの参照ピクチャバッファ（１１６２）は、ピクチャを有する。このピクチャは、拡張レイヤ（１１５２）の逆多重化されアップサンプリングされた（１１６４）符号化されたピクチャに限定されない。基本レイヤ−拡張レイヤ参照処理ユニット（ＲＰＵ）／プリプロセッサモジュール（ＢＬ−ｔｏ−ＥＬ ＲＰＵ）（１１６６）は、入力として、基本レイヤ（１１０２）の参照ピクチャバッファ（１１１０）からのフレーム準拠復号化ピクチャを取り込み、次に、異なるデータカテゴリに属する高次表現（任意で、拡張解像度）のフレームを推定するために、フレームデータを逆多重化しアップサンプリングする。

更なる実施形態によると、ＢＬ−ｔｏ−ＥＬ ＲＰＵ（１１６６）の処理は、フィルタリング、アップスケーリング、失われるサンプルの補間、周波数成分の回復又は推定を有しても良い。周波数成分の回復又は推定は、例えば基本レイヤが低周波数を符号化し拡張レイヤが高周波数を符号化するときに用いられる。これらのＢＬ−ｔｏ−ＥＬ ＲＰＵ（１１６６）で処理された画像は、次に、拡張レイヤ（１１５２）の高次表現（任意で、拡張解像度）参照ピクチャバッファ（１１６２）内の追加動き補償された予測の参照として配置され用いられる。エンコーダにあるＢＬ−ｔｏ−ＥＬ ＲＰＵモジュール（１１６６）は、予測／アップサンプリング処理の情報を生成し、この情報（「ＲＰＵビットストリーム」）（１１７４）を、図１２に示したデコーダに位置する図１２の同一のＢＬ−ｔｏ−ＥＬ ＲＰＵ（１２５４）へ伝達する。このように、エンコーダの予測動作は、デコーダにおいて繰り返されても良い。このＲＰＵモジュールを用いた補間及び予測は、特許文献３に開示された技術を有しても良い。

本開示の更なる実施形態によると、内部バッファは、拡張解像度でフレームを格納し、デコーダは、データカテゴリ毎に拡張解像度のフレームを内部で再構成し、参照ピクチャバッファに格納する。その結果、本実施形態は、拡張解像度のデータを表示する目的で図１０の処理モジュールを用いない。代わりに、本実施形態によると、拡張解像度の再構成フレームは、拡張レイヤの参照ピクチャバッファから抽出され直接表示できる。本開示の別の実施形態によると、各カテゴリの拡張解像度は等しくない。本実施形態では、エンコーダ及びデコーダは、拡張レイヤのバッファ内のピクチャを特定の共通拡張解像度に再スケーリングする。

更なる実施形態では、基本レイヤで符号化されたフレームは、各カテゴリに属するフレームと同じサイズを有しても良い。更なる実施形態では、拡張レイヤの参照ピクチャバッファは、元のフレームの解像度（フル解像度）でフレームを有する。

本開示の一実施形態によると、動き補償が適用されるフレーム準拠ドメインは、基本レイヤのドメインと同一であって良い。更なる実施形態では、基本レイヤは、サイドバイサイドフォーマットでインタリーブされて良く、拡張レイヤも同じサイドバイサイドフォーマットでインタリーブされたフレームを符号化する。

本開示の一実施形態によると、基本レイヤフレーム準拠フォーマットは、第１のビューからの偶数列及び第２のビューからの奇数列を有しても良く、一方で、拡張レイヤにおいて、フレーム準拠フォーマットは、第１のビューからの奇数列及び第２のビューからの偶数列を有しても良い。

本開示の一実施形態によると、レイヤは、異なる空間解像度でフレームを符号化しても良い。この場合、空間スケーラビリティを備えたシステムを構築できる。更なる実施形態によると、コーデックシステムは、１２８０×７２０のサイドバイサイドのフレーム準拠基本レイヤ、及び１９２０×１０８０の両方のビューを再構成できる拡張レイヤを有する。本実施形態では、ＢＬ−ｔｏ−ＥＬ ＲＰＵは、先ず、フレーム準拠データを別個のカテゴリに逆多重化し、次に、後続の動作のうちの１つを実行しても良い。あるスキームでは、ＢＬ−ｔｏ−ＥＬ ＲＰＵは、先ず、そのカテゴリの失われるサンプルを補間し、次に、拡張レイヤの対応する参照ピクチャバッファに結果として生じたフレームを格納する前に、結果として生じたフレーム（１２８０×７２０）を所望の空間解像度（１９２０×１０８０）に再スケーリングする。第２のスキームでは、利用可能な逆多重化されたサンプルは、低解像度から高解像度へ、例えば６４０×７２０から９６０×１０８０へ再スケーリングされる。次に、追加補間動作は、失われる列を決定し、任意でフル解像度のフレームを引き出すために既存のサンプルをフィルタリングする。

本開示の一実施形態によると、拡張レイヤ内の複数の参照ピクチャバッファは、非特許文献２に開示されたようなメモリ管理制御動作（memory management control operation：MMCO）を通じて制御されても良い。ＭＭＣＯ動作は、どのように参照ピクチャが追加されバッファから削除されるかを制御する。更なる実施形態によると、ＭＭＣＯ動作は、拡張レイヤに伝えられる。本実施形態では、各参照ピクチャバッファのＭＭＣＯセットは同じであるか、又は１つのＭＭＣＯ動作セットがシグナリングされる。これは、両方の参照ピクチャバッファに適用される。結果として、ピクチャバッファの動作は同期したままである。更に別の実施形態は、非特許文献２に開示された方法を含むがこれに限定されない、参照ピクチャリストの変更／並べ替えのシグナリングのために同様のアプローチを用いても良い。

シグナリング情報は、バッファ内の参照ピクチャのリストの生成を制御する。これらのリストは、次に動き補償された予測で用いられる。更なる実施形態によると、変更情報は、各データカテゴリの参照ピクチャリストについて同一である。更に別の実施形態では、単一の変更情報セットが送信され、拡張レイヤの全てのリストに適用される。本開示の更なる実施形態によると、同様のアプローチは、参照ピクチャバッファの内容を制御するシグナリング並びにその参照ピクチャリストの初期化及び変更を制御するシグナリングを用いるコーデックで用いられる。

本開示の一実施形態によると、参照ピクチャバッファに格納される前に、拡張解像度で単一カテゴリのフレームを引き出すデマルチプレクサ及びアップサンプラＲＰＵは、特許文献３に開示されたような参照処理ユニットとして実施されても良い。

本開示の別の実施形態によると、基本レイヤは、第１の範囲の周波数成分を有する表現を符号化しても良く、一方で、追加拡張レイヤは、第２の範囲の周波数成分を提供しても良い。それらの出力は、デコーダで結合され、元のデータカテゴリのより良い表現を提供しても良い。

図１３は、本開示の一実施形態によるマルチレイヤ解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤは、拡張解像度にそれぞれ１つあり拡張解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。図１４は、本開示の実施形態による、図１３に示したエンコーダに対応するデコーダを示す。

図１３及び１４に示した実施形態は、図１１及び１２に示した実施形態と同様である。しかし、図１１及び１２に示した実施形態との相違は、図１３に示した実施形態によると、サンプラ（１３５４）及びマルチプレクサ（１３５６）が視差補償モジュール（１３５８）の後に置かれる点である。

実際には、データカテゴリの存在だけ多くの視差補償モジュール（１３５８）が存在する。図１３に示した実施形態によると、立体ビデオ配信のために、各ビューについて１つの、２つの視差補償モジュール（１３５８）がある。視差補償が各高次再構成の参照に実行された後、結果として生じたフレームは、サンプラ（１３５４）に渡される。サンプラ（１３５４）は、フィルタリングの後及び／又は前にダウンサンプリング処理を実行する。各データカテゴリからのダウンサンプリングされたデータは、次にマルチプレクサ（１３５６）へ供給される。マルチプレクサ（１３５６）は、フレーム準拠ピクチャ（１３６０）を生成する。このフレーム準拠ピクチャ（１３６０）は、次に、予測として用いられる。拡張レイヤのハイブリッドビデオ符号化ループ内で、この予測に予測残差（１３６２）が加算される。

図１３に示した実施形態によると、視差補償モジュール（１３５８）は、利用可能なより多くのサンプル（高次表現ピクチャ）を有し、より良い予測を生成することができる。さらに、視差補償モジュールは、動き補償において、より多くの空間的に正確な区画を有しても良い。例えば、サイドバイサイドフォーマットが用いられるとき、フレーム準拠参照ピクチャ内の４ｘ４の区画サイズは、フル解像度ピクチャの８ｘ４の区画サイズと等価である。同様に、１６×１６の区画は、事実上、フル解像度ピクチャの３２×１６の区画である。この結果、本実施形態では、視差補償モジュール（１３５８）は、より大きく且つより正確な区画を有し得る。

図１３に示した実施形態によると、視差推定及び補償は、拡張レイヤで複数回（例えば２回）実行され得るので、システムの複雑性を増大してしまう。さらに、動き補償の空間的精度の増大により得られる利益は、高次表現の参照ピクチャが、図１３のフレーム準拠予測ピクチャＶ_{ＦＣ，ＰＲＥＤ}（１３６２）に予測残差を加算することにより得られたフレーム準拠ピクチャからアップサンプリングされる方法次第である。また、本実施形態によると、拡張レイヤは、動きベクトル情報量を２回圧縮する。更なる実施形態によると、参照ピクチャバッファは、拡張解像度を採用し、各データカテゴリの最終的な再構成は、拡張レイヤの参照ピクチャバッファに格納される参照の生成の一部として実行される。したがって、本実施形態は、図１０に示したデコーダと異なり、基本及び拡張レイヤの出力を更に処理しない。

本開示の更なる実施形態によると、マルチレイヤコーデックは、第１の方法の追加の実施形態と同様に、空間的スケーラビリティを考慮しても良い。更に別の実施形態は、図１１及び１２に示した実施形態と同様に、参照ピクチャリストの変更及びデコーダにシグナリングされるＭＭＣＯ動作を提供する。

本開示の更なる実施形態によると、複数の視差／畚器推定及び補償モジュールで用いられる動きパラメータ間に十分な相関があるので、これらの動きパラメータは、あるモジュールのパラメータを他のモジュールのパラメータから効率的に予測できるよう選択される。更に別の実施形態では、動きパラメータは、各拡張レイヤについて同一になるよう選択され、１つのパラメータセットのみが送信される。別の実施形態では、各モジュールのパラメータセットはシグナリングされる。動きパラメータ予測は、近隣からの情報又は高優先度視差推定／補償モジュールからシグナリングされる結び付けられたパラメータも用いても良い。

本開示の更なる実施形態では、基本レイヤで符号化されたフレームは、各カテゴリに属するフレームと同じサイズを有しても良い。別の実施形態では、拡張レイヤの参照ピクチャバッファは、元のフレームの解像度（フル解像度）でフレームを有する。更に別の実施形態によると、参照ピクチャバッファに格納される前に、拡張解像度で単一カテゴリのフレームを引き出すデマルチプレクサ及びアップサンプラは、特許文献３に開示されたような参照処理ユニットとして実施されても良い。更に別の実施形態では、基本レイヤは、第１の範囲の周波数成分を有する表現を符号化しても良く、一方で、追加拡張レイヤは、第２の範囲の周波数成分を提供しても良い。それらの出力は、デコーダで結合され、元のデータカテゴリのより良い表現を提供しても良い。

図１５は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示す。基本レイヤ（１５０２）はデータのフレーム準拠バージョンを符号化する。２つの複数の拡張レイヤ（１５３２、１５６２）は、２つの拡張解像度のそれぞれでデータカテゴリ（３Ｄ立体ビデオ配信では各ビュー）を符号化する。図１６は、本開示の実施形態による、対応するデコーダを示す。

図１５に示した実施形態によると、基本レイヤ（１５０２）のアーキテクチャは、図１１〜１４に示した実施形態のアーキテクチャと同一である。図１５に示した実施形態によると、基本レイヤ（１５０２）は、複数のデータカテゴリのフレーム準拠バージョンを符号化しても良い。本実施形態では、拡張レイヤ（１５３２、１５６２）は、データカテゴリ毎に設けられる。立体ビデオ配信の更なる実施形態によると、各拡張レイヤ（１５３２、１５６２）は、各データカテゴリの拡張解像度の再構成を提供する。本実施形態によると、各拡張レイヤ（１５３２、１５６２）は、単一の参照ピクチャバッファ（１５３４、１５６４）を有し、基本レイヤ（１５０２）と非常に似たアーキテクチャを用いる。本実施形態では、拡張レイヤ（１５３２、１５６２）は、各カテゴリの拡張（例えばフル）解像度のフレームを直接受信する。これに対し、図１１〜１４に示した実施形態によると、拡張レイヤへの入力は、全てのデータカテゴリのフレーム準拠表現を有する。

図１５に示した実施形態によると、各レイヤ（１５３２、１５６２）の参照ピクチャバッファ（１５３４、１５６４）は、動き補償された予測（１５３６、１５６６）のために用いられる参照を格納する。これらの参照は、過去に復号化された同一レイヤのフレームを含む。更なる実施形態によると、拡張レイヤ（１５３２、１５６２）の追加の参照は、H.２６４のMVC extensionで行われるように、基本レイヤ（１５０２）から挿入されても良い。本実施形態では、挿入される前に、これらの参照は、対象参照ピクチャバッファに格納されたフレームに対応する処理済みの参照を引き出すために、ＲＰＵ／プリプロセッサ（１５３８、１５６８）で処理される。立体ビデオ配信のための更なる実施形態によると、基本レイヤのフレーム準拠ピクチャは、異なるカテゴリに属するサンプルに逆多重化される。次に、サンプルは、各拡張レイヤ（１５３２、１５６２）の参照ピクチャバッファ（１５３４、１５６４）に格納される前に、ＲＰＵ／プリプロセッサ（１５３８、１５６８）内で拡張（例えばフル）解像度にアップサンプリングされる。本実施形態によると、ＲＰＵ／プリプロセッサ（１５３８、１５６８）内の予測、補間及びアップサンプリング処理は、特許文献３に開示された技術を採用しても良い。

図１５に示した実施形態によると、別個のＲＰＵ（１５３８、１５６８）が実装され、拡張レイヤの各参照ピクチャバッファ（１５３４、１５６４）に格納される各参照を生成しても良い。別の実施形態によると、単一モジュールが設けられ、最適化、逆多重化、及び基本レイヤの符号化されたフレームに準拠するピクチャの各拡張レイヤに１つある複数のフル参照ピクチャへのアップサンプリングを一緒に行っても良い。

本開示の別の実施形態によると、基本レイヤの従属関係とは別に拡張レイヤの追加依存関係が提供される。本実施形態では、拡張レイヤは、別の拡張レイヤのパーシング及び復号化に依存し得る。続けて図１５を参照すると、拡張レイヤ１（１５６２）の復号化処理は、基本レイヤ（１５０２）とは別に、拡張レイヤ０（１５３２）にも依存しても良い。拡張レイヤ０（１５３２）の参照ピクチャバッファ（１５３４）に格納されたピクチャ（１５７２）は、表示するために、追加ＲＰＵ／プリプロセッサモジュール（１５７０）に供給される。追加ＲＰＵ／プリプロセッサ（１５７０）は、供給された参照入力（１５７２）を処理して、拡張レイヤ１（１５６２）のフォーマットと同様になるようにする。処理結果（１５７４）は、次に、拡張レイヤ１（１５６２）の参照ピクチャバッファ（１５６４）に格納され、動き補償された予測（１５６６）に利用可能である。立体ビデオ配信の更なる実施形態によると、各拡張レイヤは１つのビューを符号化し、ＲＰＵは、別のビューに近い参照ピクチャを生成するために、動き及び空間処理を用いて１つのビューを処理する。更に別の実施形態によると、動き処理は、アフィン及び透視動きモデルのような高次動きモデルを含み得る。

更なる実施形態によると、マルチレイヤコーデックは、図１１〜１４に示した実施形態と同様に、空間的スケーラビリティを考慮しても良い。本実施形態では、基本レイヤから拡張レイヤの予測を実行するプリプロセッサモジュール（例えば、図１５の１５３８及び１５６８）は、目標レイヤ解像度への再スケーリングも含む。１つの拡張レイヤを第２の拡張レイヤ（例えば、図１５の１５７０）から予測するプリプロセッサモジュールは、拡張レイヤが同一の空間解像度を有しない場合には、再スケーリングを有しても良い。

図１7は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、拡張レイヤは残差を符号化し、拡張解像度にそれぞれ１つある（フレーム準拠）特定の低下解像度で動き／視差補償を実行する２つの参照ピクチャバッファを保持する。図１８は、本開示の実施形態による、対応するデコーダを示す。

図１７に示した実施形態によると、基本レイヤ（１７０２）は、フレーム準拠信号を符号化する。これは、１又は複数の拡張レイヤ（１７５２）を復号化して、それらを基本レイヤ（１７０２）の出力と結合するときに、（特に、解像度又は空間周波数成分の点で）更に向上できる。本実施形態によると、拡張レイヤ（１７５２）は、フィルタリングされサンプリングされ多重化された残差を符号化する（１５７４）（文献７）。この残差は、元のフル解像度のデータカテゴリのフレームの予測（１７５６）を減算した結果である。

この予測（１７５６）は、ＲＰＵプロセッサ（１７５８）を用いた結果である。ＲＰＵプロセッサ（１７５８）は、入力としてフレーム準拠基本レイヤ（１７０２）からの復号化ピクチャ（１７６０）を有し、元の（フル）解像度で元のフレームカテゴリの予測（１７５６）を出力する。更なる実施形態によると、ＲＰＵ（１７５８）は、フィルタリング、補間、再スケーリング等を含む特許文献３に開示されたような技術を用いても良い。図１７に示した実施形態によると、拡張レイヤ（１７５２）の内部ピクチャバッファ（１７６２）は、ＲＰＵを介して基本レイヤバッファ（１７０４）から処理された参照を受信しない。

図１８に示したデコーダで、同様のＲＰＵ（１８５４）は、入力として復号化された基本レイヤのピクチャを基本レイヤ（１８０２）のピクチャバッファ（１８０４）から取り込み、それを処理して元の（フル）解像度にし、各カテゴリのフル解像度フレーム（１８５６）を引き出し、次に、これらのフレーム（１８５６）を拡張レイヤ参照ピクチャバッファ（１８６０）内の既に復号化されたフレーム（１８５８）に加算して、各データカテゴリの最終的な再構成フレーム（１８６２）を生成する。

図１１及び１２に示した実施形態と図１７及び１８に示した実施形態との間の差と矛盾しない図１１及び１２に示した実施形態に従う全ての更なる実施形態は、図１７及び１８に示した実施形態に従う更なる実施形態にも適用される。更なる実施形態によると、基本レイヤの解像度及び拡張レイヤの解像度、並びに拡張レイヤの内部参照ピクチャバッファは、異なっても良い。

図１７及び１８に示した実施形態に従う更なる実施形態では、図１３及び１４に示した実施形態と同様に、拡張レイヤは、各データカテゴリの参照ピクチャバッファ毎に１つの、複数の視差補償モジュールを設ける。図１３及び１４に示した実施形態に従う全ての適用可能な更なる実施形態は、同様に適用される。

図１９は、本開示の一実施形態によるマルチレイヤの解像度スケーラブル３Ｄ立体ビデオエンコーダを示し、基本レイヤはデータのフレーム準拠バージョンを符号化し、２つの拡張レイヤはそれぞれ１つの拡張解像度でデータカテゴリ（３Ｄ立体ビデオ配信のための各ビュー）の残差を符号化する。図２０は、本開示の実施形態による、対応するデコーダを示す。

図１９に示した実施形態によると、拡張レイヤ（１９３２、１９６２）は、図１7及び１８に示した実施形態と同様に、残差の符号化を採用する。本実施形態によると、各拡張レイヤ（１９３２、１９６２）は、各データカテゴリに対応し、残差（１９３４、１９６４）（文献７）を符号化する。この残差は、元のフル解像度のデータカテゴリのフレームの予測（１９３６、１９６６）を減算した結果である。この予測（１９３８）は、ＲＰＵプロセッサ（１９３８、１９６８）を用いた結果である。ＲＰＵプロセッサ（１９３８、１９６８）は、入力としてフレーム準拠基本レイヤ（１９０２）からの復号化ピクチャを有し、所与のレイヤの元の（フル）解像度で元のフレームカテゴリの予測（１９３６、１９６６）を出力する。更なる実施形態によると、ＲＰＵ（１９３８、１９６８）は、フィルタリング、補間、再スケーリング等を含む特許文献３に開示されたような技術を用いても良い。図１９に示した実施形態によると、拡張レイヤ（１９３２、１９６２）の内部ピクチャバッファ（１９４０、１９7０）は、ＲＰＵを介して基本レイヤバッファ（１９０４）から処理された参照を受信しない。

図２０に示したデコーダで、拡張レイヤ（２０３２、２０６２）毎に、同様のＲＰＵ（２０３４、２０６４）は、入力として復号化された基本レイヤのピクチャを基本レイヤ（２００２）のピクチャバッファ（２００４）から取り込み、それを処理して元の（フル）解像度にし、所与のカテゴリのフル解像度フレーム（２０３６、２０６６）を引き出し、次に、このフレーム（２０３６、２０６６）を拡張レイヤ参照ピクチャバッファ（２０４０、２０7０）内の既に復号化されたフレーム（２０３８、２０６８）に加算して、所与のデータカテゴリの最終的な再構成フレーム（２０４２、２０7２）を生成する。

図１５及び１６に示した実施形態と図１９及び２０に示した実施形態との間の差と矛盾しない図１５及び１６に示した実施形態に従う全ての更なる実施形態は、図１９及び２０に示した実施形態に従う更なる実施形態にも適用される。更なる実施形態によると、基本レイヤの解像度及び拡張レイヤの解像度、並びに拡張レイヤの内部参照ピクチャバッファは、異なっても良い。また、各拡張レイヤの解像度は異なっても良い。

本開示で記載された方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実施されても良い。ブロック、モジュール又はコンポーネントとして記載された特徴は、一緒に（例えば集積論理素子のような論理素子に）又は別個に（例えば別個に接続された論理素子として）実施されても良い。本開示の方法のソフトウェア部分は、実行されると、少なくとも部分的に記載された方法を実行する命令を有するコンピュータ可読媒体を有しても良い。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は読み出し専用メモリ（ＲＯＭ）を有しても良い。命令は、プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブル論理アレイ（ＦＰＧＡ））により実行されても良い。

以上に、本発明の実施形態が記載された。これらは、項として以下に列挙する１又は複数の例示的な実施形態に関連する。

したがって、本発明は、本発明の幾つかの部分の構造、特徴及び機能を記載した以下に列挙する例示的実施形態（Enumerated Example Embodiments：EEE）を含むがこれらに限定されない、本願明細書に記載された如何なる形式で実現されても良い。
（ＥＥＥ１） マルチレイヤフレーム準拠ビデオ配信のための符号化方法であって、
ａ）基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、
ｉ） 前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、
を含むステップ、
ｂ）１又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、
ｉ） 前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップ、
ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、
ｉｉｉ） 前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、
ｉｖ）動き又は視差補償を実行するステップ、
を含むステップ、
を有し、前記１又は複数の拡張レイヤの各々は、前記複数のデータカテゴリの全てを処理する、符号化方法。
（ＥＥＥ２） 前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、ＥＥＥ１に記載の符号化方法。
（ＥＥＥ３） 前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップは、
前記複数のデータカテゴリの画像又はビデオフレームを基本レイヤサンプリングし単一フレームに基本レイヤ多重化するステップ、
を有する、ＥＥＥ１又は２に記載の符号化方法。
（ＥＥＥ４） 前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの１つに従う、ＥＥＥ１〜３のいずれか一項に記載の符号化方法。
（ＥＥＥ５） 前記複数の既存のビデオコーデックは、H.２６４/AVC、VP８及びVC-１を有する、ＥＥＥ４に記載の符号化方法。
（ＥＥＥ６） 前記基本レイヤ処理のサンプリングは、前記複数のデータカテゴリの画像又はビデオフレームの対称又は非対称フィルタリングを含む、ＥＥＥ３〜５のいずれか一項に記載の符号化方法。
（ＥＥＥ７） 前記基本レイヤサンプリングするステップは、水平サンプリング、垂直サンプリング又は５点形サンプリングを有する、ＥＥＥ３〜６のいずれか一項に記載の符号化方法。
（ＥＥＥ８） 前記基本レイヤ多重化するステップは、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか１つのフレーム準拠パッキング配置を用いる、ＥＥＥ３〜７のいずれか一項に記載の符号化方法。
（ＥＥＥ９） 前記基本レイヤ処理は、前記複数のビューの画像又はビデオフレームの等しい又は等しくない量のサンプルを処理するステップを更に含む、ＥＥＥ２〜８のいずれか一項に記載の符号化方法。
（ＥＥＥ１０） 前記拡張レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか１つに従う、ＥＥＥ２〜９のいずれか一項に記載の符号化方法。
（ＥＥＥ１１） 前記複数の既存のコーデックは、VC-１及びH.２６４/AVCを有する、ＥＥＥ１０に記載の符号化方法。
（ＥＥＥ１２） 前記拡張レイヤ処理するステップは、
同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも１つの予測画像を予測することにより、少なくとも１つの参照画像又はビデオフレームを生成するステップ、
前記少なくとも１つの予測画像又はビデオフレームを前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を含む、ＥＥＥ２〜１１のいずれか一項に記載の符号化方法。
（ＥＥＥ１３） 前記少なくとも１つの参照画像又はビデオフレームの生成は、少なくとも１つの予測残差画像と前記少なくとも１つの予測画像との和を逆多重化し参照処理するステップを更に含む、ＥＥＥ１２に記載の符号化方法。
（ＥＥＥ１４） 前記逆多重化は、少なくとも１つの予測残差画像と前記少なくとも１つの予測画像との和をアップサンプリングし補間するステップを更に含む、ＥＥＥ１３に記載の符号化方法。
（ＥＥＥ１５） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファのうちの１つは、他の前記少なくとも１つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、ＥＥＥ２〜１４のいずれか一項に記載の符号化方法。
（ＥＥＥ１６） 前記拡張レイヤ処理するステップは、
前記複数のデータカテゴリの各々に対し、前記少なくとも１つの拡張レイヤ参照ピクチャバッファから少なくとも１つの参照画像を選択するステップ、
前記の選択された少なくとも１つの参照画像を拡張レイヤサンプリングし、少なくとも１つのフレーム準拠画像に拡張レイヤ多重化するステップ、
前記少なくとも１つのフレーム準拠画像に基づき、視差補償又はインター予測を実行するステップ、
を更に含む、ＥＥＥ１〜１５のいずれか一項に記載の符号化方法。
（ＥＥＥ１７） 前記選択された少なくとも１つの参照画像の拡張レイヤサンプリングは、水平サンプリング、垂直サンプリング又は５点形サンプリングのうちのいずれか１つを有し、
前記選択された少なくとも１つの参照画像の拡張レイヤ多重化は、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか１つのフレーム準拠パッキング配置を用いる、ＥＥＥ１６に記載の符号化方法。
（ＥＥＥ１８） 前記拡張レイヤ処理は、
前記基本レイヤの参照バッファからの少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ１６又は１７に記載の符号化方法。
（ＥＥＥ１９） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、ＥＥＥ１８に記載の符号化方法。
（ＥＥＥ２０） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像をフィルタリングし、アップスケーリングし、補間するステップを更に含む、ＥＥＥ１９に記載の符号化方法。
（ＥＥＥ２１） 前記拡張レイヤ処理するステップは、前記ＢＬ−ｔｏ−ＥＬ処理に関する情報を対応するデコーダに供給するステップを更に含む、ＥＥＥ１８〜２０のいずれか一項に記載の符号化方法。
（ＥＥＥ２２） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、前記複数のデータカテゴリのうちの各々１つに対して、同一の又は異なる拡張解像度で、画像を格納する、ＥＥＥ１〜２１のいずれか一項に記載の符号化方法。
（ＥＥＥ２３） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、元の入力画像と同じ解像度で、画像を格納する、ＥＥＥ１〜２２のいずれか一項に記載の符号化方法。
（ＥＥＥ２４） 前記基本レイヤ多重化するステップ及び前記拡張レイヤ多重化するステップは、同一のフレーム準拠パッキング配置を用いる、ＥＥＥ１〜２３のいずれか一項に記載の符号化方法。
（ＥＥＥ２５） 前記基本レイヤ処理するステップ及び前記拡張レイヤ処理するステップは、異なる空間解像度で画像を処理する、ＥＥＥ１８〜２４のいずれか一項に記載の符号化方法。
（ＥＥＥ２６） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、
前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、
前記の逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を補間するステップ、
前記補完された逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップ、
を有する、ＥＥＥ２５に記載の符号化方法。
（ＥＥＥ２7） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、
前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、
前記の逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を異なる空間解像度に再スケーリングするステップ、
前記の逆多重化された再スケーリングされた少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に補間するステップ、
を有する、ＥＥＥ２５に記載の符号化方法。
（ＥＥＥ２８） 逆多重化された再スケーリングされた少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度にフィルタリングするステップを更に含む、ＥＥＥ２7に記載の符号化方法。
（ＥＥＥ２９） 前記拡張レイヤ処理するステップは、メモリ管理制御動作（memory management control operation：MMCO）を通じて前記少なくとも１つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、ＥＥＥ１〜２８のいずれか一項に記載の符号化方法。
（ＥＥＥ３０） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、１又は複数のＭＭＣＯセットに従い同期化される、ＥＥＥ１〜２９のいずれか一項に記載の符号化方法。
（ＥＥＥ３１） 前記拡張レイヤ処理するステップは、前記ＭＭＣＯに関する情報を対応するデコーダに供給するステップを更に含む、ＥＥＥ２９又は３０に記載の符号化方法。
（ＥＥＥ３２） 前記基本レイヤ処理するステップは、第１の周波数範囲の画像成分を符号化し、前記拡張レイヤ処理するステップは、第２の周波数範囲の画像成分を符号化する、ＥＥＥ１〜３１のいずれか一項に記載の符号化方法。
（ＥＥＥ３３） 前記拡張レイヤ処理するステップは、
前記複数のデータカテゴリの各々に対し、前記少なくとも１つの拡張レイヤ参照ピクチャバッファから少なくとも１つの参照画像を選択するステップ、
前記少なくとも１つの参照画像に基づき視差補償又はインター予測を実行することにより、前記複数のデータカテゴリの各々に対し、少なくとも１つの補償画像を得るステップ、
前記少なくとも１つの補償画像を拡張レイヤサンプリングし、少なくとも１つのフレーム準拠画像に拡張レイヤ多重化するステップ、
を更に含む、ＥＥＥ１〜１５のいずれか一項に記載の符号化方法。
（ＥＥＥ３４） 前記拡張レイヤ処理するステップは、メモリ管理制御動作（memory management control operation：MMCO）を通じて前記少なくとも１つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、ＥＥＥ３３に記載の符号化方法。
（ＥＥＥ３５） 前記拡張レイヤ処理するステップは、前記ＭＭＣＯに関する情報を対応するデコーダに供給するステップを更に含む、ＥＥＥ３４に記載の符号化方法。
（ＥＥＥ３６） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、前記複数のデータカテゴリの各々に対して、同一の又は異なる拡張解像度で、画像を格納する、ＥＥＥ３３〜３５のいずれか一項に記載の符号化方法。
（ＥＥＥ３７） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、元の入力画像と同じ解像度で、画像を格納する、ＥＥＥ３３〜３６のいずれか一項に記載の符号化方法。
（ＥＥＥ３８） 前記基本レイヤ処理するステップは、第１の周波数範囲の画像成分を符号化し、前記拡張レイヤ処理するステップは、第２の周波数範囲の画像成分を符号化する、ＥＥＥ３３〜３７のいずれか一項に記載の符号化方法。
（ＥＥＥ３９） マルチレイヤフレーム準拠ビデオ配信のための符号化方法であって、
ａ）基本レイヤを通じて複数のデータカテゴリの画像又はビデオフレームを基本レイヤ処理するステップであって、
ｉ） 前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップ、
を含むステップ、
ｂ）１又は複数の拡張レイヤを通じて前記複数のデータカテゴリの画像又はビデオフレームを拡張レイヤ処理するステップであって、
ｉ） 前記複数のデータカテゴリのうちの１つの画像又はビデオフレームの拡張レイヤ表現を供給するステップ、
ｉｉ）各拡張レイヤに拡張レイヤ参照ピクチャバッファを保持するステップ、
ｉｉｉ） 前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、
ｉｖ）動き又は視差補償を実行するステップ、
を含むステップ、
を有する、符号化方法。
（ＥＥＥ４０） 前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、ＥＥＥ３９に記載の符号化方法。
（ＥＥＥ４１） 前記複数のデータカテゴリの画像又はビデオフレームの基本レイヤフレーム準拠表現を供給するステップは、前記複数のデータカテゴリの画像又はビデオフレームを基本レイヤサンプリングし単一フレームに基本レイヤ多重化するステップ、
を有する、ＥＥＥ３９又は４０に記載の符号化方法。
（ＥＥＥ４２） 前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの１つに従う、ＥＥＥ３９〜４１のいずれか一項に記載の符号化方法。
（ＥＥＥ４３） 前記複数の既存のビデオコーデックは、H.２６４/AVC、VP８及びVC-１を有する、ＥＥＥ４２に記載の符号化方法。
（ＥＥＥ４４） 前記基本レイヤ処理のサンプリングは、前記複数のデータカテゴリの画像又はビデオフレームの対称又は非対称フィルタリングを含む、ＥＥＥ４１〜４３のいずれか一項に記載の符号化方法。
（ＥＥＥ４５） 前記基本レイヤサンプリングするステップは、水平サンプリング、垂直サンプリング又は５点形サンプリングを有する、ＥＥＥ４１〜４４のいずれか一項に記載の符号化方法。
（ＥＥＥ４６） 前記基本レイヤ多重化するステップは、チェックボードインタリーブ配置、列インタリーブ配置、行インタリーブ配置、サイドバイサイドインタリーブ配置、及び上下インタリーブ配置のうちのいずれか１つのフレームに準拠したパッキング配置を用いる、ＥＥＥ４１〜４５のいずれか一項に記載の符号化方法。
（ＥＥＥ４７） 前記基本レイヤ処理は、前記複数のビューの画像又はビデオフレームの等しい又は等しくない量のサンプルを処理するステップを更に含む、ＥＥＥ４０〜４６のいずれか一項に記載の符号化方法。
（ＥＥＥ４８） 前記符号化レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか１つに従う、ＥＥＥ４０〜４７のいずれか一項に記載の符号化方法。
（ＥＥＥ４９） 前記複数の既存のコーデックは、VC-１及びH.２６４/AVCを有する、ＥＥＥ４８に記載の符号化方法。
（ＥＥＥ５０） 前記動き又は視差補償を実行するステップは、前記拡張レイヤ参照ピクチャバッファに格納された少なくとも１つの画像に基づく、ＥＥＥ３９〜４９のいずれか一項に記載の符号化方法。
（ＥＥＥ５１） 前記拡張レイヤ処理するステップは、
前記基本レイヤの参照バッファからの少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ３９〜４９のいずれか一項に記載の符号化方法。
（ＥＥＥ５２） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化しアップサンプリングするステップを含む、ＥＥＥ５１に記載の符号化方法。
（ＥＥＥ５３） 前記１又は複数の拡張レイヤの各々の前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像の参照処理、逆多重化、アップサンプリングを一緒に実行し最適化する単一の処理ユニットにより処理される、ＥＥＥ５２に記載の符号化方法。
（ＥＥＥ５４） 前記拡張レイヤ処理するステップは、
異なる拡張レイヤの拡張レイヤ参照ピクチャバッファに格納された少なくとも１つの参照画像を拡張レイヤ−拡張レイヤ（ＥＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＥＬ−ｔｏ−ＥＬ処理された少なくとも１つの拡張レイヤの参照画像を該拡張レイヤの前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ３９〜５３に記載の符号化方法。
（ＥＥＥ５５） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップを更に含む、ＥＥＥ５１〜５４に記載の符号化方法。
（ＥＥＥ５６） 前記ＥＬ−ｔｏ−ＥＬ処理するステップは、前記のＥＬ−ｔｏ−ＥＬ処理された少なくとも１つの拡張レイヤ参照画像を目標空間解像度に再スケーリングするステップを更に含む、ＥＥＥ５４又は５５に記載の符号化方法。
（ＥＥＥ５７） 前記複数のデータカテゴリの画像又はビデオフレームの拡張レイヤフレーム準拠表現を供給するステップは、
前記複数のデータカテゴリの元のフル解像度画像と少なくとも１つの基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）予測との差分画像をフィルタリングし、サンプリングし、多重化するステップ、
を有する、ＥＥＥ１に記載の符号化方法。
（ＥＥＥ５８） 前記少なくとも１つのＢＬ−ｔｏ−ＥＬ予測は、前記基本レイヤからの少なくとも１つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、ＥＥＥ５7に記載の符号化方法。
（ＥＥＥ５９） 前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、ＥＥＥ５８に記載の符号化方法。
（ＥＥＥ６０） 前記動き又は視差補償は、前記複数のデータカテゴリの各々に対して実行される、ＥＥＥ５７に記載の符号化方法。
（ＥＥＥ６１） 前記複数のデータカテゴリのうちの１つの画像又はビデオの拡張レイヤ表現を供給するステップは、
前記複数のデータカテゴリのうちの１つの少なくとも１つの元のフル解像度画像と少なくとも１つの基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）予測との少なくとも１つの差分画像を得るステップ、
を有する、ＥＥＥ３９に記載の符号化方法。
（ＥＥＥ６２） 前記少なくとも１つのＢＬ−ｔｏ−ＥＬ予測は、前記基本レイヤからの少なくとも１つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、ＥＥＥ６１に記載の符号化方法。
（ＥＥＥ６３） 前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、ＥＥＥ６２に記載の符号化方法。
（ＥＥＥ６４） マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、
ａ）基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、
ｉ）少なくとも１つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、
を含むステップ、
ｂ）１又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、
ｉ）複数のデータカテゴリの少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、
ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、
ｉｉｉ） 前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、
ｉｖ）視差補償を実行するステップ、
を含むステップ、
を有し、
前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。
（ＥＥＥ６５） 前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、ＥＥＥ６４に記載の復号化方法。
（ＥＥＥ６６） 前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの１つに従う、ＥＥＥ６４又は６５に記載の符号化方法。
（ＥＥＥ６７） 前記複数の既存のビデオコーデックは、H.２６４/AVC、VP８及びVC-１を有する、ＥＥＥ６６に記載の符号化方法。
（ＥＥＥ６８） 前記拡張レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか１つに従う、ＥＥＥ６４〜６７のいずれか一項に記載の復号化方法。
（ＥＥＥ６９） 前記複数の既存のコーデックは、VC-１及びH.２６４/AVCを有する、ＥＥＥ６８に記載の復号化方法。
（ＥＥＥ７０） 前記拡張レイヤ処理するステップは、同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも１つの予測画像を予測することにより、少なくとも１つの参照画像又はビデオフレームを生成するステップ、前記少なくとも１つの予測画像又はビデオフレームを前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、を含む、ＥＥＥ６４〜６９のいずれか一項に記載の復号化方法。
（ＥＥＥ７１） 前記少なくとも１つの参照画像又はビデオフレームの生成は、前記複数の拡張レイヤビットストリーム信号から復号化された少なくとも１つの画像と前記少なくとも１つの予測残差画像との和を逆多重化し参照処理するステップを更に含む、ＥＥＥ7０に記載の復号化方法。
（ＥＥＥ７２） 前記逆多重化は、少なくとも１つの予測残差画像と前記少なくとも１つの予測画像との和をアップサンプリングし補間するステップを更に含む、ＥＥＥ7１に記載の復号化方法。
（ＥＥＥ７３） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファのうちの１つは、他の前記少なくとも１つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、ＥＥＥ６５〜7２のいずれか一項に記載の復号化方法。
（ＥＥＥ７４） 前記拡張レイヤ処理するステップは、
前記複数のデータカテゴリの各々に対し、前記少なくとも１つの拡張レイヤ参照ピクチャバッファから少なくとも１つの参照画像を選択するステップ、
前記の選択された少なくとも１つの参照画像を拡張レイヤサンプリングし、少なくとも１つのフレーム準拠画像に拡張レイヤ多重化するステップ、
前記少なくとも１つのフレーム準拠画像に基づき、視差補償又はインター予測を実行するステップ、
を更に含む、ＥＥＥ６４〜7３のいずれか一項に記載の復号化方法。
（ＥＥＥ７５） 前記拡張レイヤ処理は、
前記基本レイヤの参照バッファからの少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ7３又は7４に記載の復号化方法。
（ＥＥＥ７６） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、ＥＥＥ7５に記載の復号化方法。
（ＥＥＥ７７） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像をフィルタリングし、アップスケーリングし、補間するステップを更に含む、ＥＥＥ7６に記載の復号化方法。
（ＥＥＥ７８） 前記拡張レイヤ処理するステップは、前記ＢＬ−ｔｏ−ＥＬ処理に関する情報を対応するエンコーダから受信するステップを更に含む、ＥＥＥ7５〜77のいずれか一項に記載の復号化方法。
（ＥＥＥ７９） 前記基本レイヤ処理するステップ及び前記拡張レイヤ処理するステップは、異なる空間解像度で画像を処理する、ＥＥＥ7５〜７８のいずれか一項に記載の復号化方法。
（ＥＥＥ８０） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、
前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、
前記の逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を補間するステップ、
前記補完された逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップ、
を有する、ＥＥＥ7９に記載の復号化方法。
（ＥＥＥ８１） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、
前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を逆多重化するステップ、
前記の逆多重化された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を異なる空間解像度に再スケーリングするステップ、
前記の逆多重化された再スケーリングされた少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に補間するステップ、
を有する、ＥＥＥ7９に記載の復号化方法。
（ＥＥＥ８２） 逆多重化された再スケーリングされた少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度にフィルタリングするステップを更に含む、ＥＥＥ８１に記載の復号化方法。
（ＥＥＥ８３） 前記拡張レイヤ処理するステップは、メモリ管理制御動作（memory management control operation：MMCO）を通じて前記少なくとも１つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、ＥＥＥ６４〜８２のいずれか一項に記載の復号化方法。
（ＥＥＥ８４） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、１又は複数のＭＭＣＯセットに従い同期化される、ＥＥＥ８３に記載の復号化方法。
（ＥＥＥ８５） 前記拡張レイヤ処理するステップは、前記ＭＭＣＯに関する情報を対応するエンコーダから受信するステップを更に含む、ＥＥＥ８３又は８４に記載の復号化方法。
（ＥＥＥ８６） 前記拡張レイヤ処理するステップは、
前記複数のデータカテゴリの各々に対し、前記少なくとも１つの拡張レイヤ参照ピクチャバッファから少なくとも１つの参照画像を選択するステップ、
前記少なくとも１つの参照画像に基づき視差補償又はインター予測を実行することにより、前記複数のデータカテゴリの各々に対し、少なくとも１つの補償画像を得るステップ、
前記少なくとも１つの補償画像を拡張レイヤサンプリングし、少なくとも１つのフレーム準拠画像に拡張レイヤ多重化するステップ、
を更に含む、ＥＥＥ６４〜６７のいずれか一項に記載の復号化方法。
（ＥＥＥ８７） 前記拡張レイヤ処理するステップは、メモリ管理制御動作（memory management control operation：MMCO）を通じて前記少なくとも１つの拡張レイヤ参照ピクチャバッファを制御するステップを更に含む、ＥＥＥ８６に記載の復号化方法。
（ＥＥＥ８８） 前記拡張レイヤ処理するステップは、前記ＭＭＣＯに関する情報を対応するエンコーダから受信するステップを更に含む、ＥＥＥ８7に記載の復号化方法。
（ＥＥＥ８９） マルチレイヤフレーム準拠ビデオ配信のための復号化方法であって、
ａ）基本レイヤを通じて基本レイヤを通じて複数の基本レイヤビットストリーム信号を基本レイヤ処理するステップであって、
ｉ）少なくとも１つのフレーム準拠基本レイヤ復号化画像又はビデオフレームを供給するステップ、
を含むステップ、
ｂ）１又は複数の拡張レイヤを通じて複数のデータカテゴリの１又は複数の拡張レイヤを通じて前記複数の拡張ビットストリーム信号を拡張レイヤ処理するステップであって、前記複数のデータカテゴリの各々は、別個の拡張レイヤで別個に処理され、前記１又は複数の拡張レイヤの各々は、
ｉ） 前記複数のデータカテゴリのうちの１つの少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップ、
ｉｉ）少なくとも１つの拡張レイヤ参照ピクチャバッファを保持するステップ、
ｉｉｉ） 前記基本レイヤ又は異なる拡張レイヤへの少なくとも１つの従属関係を参照処理するステップ、
ｉｖ）視差補償を実行するステップ、
を含むステップ、
を有し、
前記複数のデータカテゴリの全ては、同一の拡張レイヤで復号化され処理される、復号化方法。
（ＥＥＥ９０） 前記複数のデータカテゴリは、立体画像又はビデオの複数のビューを有する、ＥＥＥ８９に記載の復号化方法。
（ＥＥＥ９１） 前記基本レイヤ処理するステップは、複数の既存のビデオコーデックのうちの１つに従う、ＥＥＥ８９又は９０に記載の復号化方法。
（ＥＥＥ９２） 前記複数の既存のビデオコーデックは、H.２６４/AVC、VP８及びVC-１を有する、ＥＥＥ９１に記載の復号化方法。
（ＥＥＥ９３） 前記符号化レイヤ処理するステップは、ハイブリッドビデオ符号化モデルを採用し、前記ハイブリッドビデオ符号化モデルは、複数の既存のコーデックのうちのいずれか１つに従う、ＥＥＥ８９〜９２のいずれか一項に記載の復号化方法。
（ＥＥＥ９４） 前記複数の既存のコーデックは、VC-１及びH.２６４/AVCを有する、ＥＥＥ９３に記載の復号化方法。
（ＥＥＥ９５） 前記動き又は視差補償を実行するステップは、前記拡張レイヤ参照ピクチャバッファに格納された少なくとも１つの画像に基づく、ＥＥＥ８９〜９４のいずれか一項に記載の復号化方法。
（ＥＥＥ９６） 前記拡張レイヤ処理するステップは、
前記基本レイヤの参照バッファからの少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を、前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ８９〜９５のいずれか一項に記載の復号化方法。
（ＥＥＥ９７） 前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を参照処理し、逆多重化し、アップサンプリングするステップを含む、ＥＥＥ９６に記載の復号化方法。
（ＥＥＥ９８） 前記１又は複数の拡張レイヤの各々の前記ＢＬ−ｔｏ−ＥＬ処理は、前記少なくとも１つの基本レイヤ復号化されたフレーム準拠画像の参照処理、逆多重化、アップサンプリングを一緒に実行し最適化する単一の処理ユニットにより処理される、ＥＥＥ９7に記載の復号化方法。
（ＥＥＥ９９） 前記拡張レイヤ処理するステップは、
異なる拡張レイヤの拡張レイヤ参照ピクチャバッファに格納された少なくとも１つの参照画像を拡張レイヤ−拡張レイヤ（ＥＬ−ｔｏ−ＥＬ）処理するステップ、
前記のＥＬ−ｔｏ−ＥＬ処理された少なくとも１つの拡張レイヤの参照画像を該拡張レイヤの前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップ、
を更に含む、ＥＥＥ８９〜９８に記載の復号化方法。
（ＥＥＥ１００） 前記ＢＬ−ｔｏ−ＥＬ処理するステップは、前記のＢＬ−ｔｏ−ＥＬ処理された少なくとも１つの基本レイヤ復号化されたフレーム準拠画像を目標空間解像度に再スケーリングするステップを更に含む、ＥＥＥ８９〜９９に記載の復号化方法。
（ＥＥＥ１０１） 前記ＥＬ−ｔｏ−ＥＬ処理するステップは、前記のＥＬ−ｔｏ−ＥＬ処理された少なくとも１つの拡張レイヤ参照画像を目標空間解像度に再スケーリングするステップを更に含む、ＥＥＥ９９又は１００に記載の復号化方法。
（ＥＥＥ１０２） 前記複数のデータカテゴリの前記少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップは、
前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納された参照画像を少なくとも１つの基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）予測に加算するステップ、
を有する、ＥＥＥ８９に記載の復号化方法。
（ＥＥＥ１０３） 前記少なくとも１つのＢＬ−ｔｏ−ＥＬ予測は、前記基本レイヤの参照ピクチャバッファに格納された少なくとも１つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、ＥＥＥ１０２に記載の復号化方法。
（ＥＥＥ１０４） 前記視差補償は、前記複数のデータカテゴリの各々に対して実行される、ＥＥＥ１０２に記載の復号化方法。
（ＥＥＥ１０５） 前記複数のデータカテゴリのうちの１つの前記少なくとも１つの拡張レイヤ復号化画像又はビデオフレームを供給するステップは、
前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納された参照画像を少なくとも１つの基本レイヤ−拡張レイヤ（ＢＬ−ｔｏ−ＥＬ）予測に加算するステップ、
を有する、ＥＥＥ８９に記載の復号化方法。
（ＥＥＥ１０６） 前記少なくとも１つのＢＬ−ｔｏ−ＥＬ予測は、前記基本レイヤの参照ピクチャバッファに格納された少なくとも１つのフレーム準拠復号化ピクチャを逆多重化し参照処理することにより得られる、ＥＥＥ１０５に記載の復号化方法。
（ＥＥＥ１０７） 前記逆多重化及び参照処理は、フィルタリング、補間又は再スケーリングを更に有する、ＥＥＥ１０６に記載の復号化方法。
（ＥＥＥ１０８）ＥＥＥ１〜６３、１１７の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを符号化するエンコーダ。
（ＥＥＥ１０９）ＥＥＥ１〜６３、１１７の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを符号化する装置。
（ＥＥＥ１１０）ＥＥＥ１〜６３、１１７の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを符号化するシステム。
（ＥＥＥ１１１）ＥＥＥ６４〜１０７、１１８の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを復号化するデコーダ。
（ＥＥＥ１１２）ＥＥＥ６４〜１０７、１１８の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを復号化する装置。
（ＥＥＥ１１３）ＥＥＥ６４〜１０７、１１８の１又は複数項に記載された方法に従って、少なくとも１つの画像又はビデオフレームを復号化するシステム。
（ＥＥＥ１１４）命令セットを有するコンピュータ可読媒体であって、前記命令セットは、コンピュータにＥＥＥ１〜１０７、１１７、１１８の１又は複数項に記載された方法を実行させる、コンピュータ可読媒体。
（ＥＥＥ１１５）少なくとも１つの画像又はビデオフレームを符号化するための、ＥＥＥ１〜６３、１１7の１又は複数項に記載された方法の使用。
（ＥＥＥ１１６）少なくとも１つの画像又はビデオフレームを復号化するための、ＥＥＥ６４〜１０７、１１８の１又は複数項に記載された方法の使用。
（ＥＥＥ１１７） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、少なくとも２つの拡張レイヤ参照バッファを有する、ＥＥＥ１〜３８のいずれか一項に記載の符号化方法。
（ＥＥＥ１１８） 前記少なくとも１つの拡張レイヤ参照ピクチャバッファは、少なくとも２つの拡張レイヤ参照バッファを有する、ＥＥＥ６４〜６８のいずれか一項に記載の復号化方法。

本願明細書で言及された全ての特許文献及び刊行物は、本開示の関連する分野の当業者の水準を示し得る。本開示で引用された全ての参考文献は、参照されることにより、各文献の全体が個々に参照により組み込まれているのと同程度に本願明細書に組み込まれる。

上述の例は、当業者に本開示のマルチレイヤフレーム準拠ビデオ配信のシステム及び方法の実施形態をどのように作り使用するかの完全な開示及び説明を与えるために提供され、発明者等が彼らの開示として見なす範囲を限定するものではない。本開示を実施するための上述のモードの変更が、当業者により用いられ、以下の請求の範囲の範囲内にあると見なされる。本願明細書で言及された全ての特許文献及び刊行物は、本開示の関連する分野の当業者の水準を示し得る。本開示で引用された全ての参考文献は、参照されることにより、各文献の全体が個々に参照により組み込まれているのと同程度に本願明細書に組み込まれる。

本開示は特定の方法又はシステムに限定されるものではないことが理解されるべきである。これらの方法又はシステムは、勿論、変更できる。本願明細書で用いられた用語は、特定の実施形態を説明することのみを目的としており、限定を目的としていないことが理解されるべきである。明細書及び請求の範囲で用いられるように、単数を表す語（「a」、「an」及び「the」）は、特に文脈上明示されない限り、複数への参照も含む。用語「複数」は、特に明示されない限り、２以上の指示対象を含む。特に定められない限り、本願明細書で用いられた全ての技術的及び科学的用語は、本開示の関連する分野の当業者により通常理解されるものと同じ意味を有する。

本開示の多くの実施形態が記載された。しかしながら、本開示の精神及び範囲から逸脱することなく種々の変更を行うことができることが理解されるだろう。したがって、他の実施形態も添付の請求の範囲に包含される。

［関連出願の参照］
本願は、米国仮特許出願番号６１／３６６，５１２、出願日２０１０年７月２１日の優先権を主張する。該米国仮特許出願は参照されることにより本願明細書に組み込まれる。

１１０２ 基本レイヤ
１１０４ 基本レイヤエンコーダ
１１０６ サンプラ
１１０８ マルチプレクサ
１１５２ 追加拡張レイヤ
１１５４ 予測残差
１１５６ 変換
１１５８ 量子化
１１６０ エントロピー符号化
１１６２ 内部参照ピクチャバッファ
１１６４ デマルチプレクサ及びＲＰＵプロセッサ
１１６８ 視差補償
１１７０ サンプラ
１１７２ マルチプレクサ

Claims (7)

1. マルチレイヤの後方互換性ビデオ配信のための符号化方法であって、ビデオエンコーダが、
   ａ）基本レイヤを通じて画像又はビデオフレームを基本レイヤ処理するステップであって、
   ｉ）第１の装置による使用のために前記画像又はビデオフレームの基本レイヤ後方互換性表現を提供するステップと、
   ｉｉ）基本レイヤ参照ピクチャを格納する少なくとも１つの基本レイヤ参照ピクチャバッファを維持するステップと、を含むステップと、
   ｂ）１又は複数の拡張レイヤを通じて前記画像又はビデオフレームを拡張レイヤ処理するステップであって、
   ｉｉｉ）第２の装置による使用のために前記画像又はビデオフレームの拡
   張レイヤ表現を提供するステップと、
   ｉｖ）前記基本レイヤ参照ピクチャを逆多重化しアップサンプリングすることにより、拡張レイヤ参照ピクチャと、予測及びアップサンプリング処理の情報を生成するステップと、
   ｖ）前記拡張レイヤ参照ピクチャを格納する少なくとも１つの拡張レイヤ参照ピクチャバッファを維持するステップと、
   ｖｉ）動き補償を実行するステップと、を含むステップと、
   ｖｉｉ）前記第２の装置による使用のために前記予測及びアップサンプリング処理の情報を提供するステップ、を含むステップと、
   を有する方法。
2. 前記基本レイヤ後方互換性表現は、立体画像又はビデオを有する、請求項１に記載の方法。
3. 前記拡張レイヤ処理するステップは、
   同一の画像若しくはフレーム内のサンプルから、又は同一の拡張レイヤの過去の復号化フレームからのサンプルから、少なくとも１つの予測画像を予測することにより、少なくとも１つの参照画像又はビデオフレームを生成するステップと、
   前記少なくとも１つの予測画像又はビデオフレームを前記少なくとも１つの拡張レイヤ参照ピクチャバッファに格納するステップと、
   を更に含む請求項１に記載の方法。
4. 前記少なくとも１つの参照画像又はビデオフレームの生成は、少なくとも１つの予測残差画像と前記少なくとも１つの予測画像との和を逆多重化し参照処理するステップを更に含む、請求項３に記載の方法。
5. 前記逆多重化は、少なくとも１つの予測残差画像と前記少なくとも１つの予測画像との和をアップサンプリングし補間するステップを更に含む、請求項４に記載の方法。
6. 前記少なくとも１つの拡張レイヤ参照ピクチャバッファのうちの１つは、他の前記少なくとも１つの拡張レイヤ参照ピクチャバッファと異なる解像度で画像又はビデオフレームを格納する、請求項５に記載の方法。
7. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサにより実行されると、前記プロセッサに請求項１に記載の方法を実行させ、実行するようプログラムし、設定し、構成し又は制御する有形に格納された命令を有するコンピュータ可読記憶媒体と、
   を有するビデオエンコーダ。

Images