JP6397902B2 - スケーラブルビデオ符号化のためのレイヤ間予測 - Google Patents

Description

関連出願の相互参照
本出願は、その開示が、これによってその全体が本明細書に組み込まれている、２０１３年９月２４日に出願された米国特許仮出願第６１／８８１，８０１号の利益を主張するものである。

ビデオ符号化システムは、用いられる記憶リソースおよび／またはこのような信号の送信帯域幅を低減するように、デジタルビデオ信号を圧縮するために用いられ得る。ブロックベース、ウエーブレットベース、および／またはオブジェクトベースのシステムなどの、様々なタイプのビデオ符号化システムの中でも、ブロックベースの複合ビデオ符号化システムが一般に用いられ、展開され得る。ブロックベースのビデオ符号化システムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ−４パート１０ＡＶＣ、およびＶＣ−１標準などの、国際ビデオ符号化標準を含むことができる。高効率ビデオ符号化（ＨＥＶＣ）標準も、ブロックベースの複合ビデオ符号化フレームワークに従い得る。

強化レイヤ画像のレイヤ間予測のための基準画像（reference picture）として、強化型（enhanced）レイヤ間基準（ＥＩＬＲ：enhanced inter-layer reference）画像を用いて、レイヤ間予測の効率を向上するためのシステム、方法、および手段が開示される。レイヤ間基準（ＩＬＲ）画像の輝度成分および／またはクロミナンス成分が強化され得る。高周波情報は、ハイパスフィルタによりレイヤ間動き補償（ＩＬＭＣ）画像を処理することによって取得され得る。低周波情報は、ローパスフィルタによりＩＬＲ画像を処理することによって取得され得る。ＥＩＬＲ画像は、高周波情報、低周波情報、および／またはＩＬＲ画像の関数として生成され得る。

ビデオ符号化方法は、第１の基準画像および第２の基準画像を受信するステップを含むことができる。第１の基準画像は、ハイパスフィルタにより高周波情報を生成するように処理され得る。第２の基準画像は、ローパスフィルタにより低周波情報を生成するように処理され得る。高周波情報および低周波情報の線形結合の関数として、予測値が生成され得る。

１または複数の開示される実施形態が実施され得る、例示の通信システムのシステム図である。 図１Ａに示される通信システム内で使用され得る、例示の無線送受信ユニット（ＷＴＲＵ）のシステム図である。 図１Ａに示される通信システム内で使用され得る、例示の無線アクセスネットワークおよび例示のコアネットワークのシステム図である。 図１Ａに示される通信システム内で使用され得る、他の例示の無線アクセスネットワークおよび他の例示のコアネットワークのシステム図である。 図１Ａに示される通信システム内で使用され得る、他の例示の無線アクセスネットワークおよび他の例示のコアネットワークのシステム図である。 例示のビデオ符号化システムを示すブロック図である。 例示のビデオ復号システムを示すブロック図である。 例示のスケーラブルビデオ符号化システムを示すブロック図である。 例示の２レイヤスケーラブルビデオ復号システムのブロック図である。 例示のレイヤ間予測処理および管理サブシステムを示す図である。 もとの強化レイヤ画像とレイヤ間予測（ＩＬＰ）画像の間の処理の例を示す図である。 もとの強化レイヤ画像および時間基準およびレイヤ間基準（ＩＬＲ）画像の間の例示の歪みを示す図である。 もとの強化レイヤ画像および時間基準およびレイヤ間基準（ＩＬＲ）画像の間の例示の歪みを示す図である。 もとの強化レイヤ画像および時間基準およびレイヤ間基準（ＩＬＲ）画像の間の例示の歪みを示す図である。 ＩＬＲ強化の例を示すブロック図である。 ＩＬＲ強化の他の例を示すブロック図である。 ＩＬＲ強化の他の例を示すブロック図である。 ＩＬＲ強化の例を示すフロー図である。 例示のＥＩＬＲマップを示す図である。 ＩＬＲ強化の他の例を示すフロー図である。 ＩＬＲ強化の例を示すブロック図である。

次に例示的実施形態の詳細な説明が、様々な図に関連して述べられる。この説明は可能な実装形態の詳細な例を示すが、詳細は例示的なものであり、本出願の範囲を限定するものでは全くないことが留意されるべきである。

図１Ａは、１または複数の開示される実施形態が実施され得る、例示の通信システム１００の図である。通信システム１００は、複数の無線ユーザに、音声、データ、ビデオ、メッセージング、放送その他などのコンテンツをもたらす多元接続方式とすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通して、このようなコンテンツにアクセスすることを可能にすることができる。例えば通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、単一キャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）、および同種のものなどの、１または複数のチャネルアクセス方法を使用することができる。

図１Ａに示されるように通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ（これらは一般に、またはまとめてＷＴＲＵ１０２と呼ばれ得る）、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話ネットワーク（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含むことができるが、開示される実施形態は任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することが理解されよう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境において動作および／または通信するように構成された任意のタイプのデバイスとすることができる。例としてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成されることができ、ユーザ機器（ＵＥ）、移動局、固定またはモバイル加入者ユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ノートブック、パーソナルコンピュータ、無線センサ、民生用電子機器、および同種のものを含むことができる。

通信システム１００はまた、基地局１１４ａおよび基地局１１４ｂを含むことができる。基地局１１４ａ、１１４ｂのそれぞれは、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２などの、１または複数の通信ネットワークへのアクセスを容易にするように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つと無線でインターフェース接続するように構成された任意のタイプのデバイスとすることができる。例として基地局１１４ａ、１１４ｂは、基地トランシーバ局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータ、および同種のものとすることができる。基地局１１４ａ、１１４ｂはそれぞれ単一の要素として示されるが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含み得ることが理解されるであろう。

基地局１１４ａはＲＡＮ１０３／１０４／１０５の一部とすることができ、これはまた他の基地局、および／または基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードその他などのネットワーク要素（図示せず）を含むことができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と呼ばれ得る特定の地理的領域内で無線信号を送信および／または受信するように構成され得る。セルはさらにセルセクタに分割され得る。例えば基地局１１４ａに関連付けられたセルは、３つのセクタに分割され得る。したがって一実施形態では基地局１１４ａは、３つのトランシーバ、すなわちセルの各セクタに対して１つを含むことができる。他の実施形態では基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を使用することができ、したがってセルの各セクタに対して複数のトランシーバを利用することができる。

基地局１１４ａ、１１４ｂは、任意の適切な無線通信リンク（例えば無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができるエアインターフェース１１５／１１６／１１７を通して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数と通信することができる。エアインターフェース１１５／１１６／１１７は、任意の適切な無線アクセス技術（ＲＡＴ）を用いて確立され得る。

より具体的には、上記のように通信システム１００は、多元接続方式とすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡ、および同種のものなどの１または複数のチャネルアクセス方式を使用することができる。例えばＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することができ、これらは広帯域ＣＤＭＡ（ＷＣＤＭＡ）を用いてエアインターフェース１１５／１１６／１１７を確立することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）、および／またはＥｖｏｌｖｅｄ ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。

他の実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、Ｅｖｏｌｖｅｄ ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施することができ、これはロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を用いて、エアインターフェース１１５／１１６／１１７を確立することができる。

他の実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（すなわちマイクロ波アクセス用世界規模相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、移動体通信用グローバルシステム（ＧＳＭ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）、および同種のものなどの無線技術を実施することができる。

図１Ａの基地局１１４ｂは、例えば無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントとすることができ、事業所、ホーム、乗り物、キャンパス、および同種のものなどの、局所的エリアにおける無線接続性を容易にするための任意の適切なＲＡＴを利用することができる。一実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するために、ＩＥＥＥ８０２．１１などの無線技術を実施することができる。他の実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するために、ＩＥＥＥ８０２．１５などの無線技術を実施することができる。他の実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ピコセルまたはフェムトセルを確立するために、セルラベースのＲＡＴ（例えばＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用することができる。図１Ａに示されるように基地局１１４ｂは、インターネット１１０への直接接続を有することができる。したがって基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を通じてインターネット１１０にアクセスしなくてもよい。

ＲＡＮ１０３／１０４／１０５はコアネットワーク１０６／１０７／１０９と通信することができ、これは音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数にもたらすように構成された任意のタイプのネットワークとすることができる。例えばコアネットワーク１０６／１０７／１０９は、呼制御、料金請求サービス、モバイル位置ベースのサービス、プリペイドコール、インターネット接続性、ビデオ配信などをもたらすことができ、および／またはユーザ認証などの高レベルセキュリティ機能を行うことができる。図１Ａに示されないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを使用する他のＲＡＮと、直接または間接に通信できることが理解されるであろう。例えば、Ｅ−ＵＴＲＡ無線技術を利用し得るＲＡＮ１０３／１０４／１０５に接続されることに加えて、コアネットワーク１０６／１０７／１０９はまた、ＧＳＭ無線技術を使用する別のＲＡＮ（図示せず）と通信することができる。

コアネットワーク１０６／１０７／１０９はまた、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとして働くことができる。ＰＳＴＮ１０８は、従来型電話サービス(plain old telephone service)（ＰＯＴＳ）をもたらす回線交換電話ネットワークを含むことができる。インターネット１１０は、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびＴＣＰ／ＩＰインターネットプロトコル群におけるインターネットプロトコル（ＩＰ）などの、共通通信プロトコルを用いる相互接続されたコンピュータネットワークおよびデバイスの、地球規模のシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運用される有線もしくは無線通信ネットワークを含むことができる。例えばネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴ、または異なるＲＡＴを使用することができる１または複数のＲＡＮに接続された、別のコアネットワークを含むことができる。

通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつかまたはすべては、マルチモード能力を含むことができ、すなわちＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを通して異なる無線ネットワークと通信するための複数のトランシーバを含むことができる。例えば図１Ａに示されるＷＴＲＵ１０２ｃは、セルラベースの無線技術を使用することができる基地局１１４ａ、およびＩＥＥＥ８０２無線技術を使用することができる基地局１１４ｂと通信するように構成され得る。

図１Ｂは、例示のＷＴＲＵ１０２のシステム図である。図１Ｂに示されるようにＷＴＲＵ１０２は、プロセッサ１１８、トランシーバ１２０、送受信要素１２２、スピーカ／マイク１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および他の周辺装置１３８を含むことができる。ＷＴＲＵ１０２は、実施形態と一貫性を保ちながら、上記の要素の任意のサブコンビネーションを含み得ることが理解されるであろう。また実施形態は、基地局１１４ａおよび１１４ｂ、および／または非限定的に中でもトランシーバ局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、進化型ホームノードＢ（ｅノードＢ）、ホーム進化型ノードＢ（ＨｅＮＢまたはＨｅノードＢ）、ホーム進化型ノードＢゲートウェイ、およびプロキシノードなど、基地局１１４ａおよび１１４ｂが表すことができるノードは、図１Ｂに示され本明細書で述べられる要素のいくつかまたはすべてを含み得ることを企図する。

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連した１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械、および同種のものとすることができる。プロセッサ１１８は、信号符号化、データ処理、電源制御、入出力処理、および／またはＷＴＲＵ１０２が無線環境において動作することを可能にする任意の他の機能を行うことができる。プロセッサ１１８はトランシーバ１２０に結合されることができ、これは送受信要素１２２に結合され得る。図１Ｂはプロセッサ１１８およびトランシーバ１２０を別々の構成要素として示すが、プロセッサ１１８およびトランシーバ１２０は、電子回路パッケージまたはチップ内に一緒に統合され得ることが理解されるであろう。

送受信要素１２２は、エアインターフェース１１５／１１６／１１７を通して、基地局（例えば基地局１１４ａ）に信号を送信し、またはそれから信号を受信するように構成され得る。例えば一実施形態では送受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナとすることができる。他の実施形態では送受信要素１２２は、例えばＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された、放射器／検出器とすることができる。他の実施形態では送受信要素１２２は、ＲＦおよび光信号の両方を送信および受信するように構成され得る。送受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成され得ることが理解されるであろう。

さらに図１Ｂでは送受信要素１２２は単一の要素として示されるが、ＷＴＲＵ１０２は、任意の数の送受信要素１２２を含むことができる。より具体的にはＷＴＲＵ１０２は、ＭＩＭＯ技術を使用することができる。したがって一実施形態ではＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７を通して無線信号を送信および受信するための、２つ以上の送受信要素１２２（例えば複数のアンテナ）を含むことができる。

トランシーバ１２０は、送受信要素１２２によって送信されることになる信号を変調し、送受信要素１２２によって受信された信号を復調するように構成され得る。上記のようにＷＴＲＵ１０２は、マルチモード能力を有することができる。したがってトランシーバ１２０は、ＷＴＲＵ１０２が例えばＵＴＲＡおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを通じて通信することを可能にするために複数のトランシーバを含むことができる。

ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイク１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば液晶表示（ＬＣＤ）ディスプレイユニット、または有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されることができ、それらからユーザ入力データを受信することができる。プロセッサ１１８はまた、スピーカ／マイク１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することができる。さらにプロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２などの任意のタイプの適切なメモリからの情報にアクセスし、それにデータを記憶することができる。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶装置を含むことができる。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカード、および同種のものを含むことができる。他の実施形態ではプロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）上など、物理的にＷＴＲＵ１０２上にないメモリからの情報にアクセスし、それにデータを記憶することができる。

プロセッサ１１８は、電源１３４から電力を受信することができ、ＷＴＲＵ１０２内の他の構成要素に対して電力を分配および／または制御するように構成され得る。電源１３４は、ＷＴＲＵ１０２に電力供給するための任意の適切なデバイスとすることができる。例えば電源１３４は、１または複数の乾電池（例えばニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉイオン）など）、太陽電池、燃料電池、および同種のものを含むことができる。

プロセッサ１１８はまた、ＧＰＳチップセット１３６に結合されることができ、これはＷＴＲＵ１０２の現在の位置に関する位置情報（例えば経度および緯度）をもたらすように構成され得る。ＧＰＳチップセット１３６からの情報に加えてまたはその代わりに、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７を通して基地局（例えば基地局１１４ａ、１１４ｂ）から位置情報を受信することができ、および／または２つ以上の近くの基地局から受信される信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ１０２は、実施形態と一貫性を保ちながら、任意の適切な位置決定実装形態によって位置情報を取得できることが理解されるであろう。

プロセッサ１１８はさらに他の周辺装置１３８に結合されることができ、これはさらなる特徴、機能、および／または有線もしくは無線接続性をもたらす、１または複数のソフトウェアおよび／またはハードウェアモジュールを含むことができる。例えば周辺装置１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビ送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、および同種のものを含むことができる。

図１Ｃは、実施形態によるＲＡＮ１０３およびコアネットワーク１０６のシステム図である。上記のようにＲＡＮ１０３は、ＵＴＲＡ無線技術を使用して、エアインターフェース１１５を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０３はまた、コアネットワーク１０６と通信することができる。図１Ｃに示されるようにＲＡＮ１０３は、ノードＢ１４０ａ、１４０ｂ、１４０ｃを含むことができ、これらはそれぞれ、エアインターフェース１１５を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃはそれぞれ、ＲＡＮ１０３内の特定のセル（図示せず）に関連付けられ得る。ＲＡＮ１０３はまた、ＲＮＣ１４２ａ、１４２ｂを含むことができる。ＲＡＮ１０３は、実施形態と一貫性を保ちながら、任意の数のノードＢおよびＲＮＣを含み得ることが理解されるであろう。

図１Ｃに示されるようにノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信することができる。さらにノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインターフェースを通じて、それぞれＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを通じて互いに通信することができる。ＲＮＣ１４２ａ、１４２ｂのそれぞれは、それが接続されるそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成され得る。さらにＲＮＣ１４２ａ、１４２ｂのそれぞれは、外側ループ電源制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化、および同種のものなどの他の機能を、実行またはサポートするように構成され得る。

図１Ｃに示されるコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換局（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。上記の要素のそれぞれはコアネットワーク１０６の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用され得ることが理解されるであろう。

ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを通じてコアネットワーク１０６内のＭＳＣ１４６に接続され得る。ＭＳＣ１４６はＭＧＷ１４４に接続され得る。ＭＳＣ１４６およびＭＧＷ１４４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来型の陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。

ＲＡＮ１０３内のＲＮＣ１４２ａはまた、ＩｕＰＳインターフェースを通じてコアネットワーク１０６内のＳＧＳＮ１４８に接続され得る。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続され得る。ＳＧＳＮ１４８およびＧＧＳＮ１５０は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。

上記のようにコアネットワーク１０６はまた、ネットワーク１１２に接続されることができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１Ｄは、実施形態によるＲＡＮ１０４およびコアネットワーク１０７のシステム図である。上記のようにＲＡＮ１０４は、Ｅ−ＵＴＲＡ無線技術を使用して、エアインターフェース１１６を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０４はまた、コアネットワーク１０７と通信することができる。

ＲＡＮ１０４はｅノードＢ１６０ａ、１６０ｂ、１６０ｃを含むことができるが、ＲＡＮ１０４は実施形態と一貫性を保ちながら、任意の数のｅノードＢを含み得ることが理解されるであろう。ｅノードＢ１６０ａ、１６０ｂ、１６０ｃはそれぞれ、エアインターフェース１１６を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる。一実施形態ではｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実施することができる。したがって例えばｅノードＢ１６０ａは、複数のアンテナを用いてＷＴＲＵ１０２ａに無線信号を送信し、それから無線信号を受信することができる。

ｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれは、特定のセル（図示せず）に関連付けられることができ、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを取り扱うように構成され得る。図１Ｄに示されるように、ｅノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースを通して互いに通信することができる。

図１Ｄに示されるコアネットワーク１０７は、モビリティ管理ゲートウェイ（ＭＭＥ）１６２、サービングゲートウェイ１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６を含むことができる。上記の要素のそれぞれはコアネットワーク１０７の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用され得ることが理解されるであろう。

ＭＭＥ１６２は、Ｓ１インターフェースを通じてＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続されることができ、制御ノードとして働くことができる。例えばＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラ活動化／非活動化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初めのアタッチ時に特定のサービングゲートウェイを選択することなどに対して責任をもち得る。ＭＭＥ１６２はまた、ＲＡＮ１０４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を使用する他のＲＡＮ（図示せず）との間の切り換えのための、制御プレーン機能をもたらすことができる。

サービングゲートウェイ１６４は、Ｓ１インターフェースを通じてＲＡＮ１０４内のｅノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続され得る。サービングゲートウェイ１６４は一般に、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにおよびそれらから、ユーザデータパケットを経路指定および転送することができる。サービングゲートウェイ１６４はまた、ｅノードＢ間ハンドオーバ時にユーザプレーンをアンカリングすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのためのダウンリンクデータが利用可能であるときにページングをトリガすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理および記憶すること、および同種のものなどの他の機能を行うことができる。

サービングゲートウェイ１６４はまた、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる、ＰＤＮゲートウェイ１６６に接続され得る。

コアネットワーク１０７は他のネットワークとの通信を容易にすることができる。例えばコアネットワーク１０７は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来型の陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。例えばコアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとして働くＩＰゲートウェイ（例えばＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができ、またはそれと通信することができる。さらにコアネットワーク１０７は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにネットワーク１１２へのアクセスをもたらすことができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１Ｅは、実施形態によるＲＡＮ１０５およびコアネットワーク１０９のシステム図である。ＲＡＮ１０５は、ＩＥＥＥ８０２．１６無線技術を使用してエアインターフェース１１７を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ）とすることができる。以下でさらに論じられるように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、ＲＡＮ１０５、およびコアネットワーク１０９の異なる機能エンティティ間の通信リンクは、基準点として定義され得る。

図１Ｅに示されるようにＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、１８０ｃ、およびＡＳＮゲートウェイ１８２を含むことができるが、ＲＡＮ１０５は実施形態と一貫性を保ちながら、任意の数の基地局およびＡＳＮゲートウェイを含み得ることが理解されるであろう。基地局１８０ａ、１８０ｂ、１８０ｃはそれぞれＲＡＮ１０５内の特定のセル（図示せず）に関連付けられることができ、それぞれエアインターフェース１１７を通してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる。一実施形態では基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実施することができる。したがって例えば基地局１８０ａは、複数のアンテナを用いてＷＴＲＵ１０２ａに無線信号を送信し、それから無線信号を受信することができる。基地局１８０ａ、１８０ｂ、１８０ｃはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシー実施、および同種のものなどのモビリティ管理機能をもたらすことができる。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとして働くことができ、ページング、加入者プロファイルのキャッシング、コアネットワーク１０９への経路指定、および同種のものに対して責任をもち得る。

ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実施するＲ１基準点として定義され得る。さらにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれは、コアネットワーク１０９との論理インターフェース（図示せず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２基準点として定義されることができ、これは認証、承認、ＩＰホスト構成管理、および／またはモビリティ管理のために用いられ得る。

基地局１８０ａ、１８０ｂ、１８０ｃのそれぞれの間の通信リンクは、ＷＴＲＵハンドオーバおよび基地局間のデータの転送を容易にするためのプロトコルを含むＲ８基準点として定義され得る。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６基準点として定義され得る。Ｒ６基準点は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれに関連付けられたモビリティイベントに基づくモビリティ管理を容易にするためのプロトコルを含むことができる。

図１Ｅに示されるようにＲＡＮ１０５は、コアネットワーク１０９に接続され得る。ＲＡＮ１０５とコアネットワーク１０９の間の通信リンクは、例えばデータ転送およびモビリティ管理能力を容易にするためのプロトコルを含むＲ３基準点として定義され得る。コアネットワーク１０９は、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）１８４、認証、承認、アカウンティング（ＡＡＡ）サーバ１８６、およびゲートウェイ１８８を含むことができる。上記の要素のそれぞれはコアネットワーク１０９の一部として示されるが、これらの要素のいずれの１つも、コアネットワークオペレータ以外のエンティティによって所有および／または運用され得ることが理解されるであろう。

ＭＩＰ−ＨＡは、ＩＰアドレス管理に対して責任をもつことができ、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが、異なるＡＳＮおよび／または異なるコアネットワークの間でローミングすることを可能にすることができる。ＭＩＰ−ＨＡ１８４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にするために、インターネット１１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。ＡＡＡサーバ１８６は、ユーザ認証に対して、およびユーザサービスをサポートすることに対して責任をもち得る。ゲートウェイ１８８は、他のネットワークとのインターワーキングを容易にする。例えばゲートウェイ１８８は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来型の陸線通信デバイスとの間の通信を容易にするために、ＰＳＴＮ１０８などの回線交換ネットワークへのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにもたらすことができる。さらにゲートウェイ１８８は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにネットワーク１１２へのアクセスをもたらすことができ、これは他のサービスプロバイダによって所有および／または運用される他の有線もしくは無線ネットワークを含むことができる。

図１Ｅには示されないが、ＲＡＮ１０５は他のＡＳＮに接続されることができ、コアネットワーク１０９は他のコアネットワークに接続され得ることが理解されるであろう。ＲＡＮ１０５と他のＡＳＮの間の通信リンクは、Ｒ４基準点として定義されることができ、これはＲＡＮ１０５と他のＡＳＮとの間のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、Ｒ５基準として定義されることができ、これはホームコアネットワークと訪問先のコアネットワークとの間のインターワーキングを容易にするためのプロトコルを含むことができる。

開示される主題によれば、レイヤ間予測の効率は、強化レイヤ画像のレイヤ間予測のための基準画像として、強化型レイヤ間基準（ＥＩＬＲ）画像を用いることによって向上され得る。レイヤ間基準（ＩＬＲ）画像の輝度成分および／またはクロミナンス成分が強化され得る。高周波情報は、ハイパスフィルタによりレイヤ間動き補償（ＩＬＭＣ）画像を処理することによって取得され得る。低周波情報は、ローパスフィルタによりＩＬＲ画像を処理することによって取得され得る。ＥＩＬＲ画像は、高周波情報、低周波情報、および／またはＩＬＲ画像の関数として生成され得る。

図２は、例示のブロックベースの複合ビデオ符号化システム２００を示す。入力ビデオ信号２０２は、ブロックごとに処理され得る。ビデオブロックユニットは、１６×１６画素からなり得る。このようなブロックユニットは、一般にマクロブロックまたはＭＢと呼ばれ得る。ＨＥＶＣでは、例えば１０８０ｐ以上の解像度を有する高解像度ビデオ信号を効率的に圧縮するために、符号化ユニットまたはＣＵとして知られている拡張されたブロックサイズが用いられ得る。ＣＵは正方形とすることができ、柔軟性のあるサイズを有することができる。最大サイズは、シーケンスをベースとして設定することができ、例えば６４×６４画素とすることができる。ＣＵはさらに、個別の予測方法がそれに適用される予測ユニットまたはＰＵに分割され得る。入力ビデオブロック（ＭＢまたはＣＵ）に対しては、空間予測および／または時間予測が、それぞれ２６０および２６２において行われ得る。空間予測（例えば内部予測）は、同じビデオ画像／スライス内のすでに符号化された隣接するブロックからの画素を用いて、現在のビデオブロックを予測することができる。空間予測は、ビデオ信号に固有の空間冗長度を低減することができる。時間予測（例えば相互予測、または動き補償された予測とも呼ばれる）は、すでに符号化されたビデオ画像からの画素を用いて、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に固有の時間冗長度を低減することができる。所与のビデオブロックに対する時間予測信号は、１または複数の動きベクトル、および／または例えば複数の基準画像が用いられる場合は１または複数の基準画像インデックスを備えることができる。これらの基準画像インデックスは、基準画像記憶装置２６４内のどの基準画像から、時間予測信号が到来し得るかを識別するために含められ得る。空間および／または時間予測の後に、エンコーダ内のモード決定ブロック２８０は、予測モードを選ぶことができ、例えば最良の予測モードを、例えばレート歪み最適化方法に基づいて選ぶことができる。２１６において、予測ブロックは現在のビデオブロックから減算され得る。予測残差は、２０４で変換することができ、および／または２０６で量子化され得る。量子化された残差係数は、２１０で逆量子化され、および／または２１２で逆変換されて、再構成された残差を形成することができ、これは２２６で予測ブロックに戻すように加算されて、再構成されたビデオブロックを形成することができる。２６６においてデブロッキングフィルタおよび／または適応ループフィルタなどのさらなるループ内フィルタリングを、再構成されたビデオブロックに適用することができ、その後にそれは基準画像記憶装置２６４内に置かれ、将来のビデオブロックを符号化するために用いることができる。出力ビデオビットストリーム２２０を形成するために、符号化モード（インター（inter）またはイントラ（intra））、予測モード情報、動き情報、および／または量子化された残差係数は、エントロピー符号化ユニット２０８に送られて、さらに圧縮およびパッキングされてビットストリームを形成することができる。

図３は、図２のブロックベースの複合ビデオ符号化システム２００に対応し得る、ブロックベースのビデオデコーダ３００の全体的なブロック図を示す。ビデオビットストリーム３０２は、エントロピー復号ユニット３０８においてアンパッキングされ、エントロピー復号され得る。符号化モードおよび予測情報は、空間予測ユニット３６０（イントラ符号化される場合）、または時間予測ユニット３６２（インター符号化される場合）に送られて、予測ブロックを形成することができる。残差変換係数は、逆量子化ユニット３１０および／または逆変換ユニット３１２に送られて、残差ブロックを再構成することができる。予測ブロックおよび残差ブロックは、３２６で一緒に加算され得る。再構成されたブロックは、さらにループ内フィルタリングを通過することができ、その後に基準画像記憶装置３６４に記憶され得る。基準画像記憶装置３６４内の再構成されたビデオは、送出されてディスプレイデバイスを駆動することができ、ならびに将来のビデオブロックを予測するために用いられ得る。

デジタルビデオサービスは、衛星、ケーブル、および／または地上放送チャネルを指すことができる。しかしモバイルデバイスにおいてインターネットが、特に解像度および計算能力におけるスマートフォンおよびタブレットの最近の発展とともに、より確立されるのに従って、ビデオチャット、モバイルビデオ録画および共有、ならびにビデオストリーミングなどのますます多くのビデオアプリケーションが、異種混合の環境においてビデオ送信を用い得る。様々な民生デバイス（例えばＰＣ、スマートフォン、タブレット、テレビ）を考慮する３画面およびＮ画面として知られているシナリオは、計算能力、メモリ／記憶装置サイズ、ディスプレイ解像度、ディスプレイフレームレートなどの点からの多種多様な能力を有するデバイスにおけるビデオ消費に対応することができる。加えてネットワークおよび伝送チャネルも、パケット損失レート、利用可能チャネル帯域幅、バーストエラーレートなどの点から多種多様な特性を有し得る。またビデオデータは、有線ネットワークおよび無線ネットワークの組み合わせを通して送信することができ、基礎をなす送信チャネル特性をさらに複雑にする。このようなシナリオにおいてスケーラブルビデオ符号化は、異種混合ネットワークを通して異なる能力を有するデバイス上で実行するビデオアプリケーションに対する、エクスペリエンスの品質を改善するための魅力的なソリューションをもたらすことができる。スケーラブルビデオ符号化は、一旦最高の表示（時間解像度、空間解像度、品質など）において信号を符号化するものである。特定のクライアントデバイス上で実行し得るいくつかのアプリケーションによって使用される特定のレートおよび表示に応じて、ビデオストリームのサブセットからの復号が可能にされ得る。スケーラブルビデオ符号化は、非スケーラブルのソリューションと比べて帯域幅および記憶装置を節約することができる。国際ビデオ標準のＭＰＥＧ−２ビデオ、Ｈ．２６３、ＭＰＥＧ４ ＶｉｓｕａｌおよびＨ．２６４は、スケーラビリティのいくつかのモードをサポートするツールおよび／またはプロファイルを有する。ＨＥＶＣは、ＳＨＶＣとして知られているスケーラブルな拡張を含むことができる。

図４は、例示のスケーラブルビデオ符号化システム４００を示す。２レイヤスケーラブル符号化システムは、基本レイヤおよび強化レイヤを備えることができる。２つのレイヤの間で空間解像度は異なる場合があり、例えば空間スケーラビリティが適用され得る。基本レイヤエンコーダ４０２、例えばＨＥＶＣエンコーダは、例えば図２に示される例により、基本レイヤビデオ入力４０４をブロックごとに符号化することができ、基本レイヤビットストリーム４０６を生成することができる。強化レイヤエンコーダ４０８は、例えば図２に示される例により、強化レイヤビデオ入力４１０をブロックごとに符号化することができ、強化レイヤビットストリーム４１２を生成することができる。スケーラブルシステムの符号化効率を改善するために、強化レイヤビデオ入力４１０が符号化されるときは、その予測精度を改善するために基本レイヤ再構成ビデオからの信号相関が用いられ得る。例えば基本レイヤ再構成ビデオは処理することができ、処理された基本レイヤ画像の少なくともいくつかは強化レイヤＤＰＢ４１４に挿入することができ、強化レイヤビデオ入力を予測するために用いられ得る。図４に示される例では、基本レイヤビデオ入力４０４および強化レイヤビデオ入力４１０は本質的に、異なる空間解像度で表された同じビデオソースとなり得る。それらは、ダウンサンプリングプロセスを通じて互いに対応し得る。レイヤ間処理および管理サブシステム４１６は、レイヤ間予測処理の一部として、基本レイヤ再構成の空間解像度を、強化レイヤビデオのそれと整列させるために用いられるアップサンプリング動作を行うことができる。それぞれ基本レイヤエンコーダ４０２および強化レイヤエンコーダ４０８によって生成される、基本レイヤビットストリーム４０６および強化レイヤビットストリーム４１２に加えて、いくつかのレイヤ間予測情報もＩＬＰ処理および管理サブシステム４１６によって生成され得る。例えばＩＬＰ情報は、適用されるレイヤ間処理のタイプ、処理に用いられるパラメータ（例えば用いられるアップサンプリングフィルタ）、１または複数の処理された基本レイヤ画像のどれが強化レイヤＤＰＢに挿入されるべきか、および／または同種のものを備えることができる。基本および強化レイヤビットストリーム、ならびにＩＬＰ情報は、スケーラブルビットストリーム４２０を形成するように、例えばマルチプレクサ４１８によって一緒に多重化され得る。

図５は、図４のスケーラブルエンコーダ４００に対応し得る、２レイヤスケーラブルビデオデコーダ５００を示す。デコーダ５００は、エンコーダ４００とは逆の順序で、対応する動作を行うことができる。スケーラブルビットストリーム５０２は、最初に例えばデマルチプレクサ５０４によって、基本レイヤビットストリーム５０６、強化レイヤビットストリーム５０８、およびＩＬＰ情報５１０に逆多重化される。基本レイヤデコーダ５１２は、基本レイヤビットストリーム５０６を復号することができ、基本レイヤ再構成５１４を生成することができる。ＩＬＰ処理および管理サブシステム５１６は、ＩＬＰ情報５１０を受信することができ、受信されたＩＬＰ情報５１０に従って基本レイヤ再構成５１４を処理することができる。ＩＬＰ処理および管理サブシステム５１６は、処理された基本レイヤ画像の１または複数を、やはり受信されたＩＬＰ情報５１０に従って、強化レイヤＤＰＢ５１８に選択的に挿入することができる。強化レイヤデコーダ５２０は、時間基準画像、およびレイヤ間基準（ＩＬＲ）画像、例えば処理された基本レイヤ画像の組み合わせにより、強化レイヤビットストリーム５０８を復号して、強化レイヤビデオ５２２を再構成することができる。「レイヤ間基準画像」および「処理された基本レイヤ画像」という用語は、本明細書では同義的に用いられ得る。

図６は、例示のＩＬＰ処理および管理サブシステム６００を示す。ＩＬＰ処理および管理サブシステム６００は、基本レイヤ（ＢＬ）テクスチャサンプルおよび／または動きフィールドを処理するための構成要素を備えることができる。例えばレイヤ間テクスチャ予測部６０２は、いくつかの段階を備えることができる。６０４においてＢＬ再構成画像は、それがアップサンプリングされる前に強化され得る。６０６でＢＬ解像度が、空間スケーラビリティにおいて強化レイヤ（ＥＬ）解像度より低いときは、アップサンプリングが行われ得る。アップサンプリングされた出力は、ＥＬと同じ解像度を有することができる。アップサンプリングされた画像がＥＬ ＤＰＢ６１０内に置かれる前に、ＩＬＲ画像の品質をさらに改善するように６０８において別の強化が行われ得る。１または複数の段階は、省かれ得る。例えばＳＮＲスケーラビリティにおいて、ＢＬ画像がＥＬ画像と同じ解像度であるが低い品質を有する場合は、３つの段階の１または複数をスキップすることができ、例えばＢＬ再構成画像は、レイヤ間予測のためにＥＬ ＤＰＢに直接挿入され得る。例えば空間スケーラビリティにおいて、アップサンプリングは６０６で行うことができ、一方、アップサンプリングされたＢＬ再構成画像がＥＬ画像と同じ解像度をもつようにするために、６０４および６０８における強化は省かれ得る。６０４および６０８における強化は、ＩＬＲ画像の品質を改善するために用いることができ、したがってＥＬ符号化においてより高い効率を達成する。

ＩＬＲ画像におけるサンプルを生成するために用いられ得るレイヤ間テクスチャ予測部６０２に加えて、基本レイヤおよび強化レイヤにおける動き情報の相関を利用することによって、ＩＬＲ画像の動きフィールド（例えば動きベクトルおよび基準インデックスを含む）を生成するために、動きフィールド処理部６１２が用いられ得る。動きフィールドマッピング（ＭＦＭ）６１４は、動きフィールドを生成するために用いられ得る。これら２つの部分の出力としてのレイヤ間画像は、強化レイヤにおける時間基準画像に加えて追加の基準画像として機能することができ、これはまた２次元サンプルアレイおよび動きフィールドを備えることができ、したがって強化レイヤ符号化における効率を改善する。

スケーラブルシステムにおいて、画像レベルＩＬＰ、例えば画像レベルＩＬＰのみを行うことは、実装の複雑さを低減することができる。ブロックレベルでの基本レイヤおよび強化レイヤエンコーダおよびデコーダロジックは、変更なしに再使用され得る。処理された基本レイヤ画像の１または複数の、強化レイヤＤＰＢへの挿入を必要とする高レベル（例えば画像／スライスレベル）構成が必要とされ得る。画像レベルレイヤ間予測に加えてブロックレベルレイヤ間予測を容易にするように、スケーラブルシステムにおいてブロックレベル変更が可能にされ得る。

ＥＬエンコーダは、ＥＬ符号化のためにＥＬ ＤＰＢ内の基準画像を選択することができる。例えばＥＬエンコーダは、レイヤ間予測処理および管理サブシステムの出力とすることができるＩＬＲ画像、および／または前に符号化されたＥＬ画像とすることができる時間基準画像を選択することができる。ＩＬＲ画像および時間基準画像は、異なる特性を有し得る。

図６に示されるようにＩＬＲ画像は、プロセスを適用することによって生成され得る。レイヤ間テクスチャ予測は、ＢＬテクスチャのアップサンプリング（例えば空間率＞１の場合）、またはＢＬテクスチャのコピー（例えば空間率＝１の場合）を必要とする。動きフィールドマッピングは、例えばＢＬブロック予測モード、１または複数の動きベクトル、および／または１または複数の基準画像インデックスを含み得る圧縮されたＢＬ動きフィールドを、ＢＬおよびＥＬビデオの間の相対スケーリング率に従ってスケーリングして、ＩＬＲ画像における１６×１６ブロックに対する動き情報を生成することができる。これらのプロセスを適用した後に、ＩＬＲ画像はＥＬ ＤＰＢに追加され得る。

図６に示されるようにＩＬＲ画像は、ＢＬ ＤＰＢ６１６から取り込まれた再構成されたＢＬ画像に基づいて生成され得る。しかしＩＬＲ画像の品質は、強化の効率的なレイヤ間予測のためには十分に良好ではない場合がある。例えばＢＬ画像は、より粗い量子化、例えばより高い量子化パラメータ（ＱＰ）値によって符号化され得る。より粗い量子化が適用されるときは、ＢＬ再構成テクスチャは、ブロック化アーチファクト、リンギングアーチファクト、色アーチファクトその他などの、望ましくない符号化アーチファクトを含み得る。これは、レイヤ間テクスチャ予測の有効性を減少し得る。空間スケーラビリティの場合、ＢＬ画像はＥＬ画像より小さな空間解像度を有する場合があり、例えば図４のダウンサンプリングプロセスが適用され得る。エイリアシングを低減するために、ダウンサンプリングフィルタはビデオ信号内の高周波情報を低減または除去することができる。結果としてＩＬＲ画像内のテクスチャ情報は、一定の高周波情報を欠いている場合があり、および／またはＥＬビデオを符号化するための有効な予測情報をもたらすことができない場合がある。

図７は、もとのＥＬ画像７００と、その対応するＩＬＲ画像７０２の間の処理の例を示す。７０４においてダウンサンプリングが適用されて、もとのＢＬ画像７０６を生成することができる。ダウンサンプリングは、例えばＳＮＲスケーラビリティの場合は省かれ得る。エンコーダ７０８は、ＢＬ画像を符号化して、符号化されたＢＬ画像７１０を生成することができる。レイヤ間予測処理および管理サブシステム７１２は、ＩＬＲ画像７０２を生成することができる。

ＩＬＲ画像における失われた高周波情報を示すために、図８Ｂおよび８Ｃは、図８ＡでのもとのＥＬ画像８００の、図８ＢでのＥＬ時間基準画像８０２からの、および図８ＣでのＩＬＲ画像８０４からの差の例を示す。オブジェクトの縁部、例えば高い周波数において、ＩＬＲ画像８０４ともとのＥＬ画像８００の間に大きな差が存在し得る。

図８Ｃの差分画像と比較して、図８Ｂの時間基準画像８０２は、このような逸失された高周波情報を示し得ない。時間基準画像８０２からの高周波情報は、ＩＬＲ画像の品質を強化するために用いられ得る。レイヤ間動き補償（ＩＬＭＣ）画像、または複合ＩＬＲ画像が生成され得る。このＩＬＭＣ画像は、ＩＬＲ画像において逸失している高周波成分を含み得る。高周波成分は、ＩＬＲ画像の品質を強化するために、ハイパスフィルタを用いてＥＬ基準画像から抽出され得る。例えばＢＬ符号化によって導入され得る、ＩＬＲ画像における意図されないノイズ情報を低減するために、ＩＬＲテクスチャサンプルにローパスフィルタが適用され得る。ＩＬＲ画像からの低い周波数と、ＩＬＭＣ画像からの高い周波数の組み合わせは、強化レイヤ画像のレイヤ間予測に対して、ＩＬＲ画像より良好な品質をもたらし得る。

ＥＬ時間基準画像から抽出され得る高周波情報、およびＩＬＲ画像から抽出され得る低周波情報は、ＩＬＲ画像の品質を改善するように組み合わせることができ、ＥＬ符号化のための予測効率が改善され得る。レイヤ間動き補償（ＩＬＭＣ）サブシステムは、ＩＬＭＣ画像を生成するために、例えばＢＬ動き情報を用いて、動き補償をＥＬ時間基準に適用することができる。適応フィルタを設計して、ＩＬＭＣおよび／またはＩＬＲ画像に適用することができる。フィルタリングされたＩＬＭＣ画像、およびフィルタリングされたＩＬＲ画像は、ＩＬＲ画像の品質を強化するように組み合わされ得る。フィルタ係数は、オーバーヘッドが性能の犠牲なしにビットストリームにおいて許容可能となり得るように、量子化および／または適切にシグナリングされ得る。ＩＬＲ強化方法は、画像レベルおよび／またはブロックレベルレート歪み（ＲＤ）決定に基づいて、イネーブルおよび／またはディスエーブルされ得る。

予測値が生成され得る。例えばＥＬ時間基準画像から抽出され得る高周波情報、およびＩＬＲ画像から抽出され得る低周波情報は、予測値を生成するように組み合わされ得る。予測値は、ＥＬ符号化のレイヤ間予測のために用いられ得る。予測値の一例は、強化型レイヤ間基準（ＥＩＬＲ）画像とすることができる。ＥＩＬＲ画像に関連して本明細書で述べられる１または複数の例は、予測値に適用することができ、逆も同様である。例えばＩＬＲ画像の輝度およびクロミナンス成分は、例えば本明細書で述べられるようにＥＩＬＲ画像を生成するために強化され得る。

ＥＩＬＲ画像の輝度成分が生成され得る。図９は、ＥＩＬＲ画像の輝度成分の生成の例を示す。ＥＬ符号化のためのレイヤ間基準画像は、例えば、マッピングされたＢＬ動き情報を用いて、ＥＬ時間基準画像に動き補償を適用することによって生成され得る。時間ｔにおいて位置（ｘ，ｙ）にあるＩＬＭＣ画像内のブロックＢ_ILMC,t（ｘ，ｙ）に対して、ｍｖｘ、ｍｖｙは、それぞれマッピングされたＢＬ動きベクトルＭＶ_BL,tの水平および垂直成分を表すことができる。対応するＢＬブロックが単予測されるときは、ブロックＢ_ILMC,t（ｘ，ｙ）は、式（１）により（ｍｖｘ，ｍｖｙ）によって表されるように、ＥＬ時間基準画像ＥＬ_x内の一致するブロックを動き補償することによって生成され得る。

Ｂ_ILMC,t（ｘ，ｙ）＝Ｂ_ILMC,t（ｘ＋ｍｖｘ，ｔ＋ｍｖｙ） （１）

対応するＢＬブロックが双予測されるときは、ブロックＢ_ILMC,t（ｘ，ｙ）は、式（２）により２つのＥＬ時間基準画像ＥＬ_x0およびＥＬ_x1から取得される２つの予測成分を組み合わせることによって生成され得る。

ただし、（ｍｖｘ₀，ｍｖｙ₀）および（ｍｖｘ₁，ｍｖｙ₁）は、それぞれ基準画像ＥＬ_x0およびＥＬ_x1を指し示す動きベクトルとすることができる。対応するＢＬブロックがイントラ符号化されるときは、Ｂ_ILMC,t（ｘ，ｙ）のサンプルは、式（３）に示されるように、ＩＬＲ画像内の一緒に配置されたブロックのそれらから直接コピーされ得る。

Ｂ_ILMC,t（ｘ，ｙ）＝Ｂ_ILR,t（ｘ，ｙ） （３）

ＥＬテクスチャ情報は、ＩＬＲ画像を生成するためのダウンサンプリングおよび／またはアップサンプリングプロセスによって除去され得る、高周波情報を含み得る。ＩＬＲ画像における不鮮明な縁部およびテクスチャは、対応するＩＬＭＣ画像の高周波情報から復元され得る。ＩＬＲ画像は、再構成されたＢＬ画像から直接生成することができ、これはＢＬビデオとＥＬビデオの間で解像度が異なる場合はアップサンプリングされ得る。ＩＬＲ画像の品質は、ＢＬ画像のそれに依存することができ、これは予想されないノイズおよび／または量子化誤差を含み得る。悪化したＩＬＲ画像品質は、結果としてＥＬビデオの効率の低い符号化となり得る。レイヤ間予測は、例えば失われた高周波、量子化誤差、および／またはＩＬＲ画像のノイズによって被った品質ロスを補償するように、ＥＬ符号化のために、ＩＬＭＣ画像の高周波とＩＬＲ画像の低周波を組み合わせることによって強化され得る。式（４）に表され、図９に示されるように、時間ｔにおけるＩＬＲ画像９０２およびＩＬＭＣ画像９０４を所与として、対応するＥＩＬＲ画像９０６は、ＩＬＭＣ画像９０４にハイパスフィルタ９０８を適用し、ＩＬＲ画像９０２にローパスフィルタ９１０を適用し、フィルタリングされた信号を９１２において加算することによって生成され得る。

ただし

は、２次元畳み込みを表す。式（４）に示されるように、ＥＩＬＲ画像は１または複数のフィルタリングプロセスから生成され得る。しかし式（４）の他の変形も有用に適用され得る。例えばいくつかのＥＬ画像に対しては、ＩＬＲ画像にはローパスフィルタを適用するが、ＩＬＭＣ画像にはハイパスフィルタを適用しないことが有益となる場合があり、例えばＥＬレイヤ間予測に対して、専らＩＬＲ画像のローパス成分を用いることが有益となり得る。いくつかのＥＬ画像に対しては、ＩＬＭＣ画像にはハイパスフィルタを適用するが、ＩＬＲ画像にはローパスフィルタを適用しないことが有益となる場合があり、例えばフィルタリングされていないＩＬＲ画像に高周波情報を加えることが有益となり得る。この場合は、ＢＬ画像およびＥＬ画像が同じ解像度を有する場合の、ＳＮＲスケーラビリティに対して適し得る。ＩＬＲ画像における高周波情報を低減し得る、ダウンサンプリング／アップサンプリングプロセスは、ＩＬＲ画像の生成において省かれ得る。さらに他のＥＬ画像に対しては、式（４）に示されるように、ハイパスフィルタリングされたＩＬＭＣ画像およびローパスフィルタリングされたＩＬＲ画像を一緒に加算することが有益となり得る。またＥＩＬＲ画像を生成するためにハイパスフィルタおよびローパスフィルタの両方が適用され得る場合は、フィルタトレーニングプロセスの複雑さと、ＥＩＬＲ画像の品質の間の種々のトレードオフ考慮を前提として、２つのフィルタは共同でまたは別々に導出され得る。

ＥＩＬＲ画像を生成するためには、いくつかの方法が用いられ得る。

ＥＩＬＲ画像は、ＩＬＲ画像にローパスフィルタを適用することによって生成され得る。

ＥＩＬＲ画像は、ハイパスフィルタリングされたＩＬＭＣ画像から取得された高周波情報を、フィルタリングされていないＩＬＲ画像に加算することによって生成され得る。

ＥＩＬＲ画像は、ハイパスフィルタリングされたＩＬＭＣ画像から取得された高周波情報と、ローパスフィルタリングされたＩＬＲ画像から取得された低周波情報とを組み合わせることによって生成され得る。２つのフィルタは、例えば両方のフィルタを同時に最適化することによって共同で導出され得る。

ＥＩＬＲ画像は、ハイパスフィルタリングされたＩＬＭＣ画像から取得された高周波情報と、ローパスフィルタリングされたＩＬＲ画像から取得された低周波情報とを組み合わせることによって生成され得る。２つのフィルタは、初めにハイパスフィルタがトレーニングプロセスの一部としてＩＬＲ画像により導出され得るように、別々に導出され得る。ハイパスフィルタをＩＬＭＣ画像に適用した後に、ハイパスフィルタリングされたＩＬＭＣ画像に基づいてローパスフィルタが導出され得る。最初にＩＬＲ画像に基づいてローパスフィルタを導出および適用し、フィルタリングされたＩＬＲ画像に基づいてハイパスフィルタを導出することも可能である。

フィルタ係数に対する詳細な導出プロセスの例が、本明細書で開示される。

式（１）および（２）に示されるように、対応するＩＬＭＣ画像を生成するために、マッピングされたＢＬ動きベクトルＭＶ_BL,tが用いられ得る。マッピングされたＢＬ動きベクトルは、ＢＬ画像の圧縮された動きフィールド、またはＢＬ画像の圧縮されていない動きフィールドから導出され得る。圧縮されたＢＬ動きフィールドが用いられるときは、対応するＢＬ動きは１６×１６ブロックのユニットで記述することができ、例えば１６×１６ブロックは同じ動き情報を有することができ、一方、圧縮されていないＢＬ動きフィールドに対しては４×４ブロックのユニットが用いられ得る。さらに、ＩＬＭＣ画像生成のために圧縮されていない動きが用いられるときは、ＢＬ動きフィールドの圧縮は、対応するＥＬ画像の符号化および／または復号の後に遅らせ得る。圧縮されたＢＬ動きフィールドは、次に続くＢＬ画像の時間的動きベクトル予測のために用いられ得る。圧縮されていないＢＬ動きフィールドを用いることは、式（４）におけるＥＩＬＲ画像のより良好な品質改善をもたらし得るが、より高い計算の複雑さに繋がり得る。

ＩＬＭＣ画像が、対応するマッピングされたＢＬ動き情報に基づいてＩＬＭＣ画像内のブロックに対する動き補償された予測を適用することによって、ブロックごとに生成され得ることを前提にすると、２つの隣接するＩＬＭＣブロックは異なる動きベクトルを有する場合があり、隣接するＩＬＭＣブロック間に望ましくないブロック化アーチファクト（例えば隣接するＩＬＭＣブロック間の偽の境界）を生成し得る。このようなＩＬＭＣ画像が、式（４）におけるハイパスフィルタを導出するために用いられたときは、偽の境界は、設計されるハイパスフィルタ係数の精度を著しく悪化させる場合があり、したがってＥＩＬＲ画像の品質を低下させる。ＥＩＬＲ画像内のブロックに対して、式（４）に示されるようにハイパス情報を抽出するために、ＩＬＭＣ画像内の対応するエリアを生成するために、動き補償された予測の拡張されたブロックサイズが考慮され得る。例えばＥＩＬＲ画像のブロックが、Ｎ×Ｎのブロックサイズ、およびＭ×Ｍのハイパスフィルタを有する場合は、式（１）および（２）により、ハイパスフィルタリングに対するＩＬＭＣ画像内の対応するエリアを生成するために、各方向における長さがＮ＋［Ｍ／２］×２の拡張されたブロックが用いられ得る。

式（１）および（２）において、ＩＬＭＣブロックを生成するために用いられ得る、マッピングされたＢＬ動きベクトルは、整数位置または小数位置を指し示すことができる。小数画素精度による動き補償は、小数画素位置でのサンプル値を計算するための内挿プロセスが必要になり、これは高い計算の複雑さ、およびＥＩＬＲ画像の生成に対するメモリアクセス要件を招き得る。式（１）および（２）におけるマッピングされたＢＬ動きベクトルは、このような小数の動き補償内挿を避けるために、例えば対応するＩＬＭＣブロックを形成する前に、最も近い整数画素位置に丸められ得る。

ＥＩＬＲ画像のクロミナンス成分は、いくつかの方法で生成され得る。

ＥＩＬＲ画像のクロミナンス成分は、例えばコピー動作を除いてクロミナンス成分のさらなる処理なしに、ＩＬＲ画像のクロミナンス成分を直接コピーすることによって生成され得る。

ＥＩＬＲ画像のクロミナンス成分は、ＩＬＭＣ画像からクロミナンス成分をコピーすることによって生成され得る。対応するＢＬブロックがインター符号化される場合は、ＥＩＬＲブロックのクロミナンス成分は、マッピングされたＢＬ動き情報を用いて、ＥＬ時間基準画像のクロミナンス成分に対して、動き補償された予測を適用することによって取得され得る。対応するＢＬブロックがイントラ符号化される場合は、ＥＩＬＲブロックのクロミナンス成分は、ＩＬＲ画像からクロミナンスブロックをコピーすることによって生成され得る。

ＥＩＬＲ画像のクロミナンス成分は、ＥＩＬＲ画像におけるクロミナンス成分を生成するために、本明細書で述べられるのと同じ輝度成分のＩＬＲ強化方法を用いて生成され得る。ＥＩＬＲ画像のクロミナンス成分は、式（４）に示されるように、ＩＬＭＣ画像におけるクロミナンス成分の高周波と、ＩＬＲ画像におけるクロミナンス成分の低周波を組み合わせることによって生成され得る。

ＥＩＬＲ画像のクロミナンス成分は、ＩＬＭＣクロミナンス成分およびＩＬＲクロミナンス成分の重み付け予測を用いて生成され得る。

基準リストが構成され得る。生成されたＥＩＬＲ画像は、レイヤ間予測に対するＥＬ基準画像リストに追加され得る。異なる生成方法により、ＩＬＲ画像およびＥＩＬＲ画像が異なる特性を有し得ることを前提として、ＩＬＲ画像およびＥＩＬＲ画像の両方がＥＬ基準画像リストに含められ得る。ＥＬスライスがＰスライスである場合は、ＥＩＬＲ画像は、基準リストＬ０内にＩＬＲ画像の後に１つの追加の基準画像として追加され得る。ＥＬスライスがＢスライスである場合は、ＥＩＬＲ画像は基準リストＬ１の終わりに配置することができ、ＩＬＲ画像は基準リストＬ０の終わりに配置することができる。

符号化／復号の複雑さを低減するために、ＥＬスライスがＢスライスである場合は、基準リストＬ０および基準リストＬ１内のＩＬＲ画像を置き換えるように、ＥＩＬＲが用いられ得る。

ＥＩＬＲ画像は、シグナリングされる、例えばスライスレベルで明示的にシグナリングされるＩＬＲ画像並べ換えコマンドを用いて、リストＬ０、リストＬ１、または両方に挿入され得る。ＥＩＬＲ画像が追加され得る基準画像リスト内の位置は、選択され得る。決定は、前に符号化された画像におけるＥＩＬＲ画像の使用に基づくことができる。例えばＥＩＬＲ画像使用が増加している場合は、ＥＩＬＲ画像はリスト内で前方に移動され得る。ＥＩＬＲ画像使用が減少している場合は、それに従って後方に移動され得る。

式（４）におけるハイパスフィルタおよびローパスフィルタのフィルタ係数が、導出され得る。例えばハイパスフィルタおよび／またはローパスフィルタの係数を含む、最適フィルタ係数ｆ_opt（ｉ，ｊ）を導出することであり、これはＯｒｇ_EL,tとして表され得る時間ｔにおけるもとのＥＬ画像と、生成されたＥＩＬＲ画像ＥＩＬＲ_tとの間の歪みを最小にすることができる。ＥＩＬＲ画像を生成する選択された方法に応じて、本明細書で述べられるように最適フィルタ係数を導出するように種々の方法が適用され得る。

図１０に示されるようにＥＩＬＲ画像１００２は、ＩＬＲ画像１００６にローパスフィルタ１００４を適用することによって生成され得る。式（４）は以下のように簡略化され得る。

ローパスフィルタ１００４の最適係数を導出するために、線形最小平均二乗誤差（ＬＭＭＳＥ）推定方法が適用され得る。ＬＭＭＳＥモジュールは、ＬＲ_tおよびＯｒｇ_EL,tのサンプルを入力トレーニングデータセットとして用いることができ、Ｏｒｇ_EL,tとＥＩＬＲ_tの間の歪みが、式（６）に示されるように低減または最小化され得るように、最適フィルタ係数を出力することができる。

ｆ_opt＝ａｒｇ ｍｉｎ［Σ_x,y（Σ_i,jｆ_LP（ｉ，ｊ）×ＩＬＲ_t（ｘ＋ｉ，ｙ＋ｊ）−Ｏｒｇ_ELt（ｘ，ｙ））²］ （６）

導出されたｆ_LPの係数のローパス性質を確実にするために、ＬＭＭＳＥトレーニングプロセス時に、ｆ_LPの係数の合計が１に等しくなり得るように強制され得る。

図１１に示されるように、ＥＩＬＲ画像１１０２は、ハイパスフィルタ１１０６によってＩＬＭＣ画像１１０４から取得された高周波情報を、ＩＬＲ画像１１０８に加算することによって生成され得る。式（４）は以下のように簡略化され得る。

ＬＭＭＳＥモジュールは、ＩＬＭＣ_t、ＩＬＲ_t、およびＯｒｇ_EL,tのサンプルを入力トレーニングデータセットとして用いることができ、式（８）におけるＬＭＭＳＥ推定に基づいて最適フィルタ係数を出力することができる。

ｆ_opt＝ａｒｇ ｍｉｎ［Σ_x,y（Σ_i,jｆ_HP（ｉ，ｊ）×ＩＬＭＣ_t（ｘ＋ｉ，ｙ＋ｊ）＋ＩＬＲ_t（ｘ，ｙ）−Ｏｒｇ_ELt（ｘ，ｙ））²］ （８）

導出されたｆ_HPの係数のハイパス性質を確実にするために、ＬＭＭＳＥトレーニングプロセス時に、ｆ_HPの係数の合計が０に等しくなり得るように強制され得る。

図９に示されるように、ＥＩＬＲ画像９０６は、例えば式（４）により、ハイパスフィルタ９０８によってＩＬＭＣ画像９０４から取得された高周波情報と、ローパスフィルタ９１０によってＩＬＲ画像９０２から取得された低周波情報とを組み合わせることによって生成され得る。ｆ_HPおよびｆ_LPの最適係数は、例えば式（９）に示されるように、ＬＭＭＳＥ問題を解くことによって共同で導出され得る。

ｆ_opt＝ａｒｇ ｍｉｎ［Σ_x,y（Σ_i,jｆ_HP（ｉ，ｊ）×ＩＬＭＣ_t（ｘ＋ｉ，ｙ＋ｉ）＋Σ_i,jｆ_LP（ｉ，ｊ）×ＩＬＲ_t（ｘ＋ｉ，ｙ＋ｊ）−Ｏｒｇ_EL,t（ｘ，ｙ））²］ （９）

生成されたＥＩＬＲ画像のエネルギーが、ＩＬＲ画像のそれと一貫性があり得ることを確実にするために、ＬＭＭＳＥトレーニングプロセス時に、ｆ_HPおよびｆ_LPの成分の合計が１に等しくなることが強制され得る。

２つのフィルタの係数の共同導出は、もとのＥＬ画像と出力ＥＩＬＲ画像の間の最小化された歪みの観点から、フィルタ係数の大域最適解を達成することができる。しかし単一のトレーニングプロセスに対する増大する入力係数の数を前提とすると、共同トレーニング方法は大きな行列の乗算および反転を必要とする場合があり、これはＬＭＭＳＥトレーニングプロセスの計算の複雑さを増大し得る。共同トレーニング方法から導出されるフィルタ係数は、ハイパスフィルタおよびローパスフィルタではない場合があり、例えばハイパスフィルタおよび／またはローパスフィルタ以外のものとなり得る。出力フィルタのハイパス特性およびローパス特性を確実にするために、ｆ_HPがハイパスフィルタでありおよびｆ_LPがローパスフィルタであることを強制することによってｆ_HPおよびｆ_LPのフィルタ係数を計算するように、制約付き共同導出方法が適用され得る。例えばフィルタ係数ｆ_HPおよびｆ_LPはやはり式（９）に基づくが、ｆ_HPにおける係数の合計は０に等しく、ｆ_LPにおける係数の合計は１に等しいという制約を有して導出され得る。複雑さを低減し、２つの出力フィルタのハイパス性質およびローパス性質を確実にするために、２つのフィルタの係数は別々に導出され得る。ｆ_HPの係数は、ＬＭＭＳＥトレーニングのための入力としてＩＬＲ画像のサンプルを用い、係数の合計が０になり得ることを強制することによって、式（８）に基づいて導出され得る。導出されたフィルタｆ_HPは、ＩＬＭＣ画像ＩＬＭＣ_tに適用されて、対応する高周波画像ＩＬＭＣ_t ^hを生成することができる。ＩＬＭＣ_t ^hのサンプルを入力として用いることによって、トレーニングプロセスの第２の段階において、フィルタ係数の合計が１になり得るという制約を有して、式（１０）におけるＬＭＭＳＥ推定問題を解くことにより、ｆ_LPの係数が取得され得る。

ｆ_opt＝ａｒｇ ｍｉｎ［Σ_x,y（ＩＬＭＣ_t ^h（ｘ，ｙ）＋Σ_i,jｆ_LP（ｉ，ｊ）×ＩＬＲ_t（ｘ＋ｉ，ｙ＋ｊ）−Ｏｒｇ_EL,t（ｘ，ｙ））²］ （１０）

フィルタ係数を計算するために、制約無し共同導出方法を適用することができる。制約無し共同導出方法では、ｆ_HPはハイパスフィルタに制約されなくてもよく、および／またはｆ_LPはローパスフィルタに制約されなくてもよく、例えばｆ_HPおよび／またはｆ_LPは任意のフィルタとすることができる。

フィルタのサイズは、オーバーヘッドの大きさおよび計算の複雑さに比例し得る。例えば３×３フィルタは、送信されることになる９個のフィルタ係数を有し、１つのサンプルをフィルタリングするために９回の乗算および８回の加算が必要になり、５×５フィルタは、送信されることになる２５個のフィルタ係数を有し、１つのサンプルをフィルタリングするために２５回の乗算および２４回の加算が必要になり得る。より大きなフィルタは、より良好な結果をもたらすことができる。フィルタサイズは、計算の複雑さ、オーバーヘッド、および性能のバランスを達成するように選択され得る。シミュレーション結果は、３×３のフィルタサイズは方法に対する満足なトレードオフを生じることを示している。フィルタサイズは、例えば特定の符号化システムに対する複雑さと性能の異なるバランスを達成するように、ユーザによって変更され得る。

本明細書で開示されるフィルタ導出方法は、ＩＬＭＣ画像およびＩＬＲ画像の利用可能なサンプルが、ＬＭＭＳＥトレーニングプロセスのために使用され得るように実施され得る。生成されるＥＩＬＲはＥＬ符号化のレイヤ間予測効率を改善することができるが、ＥＩＬＲ画像の品質はマルチパス符号化を適用することによってさらに向上され得る。このシナリオでは、フィルタ係数は２回導出され得る。例えば第１の導出手順は、ＬＭＭＳＥトレーニングのために利用可能なサンプルを用いることができる（例えば本明細書で述べられるように）。結果としてのフィルタ係数は、ＥＬ画像を符号化するための対応するＥＩＬＲ画像を生成するために用いられ得る。ＥＬ画像が符号化された後に、エンコーダは、ＥＬ画像によって参照されるＥＩＬＲサンプルの位置を記録することができる。第２のパスではエンコーダは、これらの参照されたサンプル位置を用いてフィルタ係数を導出することができる。第２のパスから導出されたフィルタ係数はＥＬ予測のために用いられるＥＩＬＲ画素の品質を向上および／または最大化することができるが、一方、第１のパスから取得されたフィルタ係数は参照されないＥＩＬＲ画素を過大に強化することによって参照されるＥＩＬＲ画素の品質を犠牲にし得るという点で、フィルタ係数の第２の組はフィルタ係数の第１の組より良好となり得る。

ローパスフィルタおよび／またはハイパスフィルタのために、フィルタ（例えば固定の予め規定されたフィルタ）が用いられ得る。この場合、ＩＬＲ画像および／またはＩＬＭＣ画像に適用されるフィルタは、前に規定されたフィルタのリストから選択され得る。このリストは、デコーダに既知とすることができる。リストがデコーダに既知でない場合は、フィルタ係数はシグナリングされ得ず、代わりに、選択された１または複数のフィルタに対する１または複数のインデックスがシグナリングされ得る。例えばこれらのフィルタは、異なる空間スケーリング率を反映するように設計することができ、予想される高周波の損失を反映する。予め規定されたフィルタは、フィルタ導出プロセスを避けることによって符号化の複雑さを簡略化することができる。

トレーニングされたフィルタは、実数値係数を有することができ、これは送信の前に量子化され得る。実数値フィルタｆ_floatは、ｆ_intとして表され得る整数値フィルタによって近似され得る。量子化のために、一様量子化器が用いられ得る。量子化器の精度は、係数のダイナミックレンジに関して選ばれ得る。量子化器の精度は、フィルタをトレーニングするために用いられる方法に依存し得る。例えば量子化器の精度は、低周波情報を個別にまたは高周波情報と組み合わせて用いるフィルタトレーニング方法に対しては係数当たり４ビット、高周波情報を用いたフィルタトレーニング方法に対しては係数当たり６ビットとすることができる。他の量子化器もそれらの性能が特定の符号化システムに対して、より良好である場合は、ユーザによって選ばれ得る。

式（１１）に示されるように、実数値フィルタと整数値フィルタの間の関係を記述するために因子、例えば量子化器ステップサイズｋが用いられ得る。

ｆ_float＝ｆ_int×ｋ （１１）

式（１１）において、因子ｋは実数値である。この因子ｋをビットストリームにおいてシグナリングするために、因子ｋは式（１２）に従って２つの整数値ＭおよびＮによって近似され得る。

因子ｋは、整数値Ｍによる乗算として適用され、その後に右へのＮビットのビットシフトが続く。浮動小数点ｋが計算された後に、式（１３）および（１４）を用いてＭおよびＮによるその整数近似が計算され得る。

Ｍ＝ｍｉｎ｛２^m_bits−１，Ｒｏｕｎｄ［ａｂｓ（ｋ）×２^N＋０．５］｝ （１４）
ただし、ｎ＿ｂｉｔｓは因子Ｎのためのビット数であり、ｍ＿ｂｉｔｓは因子Ｍのためのビット数であり、Ｒｏｕｎｄ（ｘ）は次の整数値への下向きのｘの丸めを表し、ａｂｓ（ｘ）はｘの絶対値を表し、ｍｉｎ（ｘ，ｙ）およびｍａｘ（ｘ，ｙ）はそれぞれｘおよびｙの最小および最大値を表す。

ｋは、量子化器ステップサイズに等しくすることができる。量子化プロセス時の丸め問題により、ｋの実際の値は量子化器ステップサイズよりわずかに異なり得る。例えばフィルタ係数の合計が３２に等しくなり得る場合は、合計が３１または３３など、近くの値に等しくなり得ることが起こり得る。因子ｋは、例えばエネルギーをベースとする最適化および／または係数をベースとする最適化を用いて、さらに最適化され得る。

例えばエネルギーをベースとするｋの導出では、因子ｋはエネルギー計算に基づいて最適化され得る。どのフィルタトレーニング方法が用いられるかに応じて、異なるエネルギーが計算され得る。Ｓｕｍ_LP（ｘ，ｙ）は、位置（ｘ，ｙ）におけるサンプルに対するローパスフィルタリングプロセス時の合計を表すことができる。Ｓｕｍ_HP（ｘ，ｙ）は、位置（ｘ，ｙ）におけるサンプルに対するハイパスフィルタリングプロセス時の合計を表すことができる。これらの総和は、本明細書での式（２７）および（２８）において開示される。

ローパスＩＬＲフィルタ、例えばローパスＩＬＲフィルタのみがトレーニングされ得る。因子ｋは、ＥＩＬＲ画像と、もとのＥＬ画像との間の歪みエネルギーが低減または最小化されるように計算され得る。ｋは式（１５）に表されるように計算され得る。

ハイパスＩＬＭＣフィルタ、例えばハイパスＩＬＭＣフィルタのみがトレーニングされ得る。因子ｋは、フィルタリングされたＩＬＭＣ画像と、もとの差分画像との間の歪みエネルギーが低減または最小化されるように計算され得る。もとの差分画像は、もとのＥＬ画像と、ＩＬＲ画像の間の差として定義され得る。ｋは式（１６）に表されるように導出され得る。

２つのフィルタの共同トレーニングに対しては、ＥＩＬＲ画像と、もとのＥＬ画像との間の歪みエネルギーが低減または最小化され得る。ｋは、式（１７）に表されるように計算され得る。

複数の因子例えば２つの因子が、複数の因子例えば２つのフィルタの個別のトレーニングのために用いられ得る。ＩＬＭＣフィルタのための因子ｋ_HPは、式（１８）に基づいて計算され得る。

ＩＬＭＣフィルタは、因子ｋ_HPを用いてＩＬＭＣ画像に適用することができ、結果としてＩＬＭＣ_t,filtを生じる。ＩＬＲフィルタは、因子ｋ_LPが未だ計算されていない場合があるので、因子を考慮せずにＩＬＲ画像に適用することができ、結果としてＩＬＲ_t,filtを生じる。フィルタを適用した後に、ＩＬＲフィルタのための第２の因子ｋ_LPが式（１９）に従って計算され得る。

ｋが、または個別のトレーニングの場合では２つの因子ｋ_HPおよびｋ_LPが計算された後に、因子に対する整数近似を見出すために、式（１３）および（１４）が適用され得る。個別のトレーニングに対しては、２つの因子ｋ_HPおよびｋ_LPは異なり得る。ＭおよびＮの２つの組、すなわちｋ_HPのための１つの組（Ｍ_HPおよびＮ_HP）、ならびにｋ_LPのための別の組（Ｍ_LPおよびＮ_LP）が用いられ得る。

この方法は、様々なタイプのフィルタに、それらの独立の合計とは独立して適用可能とすることができる。ＭおよびＮはビットストリームにおいてシグナリングされ得るが、２つの整数ＭおよびＮをシグナリングするオーバーヘッドは比較的軽微となり得る。

係数をベースとするｋの導出では、因子ｋはフィルタ係数の値に基づいて計算され得る。この方法は、浮動小数点係数の合計が１に等しい場合に適用され得る。これは低周波情報を個別にまたは高周波情報と組み合わせて用いるフィルタトレーニング方法、および共同導出フィルタトレーニング方法のＩＬＲフィルタの場合に当てはまる。因子ｋは、式（２０）を用いて計算され得る。

ここでｓｕｍ＿ｆｉｌｔｅｒ＿ｃｏｅｆｆは、フィルタ係数の合計である。

係数の合計はデコーダでも計算され得るので、ＭおよびＮはビットストリームにおいて送信されてもされなくてもよい。これは、例えば浮動小数点係数の合計が１に等しい場合に適用され得る。

フィルタが設計および／または量子化された後に、フィルタはＩＬＭＣ画像および／またはＩＬＲ画像にそれぞれ適用され得る。２つのフィルタの出力は、組み合わされてＥＩＬＲ画像を形成することができる。式（２１）〜（３１）は、フィルタリング、およびフィルタ出力の組み合わせの例を表す。式（２１）〜（３１）において、

はパッディングエリアのサイズ、例えばフィルタがＳ×Ｓのサイズであるときに、現在のサンプルのそれぞれ側へのフィルタ範囲を表す。

ＩＬＲフィルタがトレーニングされるときは、プロセスは式（２１）〜（２３）によって表され得る。

ＩＬＲ_filt（ｘ，ｙ）＝Ｒｏｕｎｄ｛［ａｂｓ（Ｓｕｍ（ｘ，ｙ）×Ｍ_LP）＋（１≪（Ｎ_LP−１））］≫Ｎ_LP｝×ｓｉｇｎ（Ｓｕｍ（ｘ，ｙ）×Ｍ_LP） （２２）
ＥＩＬＲ（ｘ，ｙ）＝ Ｃｌｉｐ（ＩＬＲ_filt（ｘ，ｙ）） （２３）

ＩＬＭＣフィルタがトレーニングされるときは、プロセスは式（２４）〜（２６）によって表され得る。

ＩＬＭＣ_filt（ｘ，ｙ）＝Ｒｏｕｎｄ｛［ａｂｓ（Ｓｕｍ（ｘ，ｙ）×Ｍ_HP）＋（１≪（Ｎ_HP−１））］≫Ｎ_HP｝×ｓｉｇｎ（Ｓｕｍ（ｘ，ｙ）×Ｍ_HP） （２５）
ＥＩＬＲ（ｘ，ｙ）＝Ｃｌｉｐ（ＩＬＲ（ｘ，ｙ）＋ＩＬＭＣ_filt（ｘ，ｙ）） （２６）

両方のフィルタがトレーニングされる場合は、プロセスは式（２７）〜（３１）によって表され得る。

ＩＬＭＣ_filt（ｘ，ｙ）＝Ｒｏｕｎｄ｛［ａｂｓ（Ｓｕｍ_HP（ｘ，ｙ）×Ｍ_HP）＋（１≪（Ｎ_HP−１））］≫Ｎ_HP｝×ｓｉｇｎ（Ｓｕｍ_HP（ｘ，ｙ）×Ｍ_HP） （２９）
ＩＬＲ_filt（ｘ，ｙ）＝Ｒｏｕｎｄ｛［ａｂｓ（Ｓｕｍ_LP（ｘ，ｙ）×Ｍ_LP）＋（１≪（Ｎ_LP−１））］≫Ｎ_LP｝×ｓｉｇｎ（Ｓｕｍ_LP（ｘ，ｙ）×Ｍ_LP） （３０）
ＥＩＬＲ（ｘ，ｙ）＝Ｃｌｉｐ（ＩＬＲ_filt（ｘ，ｙ）＋ＩＬＭＣ_filt（ｘ，ｙ）） （３１）

これらの式において、ａｂｓ（ｘ）はｘの絶対値を表すことができ、≪ｘおよび≫ｘはｘビット位置だけの左および／または右へのビットシフトを表すことができる。Ｓｉｇｎ（ｘ）はｘの符号を返すことができ、ｍｉｎ（ｘ、ｙ）およびｍａｘ（ｘ、ｙ）は、それぞれｘおよびｙの最小および／または最大値を返すことができる。ＭおよびＮの添字は、この因子がＨＰフィルタに属するかＬＰフィルタに属するかを表すことができる。共同フィルタ導出プロセスの場合は、因子は両方のフィルタに対して等しくなり得る。Ｒｏｕｎｄ（）演算子は、後に続く項が次の整数値に向けて下向きに丸められることを意味する。１≪（Ｎ_LP/HP−１）の項は、この丸め演算の一部とすることができる。式（２２）、（２６）および（３１）ではＥＩＬＲサンプルの値が、用いられるビット深さのダイナミックレンジに、例えば８ビットサンプルに対しては０から２５５の範囲にクリップされ得る。

ＩＬＲ強化は、選択的にイネーブルおよび／またはディスエーブルされ得る。生成されたＥＩＬＲ画像は、特に追加のシグナリングオーバーヘッド、例えばフィルタ係数および正規化因子などのパラメータを考えると、ＥＬビデオシーケンスの画像に対するレイヤ間予測を改善できるまたはできない場合がある。この目的のために、画像またはスライスレベルにおいてＩＬＲ強化方法をイネーブルおよび／またはディスエーブルするように、ラグランジュ型ＲＤコストベース比較が用いられ得る。例えばＥＩＬＲ画像の使用をイネーブルするかディスエーブルするかの決定は、それぞれ式（３２）および式（３３）による、ＥＩＬＲ画像がディスエーブルされたときの場合（ＲＤ_ILR）と、ＥＩＬＲ画像がイネーブルされたときの場合の、ＲＤコストの比較に基づくことができる。

ＲＤ_ILR＝Ｄ_ILR （３２）
ＲＤ_EILR＝Ｄ_EILR＋λ（ｎｕｍ＿ｂｉｔｓ＿ｃｏｅｆｆ＋ｎｕｍ＿ｂｉｔｓ＿ｆａｃｔｏｒ） （３３）
ただしＤ_ILRおよびＤ_EILRは、それぞれもとのＥＬ画像と比較したときの、ＩＬＲおよびＥＩＬＲ画像の歪みを表すことができる。歪みを導出するために、非限定的に二乗誤差和（ＳＳＥ）、差分絶対値和（ＳＡＤ）、および／または変換差分絶対値和（ＳＡＴＤ）などの種々のメトリックが適用され得る。ｎｕｍ＿ｂｉｔｓ＿ｃｏｅｆｆは、量子化されたフィルタ係数を符号化するオーバーヘッドとすることができ、ｎｕｍ＿ｂｉｔｓ＿ｆａｃｔｏは、因子Ｍおよびその対応するシフトＮを符号化するオーバーヘッドとすることができる。λはラグランジュの重み付け因子とすることができる。ＲＤ_EILRがＲＤ_ILRより小さい場合は、ＥＩＬＲ画像は、ＥＬ符号化の性能に関してＩＬＲ画像より、強化されたレイヤ間予測品質と増加されるオーバーヘッドとの間の、より良好なトレードオフを示し得る。ＩＬＲ強化方法は、ＥＬ画像に対してイネーブルされ得る。そうでない場合（例えばＲＤ_EILRがＲＤ_ILR以上である場合）は、ＩＬＲ強化はＥＬ画像に対してディスエーブルされ得る。ＩＬＲ強化の使用は、高レベルシグナリング方法によってデコーダ側にシグナリングされ得る。

ラグランジュ型ＲＤベースの画像レベル切り換え方法は、ＩＬＲ画像のサンプルに対する領域ベースの強化を適用することによってさらに改善され得る。画像レベル切り換えの使用において、同じフィルタがＩＬＲ画像のサンプルに適用され得る。ＩＬＲ画像の平均の品質は改善され得るが、ＩＬＲ画像のいくつかの領域の品質は向上され、一方、他の領域の品質はより悪くなる場合があり得る。ＩＬＲ画像の品質を改善するように特定の領域に対して強化方法が適用されるべきかどうかを決定するために、領域ベースの切り換え方法が用いられ得る。領域は、任意のレベルでのおよび任意のサイズでの操作ユニット、例えば画像内の特定の寸法および位置の領域、ブロック（例えばＬＣＵ、ＣＵ、ＰＵ）のグループ、または同様なものとすることができる。領域ベースの切り換え方法に対しては、ＥＩＬＲ画像は通常通りに生成され得る。ＥＩＬＲ画像ともとのＥＬ画像の間の歪み、およびＩＬＲ画像ともとのＥＬ画像の間の歪みは、選択された操作レベルにおいてそれぞれ比較され得る。例えば領域ベースの方法は、６４×６４ブロックレベルにおいて動作することができる。所与の場所において、サイズ６４×６４のＥＩＬＲユニットの歪みが、対応するサイズ６４×６４のＩＬＲユニットの歪みより低い場合は、ＥＩＬＲユニットのサンプルが、ＥＩＬＲ画像を生成するために使用され続けることができる。そうでない例えばＥＩＬＲ歪みがＩＬＲ歪みより大きいまたは等しい場合は、ＥＩＬＲユニットのサンプルを置き換えるように、ＩＬＲユニットのサンプルが用いられ得る。ＩＬＲ強化の使用は、復号のためにデコーダが同じＥＩＬＲ画像を生成できるように、領域に対してシグナリングされ得る。ＥＩＬＲマップが生成され得る。ＥＩＬＲマップは領域（例えば６４×６４ブロック）に対して１つのフラグを含むことができ、これはその領域が強化されるかどうかを表す。ビットストリームのオーバーヘッドを低減するために、ＥＩＬＲマップはいくつかのよく知られているソース符号化方法、例えば指数ゴロム符号、ランレングス符号、および／または算術符号を用いて圧縮され得る。

図１２は、ＥＩＬＲマップを用いたおよび用いない例示のＩＬＲ強化プロセス１２００を示す。１２０２および１２０４では、ＥＩＬＲマップが用いられるかどうかにかかわらず、ＩＬＭＣ画像が生成され得る。１２０６および１２０８では、１または複数のフィルタがトレーニングされ得る。１２１０および１２１２では、ＥＩＬＲマップが用いられるかどうかにかかわらず、ＥＩＬＲ画像が生成され得る。ＥＩＬＲマップが用いられる場合は、１２１４でそれを生成することができ、ＥＩＬＲ画像が更新され得る。１２１６ではＥＬ画像が符号化され得る。図１３は、強化された（ＥＩＬＲ）ブロック１３０２、および強化されない（ＩＬＲ）ブロック１３０４を示す、例示のＥＩＬＲマップ１３００を示す。

ＥＩＬＲマップ１３００を所与として、エンコーダは、ＥＩＬＲサンプルの品質がＩＬＲサンプルのそれを上回り得る領域を知ることができる。この知識は、例えばフィルタ係数に対する第２の導出プロセスを適用することによって、レイヤ間予測の効率を改善することができる。第２の導出プロセスでは、フィルタ係数をトレーニングするために、ＩＬＲ強化がイネーブルされた領域１３０２のサンプルを用いることができ、例えば領域１３０４のサンプルは省かれ得る。

図１４は、２フィルタ導出プロセスを用いた例示のＩＬＲ強化プロセス１４００を示す。１４０２でＩＬＭＣ画像が生成され得る。１４０４で１または複数のフィルタがトレーニングされ得る。１４０６でＥＩＬＲ画像が生成され得る。１４０８でＥＩＬＲマップが生成され得る。マップは、１４１０でのフィルタトレーニングのために用いられ得る。１４１２で、ＥＩＬＲマップに基づいてＥＩＬＲ画像が生成され得る。

ＥＬのレイヤ間予測のためにＩＬＲ強化を適用するために、ＥＩＬＲマップ、量子化された整数フィルタ係数、およびスケーリング因子は、復号のためにデコーダに同じＥＩＬＲ画像を再生させるように、スライスヘッダの一部としてビットストリーム内にシグナリングされ得る。例えば表１は、共同フィルタ導出プロセスが、フィルタ係数に対する４ビットの精度で適用されるときの、スライスヘッダの変更されたシグナリングの例を示す。

フラグｅｉｌｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、現在のスライスに対してＩＬＲ強化がイネーブルされるときは１の値を有し得る。フラグｅｉｌｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、現在のスライスに対してＩＬＲ強化がディスエーブルされるときは０の値を有し得る。

ｅｉｌｒ＿ｃｏｅｆｆ＿ｈｐ＿ｐｌｕｓ８［ｉ］から８を引いた値は、ＩＬＲ強化のために用いられるハイパスフィルタのｉ番目の係数を指定することができる。ｅｉｌｒ＿ｃｏｅｆｆ＿ｈｐ＿ｐｌｕｓ８［ｉ］の値は、両端を含めて０．．１５の範囲にあるべきである。

ｅｉｌｒ＿ｃｏｅｆｆ＿ｌｐ＿ｐｌｕｓ８［ｉ］から８を引いた値は、ＩＬＲ強化のために用いられるローパスフィルタのｉ番目の係数を指定することができる。ｅｉｌｒ＿ｃｏｅｆｆ＿ｌｐ＿ｐｌｕｓ８［ｉ］の値は、両端を含めて０．．１５の範囲にあるべきである。

値ｅｉｌｒ＿ｓｃａｌｉｎｇ＿ｆａｃｔｏｒ＿ａｂｓは、フィルタ係数を逆量子化するためのスケーリング因子の絶対値を指定することができる。

値ｅｉｌｒ＿ｆａｃｔｏｒ＿ｓｉｇｎは、フィルタ係数を逆量子化するためのスケーリング因子の符号を指定することができる。

値ｅｉｌｒ＿ｂｉｔ＿ｓｈｉｆｔは、フィルタ係数を逆量子化するときに、スケーリング動作の後に右シフトされることになるビット数を指定することができる。

構文要素ｎｕｍ＿ｃｏｅｆｆ＿ｈｐおよびｎｕｍ＿ｃｏｅｆｆ＿ｌｐは、それぞれハイパスフィルタおよびローパスフィルタの係数の数を指定することができる。

ＥＩＬＲ画像を生成するために、異なるＩＬＲ強化方法が用いられ得る。どの方法が選択されるかの決定は、シーケンスレベルおよび／または画像／スライスレベルで行われ得る。決定がシーケンスレベル行われる場合は、選択された方法は複数の画像、例えばビデオシーケンスのすべての画像に対して用いられ得る。選択されたＩＬＲ強化方法は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、および／または画像パラメータセット（ＰＰＳ）などの、任意のパラメータセットにおいてシグナリングされ得る。決定が画像／スライスレベルで行われる場合は、異なる画像／スライスは異なるＩＬＲ強化方法を用いることができる。シーケンスレベルでデフォルトの方法を選択することができ、画像レベルで特定の画像に対して異なる方法を選択することができ、画像レベルでシグナリングすることができる。

ＥＬ画像に対して１つの特定のＩＬＲ強化方法を使用する選択方法に加えて、複数のＩＬＲ強化方法を使用する、例えば複数のＥＩＬＲ画像を生成することも可能である。ＥＩＬＲ画像は異なる特性を示すことができ、ＥＬ符号化のための基準画像として用いられたときに、異なる予測信号をもたらすことができる。例えばいくつかのＥＩＬＲ画像はＢＬ画像の失われた高周波を補償する能力を有し、いくつかのＥＩＬＲ画像はＢＬ画像の圧縮アーチファクトを軽減することができる。異なる方法から生成された複数のＥＩＬＲ画像が組み合わされた場合、ＥＬ圧縮効率は改善され得る。複数のＥＩＬＲ画像は、ＥＩＬＲ画像例えば最良のＥＩＬＲ画像を選択し、それを基準画像リストに追加することによって組み合わされ得る。複数のＥＩＬＲ画像は、２つ以上のＥＩＬＲ画像を基準画像リストに追加することによって組み合わされ得る。複数のＥＩＬＲ画像をどのように組み合わせるかの決定は、ＶＰＳ、ＳＰＳ、ＰＰＳまたはスライスヘッダにおいてシグナリングすることによって、シーケンスレベルおよび／または画像レベルで行われ得る。

図１５は、ＩＬＲ強化の例を示す。第１の基準画像１５０２および第２の基準画像１５０４を所与とし、両方の基準画像は時間ｔにおいて利用可能となることができ、予測値１５０６は、第１の基準画像１５０２の第１のデータ１５１０（例えば画素値）にローパスフィルタ１５０８を、第２の基準画像１５０４の第２のデータ１５１４にハイパスフィルタ１５１２を適用することによって生成され得る。例えば第１の基準画像１５０２は、アップサンプリングされた、前に復号された基本レイヤ画像、例えばＩＬＲ画像とすることができる。第２の基準画像１５０４は、前に復号された強化レイヤ画像、例えばＩＬＭＣ画像とすることができる。第２のデータ１５１４は、ＩＬＭＣ画像の動き補償された画素値を備えることができる。動き補償は、第１の基準画像１５０２の１または複数の動きベクトルに基づくことができる。フィルタリングされた信号は、線形結合、例えば加算または重み付け加算を用いて１５１６で組み合わされて、予測値１５０６を生成することができる。

予測値１５０６は、第３の基準画像、例えばＥＩＬＲ画像とすることができる。予測値１５０６は、例えば複合ＤＣＴベースのビデオコーデックにおいて、ビデオフレームの画素値を予測するために用いられ得る。

ローパスフィルタ１５０８および／またはハイパスフィルタ１５１２の係数は、ビデオビットストリーム内に符号化され得る。ローパスフィルタ１５０８および／またはハイパスフィルタ１５１２は、オールパスフィルタとして実施することができ、例えば基本レイヤデータおよび／または強化レイヤデータにフィルタリングを行わないようにすることができる。

本明細書で述べられるプロセスおよび手段は、任意の組み合わせで適用することができ、他の無線技術に対して、および他のサービスのために適用することができる。

ＷＴＲＵは、物理デバイスの識別、または加入者関連の識別などのユーザの識別、例えばＭＳＩＳＤＮ、ＳＩＰ ＵＲＩなどを指すことができる。ＷＴＲＵは、アプリケーションベースの識別、例えばアプリケーションごとに用いられ得るユーザ名を指すことができる。

上述のプロセスは、コンピュータおよび／またはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれた、コンピュータプログラム、ソフトウェア、および／またはファームウェアにおいて実施され得る。コンピュータ可読媒体の例は、非限定的に電子信号（有線および／または無線接続を通して送信される）、および／またはコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、非限定的にリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、非限定的に内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、および／またはＣＤ−ＲＯＭディスクおよび／またはデジタル多用途ディスク（ＤＶＤ）などの光媒体を含む。ＷＴＲＵ、ＵＥ、端末装置、基地局、ＲＮＣ、および／または任意のホストコンピュータにおける使用のために、無線周波数トランシーバを実施するように、ソフトウェアと関連してプロセッサが用いられ得る。

Claims (21)

1. ビデオ符号化方法であって、
   第１の基準画像および第２の基準画像を受信するステップと、
   前記第２の基準画像に関連付けられた動き情報に基づいて、前記第１の基準画像の複数のピクセル値に動き補償を実行して、複数の動き補償されたピクセル値を生成するステップと、
   前記第２の基準画像をアップサンプリングして、第３の基準画像を生成するステップと、
   前記複数の動き補償されたピクセル値にハイパスフィルタを適用して、高周波情報を生成するステップと、
   前記第３の基準画像にローパスフィルタを適用して、低周波情報を生成するステップと、
   前記高周波情報および前記低周波情報の組み合わせに基づいて、予測値を生成するステップと
   を含む、方法。
2. 基準画像として前記予測値を用いて現在の画像を生成するステップをさらに含む、請求項１に記載の方法。
3. 前記現在の画像は、強化レイヤ画像を備える、請求項２に記載の方法。
4. 前記第１の基準画像および前記第２の基準画像は、異なるレイヤからのものである、請求項１に記載の方法。
5. 前記第１の基準画像は、強化レイヤ基準画像を備える、請求項１に記載の方法。
6. 前記第２の基準画像に関連付けられた前記動き情報は、アップサンプリングされ、前記動き補償は、前記アップサンプリングされた動き情報に基づいて実行される、請求項１に記載の方法。
7. 前記第２の基準画像は、基本レイヤ基準画像を備える、請求項１に記載の方法。
8. 前記組み合わせは、加算または重み付け加算のうちの少なくとも１つを含む、請求項１に記載の方法。
9. 前記ハイパスフィルタに関連付けられた第１の複数のフィルタ係数、および前記ローパスフィルタに関連付けられた第２の複数のフィルタ係数を、ビデオビットストリームに含めるステップをさらに含む、請求項１に記載の方法。
10. 前記ハイパスフィルタまたは前記ローパスフィルタのうちの少なくとも１つが、オールパスフィルタである、請求項１に記載の方法。
11. ビデオ符号化デバイスであって、
    プロセッサ実行可能命令を記憶するように構成されたメモリと、
    前記プロセッサ実行可能命令を実行するように構成されたプロセッサであって、
    第１の基準画像および第２の基準画像を受信し、
    前記第２の基準画像に関連付けられた動き情報に基づいて、前記第１の基準画像の複数のピクセル値に動き補償を実行して、複数の動き補償されたピクセル値を生成し、
    前記第２の基準画像をアップサンプリングして、第３の基準画像を生成し、
    前記複数の動き補償されたピクセル値にハイパスフィルタを適用して、高周波情報を生成し、
    前記第３の基準画像にローパスフィルタを適用して、低周波情報を生成し、
    前記高周波情報および前記低周波情報の組み合わせに基づいて、予測値を生成する
    ように構成されたプロセッサと
    を備える、ビデオ符号化デバイス。
12. 基準イメージとして前記予測値を用いて画像を符号化することをさらに含む、請求項１１に記載のビデオ符号化デバイス。
13. 前記画像は、強化レイヤ画像を備える、請求項１２に記載のビデオ符号化デバイス。
14. 前記第１の基準画像および前記第２の基準画像は、異なるレイヤからのものである、請求項１１に記載のビデオ符号化デバイス。
15. 前記第１の基準画像は、強化レイヤ基準画像を備える、請求項１１に記載のビデオ符号化デバイス。
16. 前記予測値は、強化型レイヤ間基準（ＥＩＬＲ）画像を備える、請求項１１に記載のビデオ符号化デバイス。
17. 前記プロセッサは、前記ＥＩＬＲ画像を基準画像として用いて、強化レイヤ画像を符号化するようにさらに構成される、請求項１６に記載のビデオ符号化デバイス。
18. 前記組み合わせは、加算または重み付け加算のうちの少なくとも１つを含む、請求項１１に記載のビデオ符号化デバイス。
19. 前記プロセッサは、前記ハイパスフィルタに関連付けられた第１の複数のフィルタ係数、および前記ローパスフィルタに関連付けられた第２の複数のフィルタ係数を、ビデオビットストリームに含めるようにさらに構成される、請求項１１に記載のビデオ符号化デバイス。
20. 前記ハイパスフィルタまたは前記ローパスフィルタのうちの少なくとも１つが、オールパスフィルタである、請求項１１に記載のビデオ符号化デバイス。
21. 前記第３の基準画像は、レイヤ間基準画像である、請求項１に記載の方法。