JP6166287B2 - インタレイヤ予測方法及びそれを利用する装置 - Google Patents

Description

本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオ符号化を実行する方法及び装置に関する。

最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど、該当映像に対する情報量も共に増加している。

情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。

多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツを多様な品質で利用可能になった。

具体的には、端末装置がサポートできる品質の映像が多様化して、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用するが、他の環境ではより高い品質の映像が利用可能になる。

例えば、携帯端末でビデオコンテンツを購買した消費者が、ホーム内の大画面のディスプレイを介して同じビデオコンテンツを大きい画面と高い解像度で鑑賞できるようになる。

最近、高解像度（ＨＤ）を有する放送がサービスされているが、多くのユーザは、既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有する超高解像度（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、ＵＨＤ）のサービスにも関心を向けている。

したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率の符号化／復号方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。

本発明の一技術的目的は、スケーラブルビデオ符号化の効果を高めてレイヤごとに重複送信される情報を減らす方法及び装置を提供することである。

本発明の他の技術的目的は、ベースレイヤの情報を利用してエンハンスメントレイヤの符号化／復号効果を高める方法及び装置を提供することである。

本発明の他の技術的目的は、多様なスケーラビリティに対応してベースレイヤの情報を活用する方法及び装置を提供することである。

本発明の他の技術的目的は、多様なインタレイヤ予測方法を介して、符号化効率を向上させる方法及び装置を提供することである。

本発明の他の技術的目的は、ベースレイヤのテクスチャ情報、動き情報、シンタックス情報、ユニット情報、パラメータ情報、レジデュアル情報、差分情報のうち少なくとも一つを利用してエンハンスメントレイヤの符号化効率を上げる方法及び装置を提供することである。

本発明の一実施形態は、インタレイヤ予測方法であって、参照レイヤからインタレイヤ動き情報を導出するステップ及びインタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行するステップを含み、インタレイヤ動き情報は、参照レイヤから導出されるインタレイヤ動きベクトルを含む。このとき、インタレイヤ動きベクトルは、参照レイヤの動きベクトルを参照レイヤと現在レイヤとの間の解像度の比率に応じてスケーリングして導出される。

本発明の一実施形態は、インタレイヤ予測方法を利用する装置であって、参照レイヤに対する予測を実行する第１の予測部及び第１の予測部による予測に基づいたインタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行する第２の予測部を含む。このとき、インタレイヤ動き情報は、参照レイヤから導出されるインタレイヤ動きベクトルを含み、第２の予測部は、参照レイヤの動きベクトルを参照レイヤと現在レイヤとの間の解像度の比率に応じてスケーリングする。

本発明によると、スケーラブルビデオ符号化の効果を高めてレイヤごとに重複送信される情報を減らすことができる。

本発明によると、ベースレイヤの情報を利用してエンハンスメントレイヤの符号化／復号効果を高めることができる。

本発明によると、多様なスケーラビリティに対応してベースレイヤの情報を活用することができる。

本発明によると、多様なインタレイヤ予測方法を介して、符号化効率を向上させることができる。

本発明の一実施例によるスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。 本発明によるスケーラブル符号化を実行する符号化装置でのレイヤ間予測に対する一例を説明するブロック図である。 本発明の一実施例によるスケーラビリティをサポートするビデオ復号装置を概略的に示すブロック図である。 本発明によるスケーラブル符号化を実行する復号装置でのレイヤ間予測に対する一例を説明するブロック図である。 本発明によるインタレイヤイントラ予測が実行される例を概略的に説明する図面である。 本発明によるインタレイヤイントラ予測過程で適用される再スケーリング（ダウンサンプリング／アップサンプリング）の一例を概略的に示す。 本発明による位相シフトアップサンプリングを実行する一例を概略的に説明する図面である。 本発明によるＩｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを利用する方法の一例であって、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合のサンプリング方法を簡単に説明する図面である。 他のレイヤを参照せずに、レイヤ内でインタ予測を実行する場合に利用される動き情報の候補に対する一例を簡単に示す。 本発明によるインタレイヤ動き予測を実行する方法の一例を概略的に説明する流れ図である。 本発明による、参照レイヤの動き情報を導出する方法を概略的に説明する図面である。 本発明によるｍｖＩＬをスケーリングする方法を概略的に説明する図面である。 本発明によるインタレイヤシンタックス予測を実行する方法の一例を簡単に説明する図面である。 本発明によるインタレイヤレジデュアル予測を適用する方法を概略的に説明する図面である。 本発明によるインタレイヤユニット情報予測の一例を概略的に説明する図面である。 本発明によるインタレイヤユニット予測を適用する一例を概略的に説明する図面である。 本発明によるインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。 本発明によるインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。 本発明による適応的インタレイヤテクスチャ予測を実行する方法の一例を概略的に説明する図面である。 本発明によるインタレイヤフィルタパラメータ予測に対して概略的に説明する図面である。 本発明によるインタレイヤ差分モードを適用する場合、イントラ予測を実行する方法を概略的に説明する図面である。

本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われたものではない。単数の表現は、文脈上明白に異なる表現ではない限り、複数の表現を含む。本明細書で、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加可能性を予め排除しないと理解しなければならない。

一方、本発明で説明される図面上の各構成は、ビデオ符号化装置／復号装置における別個の特徴的な機能に対する説明の便宜のために独立に図示したものであり、各構成が別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成を統合して一つの構成にすることもできるし、一つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。

以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上、同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複した説明は省略する。

スケーラビリティをサポートするビデオ符号化方法（以下、‘スケーラブル符号化’という）では、入力信号をレイヤごとに処理することができる。レイヤに応じて入力信号（入力映像）は、解像度、フレームレート、ビット深度、カラーフォーマット、アスペクト比のうち少なくとも一つが異なる。

本明細書において、スケーラブル符号化とは、スケーラブル符号化とスケーラブル復号を含む。

スケーラブル符号化／復号では、レイヤ間の差を利用して、すなわち、スケーラビリティに基づいて、レイヤ間の予測を実行することによって情報の重複送信／処理を減らして圧縮効率を上げることができる。

図１は、本発明の一実施例によってスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。

図１を参照すると、符号化装置１００は、レイヤ１に対する符号化部１０５とレイヤ０に対する符号化部１５５を含む。

レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤ又は上位レイヤである。

レイヤ１の符号化部１０５は、インタ／イントラ予測部１１０、変換／量子化部１１５、フィルタリング部１２０、復号ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、ＤＰＢ）１２５、エントロピ符号化部１３０、ユニットパラメータ予測部１３５、動き予測／再スケーリング（ｒｅｓｃａｌｉｎｇ）部１４０、テクスチャ予測／再スケーリング部１４５、パラメータ予測部１５０及び多重化部（Ｍｕｌｔｉｐｌｅｘｅｒ、ＭＵＸ）１８５を含む。

レイヤ０の符号化部１５５は、インタ／イントラ予測部１６０、変換／量子化部１６５、フィルタリング部１７０、ＤＰＢ１７５及びエントロピ符号化部１８０を含む。

インタ／イントラ予測部１１０、１６０は、入力された映像に対してインタ予測とイントラ予測を実行することができる。インタ／イントラ予測部１１０、１６０は、所定の処理単位に予測を実行することができる。予測の実行単位は、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であってもよいし、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ）であってもよいし、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であってもよい。

例えば、インタ／イントラ予測部１１０、１６０は、ＣＵ単位にインタ予測を適用するか、又はイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位又はＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック（レジデュアル信号）の生成とを含む。

インタ予測を介しては、現在ピクチャの以前ピクチャ及び／又は以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することによって、予測ブロックを生成することができる。イントラ予測を介しては、現在ピクチャ内のピクセル情報に基づいて予測を実行することによって、予測ブロックを生成することができる。

インタ予測のモード又は方法として、スキップモード、マージモード、動きベクトル予測（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）方法などがある。インタ予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。インタ／イントラ予測部１６０は、参照ブロックに基づいて予測ブロックを生成することができる。

予測ブロックは、整数サンプル単位に生成することもできるし、整数以下ピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位又は整数ピクセル以下の単位に表現することができる。

インタ予測において、動き情報、すなわち、参照ピクチャのインデクス、動きベクトル、レジデュアル信号などの情報は、エントロピ符号化されて復号装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。

イントラ予測における予測モードは、３３個の方向性予測モードと少なくとも２個以上の非方向性モードとを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒ ｍｏｄｅ）を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。

ＰＵは、多様なサイズ／形態のブロックであり、例えば、インタ予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、又はＮ×Ｎブロック（Ｎは、整数）などである。イントラ予測の場合、ＰＵは、２Ｎ×２Ｎブロック又はＮ×Ｎブロック（Ｎは、整数）などである。このとき、Ｎ×Ｎブロックの大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小の大きさＣＵに対してのみＮ×Ｎブロックの大きさのＰＵを利用するように定め、又はイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロック又はｍＮ×２Ｎブロック（ｍ<１）などのＰＵをさらに定義して使用することもできる。

変換／量子化部１１５、１６５は、変換ブロック単位にレジデュアルブロックに対する変換を実行して変換係数を生成し、変換係数を量子化する。

変換ブロックは、サンプルの四角形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット（ＴＵ）であることもあり、四分木（ｑｕａｄ ｔｒｅｅ）構造を有することができる。

変換／量子化部１１５、１６５は、レジデュアルブロックに適用された予測モードと変換ブロックの大きさによって変換を実行することによって、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックを離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）を利用して変換し、その他の場合は、レジデュアルブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）を利用して変換することができる。

また、変換／量子化部１１５、１６５は、予測モードと変換ブロックの大きさに関係なしで特定変換を固定的に使用することもできる。例えば、変換／量子化部１１５、１６５は、すべての変換ブロックにＤＳＴのみを適用することができる。また、変換／量子化部１１５、１６５は、すべての変換ブロックにＤＣＴのみを適用することもできる。

変換／量子化部１１５、１６５は、変換係数を量子化し、量子化された変換係数を生成することができる。

変換／量子化部１１５、１６５は、量子化された変換係数をエントロピ符号化部１３０、１８０に伝達することができる。このとき、変換／量子化部１６５は、量子化された変換係数の２次元アレイを所定のスキャン順序によって１次元アレイに再整列してエントロピ符号化部１３０、１８０に伝達することもできる。また、変換／量子化部１１５、１６５は、インタ予測のために、レジデュアルと予測ブロックに基づいて生成された復元ブロックを変換／量子化せずに、フィルタリング部１２０、１７０に伝達することができる。

一方、変換／量子化部１１５、１６５は、必要によって、変換を省略（ｓｋｉｐ）し、量子化のみを実行し、又は変換と量子化を全部省略することもできる。例えば、変換／量子化部１１５、１６５は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

エントロピ符号化部１３０、１８０は、量子化された変換係数に対するエントロピ符号化を実行することができる。エントロピ符号化には、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、文脈適応２進算術符号化（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）などのような符号化方法を使用することができる。

フィルタリング部１２０、１７０は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、サンプル適応オフセット（ＳＡＯ）を復元されたピクチャに適用することができる。

デブロッキングフィルタは、復元されたピクチャでブロック間の境界に発生した歪みを除去することができる。ＡＬＦは、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対して、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などの形態で適用される。

フィルタリング部１２０、１７０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全部適用せずに、デブロッキングフィルタのみを適用してもよいし、デブロッキングフィルタとＡＬＦのみを適用してもよいし、デブロッキングフィルタとＳＡＯのみを適用してもよい。

ＤＰＢ１２５、１７５は、フィルタリング部１２５、１７０から復元ブロック又は復元ピクチャの伝達を受けて記憶することができる。ＤＰＢ１２５、１７５は、復元ブロック又はピクチャを、インタ予測を実行するインタ／イントラ予測部１１０、１６０に提供することができる。

レイヤ０のエントロピ符号化部１８０から出力される情報とレイヤ１のエントロピ符号化部１３０から出力される情報は、ＭＵＸ１８５で多重化されてビットストリームで出力することができる。

一方、レイヤ１の符号化部１０５は、レイヤ０の情報を利用してレイヤ１の映像に対する予測を実行するインタレイヤ予測のために、ユニットパラメータ予測部１３５、動き予測／再スケーリング部１４０、テクスチャ予測／再スケーリング部１４５、パラメータ予測部１５０などを含むことができる。

ユニットパラメータ予測部１３５は、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報を導出してエンハンスメントレイヤのユニット情報として使用するようにし、又はベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報が決定することができるようにする。

動き予測部１４０は、インタレイヤ動き予測を実行する。インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれる。動き予測部１４０は、参照レイヤ（ベースレイヤ）の動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測を実行することができる。

動き予測部１４０は、必要な場合、参照レイヤの動き情報をスケーリングすることができる。

テクスチャ予測部１４５は、レイヤ０の情報に基づいてインタレイヤテクスチャ予測を実行することができる。インタレイヤテクスチャ予測は、インタレイヤイントラ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックが復元されている場合に利用することができる。インタレイヤテクスチャ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。

パラメータ予測部１５０は、ベースレイヤで使用したパラメータを導出してエンハンスメントレイヤで再使用するようにし、又はベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。

一方、ここでは、説明の便宜のために、レイヤ１の符号化部１０５がＭＵＸ１８５を含むと説明したが、ＭＵＸは、レイヤ１の符号化部１０５及びレイヤ０の符号化部１５５と別途の装置又はモジュールであってもよい。

図２は、本発明によってスケーラブル符号化を実行する符号化装置でのレイヤ間予測に対する一例を説明するブロック図である。

図２を参照すると、レイヤ１の予測部２１０は、インタ／イントラ予測部２２０及びインタレイヤ予測部２３０を含む。

レイヤ１の予測部２１０は、レイヤ０の情報からレイヤ１の予測に必要なインタレイヤ予測を実行することができる。

例えば、インタレイヤ予測部２３０は、レイヤ０のインタ／イントラ予測部２５０及び／又はフィルタリング部２６０からレイヤ０の情報の伝達を受けてレイヤ１の予測に必要なインタレイヤ予測を実行することができる。

レイヤ１のインタ／イントラ予測部２２０は、レイヤ１の情報を利用してインタ予測又はイントラ予測を実行することができる。

また、レイヤ１のインタ／イントラ予測部２２０は、インタレイヤ予測部２３０から伝達された情報を利用してレイヤ０の情報に基づいた予測を実行することもできる。

併せて、レイヤ１のフィルタリング部２４０は、レイヤ０の情報に基づいてフィルタリングを実行することもできるし、レイヤ０の情報に基づいてフィルタリングを実行することもできる。レイヤ０の情報は、レイヤ０のフィルタリング部２６０からレイヤ１のフィルタリング部２４０に伝達することもできるし、レイヤ１のインタレイヤ予測部２３０からレイヤ１のフィルタリング部２４０に伝達することもできる。

一方、レイヤ０からインタレイヤ予測部２３０に伝達される情報は、レイヤ０のユニットパラメータに対する情報、レイヤ０の動き情報、レイヤ０のテクスチャ情報、レイヤ０のフィルタパラメータ情報のうち少なくとも一つである。

したがって、インタレイヤ予測部２３０は、図１でインタレイヤ予測を実行するユニットパラメータ予測部１３５、動き予測部１４０、テクスチャ予測部１４５、パラメータ予測部１５０のうち一部又は全部を含むことができる。

また、レイヤ１において、インタ／イントラ予測部２２０は、図１のインタ／イントラ予測部１１０に対応することができ、フィルタリング部２４０は、図１のフィルタリング部１２０に対応することができる。レイヤ０において、インタ／イントラ予測部２５０は、図１のインタ／イントラ予測部１６０に対応することができ、フィルタリング部２６０は、図１のフィルタリング部１７０に対応することができる。

図３は、本発明の一実施例によってスケーラビリティをサポートするビデオ復号装置を概略的に示すブロック図である。

図３を参照すると、復号装置３００は、レイヤ１の復号部３１０及びレイヤ０の復号部３５０を含む。

レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤ又は上位レイヤである。

レイヤ１の復号部３１０は、エントロピ復号部３１５、再整列部３２０、逆量子化部３２５、逆変換部３３０、予測部３３５、フィルタリング部３４０、メモリを含むことができる。

レイヤ０の復号部３５０は、エントロピ復号部３５５、再整列部３６０、逆量子化部３６５、逆変換部３７０、フィルタリング部３８０、メモリ３８５を含むことができる。

符号化装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ３０５は、レイヤごとに情報を逆多重化してレイヤ別復号装置に伝達することができる。

エントロピ復号部３１５、３５５は、符号化装置で使用したエントロピ符号化方式に対応してエントロピ復号を実行することができる。例えば、符号化装置でＣＡＢＡＣが使われた場合、エントロピ復号部３１５、３５５もＣＡＢＡＣを利用してエントロピ復号を実行することができる。

エントロピ復号部３１５、３５５で復号された情報のうち、予測ブロックを生成するための情報は、予測部３３５、３７５に提供され、エントロピ復号部３１５、３５５でエントロピ復号が実行されたレジデュアル値、すなわち、量子化された変換係数は、再整列部３２０、３６０に入力することができる。

再整列部３２０、３６０は、エントロピ復号部３１５、３５５でエントロピ復号されたビットストリームの情報、すなわち、量子化された変換係数を符号化装置で再整列した方法に基づいて再整列することができる。

例えば、再整列部３２０、３６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部３２０、３６０は、現在ブロック（変換ブロック）に適用された予測モード及び／又は変換ブロックの大きさに基づいてスキャニングを実行することによって、係数（量子化された変換係数）の２次元アレイを生成することができる。

逆量子化部３２５、３６５は、符号化装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することによって、変換係数を生成することができる。

逆量子化部３２５、３６５は、所定の条件によって又は符号化装置での量子化方式によって、エントロピ復号されたレジデュアルを逆量子化せずに逆変換部３３０、３７０に伝達することもできる。

逆変換部３３０、３７０は、変換係数に対して符号化装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部３３０、３７０は、符号化装置で実行されたＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び／又は逆ＤＳＴを実行することができる。

符号化装置において、ＤＣＴ及び／又はＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、復号装置の逆変換部３３０、３７０は、符号化装置で実行された変換情報に基づいて逆変換を実行することができる。

例えば、逆変換部３３０、３７０は、予測モード／ブロックの大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部３３０、３７０は、イントラ予測が適用された４×４ルマ（ｌｕｍａ）ブロックに対して逆ＤＳＴを適用することもできる。

また、逆変換部３３０、３７０は、予測モード／ブロックの大きさに関係なしで、特定逆変換方法を固定的に使用することもできる。例えば、逆変換部３３０、３７０は、すべての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部３３０、３７０は、すべての変換ブロックに逆ＤＣＴのみを適用することもできる。

逆変換部３３０、３７０は、変換係数又は変換係数のブロックを逆変換することによって、レジデュアル又はレジデュアルブロックを生成することができる。

また、逆変換部３３０、３７０は、必要によって又は符号化装置で符号化された方式によって、変換を省略することもできる。例えば、逆変換部３３０、３７０は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

予測部３３５、３７５は、エントロピ復号部３１５、３５５から伝達された予測ブロック生成関連情報とメモリ３４５、３８５で提供された以前に復号されたブロック及び／又はピクチャ情報とに基づいて現在ブロックに対する予測ブロックを生成することができる。

現在ブロックに対する予測モードがイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードである場合、予測部３３５、３７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。

現在ブロックに対する予測モードがインタ予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）モードである場合、予測部３３５、３７５は、現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインタ予測を実行することができる。インタ予測に必要な動き情報の一部又は全部は、符号化装置から受信した情報を確認し、これに対応して導出することができる。

インタ予測のモードとしてスキップモードが適用される場合は、符号化装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。

一方、レイヤ１の予測部３３５は、レイヤ１内の情報のみを利用してインタ予測又はイントラ予測を実行することもできるし、他のレイヤ（レイヤ０）の情報を利用してインタレイヤ予測を実行することもできる。

例えば、レイヤ１の予測部３３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用することによって、現在ブロックに対する予測を実行することができる。また、レイヤ１の予測部３３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち、複数の情報を利用することによって、現在ブロックに対する予測を実行することもできる。

レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれる。インタレイヤ動き予測によって、参照レイヤ（ベースレイヤ）の動き情報を利用することによって、現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測が実行することができる。予測部３３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。

レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のテクスチャ情報の伝達を受けてインタレイヤテクスチャ予測を実行することができる。インタレイヤテクスチャ予測は、インタレイヤイントラ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。インタレイヤテクスチャ予測は、参照レイヤの参照ブロックが復元されている場合に利用することができる。インタレイヤテクスチャ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。

レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測によって、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報がエンハンスメントレイヤのユニット情報として使われ、又はベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。

レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のフィルタリングに対するパラメータ情報の伝達を受けてパラメータ予測を実行することもできる。パラメータ予測によって、ベースレイヤで使用したパラメータを導出してエンハンスメントレイヤで再使用し、又はベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。

加算器３９０、３９５は、予測部３３５、３７５で生成された予測ブロックと逆変換部３３０、３７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器３９０、３９５は、復元ブロックを生成する別途のユニット（復元ブロック生成部）と見ることができる。

加算器３９０、３９５で復元されたブロック及び／又はピクチャは、フィルタリング部３４０、３８０に提供することができる。

フィルタリング部３４０、３８０は、復元されたブロック及び／又はピクチャにデブロッキングフィルタリング、ＳＡＯ及び／又はＡＬＦなどを適用することができる。

フィルタリング部３４０、３８０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全部適用せずに、デブロッキングフィルタのみを適用してもよく、又はデブロッキングフィルタとＡＬＦのみを適用してもよく、又はデブロッキングフィルタとＳＡＯのみを適用してもよい。

図３の例を参照すると、レイヤ１のフィルタリング部３４０は、レイヤ１の予測部３３５及び／又はレイヤ１のフィルタリング部３８０から伝達されるパラメータ情報を利用することによって、復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１において、フィルタリング部３４０は、レイヤ０で適用されたフィルタリングのパラメータから予測されたパラメータを利用してレイヤ１に対する又はレイヤ間のフィルタリングを適用することができる。

メモリ３４５、３８５は、復元されたピクチャ又はブロックを記憶することによって、参照ピクチャ又は参照ブロックとして使用可能にすることができる。メモリ３４５、３８５は、記憶された復元ピクチャを所定の出力部（図示せず）又はディスプレイ（図示せず）を介して出力することもできる。

図３の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１の符号化装置と同様に、逆量子化／逆変換部の一つのモジュールで再整列、逆量子化、逆変換を順に実行するように復号装置を構成することもできる。

それに対し、図３の例では予測部として説明したが、図１の例のように、レイヤ１の予測部は、他のレイヤ（レイヤ０）の情報を利用して予測を実行するインタレイヤ予測部と、他のレイヤ（レイヤ０）の情報を利用せずに予測を実行するインタ／イントラ予測部とを含むこともできる。

図４は、本発明によってスケーラブル符号化を実行する復号装置でのレイヤ間予測に対する一例を説明するブロック図である。

図４を参照すると、レイヤ１の予測部４１０は、インタ／イントラ予測部４２０及びインタレイヤ予測部４３０を含む。

レイヤ１の予測部４１０は、レイヤ０の情報からレイヤ１の予測に必要なインタレイヤ予測を実行することができる。

例えば、インタレイヤ予測部４３０は、レイヤ０のインタ／イントラ予測部４５０及び／又はフィルタリング部４６０からレイヤ０の情報の伝達を受けてレイヤ１の予測に必要なインタレイヤ予測を実行することができる。

レイヤ１のインタ／イントラ予測部４２０は、レイヤ１の情報を利用してインタ予測又はイントラ予測を実行することができる。

また、レイヤ１のインタ／イントラ予測部４２０は、インタレイヤ予測部４３０から伝達された情報を利用してレイヤ０の情報に基づいた予測を実行することもできる。

レイヤ１のフィルタリング部４４０は、レイヤ０の情報に基づいてフィルタリングを実行することもできるし、レイヤ０の情報に基づいてフィルタリングを実行することもできる。レイヤ０の情報は、レイヤ０のフィルタリング部４６０からレイヤ１のフィルタリング部４４０に伝達することもできるし、レイヤ１のインタレイヤ予測部４３０からレイヤ１のフィルタリング部２４０に伝達することもできる。

一方、レイヤ０からインタレイヤ予測部４３０に伝達される情報は、レイヤ０のユニットパラメータに対する情報、レイヤ０の動き情報、レイヤ０のテクスチャ情報、レイヤ０のフィルタパラメータ情報のうち少なくとも一つである。

レイヤ１において、予測部４１０は、図３の予測部３３５に対応することができ、フィルタリング部４４０は、図３のフィルタリング部３４０に対応することができる。レイヤ０において、インタ／イントラ予測部４５０は、図３の予測部３７５に対応することができ、フィルタリング部４６０は、図３のフィルタリング部３８０に対応することができる。

また、図示していないが、インタレイヤ予測部４３０は、実行するインタレイヤ予測の種類（例えば、動き予測、テクスチャ予測、ユニットパラメータ予測、パラメータ予測）によって、動き予測部、テクスチャ予測部、ユニットパラメータ予測部、パラメータ予測部を含むことができる。

スケーラブルビデオ符号化では、他のレイヤの情報を利用して現在レイヤの情報を予測するインタレイヤ予測が実行することができる。図１〜図４の例で説明したように、インタレイヤ予測の例として、動き予測、テクスチャ予測、ユニット予測、パラメータ予測などを考慮することができる。

以下、図面を参照して、各インタレイヤ予測に対して具体的に説明する。

インタレイヤイントラ予測

インタレイヤイントラ予測は、インタレイヤテクスチャ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。本明細書では、説明の便宜のために、インタレイヤイントラ予測、テクスチャ予測、そして、イントラＢＬ予測の名称を混用して使用することもできる。

このとき、ベースレイヤの復元された映像とエンハンスメントレイヤの映像の大きさ又は解像度を同じく合わせるために、ベースレイヤの復元された映像に対するアップサンプリングが実行することができる。

例えば、ＤＣＴＩＦ（ＤＣＴ ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用してアップサンプリングが実行することができる。例えば、ルマサンプルに対しては８タブのＤＣＴＩＦを適用してアップサンプリングを実行し、クロマ（ｃｈｒｏｍａ）サンプルに対しては４タブのＤＣＴＩＦを適用してアップサンプリングを実行することができる。

アップサンプリングは、内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を適用することによって実行することができる。

一方、本発明によるインタレイヤイントラ予測は、符号化／復号の処理単位別に従来とは異なる特徴を有する。例えば、符号化ブロック（例えば、ＣＵ）レベルから見ると、ベースレイヤのブロックの大きさに従属されずに、独自のＣＵパーティションによって適用することができる。

また、予測ブロック（例えば、ＰＵ）レベルから見ると、インタレイヤイントラ予測のコストは、現在レイヤ（エンハンスメントレイヤ）内でのイントラ予測に対するコストと比較することができる。このとき、インタレイヤイントラ予測は、イントラ予測モードを使用するものではなく、ベースレイヤ（参照レイヤ）の復元映像を参照映像として使用してイントラ予測とレート歪最適化（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ、ＲＤＯ）を比較する。

インタレイヤイントラ予測を適用するために、ＰＵに対する新たなモードを生成せずに、上位レベルで、フラグ形態でインタレイヤイントラ予測が適用されるかどうかを通知することができる。例えば、ブロックモード又はパーティショニングに対してパーシングが実行される前に分割フラグ（ｓｐｌｉｔ_ｆｌａｇ）の次の位置で、フラグ形態でインタレイヤイントラ予測の使用可否に対する指示を送信することができる。

変換ブロック（例えば、ＴＵ）レベルから見ると、ＨＥＶＣの四分木構造を維持したまま、インタレイヤイントラ予測を適用して変換を実行することができる。

図５は、本発明によってインタレイヤイントラ予測が実行される例を概略的に説明する図面である。

図５の例では、ベースレイヤの映像５１０とエンハンスメントレイヤの映像５３０は、同じく６４×６４の大きさを有するが、エンハンスメントレイヤの映像５３０がベースレイヤの映像５１０の４倍の解像度を有している。

したがって、エンハンスメントレイヤの映像５３０の予測時にベースレイヤの映像５１０を参照するために、イントラ予測モードに復元されたベースレイヤの映像５１０をアップサンプリングして参照映像５２０を構成した後、エンハンスメントレイヤの予測に利用する。

エンハンスメントレイヤの映像５３０で陰影処理された部分は、インタレイヤイントラ予測が適用されないブロックを示す。

このようにインタレイヤイントラ予測を適用する場合は、ベースレイヤの映像に対する再スケーリングが実行することができる。

具体的には、符号化装置では、入力映像が互いに異なる解像度を有する複数のレイヤに分けて符号化／復号可能に入力映像をダウンサンプリングする過程を実行することができる。また、符号化装置／復号装置は、符号化／復号過程で下位レイヤの映像を参照映像として使用するために下位レイヤの復元映像をアップサンプリングすることもできる。

ダウンサンプリングとアップサンプリングを実行する場合、位相（ｐｈａｓｅ）特性が合わないと、符号化／復号過程で損失が発生し、符号化性能に直接的な影響を及ぼす。

図６は、本発明によってインタレイヤイントラ予測過程で適用される再スケーリング（ダウンサンプリング／アップサンプリング）の一例を概略的に示す。

図６（ａ）では、同一位置（ｃｏｌ−ｌｏｃａｔｅｄ）整数サンプルをダウンサンプリングされたサンプルとして使用する場合を説明している。図６（ｂ）では、同一位置整数サンプルを使用せずに、１／２位相外れたサンプルを生成して使用する例を説明している。

図６（ａ）及び図６（ｂ）に示すように、オリジナルサンプルをダウンサンプリングしたサンプルに半ペル（ｈａｌｆ−ｐｅｌ）アップサンプリングフィルタを適用すると、ダウンサンプリングされたサンプル位置から１／２位相外れた位置にサンプルが生成することができる。

ダウンサンプリングをするとき、位相移動がない図６（ａ）の場合は、オリジナルサンプルと同一位置にアップサンプリングによるサンプルが生成される。それに対し、ダウンサンプリングするとき、位相移動がある図６（ｂ）の場合は、オリジナルサンプルとは異なる位置（１／２位相外れた位置）にサンプルが生成される。したがって、図６（ｂ）の場合は、位相の不一致によってオリジナルサンプルとアップサンプリングされたサンプルとの間に損失が発生することがある。

この問題を解決するために、アップサンプリング過程でオリジナルサンプル（オリジナル映像）と位相を一致させる位相シフトアップサンプリングを実行することを考慮することができる。

図７は、本発明によって位相シフトアップサンプリング（ｐｈａｓｅ ｓｈｉｆｔｅｄ ｕｐ−ｓａｍｐｌｉｎｇ）を実行する一例を概略的に説明する図面である。

図７において、下方サンプルは、オリジナルサンプルから１／２位相移動してダウンサンプリングされたサンプルと、ダウンサンプリングされたサンプルからアップサンプリングされたサンプルとを共に示す。

図７の例ではダウンサンプリング過程での位相移動を補償するために、アップサンプリング過程でダウンサンプリングされたサンプルに対して１／４位相、３／４位相位置でアップサンプリングを実行する。

ダウンサンプリングされたサンプルに対して１／４位相、３／４位相のサンプルを補間することによって位相のミスマッチを除去することができる。図７を参照すると、ダウンサンプリングされたサンプルに対する１／４位相、３／４位相位置でアップサンプリングされたサンプルとオリジナルサンプルは位相の差がないことを確認することができる。

このようにアップサンプリングフィルタリングを適用するとき、どれくらい位相移動してオリジナルサンプルと位相を一致させるかは、ダウンサンプリング時に適用された位相移動によって決定することができる。

例えば、復号装置でオリジナルサンプルとアップサンプリングされたサンプルとの間に位相の不一致が発生しないようにアップサンプリングフィルタリングを適用するためには、符号化装置で適用したダウンサンプリングフィルタに対する情報又は復号装置で使用するアップサンプリングフィルタに対する情報が符号化装置から復号装置に送信される必要がある。

次の表１は、本発明によって位相を一致させるために送信されるダウンサンプリング／アップサンプリングのフィルタ情報の一例を示す。

フィルタの情報が符号化装置から復号装置に明示的に（ｅｘｐｌｉｃｉｔｌｙ）送信される代わりにルックアップテーブルを利用することもできる。

このとき、符号化装置は、ルックアップテーブル上でフィルタ情報を指示するインデクスを復号装置に送信することができる。送信されるインデクスは、符号化装置で適用されたダウンサンプリングフィルタの情報を指示するインデクスであってもよいし、復号装置で適用するアップサンプリングフィルタの情報を指示するインデクスであってもよい。

表２は、本発明によってフィルタ情報の伝達に利用されるルックアップテーブルの一例を簡単に示す。

アップサンプリング／ダウンサンプリングのフィルタ情報は、符号化／復号過程の所定レベルで記憶／送信することができる。例えば、フィルタ情報は、シーケンスパラメータセットで送信することができる。この場合、同じシーケンス内では、別途の通知がない限り、同じフィルタが適用することができる。また、フィルタ情報をピクチャパラメータセットで送信することによって、別途の通知がない限り、同じピクチャ内では同じフィルタが適用されるようにすることもできる。又は、フィルタ情報をスライスヘッダに記憶して送信することによって、別途の通知がない限り、同じスライス内では同じフィルタが適用されるようにすることもできる。

表３は、フィルタ情報をシーケンスパラメータセットに記憶して送信する場合の例を簡単に示す。

表３において、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、使用する内挿（補間）フィルタの種類を指示する。

表３では、シーケンスパラメータセットでフィルタ情報を記憶する場合のシンタックス構造を示すが、これは本発明による一例に過ぎず、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、前述したように、ピクチャパラメータセット又はスライスヘッダで送信することもできる。

Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒが指示するフィルタの種類は、フィルタの特徴を示す情報として、表１のように、位相、タブ数、タブの係数などを含む。

すなわち、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、表４のように、ルックアップテーブルのインデクス値を指示することができる。表４は、再スケーリングに適用されるフィルタ情報を、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを介して指示するのに利用されるテーブルの一例を示す。

図８は、本発明によるＩｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを利用する方法の一例であって、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合のサンプリング方法を簡単に説明する図面である。

図８（ａ）は、１／２位相移動が適用されたダウンサンプリングの場合を示し、図８（ｂ）は、図８（ａ）でダウンサンプリングされたサンプルからアップサンプリングを実行する場合を示す。

図８（ｂ）では、オリジナルサンプルとアップサンプリングされたサンプルとの間の位相を一致させるために、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの指示のとおりに、８−タブ／１／４、３／４位相内挿フィルタを適用してアップサンプリングを実行する。

すなわち、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、復号装置が適用するアップサンプリングフィルタを指示し、例えば、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合は、位相を一致させるために‘８−タブ／１／４、３／４位相内挿フィルタ’が適用されるべきであることを指示する。同時に、８−タブ／１／４、３／４位相内挿フィルタが適用されて位相を一致させるということは、符号化装置で１／２位相移動が適用されたダウンサンプリングが実行されたことを意味する。

以上で説明したインタレイヤイントラ予測は、図１〜図４で説明したインタレイヤ予測部（例えば、テクスチャ予測部）で実行することができる。インタレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。

インタレイヤイントラ予測を適用するかどうかは、ＣＵの分割可否を指示するフラグの次にフラグ形態で指示することができる。インタレイヤイントラ予測でスケーリングが適用される場合、フィルタの情報は、符号化されて伝達することができる。このとき、伝達される情報は、前述したとおりである。

インタレイヤ動き予測

インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれ、本明細書では発明の理解のために、必要によって、インタレイヤ動き予測とインタレイヤインタ予測の表現を混用することができる。

インタレイヤ動き予測では、参照レイヤ（ベースレイヤ）の動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測を実行することができる。

インタレイヤ動き予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。以下、説明の便宜のために、予測部でインタレイヤ動き予測を実行するとして説明する。

図９は、他のレイヤを参照せずに、レイヤ内でインタ予測を実行する場合（以下、‘インタ予測’という）に利用される動き情報の候補に対する一例を簡単に示す。

図９において、Ａ₀、Ａ₁、Ｂ₀、Ｂ₁、Ｂ₂、ＣＯＬは、該当ブロックを指示することもできるし、該当ブロックの動き情報を指示することもできる。このとき、該当ブロックの動き情報は、動きベクトルであってもよいし、動きベクトルと参照ピクチャインデクスであってもよい。

ここでは、インタ予測の方法に対してベースレイヤの場合を一例として説明する。

ベースレイヤでのインタ予測は、図１〜図４の予測部又はインタ／イントラ予測部で実行することができる。以下、説明の便宜のために、予測部でインタ予測を実行するものとして説明する。

インタ予測のモードとして、マージモード、スキップモード、そして、動きベクトル予測（ＭＶＰ）を利用するモードがある。ＭＶＰを利用するモードを、説明の便宜のために、高度ＭＶＰ（ａｄｖａｎｃｅｄ ＭＶＰ、ＡＭＶＰ）モードということがある。

マージモードでは、図９に示す隣接ブロックの動き情報（以下、動き情報候補という）の中から選択された動き情報を現在ブロックの動き情報として利用することができる。選択される動き情報候補を指示する符号化装置から復号装置に送信することができる。

スキップモードでは、マージモードと同じく選択された動き情報候補の動き情報を現在ブロックの動き情報として使用するが、レジデュアルが生成／送信されない。

マージモード又はスキップモードが適用される場合、予測部は、現在ブロック周辺の空間的候補であるＡ₀、Ａ₁、Ｂ₀、Ｂ₁、Ｂ₂に対する可用性を判断することができる。可用性判断は、所定の順序に進行することができる。例えば、Ａ₁→Ｂ₁→Ｂ₀→Ａ₁→Ｂ₂の順序に進行することができる。

このとき、各候補の可用性判断には、以前候補との同一性判断が含まれることができる。例えば、Ｂ₁に対して、Ａ₁と動き情報が同じかを考慮して可用性判断をすることができる。具体的には、Ａ₁が利用可能であり、かつＡ₁とＢ₁の動き情報が同じ場合、Ｂ₁は利用可能でないと判断することができる。

同様な方法として、Ｂ₀は、Ｂ₁と動き情報が同じかを考慮して可用性判断をすることができ、Ａ₀は、Ａ₁と動き情報が同じかを考慮して可用性判断をすることができる。

Ｂ₂は、Ａ₁と動き情報が同じか、又はＢ₁と動き情報が同じかを両方とも考慮して可用性判断をすることができ、このとき、以前の候補（Ａ₀、Ａ₁、Ｂ₀、Ｂ₁）が全部利用可能な場合は、利用可能でないと判断することもできる。

ＣＯＬ候補を使用する場合は、参照ピクチャリストを利用してＣＯＬ候補が含まれているＣＯＬピクチャを特定することができる。現在ブロックと同じＬＣＵ内にあるＣＯＬブロックに対して所定位置を含む予測ブロックの動き情報をＣＯＬ候補にすることができる。このとき、ＣＯＬ候補の動きベクトルは、ＣＯＬピクチャと現在ピクチャの参照ピクチャを考慮してスケーリングすることができ、ＣＯＬ候補の参照インデクスは、所定の値（例えば、０）に設定することができる。

ＣＯＬ候補を含んで利用可能であると判断された候補で、可用性判断の順序によってマージ候補リストを構成することができる。このとき、現在ブロックのスライスタイプがＢ（すなわち、双方向予測が適用されるスライス）であり、かつ現在マージ候補リストに含まれている候補の個数が最大個数より少ない場合は、マージ候補リストに候補（組合せ双予測候補、ｃｏｍｂｉｎｅｄ ｂｉ−ｐｒｅｄｉｃｔｉｏｎ ｃａｎｄｉｄａｔｅｓ）が追加することができる。

前述したように、マージ候補リストが構成された後にもマージ候補リストに含まれている候補の個数が最大個数より少ない場合は、所定の候補（例えば、ゼロマージ候補）がマージ候補リストに追加することができる。

予測部は、符号化装置から送信された情報（例えば、マージインデクス ｍｅｒｇｅ_ｉｄｘ）がマージ候補リスト上で指示する候補の動き情報を現在ブロックに対する動き情報として利用してインタ予測を実行することができる。例えば、予測部は、マージインデクスによって選択された候補の動き情報が指示するサンプルを現在ブロックの予測ブロックにすることができる。

一方、ＡＭＶＰモードが適用される場合にも、予測部は、ＭＶＰ候補で構成されるＡＭＶＰリストを構成することができる。

ＡＭＶＰモードで、予測部は、Ａ₀→Ａ₁の順序に候補の可用性を判断し、Ｂ₀→Ｂ₁→Ｂ₂の順序に候補の可用性を判断する。

Ａ₀→Ａ₁の順序に候補の可用性を判断するとき、予測部は、（１）利用可能な候補として、現在ブロックと同じ参照ピクチャを有する候補がある場合、該当候補をＡＭＶＰリストに含ませることができる。（１）を満たす候補がない場合、予測部は、（２）現在ピクチャと現在ピクチャの参照ピクチャとの間のピクチャ順カウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ＰＯＣ）差及び現在ピクチャと候補の参照ピクチャとの間のＰＯＣ差に基づいて、利用可能であると先検索された候補の動きベクトルをスケーリングすることができる。予測部は、スケーリングされた動きベクトルをＡＭＶＰリストに含ませることができる。

Ｂ₀→Ｂ₁→Ｂ₂の順序に候補の可用性を判断するとき、予測部は、（１）利用可能な候補として、現在ブロックと同じ参照ピクチャを有する候補がある場合、該当候補をＡＭＶＰリストに含ませる。（１）を満たす候補がなく、かつＡ₀とＡ₁のうち利用可能な候補がない場合、予測部は、（２）現在ピクチャと現在ピクチャの参照ピクチャとの間のＰＯＣ差及び現在ピクチャと候補の参照ピクチャとの間のＰＯＣ差に基づいて、利用可能であると先検索された候補の動きベクトルをスケーリングすることができる。予測部は、スケーリングされた動きベクトルをＡＭＶＰリストに含ませることができる。

ＣＯＬ候補（時間的候補）を使用する場合は、参照ピクチャリストを利用してＣＯＬ候補が含まれているＣＯＬピクチャを特定することができる。現在ブロックと同じＬＣＵ内にあるＣＯＬブロックに対して所定位置を含む予測ブロックの動き情報をＣＯＬ候補にすることができる。このとき、ＣＯＬ候補の動きベクトルは、ＣＯＬピクチャと現在ピクチャの参照ピクチャを考慮してスケーリングすることができる。

Ａ₀→Ａ₁の順序に候補の可用性を判断して決定されたＭＶＰ候補をＡとし、Ｂ₀→Ｂ₁→Ｂ₂の順序に候補の可用性を判断して決定されたＭＶＰ候補をＢとし、時間的候補に対する可用性判断によって決定されたＭＶＰ候補をＣＯＬとするとき、ＡＭＶＰリストは、[Ａ Ｂ ＣＯＬ]の順序に構成することができる。

このとき、予測部は、ＡとＢが同じ場合、二つのうち一つをＡＭＶＰリストから削除することができる。

また、予測部は、Ａ、Ｂ及びＣＯＬが全部有効な場合、ＡＭＶＰリスト内のＭＶＰ候補の個数を２に調整することができる。例えば、予測部は、ＡとＢでＡＭＶＰリストを構成し、ＣＯＬをＡＭＶＰリストから除去することができる。

予測部は、ＡＭＶＰリスト内の候補の個数が２より少ない場合、ゼロ（０）動きベクトルを候補として追加することもできる。

符号化装置は、ＡＭＶＰリスト上で現在ブロックに対するインタ予測に使用するＭＶＰを指示するＭＶＰインデクス、動きベクトルの差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ｍｖｄ）と参照ピクチャリスト上で現在ブロックに対する参照ピクチャを指示する参照インデクスを復号装置に送信することができる。参照ピクチャリストは、インタ予測に使われることができる参照ピクチャのリストであって、順方向予測に対するＬ０及び逆方向予測に対するＬ１がある。

予測部は、ＭＶＰインデクスが指示するＭＶＰとｍｖｄから導出した動きベクトルと参照インデクスが指示する参照ピクチャに基づいて現在ブロックに対する予測ブロックを生成することができる。

マージモード／スキップモード又はＡＭＶＰモードを適用して予測ブロックが生成されると、予測部は、予測ブロックとレジデュアルに基づいて現在ブロックに対する復元ブロックを生成することができる。スキップモードが適用される場合は、レジデュアルが送信されないため、予測部は、予測ブロックを復元ブロックとして利用することができる。

以上、インタ予測の方法の例示としてベースレイヤの場合を説明したが、エンハンスメントレイヤでも他のレイヤの情報を利用せずにインタ予測を実行する場合は、前述の説明と同じ方法によってインタ予測を実行することができる。

ベースレイヤに対して前述したようにインタ予測が実行されると、エンハンスメントレイヤでは、ベースレイヤの動き情報を利用せずにインタレイヤ動き予測（ｉｎｔｅｒ−ｌａｙｅｒ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）を実行することができる。

インタレイヤ動き予測は、符号化装置と復号装置の予測部で実行することができる。

図１０は、本発明によってインタレイヤ動き予測を実行する方法の一例を概略的に説明する流れ図である。

図１０を参照すると、エンハンスメントレイヤの予測部は、参照レイヤの動き情報を導出することができる（Ｓ１０１０）。例えば、エンハンスメントレイヤのインタレイヤ予測部は、参照レイヤの予測部から伝達された情報に基づいて参照レイヤの動き情報を導出することができる。又は、エンハンスメントレイヤの予測部は、符号化装置から伝達された情報に基づいて参照レイヤの動き情報を導出することもできる。

このとき、エンハンスメントレイヤの予測部は、導出された参照レイヤの動き情報、例えば、導出された参照レイヤの動きベクトルをスケーリングすることもできる。

エンハンスメントレイヤの予測部は、参照レイヤの動き情報を利用して現在ブロックに対するインタレイヤインタ予測を実行することができる（Ｓ１０２０）。例えば、エンハンスメントレイヤのインタ／イントラ予測部は、インタレイヤ予測部が導出した参照レイヤの動き情報をマージモード／スキップモード又はＡＭＶＰモードの一候補として利用して現在ブロックに対する予測を実行することができる。

以下、図面を参照して、本発明によるインタレイヤイントラ予測を具体的に説明する。

１．参照レイヤの動き情報導出

図１１は、本発明によって参照レイヤの動き情報を導出する方法を概略的に説明する図面である。図１１において、現在レイヤは、参照レイヤの上位レイヤであって、現在レイヤの解像度が参照レイヤの解像度より高い場合を例として説明する。

図１１を参照すると、現在レイヤのＰＵ（現在ＰＵ）１１１０に対応する参照レイヤのＰＵ（参照ＰＵ）１１００に基づいて現在ＰＵを特定することができる。

現在ＰＵを特定する位置を（ｘＣｕｒｒ,ｙＣｕｒｒ）とし、現在ＰＵに対応する参照レイの位置、例えば、参照ＰＵを特定する位置を（ｘＲｅｆ,ｙＲｅｆ）とする。

参照レイヤの動きベクトルから導出するインタレイヤ動きベクトルをｍｖＩＬとし、（ｘＲｅｆ,ｙＲｅｆ）によって特定される参照レイヤの動きベクトル（例えば、参照ＰＵの動きベクトル）をｍｖＲＬとする。

図１１において、ｎＰＳＷは、現在ＰＵ１１１０の幅であり、ｎＰＳＨは、現在ＰＵ１１１０の高さである。

予測部は、現在ＰＵを特定し、現在ＰＵの位置に基づいて参照ＰＵを特定し、参照ＰＵの動き情報（例えば、動きベクトル）を導出することができる。

（Ｉ）現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）の決定

現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）は、下記の（１）〜（１２）のような候補のうち、いずれか一つに決定することができる。

（１）ＬＴ＝（ｘＰ,ｙＰ）
（２）ＲＴ＝（ｘＰ＋ｎＰＳＷ−１,ｙＰ）
（３）ＬＢ＝（ｘＰ,ｙＰ＋ｎＰＳＨ−１）
（４）ＲＢ＝（ｘＰ＋ｎＰＳＷ−１,ｙＰ＋ｎＰＳＨ−１）
（５）ＬＴ′＝（ｘＰ−１,ｙＰ−１）
（６）ＲＴ′＝（ｘＰ＋ｎＰＳＷ,ｙＰ−１）
（７）ＬＢ′＝（ｘＰ−１,ｙＰ＋ｎＰＳＨ）
（８）ＲＢ′＝（ｘＰ＋ｎＰＳＷ,ｙＰ＋ｎＰＳＨ）
（９）Ｃ０＝（ｘＰ＋（ｎＰＳＷ>>１）−１,ｙＰ＋（ｎＰＳＨ>>１）−１）
（１０）Ｃ１＝（ｘＰ＋（ｎＰＳＷ>>１）,ｙＰ＋（ｎＰＳＨ>>１）−１）
（１１）Ｃ２＝（ｘＰ＋（ｎＰＳＷ>>１）−１,ｙＰ＋（ｎＰＳＨ>>１））
（１２）Ｃ３＝（ｘＰ＋（ｎＰＳＷ>>１）,ｙＰ＋（ｎＰＳＨ>>１））

現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）は、（１）〜（１２）のうちいずれか一つに決定されて固定的に使用することもできるし、符号化装置でＲＤＯを介して決定した後、いずれの位置を（ｘＣｕｒｒ,ｙＣｕｒｒ）として使用するかを通知することもできる。

又は、参照レイヤ（ベースレイヤ）でＰＵを特定する位置に対応して、同一位置を現在レイヤ（エンハンスメントレイヤ）のＰＵを特定する位置に決定することもできる。例えば、参照レイヤでＰＵ内の左上端を、ＰＵを特定する位置として利用する場合は、現在レイヤでもＰＵ内の左上端ＬＴ＝（ｘＰ,ｙＰ）を（ｘＣｕｒｒ,ｙＣｕｒｒ）に決定して利用することもできる。

（ＩＩ）参照レイヤの対象位置（ｘＲｅｆ,ｙＲｅｆ）

参照レイヤで動きベクトルを利用する位置（参照ＰＵの位置）は、現在ＰＵの位置から現在レイヤと参照レイヤとの間の比によって決定することができる。

式１は、本発明によって参照レイヤで動きベクトルを利用する位置を決定する方法を示す。
（式１）
ｘＲｅｆ＝ｘＣｕｒｒ／ｓｃａｌｅ
ｙＲｅｆ＝ｙＣｕｒｒ／ｓｃａｌｅ

このとき、参照レイヤに対する現在レイヤの比を示すｓｃａｌｅは、二つのレイヤの解像度によって決定することができる。例えば、現在レイヤの解像度が参照レイヤの解像度の２倍の場合、適用されるｓｃａｌｅの値は２になる。現在レイヤの解像度と参照レイヤの解像度が同じ場合、適用されるｓｃａｌｅの値は１になる。

ここでは、現在レイヤと参照レイヤとの間の解像度の比によってｓｃａｌｅの値を決定したが、本発明はこれに限定されない。ｓｃａｌｅは、現在レイヤと参照レイヤとの間に適用されるスケーラビリティの種類によって決定することもできる。例えば、ｓｃａｌｅは、現在レイヤと参照レイヤとの間のピクチャの大きさ比であってもよいし、フレームレート比であってもよい。

予測部は、（ｘＲｅｆ,ｙＲｅｆ）位置の動きベクトル、すなわち、（ｘＲｅｆ,ｙＲｅｆ）をカバーするＰＵ（参照ＰＵ）の動きベクトルをｍｖＲＬとして導出することができる。

また、予測部は、（ｘＲｅｆ,ｙＲｅｆ）をカバーするＰＵ（参照ＰＵ）の参照インデクスをインタレイヤ動き予測に使用する参照インデクスｒｅｆＩｄｘＩＬとして導出することができる。

予測部は、ｍｖＲＬをスケーリングしてインタレイヤ動き予測（インタレイヤインタ予測）に使用する動きベクトルｍｖＩＬを導出することができる。

式２は、本発明によってｍｖＲＬをスケーリングしてｍｖＩＬを導出する方法を示す。
（式２）
ｍｖＩＬ＝ｓｃａｌｅ＊ｍｖＲＬ

式２において、係数ｓｃａｌｅは、式１と同様に、参照レイヤに対する現在レイヤの比を示す。例えば、現在レイヤの解像度が参照レイヤの解像度の２倍の場合、適用されるｓｃａｌｅの値は２になる。

現在レイヤの解像度と参照レイヤの解像度が同じ場合、適用されるｓｃａｌｅの値は、１になり、予測部は、ｍｖＲＬをｍｖＩＬとして利用することができる。

２．参照レイヤから導出した動き情報を利用したインタレイヤインタ予測

予測部は、参照レイヤから導出した動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対するインタレイヤインタ予測を実行することができる。参照レイヤから導出した動き情報は、動きベクトルｍｖＩＬと参照インデクスｒｅｆＩｄｘＩＬを含む。

例えば、マージモード／スキップモードが適用される場合、予測部は、ｍｖＩＬとｒｅｆＩｄｘＩＬをマージ候補として現在ブロックに対するマージ候補リストに追加することができる。

また、ＡＭＶＰモードが適用される場合、予測部は、ｍｖＩＬをＭＶＰ候補として現在ブロックに対するＡＭＶＰリストに追加することができる。

（Ｉ）マージモードが適用される場合

表５は、前述したように、インタ予測として他のレイヤを参照せずにレイヤ内でマージモードが適用される場合、構成されるマージ候補リストの一例を示す。

表５において、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬは、図９のＡ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬと同じである。また、表５において、インタ予測のマージ候補リストを構成する方法は、図９を参照して説明したインタ予測のマージモードでの方法と同じである。

表５において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。

それに対し、インタレイヤ動き予測が適用される場合、予測部は、表５と違って参照レイヤから導出した動き情報を含むマージ候補リストを構成することができる。ここでは、説明の便宜のために、参照レイヤから導出した動き情報を参照レイヤ候補（ｒｅｆｅｒｅｎｃｅ ｌａｙｅｒ ｃａｎｄｉｄａｔｅ）ＲＥＦという。

ＲＥＦは、ｍｖＩＬとｒｅｆＩｄｘＩＬを含む。

表６は、本発明によってインタレイヤ動き予測のマージモードが適用される場合、予測部によって構成されるマージ候補リストの一例を示す。表６は、本発明によって参照レイヤ候補がマージ候補リストに追加される順序を説明する。

表６において、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬは、図９のＡ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬと同じである。また、表６において、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬでマージ候補リストを構成する方法は、図９を参照して説明したとおりである。

表６において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。

ただし、予測部は、図９で説明したように、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂の有効性を判断するたびに、以前の候補との同一性を考慮することができる。

また、予測部は、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂間の同一性を排除してリストを構成した後、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬ間の同一性を一度に判断することができる。この場合、同じ候補のうち一つを残す作業は、ＣＯＬの有効性を判断した後に実行することができる。

インタレイヤ動き予測のマージモードが適用される場合、予測部は、表６のマージ候補リストにおいて、(a)〜(f)のうち、いずれか一つの順序にＲＥＦを含ませることができる。

例えば、予測部は、ＲＥＦに最も小さいインデクス（例えば、０）を割り当ててマージ候補リストの(a)順序に含ませることができる。すなわち、予測部は、マージ候補リストにＲＥＦを最初に追加することができる。

また、予測部は、ＲＥＦに最も大きいインデクス（例えば、マージ候補リストに含まれることができる最大候補個数−１）を割り当ててマージ候補リストの(f)順序に含ませることができる。すなわち、予測部は、マージ候補リストにＲＥＦを最後に追加することもできる。

予測部は、空間的候補の次の順序である(c)にＲＥＦを追加することもできる。すなわち、予測部は、空間的候補の有効性を判断した後、ＲＥＦをマージ候補リストに追加することもできる。

また、予測部は、現在レイヤ内の候補のうち単方向予測に対する候補の次、そして、組合せ双方向候補前の順序である(d)にＲＥＦを追加することもできる。すなわち、予測部は、現在レイヤ内の候補のうち単方向予測の候補に対する有効性を判断し、組合せ双方向候補を追加する前にＲＥＦをマージ候補リストに追加することもできる。

予測部は、現在レイヤ内の候補を全部考慮した後の順序である(e)にＲＥＦを追加することもできる。すなわち、予測部は、現在レイヤ内の候補に対する有効性を全部検討した後、ＲＥＦをマージ候補リストに追加することもできる。

併せて、予測部は、現在ブロックの左側の候補と上側の候補を一つずつ考慮した後の順序である(b)にＲＥＦを追加することもできる。すなわち、予測部は、現在ブロックの左側の候補と上側の候補の有効性を一つずつ検討した後、ＲＥＦをマージ候補リストに含ませることもできる。

表６のインタレイヤ動き予測のマージ候補リストに含まれる候補の個数、すなわち、最大候補個数は、表５と同じであってもよい。この場合、最大候補個数を合わせるために、ＲＥＦが含まれる位置によって、ＲＥＦより後順位にある現在レイヤの候補をマージ候補リストから除外してもよい。また、ＲＥＦより先順位にある現在レイヤの候補で最大候補個数が満たされる場合は、ＲＥＦをマージ候補リストから除外してもよい。

表６のインタレイヤ動き予測のマージ候補リストに含まれる候補の個数、すなわち、最大候補個数は、表５と異なってもよい。例えば、表６において、最大候補個数は、ＲＥＦを考慮して表５の場合より一つ多い。この場合は、現在レイヤの候補でマージ候補リストが構成された後、ＲＥＦを所定の位置又は所定の順序に含ませることによってマージ候補リストを完成すると見ることもできる。このとき、マージ候補リスト内でＲＥＦの位置又は追加される順序は、予め決めてもよく、符号化装置から指示され、又は復号装置によって導出してもよい。

マージ候補リスト内の候補のうちいずれの候補を利用してマージモードを実行するかは、符号化装置から指示することができる。例えば、予測部は、符号化装置から受信した情報（例えば、マージインデクス ｍｅｒｇｅ_ｉｄｘ）が表６のようなマージ候補リスト上で指示する候補を選択し、選択された動き情報が指示するブロックに基づいて現在ブロックに対する予測ブロックを生成することができる。

（ＩＩ）ＭＶＰ（ＡＭＶＰ）モードが適用される場合

表７は、前述したように、インタ予測として他のレイヤを参照せずに現在レイヤ内でＭＶＰモードが適用される場合、構成される候補リストの一例を示す。本明細書では、ＭＶＰを利用するインタ予測のモードをＡＭＶＰモードといい、このとき、利用される候補ＭＶＰで構成されるリストをＡＭＶＰリストという。

表７において、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬ、そして、Ａ及びＢは、図９のＡ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬ、そして、図９を利用して説明したＭＶＰモードでのＡ及びＢと同じである。また、表７において、インタ予測のＭＶＰ候補リストを構成する方法は、図９を参照して説明したインタ予測のＭＶＰモードでの方法と同じである。

表７において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。

それに対し、インタレイヤ動き予測が適用される場合、予測部は、表７と違って参照レイヤから導出した動き情報を含むＭＶＰ候補リストを構成することができる。ここでは、参照レイヤから導出した動きベクトルを参照レイヤ候補ＲＥＦという。

ＲＥＦは、ｍｖＩＬを含む。

表８は、本発明によってインタレイヤ動き予測のＭＶＰモードが適用される場合、予測部によって構成されるＡＭＶＰリストの一例を示す。表８は、本発明によって参照レイヤ候補がＡＭＶＰリストに追加される順序を説明する。

表８において、Ａ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬ、そして、Ａ及びＢは、図９のＡ₁、Ｂ₁、Ｂ₀、Ａ₀、Ｂ₂、ＣＯＬ、そして、図９を利用して説明したＭＶＰモードでのＡ及びＢと同じである。また、表８において、Ａ、Ｂ、ＣＯＬでＡＭＶＰリストを構成する方法は、図９を参照して説明したとおりである。

表８において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。

予測部は、図９で説明したように、ＡとＢとの間の同一性を判断し、ＡとＢが同じ場合は、ＡとＢのうち一つをＡＭＶＰリストから除外することができる。この過程は、Ｂの有効性を判断するときに実行してもよいし、ＡとＢを判断した後に実行してもよいし、ＣＯＬの有効性を判断する場合又はＣＯＬの有効性を判断した後に実行してもよい。

インタレイヤ動き予測のＭＶＰモードが適用される場合、予測部は、表８のＡＭＶＰリストにおいて、(a)〜(e)のうち、いずれか一つの順序にＲＥＦを含ませることができる。

例えば、予測部は、ＲＥＦに最も小さいインデクス（例えば、０）を割り当てて、(a)の順序に含ませることができる。すなわち、予測部は、ＡＭＶＰリストにＲＥＦを最初に追加することができる。

また、予測部は、ＲＥＦに最も大きいインデクス（例えば、ＡＭＶＰリストに含まれることができる最大候補個数−１）を割り当てて、(e)の順序に追加させることもできる。すなわち、予測部は、ＡＭＶＰリストの最後にＲＥＦを追加することもできる。

また、予測部は、現在レイヤ内の候補を全部考慮した後の順序である(d)にＲＥＦを含ませることもできる。

予測部は、空間的候補の次の順序である(c)にＲＥＦを追加させることもできる。また、予測部は、現在ブロックの左側の候補を考慮した後、上側の候補を考慮する前の位置である(b)にＲＥＦを含ませることもできる。

表８のインタレイヤ動き予測のＡＭＶＰリストに含まれる候補の個数、すなわち、最大候補個数は、表７と同じであってもよい。この場合、最大候補個数を合わせるために、ＲＥＦが含まれる位置によって、ＲＥＦより後順位にある現在レイヤの候補をＡＭＶＰリストから除外してもよい。また、ＲＥＦより先順位にある現在レイヤの候補で最大候補個数が満たされる場合は、ＲＥＦをＡＭＶＰリストから除外してもよい。

例えば、最大候補個数が２の場合、(c)位置のＲＥＦは、ＡＭＶＰリストから除外することができる。

表８のインタレイヤ動き予測のＡＭＶＰリストに含まれる候補の個数、すなわち、最大候補個数は、表７と異なってもよい。例えば、表８において、最大候補個数は、ＲＥＦを考慮して表７の場合（例えば、２）より一つ多い。この場合は、現在レイヤの候補でＡＭＶＰリストが構成された後、ＲＥＦを所定の位置に含ませることによってＡＭＶＰリストを完成すると見ることもできる。このとき、ＡＭＶＰリスト内でＲＥＦの位置は、予め決めてもよいし、符号化装置から指示され、又は復号装置によって導出してもよい。

ＡＭＶＰリスト内の候補のうちいずれの候補を利用してＭＶＰモードを実行するかは、符号化装置から指示することができる。例えば、予測部は、符号化装置から受信した情報が表６のようなＡＭＶＰリスト上で指示する候補を選択し、選択された動きベクトルと符号化装置から受信したｍｖｄを利用して現在ブロックに対する動きベクトルを導出することができる。予測部は、導出した動きベクトルと符号化装置から受信した参照インデクスが指示する参照ピクチャに基づいて、現在ブロックに対する予測ブロックを生成することができる。

一方、所定の条件を満たす場合、予測部は、ＡＭＶＰリストにＲＥＦを追加する前にｍｖＩＬをスケーリングすることができる。

例えば、現在ＰＵの参照インデクスと、参照ＰＵの参照インデクス（ｒｅｆＩｄｘＩＬ）が異なる場合は、ｍｖＩＬをスケーリングすることができる。すなわち、現在ＰＵの参照インデクスが指示するピクチャ（現在ＰＵの参照ピクチャ）のＰＯＣと、参照ＰＵの参照インデクスが指示するピクチャ（参照ＰＵの参照ピクチャ）のＰＯＣが異なる場合は、ｍｖＩＬをスケーリングすることができる。

図１２は、本発明によってｍｖＩＬをスケーリングする方法を概略的に説明する図面である。

図１２を参照すると、現在レイヤにおいて、現在ピクチャのＰＯＣと現在ＰＵ１２００の参照ピクチャ１２２０のＰＯＣとの間の差をｔｂとし、参照レイヤにおいて、現在ピクチャのＰＯＣと参照ＰＵ１２１０の参照ピクチャ１２３０のＰＯＣとの間の差をｔｄとする。

現在ＰＵ１２００の参照ピクチャ１２２０に対するＰＯＣであるｐｏｃＲｅｆと、参照ＰＵ１２１０の参照ピクチャ１２３０に対するＰＯＣであるｐｏｃＲｅｆＬａｙｅｒが異なる場合、予測部は、ＲＥＦ、すなわち、ｍｖＩＬをスケーリングしてＡＭＶＰに含ませることができる。

ｍｖＩＬは、式３のような方法によってスケーリングすることができる。スケーリングされたｍｖＩＬをｍｖＩＬ′とする。
（式３）
ｔｘ＝（１６３８４＋（Ａｂｓ（ｔｄ）>>１））／ｔｄ
ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＝Ｃｌｉｐ３（−４０９６,４０９５,（ｔｂ＊ｔｘ＋３２）>>６）
ｍｖＩＬ′＝Ｃｌｉｐ３（−８１９２,８１９１.７５,Ｓｉｇｎ（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＊ｍｖＩＬ）＊（（Ａｂｓ（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＊ｍｖＩＬ）＋１２７）>>８））
ｔｄ＝Ｃｌｉｐ３（−１２８,１２７,ｐｏｃＣｕｒｒ−ｐｏｃＲｅｆＬａｙｅｒ）
ｔｂ＝Ｃｌｉｐ３（−１２８,１２７,ｐｏｃＣｕｒｒ−ｐｏｃＲｅｆ）

式３において、ｐｏｃＣｕｒｒは、現在ピクチャのＰＯＣを示し、ｐｏｃＲｅｆは、現在ＰＵの参照インデクスによって指示されるピクチャのＰＯＣを示し、ｐｏｃＲｅｆＬａｙｅｒは、参照ＰＵの参照インデクス、すなわち、（ｘＲｅｆ,ｙＲｅｆ）の参照インデクスによって指示されるピクチャのＰＯＣを示す。

また、Ａｂｓ（ｘ）は、ｘが０より小さい場合、−ｘになり、ｘが０より大きい又は同じ場合、ｘになる。Ｃｌｉｐ３（ｘ,ｙ.ｃ）は、ｚがｘより小さい場合、ｘになり、ｚがｙより大きい場合、ｙになり、その他の場合、ｚになる。

予測部は、ｐｏｃＲｅｆとｐｏｃＲｅｆＬａｙｅｒが異なる場合、式３のように各レイヤにおいて、参照ピクチャまでの距離に基づいてインタレイヤ動きベクトルをスケーリングし、スケーリングされた動きベクトル候補（すなわち、スケーリングされたｍｖＩＬ又はスケーリングされたＲＥＦ）をＡＭＶＰリストに追加することができる。

このとき、予測部は、ＲＥＦ（すなわち、ｍｖＩＬ）の代わりにスケーリングされたＲＥＦ（すなわち、スケーリングされたｍｖＩＬ）をＡＭＶＰリストに含ませることによって、前述したような同じ方式によってＡＭＶＰモードを適用したインタレイヤ動き予測を実行することができる。

インタレイヤ動き予測を適用する場合、ＣＵレベルの観点から見ると、ベースレイヤのブロックの大きさと関係なしに、すべてのＣＵパーティションをそのまま使用することができる。また、ＰＵレベルの観点から見ると、符号化装置がインタ予測とインタレイヤ動き予測に対するＲＤＯを実行することによって最適の予測モードを適用することができる。

インタレイヤシンタックス予測

インタレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、又は生成する。このとき、現在ブロックの予測に利用する参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報などである。

例えば、参照レイヤがＰスライス又はＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである。この場合は、参照レイヤのシンタックス情報のうちイントラモードを利用し、現在レイヤのテクスチャを生成／予測するインタレイヤ予測を実行することができる。具体的には、参照レイヤがＰスライス又はＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである場合、インタレイヤシンタックス予測を適用すると、現在ブロックに対して（１）参照ブロックのイントラ予測モードに（２）現在レイヤで現在ブロック周辺の参照ピクセルを利用し、イントラ予測を実行することができる。

参照レイヤがＰスライス又はＢスライスであり、かつスライス内の参照ブロックがインタ予測モードの適用されたブロックである場合は、前述したように、インタレイヤ動き予測と同じ方式によって、参照レイヤのシンタックス情報のうち動き情報をスケーリングし、現在レイヤに対するテクスチャを生成／予測するインタレイヤ予測を実行することができる。

このように、インタレイヤシンタックス予測は、インタレイヤ動き予測とインタレイヤテクスチャ予測を混用する方式であると見ることができる。

インタレイヤ動き予測は、前述したように、参照レイヤの動き情報を利用してエンハンスメントレイヤで予測信号（予測ブロック）を生成する予測方法である。

このとき、参照レイヤの動き情報は、レイヤ間の解像度の変化によってスケーリングすることができる。

参照レイヤでイントラ予測モードが適用されて動き情報がないブロックが参照ブロックである場合は、前述したように、参照レイヤのイントラ予測モードを利用してエンハンスメントレイヤの周辺画素から現在ブロックを予測して予測信号を生成することができる。

インタレイヤシンタックス予測又はインタレイヤ動き予測の場合、ルマ成分に対する動き情報は、参照レイヤから４×４ブロック単位に利用することができる。この場合、クロマ成分に対する動き情報としてルマ成分に対する動き情報を使用することもできる。

インタレイヤシンタックス予測を適用すると、ＰＵレベルから見たとき、新たなＰＵモードを生成せずに、上位レベルでどのような予測モードを適用するかを通知することによって、参照レイヤ内の参照ブロックに適用された予測モードに応じてインタレイヤイントラ予測とインタレイヤ動き予測を適応的に適用することができる。

インタレイヤシンタックス予測を適用するかどうかを指示するフラグは、ＣＵの分割を指示するフラグ（例えば、ＣＵ_ｓｐｌｉｔ_ｆｌａｇ）の次にフラグ形態で送信することもできる。

図１３は、本発明によってインタレイヤシンタックス予測を実行する方法の一例を簡単に説明する図面である。

図１３を参照すると、参照レイヤ１３００の参照ブロック１３１０にイントラブロックとインタブロックが存在する。

図１３の場合、インタレイヤシンタックス予測を適用すると、参照ブロック１３１０を現在レイヤに合わせてアップサンプリングしたピクチャ１３２０を構成してインタレイヤシンタックス予測を適用して復元ブロックを生成することができる（１３３０）。

このとき、参照レイヤにおいて、イントラ予測モードが適用されたブロック（ｉｎｔｒａ）からはイントラ予測モードを参照し、インタ予測モードが適用されたブロック（ＭＶ）からは動き情報を参照することによって、インタレイヤシンタックス予測を実行することができる。

現在レイヤの対象ピクチャに対するインタレイヤシンタックス予測は、他の予測モードと混用することもあり、図１３の現在ピクチャ１３４０における斜線領域は、他の予測モードが適用することができる領域を意味する。

インタレイヤレジデュアル予測

インタレイヤレジデュアル予測は、参照レイヤのレジデュアル信号を利用してエンハンスメントレイヤのレジデュアル予測映像を生成し、エンハンスメントレイヤではレジデュアル予測映像を参照してレジデュアル映像を符号化／復号する方法である。

インタレイヤレジデュアル予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。以下、説明の便宜のために、予測部でインタレイヤレジデュアル予測を実行すると説明する。

予測部は、参照レイヤのレジデュアル信号をレイヤ間の解像度の差又は比に応じてスケーリングすることによって、エンハンスメントレイヤに対するレジデュアル予測映像を生成することができる。

符号化装置では、インタレイヤシンタックス予測及びインタレイヤイントラ予測とは別に、インタレイヤレジデュアル予測に対するＲＤＯを実行することもできる。ＲＤＯコンテンションを介してインタレイヤレジデュアル予測を適用すると決定されたときは、レジデュアル信号を予測するためのフラグ、すなわち、インタレイヤレジデュアル予測を適用することを指示するフラグは、レジデュアル（変換係数）の前部にＣＵ単位に符号化して送信することができる。

図１４は、本発明によってインタレイヤレジデュアル予測を適用する方法を概略的に説明する図面である。

図１４を参照すると、インタレイヤ予測のために、参照レイヤのレジデュアル信号１４００で参照される参照ブロック部分１４１０をレイヤ間の解像度の比に応じてスケーリングしてレジデュアル予測映像１４２０が生成することができる。

レジデュアル予測映像１４２０に基づいて現在ブロックに対するレジデュアル映像１４３０が復元することができる。このとき、斜線処理された領域は、インタレイヤレジデュアル予測が適用されない領域を意味する。

符号化装置は、すべての予測モードのレジデュアル信号に対してインタレイヤレジデュアル予測を適用するかどうかをＲＤＯに基づいて判断することができる。インタレイヤレジデュアル予測を適用するかどうかを指示する情報は、フラグ形態で係数（例えば、レジデュアルの量子化された変換係数）に対する情報より前に送信することができる。

インタレイヤ予測のためのシンタックス構造

符号化装置は、以上で説明したインタレイヤ予測のために必要な情報を通知することができる。また、復号装置は、通知された情報を受信してインタレイヤ予測を実行することができる。

ここでは、以上で説明した又は以後に追加的に説明するインタレイヤ予測の実行方法と必要な情報の一例を示すシンタックスに対して説明する。

表９は、本発明によるＮＡＬユニットシンタックスの一例を示す。

表１０は、本発明によるＮＡＬユニットヘッダＳＶＣ拡張シンタックスの一例を示す。

表１１は、本発明によるシーケンスパラメータセットＲＢＳＰシンタックスの一例を示す。

表１２は、本発明によるサブセットシーケンスパラメータＲＢＳＰシンタックスの一例を示す。

表１３は、本発明によるシーケンスパラメータセットＳＶＣ拡張シンタックスの一例を示す。

表１４は、本発明によるピクチャパラメータセットＲＢＳＰシンタックスの一例を示す。

表１５は、本発明によるスケーリングリストデータシンタックスの一例を示す。

表１６は、本発明によるスケーリングリストシンタックスの一例を示す。

表１７は、本発明による適応的パラメータセットＲＢＳＰシンタックスの一例を示す。

表１８は、本発明による追加的エンハンスメント情報ＲＢＳＰシンタックスの一例を示す。

表１９は、本発明による追加的エンハンスメント情報メッセージシンタックスを示す。

表２０は、本発明によるアクセスユニットデリミタＲＢＳＰシンタックスの一例を示す。

表２１は、本発明によるフィラー（ｆｉｌｌｅｒ）データＲＢＳＰシンタックスの一例を示す。

表２２は、本発明によるスライスレイヤＲＢＳＰシンタックスの一例を示す。

表２３は、本発明によるスライスレイヤ拡張ＲＢＳＰシンタックスの一例を示す。

表２４は、本発明によるＲＢＳＰスライストレーリングビットシンタックスの一例を示す。

表２５は、本発明によるＲＢＳＰトレーリングビットシンタックスの一例を示す。

表２６は、本発明によるＲＢＳＰバイト整列シンタックスの一例を示す。

表２７は、本発明によるスライスヘッダの一例を示す。

表２８は、本発明による、スケーラブル拡張におけるスライスヘッダシンタックスの一例を示す。

表２９は、本発明による短期参照ピクチャセットシンタックスの一例を示す。

表３０は、本発明による参照ピクチャリスト修正シンタックスの一例を示す。

表３１は、本発明による参照ピクチャリスト組合せシンタックスの一例を示す。

表３２は、本発明によるサンプル適応的オフセットパラメータシンタックスの一例を示す。

表３３は、本発明による適応的ループフィルタパラメータシンタックスの一例を示す。

表３４は、本発明による適応的ループフィルタ符号化ユニット制御パラメータシンタックスの一例を示す。

表３５は、本発明による予測加重値テーブルシンタックスの一例を示す。

表３６は、本発明によるスライスデータシンタックスの一例を示す。

表３７は、本発明による、スケーラブル拡張におけるスライスデータシンタックスの一例を示す。

表３８は、本発明による符号化ツリーシンタックスの一例を示す。

表３９は、本発明による、スケーラブル拡張における符号化ツリーシンタックスの一例を示す。

表４０は、本発明による符号化ユニットシンタックスの一例を示す。

表４１は、本発明による、スケーラブル拡張における符号化ユニットシンタックスの一例を示す。

表４２は、本発明による予測ユニットシンタックスの一例を示す。

表４３は、本発明による動きベクトル差分符号化シンタックスの一例を示す。

表４４は、本発明による変換ツリーシンタックスの一例を示す。

表４５は、本発明による変換係数シンタックスの一例を示す。

表４６は、本発明によるレジデュアル符号化シンタックスの一例を示す。

前述したシンタックスのうち、ｎａｌ_ｕｎｉｔ_ｔｙｐｅは、表４７のように定義することができる。

ｄｅｐｅｎｄｅｎｃｙ_ｉｄは、各ＮＡＬユニットの従属関係を示すために送信されるＩＤ番号である。

ｑｕａｌｉｔｙ_ｉｄは、各ＮＡＬユニットの品質レベルを示すために送信されるＩＤ番号である。

ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、スケーラブルビットストリームの最上位レイヤでのみ動き補償が実行される。ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が０の場合、すべてのレイヤで動き補償が許容される。

ｓｌｉｃｅ_ｔｙｐｅは、表４８によるスライスの符号化タイプを特定する。

ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤイントラ予測の動作が適応的に使われるということを特定する。そうでない場合、インタレイヤイントラ予測は使われない。ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合は、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値を０に推定することができる。また、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇは、下記のように導出することができる。

−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩであると、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値を１に設定する。そうでない場合は、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値を０に設定する。

−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が０の場合、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値は、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇと同じく設定される。

ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤシンタックス予測の動作が適応的に利用されるということを特定する。そうでない場合、インタレイヤシンタックス予測が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合は、ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値を０に推定することができる。また、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、下記のように導出することができる。

−ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩでない場合、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、１に設定される。そうでない場合、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、０に設定される。

ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤレジデュアル予測の動作が適応的に利用されるということを特定する。そうでない場合、インタレイヤレジデュアル予測が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合、ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ、ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値は、０に推定することができる。また、ＩＬＲｅｓＰｒｅｄＦｌａｇは、下記のように導出することができる。

−ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩでない場合、ＩＬＲｅｓＰｒｅｄＦｌａｇは、１に設定される。そうでない場合、ＩＬＲｅｓＰｒｅｄＦｌａｇは、０に設定される。

ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、コンテキスト変数（ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅ）に対する初期化プロセスに使われる初期化表（ｉｎｉｔｉａｌｉｓａｔｉｏｎ ｔａｂｌｅ）を決定するためのインデクスを特定する。ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、０以上２以下の値を有することができる。

ｉｌ_ｍｏｄｅは、ベースレイヤの情報を使用するかどうかを指示するシンタックスである。ｉｌ_ｍｏｄｅは、ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ値によって下記のような役割をする

ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝１であり、かつｓｌｉｃｅ_ｔｙｐｅ＝ＥＩの場合、ｉｌ_ｍｏｄｅの値が１であると、復元されたベースレイヤを現在レイヤとの解像度の差に基づいてスケーリングした後、現在ＣＵの予測情報として使用することができる。ｉｌ_ｍｏｄｅの値が０であると、ベースレイヤの復元情報を使用しない。

ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝１であり、かつｓｌｉｃｅ_ｔｙｐｅ!＝ＥＩの場合、ｉｌ_ｍｏｄｅの値が１であると、ベースレイヤの動き情報、イントラ予測情報を対応する現在レイヤとの解像度の差を考慮してスケーリングした後に複製して予測信号を作り、その値を予測子（ｐｒｅｄｉｃｔｏｒ）として使用することができる。ｉｌ_ｍｏｄｅの値が０であるときは、ベースレイヤの復元情報を使用しない。

ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝０であり、かつｉｌ_ｍｏｄｅの値が１の場合、ベースレイヤの復元されたピクセル情報を、解像度を考慮したスケーリング後、予測情報として使用することができる。

ｉｌ_ｒｅｓ_ｍｏｄｅが１の場合、対応するベースレイヤの復元されたレジデュアルデータを、解像度を考慮してスケーリングした後、現在ＣＵのレジデュアルに対する予測子として使用することができる。ｉｌ_ｒｅｓ_ｍｏｄｅの値が０の場合、対応するベースレイヤの復元されたレジデュアルデータは使用しない。

ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤ差分（ｄｉｆｆｅｒｅｎｔｉａｌ）符号化の動作が適応的に利用することを特定する。そうでない場合、インタレイヤ差分符号化が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇがない場合、ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値を０に推定する。また、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇは、下記のように導出することができる。

−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１であり、かつｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩの場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、１に設定される。そうでない場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、０に設定される。

−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１でない場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇと同じく設定される。

インタレイヤユニット予測

スケーラブル符号化に使われる入力信号は、レイヤ間に解像度、フレームレート、ビット深度、カラーフォーマット、アスペクト比などが異なる。

この点を考慮してレイヤ間予測（インタレイヤ予測）を実行することによって、冗長度を減らしてサイマルキャストに対する符号化効率を上げることができる。

例えば、情報の重複量を減らす一方法として、エンハンスメントレイヤで送信される処理単位、すなわち、ＣＵ、ＰＵ及び／又はＴＵに対する情報をベースレイヤの情報を利用して減らす方法を使用することができる。

ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報を利用してエンハンスメントレイヤで送信されるユニット情報を減らす方法をインタレイヤユニット予測という。

インタレイヤユニット予測は、図１〜図４で説明した予測部又はインタレイヤ予測部で実行することができる。ここでは、説明の便宜のために、予測部がインタレイヤユニット予測を実行すると説明する。

例えば、インタレイヤユニット予測が適用される場合、予測部がベースレイヤのユニット情報を取得すると、これに基づいてエンハンスメントレイヤのパーティショニングを実行することができる。

図１５は、本発明によるインタレイヤユニット情報予測の一例を概略的に説明する図面である。

図１５の例では、エンハンスメントレイヤの解像度がベースレイヤの解像度より２倍高いと仮定する。

図１５において、レイヤ０は、ベースレイヤ又は参照レイヤであり、レイヤ１は、エンハンスメントレイヤ又は現在レイヤである。

図１５を参照すると、レイヤ０のＬＣＵブロック１５１０は、多様なＣＵ、ＰＵ又はＴＵに分割されている。ここでは、このようなＣＵ、ＰＵ及び／又はＴＵの分割情報を、説明の便宜のために、ＣＵ情報又はユニット情報という。

予測部は、ベースレイヤのＣＵ情報をアップスケーリングした情報である参照ＣＵ情報１５２０を生成することができる。予測部は、参照ＣＵ情報１５２０を利用してレイヤ０のＣＵ情報を導出することができる。

例えば、参照ＣＵ情報１５２０からベースレイヤのＣＵ情報を導出してレイヤ１に適用する場合は、レイヤ１のＬＣＵ構造として、ＬＣＵ０ １５３０のようなユニット構造が利用することができる。参照ＣＵ情報１５２０を利用しない場合、すなわち、ベースレイヤのＣＵ情報を利用しない場合は、レイヤ１のＬＣＵ構造として、ＬＣＵ１ １５４０のようなユニット構造が利用することができる。

レイヤ０のＣＵ情報（ユニット情報）を利用することが符号化効率を上げるのに役立つこともあるし、役立たないこともあるため、符号化装置は、レイヤ０のＣＵ情報を使用するかを適応的に通知することができる。

ここでは、説明の便宜のために、ユニット情報がＣＵ、ＰＵ、ＴＵの分割情報であると説明したが、ＣＵ、ＰＵ、ＴＵのパーティション構造以外にＣＵ、ＰＵ、ＴＵに対する情報を含むことができる。すなわち、ベースレイヤのＣＵ情報は、ツリー構造又はパーティショニングに対する情報であってもよいし、ＰＵ情報（スキップモードか、又はノンスキップモードか、予測方向、動きベクトル、参照インデクス等）であってもよいし、両方であってもよい。

例えば、インタレイヤユニット予測がツリー／パーティショニング情報の予測に対するものである場合、下記のようなシンタックスを利用することができる。

表４９は、本発明による、スケーラブル拡張レイヤに対するスライスデータシンタックスの一例を示す。

表５０は、本発明による、スケーラブル拡張レイヤに対する符号化ツリーシンタックスの一例を示す。

ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤ（参照レイヤ又はレイヤ０）のツリー情報をそのまま使用するということを指示する。ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が０の場合、ベースレイヤのツリー情報を使用しないということを指示する。

ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇに対する理解のために、図５を参照することができる。もし、ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤのツリー情報がＣＵ情報アップスケーリングによってエンハンスメントレイヤ（現在レイヤ又はレイヤ１）の解像度に合うようにアップスケーリングされる。したがって、現在ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のｓｐｌｉｔ_ｃｏｄｉｎｇ_ｕｎｉｔ_ｆｌａｇ値は、アップスケーリングされたベースレイヤの分割情報と同じ値に導出することができる。

ＢＬＳｐｌｉｔＩｎｆｏ[ｘ０][ｙ０]は、アップスケーリングされたＣＵ情報に分割情報が存在する場合は、１の値を有し、アップスケーリングされたＣＵ情報に分割情報が存在しない場合は、０の値を有する。

例えば、エンハンスメントレイヤの解像度がベースレイヤの解像度の２倍であり、エンハンスメントレイヤとベースレイヤのＣＵ深度が同じ場合、アップサンプリングされたベースレイヤの分割情報は、エンハンスメントレイヤの分割情報より深度が１ステップ低くなる。

もし、ベースレイヤに分割情報が存在しない場合、ＢＬＳｐｌｉｔＩｎｆｏを０に設定し、エンハンスメントレイヤのみのための追加情報（例えば、ｓｐｌｉｔ_ｃｏｄｉｎｇ_ｕｎｉｔ_ｆｌａｇ）を送信することによって、アップスケーリングされたベースレイヤから予測される場合の分割情報より詳細な分割情報を知らせることができる。

同様な方法をＴＵにも適用することができる。例えば、所定のフラグ程度を使用して現在レイヤに対するＴＵ分割情報を処理するようにすることができる。

表５１は、本発明による、スケーラブル拡張において符号化ユニットシンタックスの一例を示す。表５１の例では、ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇというフラグを使用して現在レイヤのためのＴＵ分割情報送信を省略することができる。

表５２は、本発明による、スケーラブル拡張において、変換ツリーシンタックスの一例を示す。

前述したように、表５１及び表５２において、ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤのアップスケーリングされたＴＵ分割情報を現在レイヤでそのまま使用することができる。ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が０の場合、現在レイヤのためのＴＵ分割情報が符号化装置から独立的に送信することができる。

一方、インタレイヤユニット予測を適用するにあたって、ＣＵ／ＰＵ／ＴＵの情報を組み合わせて使用することもできる。発明の理解のために、ここでは、ベースレイヤとエンハンスメントレイヤとの間の空間比（ｓｐａｔｉａｌ ｒａｔｉｏ）が２の場合、すなわち、２レイヤの解像度の差が２倍である場合を例として説明する。

図１６は、本発明によってインタレイヤユニット予測を適用する一例を概略的に説明する図面である。

図１６では、インタレイヤユニット予測を適用するとき、ベースレイヤ構造をリサンプリングする方法に対して説明する。

図１６（ａ）は、ベースレイヤのＣＵ及びＰＵ構造を示す。

図１６（ａ）において、ベースレイヤブロック１６００は、イントラ符号化されたブロックであり、分割領域１６２０は、Ｎ×Ｎパーティションであり、残りの領域は、２Ｎ×２Ｎパーティションであると仮定する。

図１６（ａ）において、参照ブロック１６１０のＣＵ／ＰＵ情報をエンハンスメントレイヤで使用するために、２倍のアップサンプリングを実行すると、ベースレイヤのパーティション構造をどのレベル（例えば、ＣＵレベル又はＰＵレベル）まで利用するかによって、図１６（ｂ）のブロック１６３０のようなパーティション構造又は図１６（ｃ）のブロック１６４０のようなパーティション構造を得ることができる。

このとき、ベースレイヤのＣＵ情報のみをエンハンスメントレイヤで使用しようとする場合、エンハンスメントレイヤのＣＵパーティション構造をブロック１６３０のパーティション構造のように構成することができる。この場合、エンハンスメントレイヤの映像がブロック１６３０より細分化されたパーティション構造を有する場合はカバーすることができない。

それに対し、ベースレイヤのＣＵ情報だけでなく、ＰＵ情報まで共にエンハンスメントレイヤのＣＵパーティション構造に反映する場合、図１６（ｃ）のブロック１６４０のようにベースレイヤで２Ｎ×２Ｎパーティションでなく、より細分化されたパーティション（例えば、Ｎ×Ｎパーティション）を有する部分に対応されるエンハンスメントレイヤの領域でも追加的なＣＵ分割が可能である。したがって、この場合、エンハンスメントレイヤの映像は、より細分化されたパーティション構造を有する。

一方、図１６では、ベースレイヤがイントラ符号化されたブロックである場合を例として説明したが、ベースレイヤがインタ符号化されたブロックである場合にも同じ方法を適用することができる。

図１７は、本発明によってインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。

図１７では、ベースレイヤのブロック１７００がインタ符号化されたブロックであり、領域１７２０は、Ｎ×２Ｎパーティションであり、領域１７３０は、２Ｎ×Ｎパーティションであると仮定する。

インタ符号化されたブロックの場合は、２Ｎ×２Ｎパーティション、Ｎ×Ｎパーティション外にも、２Ｎ×Ｎパーティション、Ｎ×２Ｎパーティション、２Ｎ×ｎＵパーティション、２Ｎ×ｎＤパーティション、ｎＬ×２Ｎパーティション、ｎＲ×２Ｎパーティションのように多様な形態のパーティションタイプを使用することができる。

ベースレイヤの参照ブロック１７１０のＣＵ／ＰＵ情報をエンハンスメントレイヤで使用するために、２倍のアップサンプリングを実行すると、ベースレイヤのパーティション構造をどのレベル（例えば、ＣＵレベル又はＰＵレベル）まで利用するかによって、図１７（ｂ）のブロック１７４０のようなパーティション構造又は図１７（ｃ）のブロック１７５０のようなパーティション構造を得ることができる。

ベースレイヤのＣＵ情報のみをエンハンスメントレイヤで使用しようとする場合、参照ブロック１７１０で領域１７２０及び領域１７３０の構造を除いて、ＣＵのパーティション構造のみをアップサンプリングしてエンハンスメントレイヤのＣＵパーティション構造を図１７（ｂ）のブロック１７４０のように構成することができる。

また、ベースレイヤのＰＵ情報までエンハンスメントレイヤのＣＵパーティション構造に反映しようとする場合は、ベースレイヤで２Ｎ×２Ｎパーティションでないパーティション（例えば、領域１７２０、領域１７３０のパーティション）を有する部分に対応するエンハンスメントレイヤの領域に対して、図１７（ｃ）のように追加的なＣＵ分割が可能である。

すなわち、図１６及び図１７において、ベースレイヤのＰＵ情報までエンハンスメントレイヤのＣＵパーティション構造に反映しようとする場合は、ベースレイヤでＰＵパーティショニングがある領域に対応するエンハンスメントレイヤの領域でＣＵ分割を行うことができる。

一方、エンハンスメントレイヤでベースレイヤのパーティション構造を選択的に使用する方法を適用することもできる。

図１８は、本発明によってインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。

図１８では、エンハンスメントレイヤでベースレイヤのパーティション構造を再使用する方法に対して説明する。

図１８（ａ）のように、ベースレイヤのブロック１８００が２Ｎ×２Ｎ又はＮ×Ｎのように正方形のパーティションを有する場合と、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ又はｎＲ×２Ｎのように長方形のパーティションを有する場合とがあると仮定する。

この場合、ＣＵ分割（ｓｐｌｉｔ）は、正方形の形態（２Ｎ×２Ｎ又はＮ×Ｎ）のみで行われるため、エンハンスメントレイヤでベースレイヤのパーティション構造を選択的に利用する方法を考慮することができる。

例えば、図１８（ｂ）のようにパーティション形態に関係なしに、参照ブロック１８１０のパーティション構造を、エンハンスメントレイヤのブロック１８４０に対するパーティション構造として全部反映することができる。

また、図１８（ｃ）のように、参照ブロックのＰＵパーティション構造のうち、正方形のパーティション１８２０は、エンハンスメントレイヤのＣＵパーティション構造に反映し、参照ブロックのＰＵパーティション構造のうち、長方形のパーティション１８３０は、エンハンスメントレイヤのＣＵパーティション構造に反映しない。

このように、ＣＵ／ＰＵ／ＴＵ情報を組み合わせて使用する方法は、任意の単位別に選択的な使用が可能である。すなわち、シーケンス、ピクチャのグループ、単一ピクチャ、複数のスライス、単一スライス、複数のＬＣＵ、単一ＬＣＵなどのように任意の単位を基準にして、ベースレイヤのＣＵ／ＰＵ／ＴＵ情報を組み合わせてエンハンスメントレイヤに使用する方法を選択するかを決定することができる。

適応的インタレイヤテクスチャ予測

インタレイヤ予測において、フィルタを適用して参照映像の品質を向上させることができる。例えば、インタレイヤイントラ予測を実行する場合、参照映像の品質を向上させるために、参照映像にフィルタを適用することができる。

例えば、空間スケーラビリティの場合、下位レイヤのテクスチャ情報にアップサンプリングフィルタを適用してレイヤ間の解像度を同じく調整した後、調整された下位レイヤのテクスチャ情報を参照映像として利用した。

このとき、アップサンプリングフィルタが適用された下位レイヤのテクスチャ情報に追加にフィルタリングを適用した後、上位レイヤの予測のための参照映像として使用することができる。本明細書では、この予測方法を適応的インタレイヤテクスチャ予測と表示する。

図１９は、本発明によって適応的インタレイヤテクスチャ予測を実行する方法の一例を概略的に説明する図面である。

図１９を参照すると、テクスチャ予測部１９１０は、図１のテクスチャ予測部に対応する。したがって、テクスチャ予測部は、テクスチャ予測と共に、必要な場合、再スケーリングを実行することができる。

ベースレイヤにおいて、フィルタリング部１９５０によって適用されるフィルタリングは、ダウンコンバータ１９４０でダウンコンバーティングされた入力シーケンスとの差を減らすためである。

エンハンスメントレイヤにおいて、アップサンプリング部１９３０によってアップサンプリングされたテクスチャがフィルタリング部１９２０でフィルタリングすることは、アップサンプリングされたベースレイヤのテクスチャと入力シーケンスとの間のエラーを減らすためである。

このとき、適用されるフィルタは、前述したような目的を達成するためのフィルタであれば何でもよい。例えば、フィルタリング部１９２０で適用されるフィルタは、符号化装置／復号装置で所定のタブ数と係数で予め特定されているフィルタであってもよいし、フィルタパラメータ（タブ数、係数等）が適応的に通知されるフィルタであってもよい。

適応的インタレイヤテクスチャ予測を使用する場合、参照映像の品質向上によって符号化効率が向上することができる。

適応的インタレイヤテクスチャ予測を適用する場合、参照映像の品質は向上する一方、複雑度が増加し、追加的なフィルタパラメータの符号化／復号が必要である。したがって、状況（例えば、符号化装置と復号装置の性能、入力シーケンスとアップサンプリングされたベースレイヤテクスチャとの間のエラー等）によって適応的インタレイヤテクスチャ予測を使用するかどうかを決定することができる。

したがって、フィルタリング部１９２０で適用されるフィルタを適応的に符号化／復号ループで適用されるフィルタということができる。説明の便宜のために、本明細書では、フィルタリング部１９２０で適用するフィルタをインタレイヤ適応ループフィルタ（ＡＬＦ）という。符号化装置／復号装置がループ内フィルタとしてのＡＬＦを利用する場合は、ループ内フィルタとしてのＡＬＦをインタレイヤＡＬＦとして使用することもできる。

適応的インタレイヤテクスチャ予測を使用するためには、インタレイヤＡＬＦの適用可否を指示するフラグが必要である。インタレイヤＡＬＦの適用可否を指示するフラグをｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇとする。

ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が０の場合、インタレイヤＡＬＦを適用しないことを指示し、ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が１の場合、インタレイヤＡＬＦを適用することを指示する。

ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇは、シーケンスパラメータセットに定義することができる。

表５３は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのシーケンスパラメータセットの一例を示す。

ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇは、シーケンスパラメータセットでないスライスヘッダに定義してもよい。

表５４は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのスライスヘッダの一例を示す。

符号化装置と復号装置がループ内フィルタとしてのＡＬＦを使用する場合、ピクチャパラメータセットでＡＬＦの使用のために使用するシンタックスをインタレイヤＡＬＦにも同じく適用することができる。

表５５は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのピクチャパラメータセットシンタックスの一例を示す。

表５５において、ｓｈａｒｅｄ_ｐｐｓ_ｉｎｆｏ_ｅｎａｂｌｅｄ_ｆｌａｇの値が１の場合、インタレイヤＡＬＦのパラメータセットを使用することができる。表５５と違って、ループ内フィルタとしてのＡＬＦと別途に、インタレイヤＡＬＦの適用のためのフラグを使用する方法も適用可能である。

表５５は、本発明によってｓｈａｒｅｄ_ｐｐｓ_ｉｎｆｏ_ｅｎａｂｌｅｄ_ｆｌａｇをインタレイヤＡＬＦに適用する場合、スライスデータシンタックスの例を示す。

インタレイヤフィルタパラメータ予測

ループフィルタリング過程で適用可能なフィルタとして、デブロッキングフィルタ、ＳＡＯ及びＡＬＦの３種類がある。

ループフィルタとして、３種類のフィルタを全部適用することもあるし、一部のみを適用することもある。例えば、デブロッキングフィルタのみを適用することもできるし、デブロッキングフィルタとＳＡＯのみを適用することもできる。

符号化装置は、復元映像が入力映像に最も近くなるようにフィルタパラメータを決定し、決定されたフィルタパラメータを復号装置に送信することができる。したがって、スケーラブル符号化の特性上、ベースレイヤとエンハンスメントレイヤに使われる映像が相当類似するため、フィルタパラメータが二つのレイヤ間で類似する可能性が高い。

したがって、ベースレイヤで使用したパラメータをエンハンスメントレイヤで再使用する方法を考慮することができる。これをインタレイヤフィルタパラメータ予測という。

インタレイヤフィルタパラメータ予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することもできるし、エンハンスメントレイヤのフィルタ部で実行することもできる。

図２０は、本発明によるインタレイヤフィルタパラメータ予測に対して概略的に説明する図面である。

図２０を参照すると、ベースレイヤのループ内フィルタリング部２０２０で使用したフィルタパラメータを現在レイヤのループ内フィルタリング部２０１０で再使用することができる。

ＳＡＯパラメータは、適応パラメータセットで送信することができる。ＡＬＦのパラメータの場合も適応パラメータセットで送信することができる。

表５７は、本発明による、スケーラブル拡張において適応パラメータセットの例を示す。

ａｐｓ_ｉｄは、スライスヘッダで参照される適応パラメータセットを識別する。ａｐｓ_ｉｄの値は、０以上ＴＢＤ以下の値を有し、レベル／プロファイリングに依存する。

ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇの値が１の場合、現在適応パラメータセットで参照するスライスに対してＳＡＯがオンであることを特定する。ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇの値が０の場合、現在適応パラメータセットで参照するスライスに対してＳＡＯがオフであることを特定する。活性化された適応パラメータセットがない場合、ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇ値は、０に推定される。

ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値が１の場合、現在適応パラメータセットで参照するスライスに対してＡＬＦがオンであることを特定する。ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値が０の場合、現在適応パラメータセットで参照するスライスに対してＡＬＦがオフであることを特定する。活性化された適応パラメータセットがない場合、ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値は、０に推定される。

ａｐｓ_ｃａｂａｃ_ｕｓｅ_ｆｌａｇの値が１の場合、ｓａｏ_ｐａｒａｍ（）とａｌｆ_ｐａｒａｍ（）に対してＣＡＢＡＣ復号過程が利用され、ａｐｓ_ｃａｂａｃ_ｕｓｅ_ｆｌａｇの値が０の場合、ｓａｏ_ｐａｒａｍ（）とａｌｆ_ｐａｒａｍ（）に対してＣＡＶＬＣ復号過程が利用される。

ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、ＳＡＯとＡＬＦのコンテキスト変数に対する初期化プロセスで利用される初期化テーブルを決定するインデクスを特定する。ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｉｄｃの値は、０以上２以下の範囲にある。

ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｑｐ_ｍｉｎｕｓ２６は、量子化パラメータ−２６値を特定する。このとき、量子化パラメータは、ＳＡＯとＡＬＦのコンテキスト変数に対する初期化プロセスに利用される。

ａｌｆ_ｄａｔａ_ｂｙｔｅ_ｃｏｕｎｔとｓａｏ_ｄａｔａ_ｂｙｔｅ_ｐｏｉｎｔは、バイト数を特定する。

ｂａｓｅ_ｐｒｅｄ_ａｌｆ_ｐａｒａｍ_ｆｌａｇの値が１の場合、ベースレイヤで使われたＡＬＦパラメータが現在レイヤに使われるということを特定する。ｂａｓｅ_ｐｒｅｄ_ａｌｆ_ｐａｒａｍ_ｆｌａｇの値が０の場合、現在レイヤに対するＡＬＦパラメータが現在レイヤに使われるということを特定する。

ｂａｓｅ_ｐｒｅｄ_ｓａｏ_ｐａｒａｍ_ｆｌａｇの値が１の場合、ベースレイヤで使われたＳＡＯパラメータが現在レイヤに使われるということを特定する。ｂａｓｅ_ｐｒｅｄ_ｓａｏ_ｐａｒａｍ_ｆｌａｇの値が０の場合、現在レイヤに対するＳＡＯパラメータが現在レイヤに使われないということを特定する。

インタレイヤ差分ピクチャ符号化

ベースレイヤの復元映像をＲ_BLとし、Ｒ_BLをエンハンスメントレイヤの解像度に合わせてアップサンプリングさせた映像をＵＲ_BLとする。そして、エンハンスメントレイヤの復元映像をＲ_ELとする。

復元映像は、ループ内フィルタリングを適用する前の映像であってもよい。また、復元映像は、ループ内フィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ、ｓａｍｐｌｅ ａ ｄａｐｔｉｖｅ ｏｆｆｓｅｔ ｆｉｌｔｅｒ及び／又はａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）のうち、一部を適用した後の映像であってもよい。さらに、復元映像は、ループ内フィルタの全部を適用した後の映像であってもよい。

ここで、Ｒ_ELからＵＲ_BLの値を引いた差分映像をＤとすると、Ｄ映像のドメイン（ｄｏｍａｉｎ）で独立的な符号化／復号を実行することができる。本明細書では、この方法をインタレイヤ差分ピクチャ符号化又はインタレイヤ差分モード（ＩＬ−Ｄｉｆｆ ｍｏｄｅ）という。

インタレイヤ差分モードは、シーケンス単位、ピクチャ単位、スライス単位、ＬＣＵ（Ｌａｒｇｅｓｔ ＣＵ）単位、符号化ユニット（ＣＵ）単位又は予測ユニット（ＰＵ）単位に適用することができる。インタレイヤ差分モードを適用しようとする処理単位で、インタレイヤ差分モードを使用するかを知らせるフラグが符号化装置から復号装置に送信することができる。

インタレイヤ差分モードが適用された処理単位に対しては、他のスケーラビリティを利用した符号化（符号化／復号）は実行せずに、単一レイヤ符号化（符号化／復号）方法のみを利用することもできる。この場合、他のスケーラビリティを利用した符号化を実行するかどうかを指示するためのビットを節約することができる。

インタレイヤ差分モードは、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。ここでは、説明の便宜のために、予測部から実行すると説明する。

（１）インタレイヤ差分モードに対するイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ＩＬ−Ｄｉｆｆ ｍｏｄｅ）

図２１は、本発明によってインタレイヤ差分モードを適用する場合、イントラ予測を実行する方法を概略的に説明する図面である。

図２１を参照すると、エンハンスメントレイヤのピクチャ２１００は、現在ブロック２１１５前後の復元領域２１０５と未復元領域２１１０を含む。復元領域２１０５から復元映像Ｒ_ELを得ることができる。エンハンスメントレイヤのピクチャ２１００に対する復元が完了すると、ピクチャ２１００が復元映像Ｒ_ELになることができる。

一方、ベースレイヤの復元映像Ｒ_BL２１２０をアップサンプリングした映像ＵＲ_BL２１２５は、現在ブロック２１１５に対応するブロックＰ_BL２１３０を含む。

符号化過程において、予測部（符号化装置の予測部）は、式４のようにベースレイヤの復元映像とエンハンスメントレイヤの復元映像との間の差分Ｄを導出することができる。

（式４）
Ｄ＝Ｒ_EL−ＵＲ_BL

式４において、Ｒ_ELは、まだ復元されない領域２１１０の存在によって、デブロッキングフィルタ、ＳＡＯ又はＡＬＦなどのようなループ内フィルタが適用されない状態の映像を使用することもできる。

ベースレイヤのピクチャ１２２０は、すべての領域が復元された状態であるため、Ｒ_BLは、ループ内フィルタが適用された状態の復元映像であってもよいし、ループ内フィルタの一部が適用された状態の復元映像であってもよいし、ループ内フィルタが適用されない状態の復元映像であってもよい。

予測部は、差分映像Ｄ２１４０で、未復元領域２１５０を除いて、復元領域２１４５のピクセル値を参照し、現在ブロック２１５５に対してイントラ予測を実行することができる。

復号過程において、予測部（復号装置の予測部）は、現在ブロックと同一位置に存在するＵＲ_BL内のブロック値Ｐ_BLを利用して式５のように現在ブロックを復元することができる。

（式５）
Ｒ_EL＝Ｐ_D＋Ｐ_BL＋ＲＥＳ

式５において、Ｐ_Dは、差分映像Ｄの復元された領域からイントラ予測を実行して生成された予測ブロックであり、ＲＥＳは、レジデュアルブロックである。

（２）インタレイヤ差分モードに対するインタ予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ＩＬ−Ｄｉｆｆ ｍｏｄｅ）

インタレイヤ差分モードを適用するとき、現在ブロックに対するインタ予測を実行するために、予測部は、現在ピクチャの参照ピクチャに対する差分映像Ｄ_Rを生成する。例えば、予測部は、参照ピクチャのエンハンスメントレイヤピクチャに対する復元映像と参照ピクチャのベースレイヤピクチャに対する復元映像とを利用し、現在ピクチャの参照ピクチャに対する差分映像Ｄ_Rを生成する。

予測部は、参照ピクチャの差分映像Ｄ_Rに基づいて現在ブロックの差分映像ドメインで予測ブロックＰ_Dを生成することができる。

予測部は、予測ブロックを利用して式６のように現在ブロックを復元することができる。

（式６）
Ｒ_EL＝Ｐ_D＋Ｐ_BL＋ＲＥＳ

式６において、Ｒ_ELは、エンハンスメントレイヤで復元された現在ブロックである。Ｐ_BLは、ＵＲ_BL内で現在ブロックと同一位置に存在するブロックであり、ＲＥＳは、レジデュアルブロックである。

参照映像の差分映像Ｄ_Rは、予め生成されて復号ピクチャバッファ（ＤＰＢ）に記憶することができる。ＤＰＢは、図１及び図３で説明したメモリに対応することができる。

また、参照映像の差分映像Ｄ_Rは、Ｒ_ELを生成するたびに、現在ブロックの動き情報によって現在ブロックの復元のために必要な位置に特定されたブロックに対して算出することもできる。

インタレイヤ差分モードに対するイントラ予測の場合と違って、インタレイヤ差分モードに対するインタ予測では、参照ピクチャに対する差分映像を生成するとき、エンハンスメントレイヤで復元された参照ピクチャとしてループ内フィルタが適用されない状態の復元ピクチャだけでなく、ループ内フィルタの一部又は全部が適用された状態の復元ピクチャを利用することもできる。

本明細書では、説明の便宜のために、スケーラブルビデオ符号化がサポートされるマルチレイヤ構造であり、レイヤごとに特定時点（例えば、ピクチャ順カウント（ＰＯＣ）又はアクセスユニット（ＡＵ））に復元されるサンプルのアレイを‘ピクチャ’と表現した。

これと関連し、復号されて出力されるレイヤ（現在レイヤ）で特定時点に復元された又は復元される全体サンプルアレイをピクチャといい、参照されるレイヤの復元された又は復元されるサンプルアレイと区分することもできる。参照されるレイヤで特定時点に復元された又は復元されるサンプルアレイは、リプリゼンテーション、参照レイヤピクチャ、参照レイヤサンプルアレイ、参照レイヤテクスチャなどとも呼ばれる。この場合、一つのＡＵに対しては現在レイヤで復元された一つの復号（符号化）されたピクチャが出力することができる。

前述した例示的なシステムにおいて、方法は、一連のステップ又はブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序に又は同時に発生できる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属するすべての交替、修正及び変更を含む。

Claims (9)

1. 復号装置がインタレイヤ予測をする方法であって、
   ビットストリームを介して、現在レイヤ内の現在ブロックのための予測モード情報及びマージインデクス情報を受信するステップと、
   参照レイヤからインタレイヤ動き情報を導出するステップと、
   前記予測モード情報に基づいて前記現在ブロックの予測モードを決定するステップと、
   前記現在ブロックのためのマージ候補リストを構成するステップであって、前記マージ候補リストは、空間的マージ候補と前記インタレイヤ動き情報に対応するインタレイヤ候補とを含む、ステップと、
   前記マージインデクス情報に基づいて前記マージ候補リストの中の前記インタレイヤ候補を選択するステップと、
   前記インタレイヤ動き情報を利用して前記現在レイヤ内の前記現在ブロックを予測するステップと、を含み、
   前記インタレイヤ動き情報は、前記参照レイヤから導出されるインタレイヤ動きベクトルを含み、
   前記インタレイヤ動きベクトルは、前記参照レイヤの動きベクトルを前記参照レイヤと前記現在レイヤの解像度の比率に応じてスケーリングして導出され、
   前記インタレイヤ候補は、前記マージ候補リストの中の前記空間的マージ候補のインデクス値より大きなインデクス値によって示される、インタレイヤ予測方法。
2. 前記参照レイヤの動きベクトルは、前記参照レイヤ内で前記現在ブロックを特定する位置に対応する参照位置の動きベクトルである、請求項１に記載のインタレイヤ予測方法。
3. 前記現在ブロックを特定する位置は、前記現在ブロックの左上端位置である、請求項２に記載のインタレイヤ予測方法。
4. 前記参照位置は、前記現在ブロックを特定する位置の座標を、前記参照レイヤと前記現在レイヤとの間の解像度の比率に応じてスケーリングして導出される、請求項２に記載のインタレイヤ予測方法。
5. 前記参照位置の動きベクトルは、前記参照位置を含む予測ブロックの動きベクトルである、請求項２に記載のインタレイヤ予測方法。
6. 前記マージ候補リストはさらに時間的マージ候補を含み、
   前記インタレイヤ候補のインデクス値は、前記マージ候補リストの中の前記時間的マージ候補のインデクス値より小さい、請求項１に記載のインタレイヤ予測方法。
7. 前記参照レイヤの動きベクトルは、前記参照レイヤ内で前記現在ブロックを特定する位置に対応する前記参照位置を含む参照ブロックの動きベクトルであり、
   前記現在ブロックの参照ピクチャが前記参照ブロックの参照ピクチャと異なる場合、前記インタレイヤ動きベクトルは、前記スケーリングされた動きベクトルをさらにスケーリングすることによって導出される、請求項１に記載のインタレイヤ予測方法。
8. 前記さらにスケーリングすることは、
   現在ピクチャと前記現在ピクチャの参照ピクチャとの間のピクチャ順カウント（ＰＯＣ）差と、
   前記参照レイヤ内で前記インタレイヤ動き情報が導出されるインタレイヤピクチャの参照ピクチャと前記インタレイヤピクチャとの間のＰＯＣ差とに基づいて実行される、請求項７に記載のインタレイヤ予測方法。
9. ビットストリームを介して現在レイヤの現在ブロックのためのマージインデクス情報を受信するエントロピ復号部と、
   参照レイヤを予測する第１の予測部と、
   前記第１の予測部の予測に基づいて前記参照レイヤからインタレイヤ動き情報を導出し、前記参照レイヤの対応するブロックの予測モードに基づいて前記現在ブロックの予測モードを決定し、空間的マージ候補と前記インタレイヤ動き情報に対応するインタレイヤ候補とを含む、前記現在ブロックのためのマージ候補リストを構成し、前記マージインデクス情報に基づいて前記マージ候補リストの中の前記インタレイヤ候補を選択し、インタレイヤ動き情報を利用して、前記現在レイヤ内の前記現在ブロックを予測する第２の予測部と、を含み、
   前記インタレイヤ動き情報は、前記参照レイヤから導出されるインタレイヤ動きベクトルを含み、
   前記第２の予測部は、前記参照レイヤと前記現在レイヤとの間の解像度の比率に応じて、前記インタレイヤ動き情報を導出するために、前記参照レイヤの動きベクトルをスケーリングし、
   前記インタレイヤ候補は、前記マージ候補リストの中の前記空間的マージ候補のインデクス値より大きなインデクス値によって示される、スケーラブルビデオ復号装置。