JP6055098B2 - 映像復号方法及びそれを利用する装置 - Google Patents

Description

本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオ符号化を実行する方法及び装置に関する。

最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。

情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツを多様な品質で利用可能になった。

具体的には、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用するが、他の環境ではより高い品質の映像を利用可能になる。

例えば、携帯端末でビデオコンテンツを購買した消費者が、ホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面及びより高い解像度で鑑賞することができる。

最近、高解像度（ＨＤ）を有する放送がサービスされているため、多くのユーザは、既に高解像度、高画質の映像に慣れており、サービス提供者及びユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有する超高解像度（ＵＨＤ）のサービスにも関心を向けている。

したがって、多様な環境でユーザが要求する映像サービスを品質に応じて多様に提供するために、高能力ビデオに対する高能率の符号化／復号方法に基づいて、映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。また、このようなスケーラビリティに伴う多様な映像処理方法が論議されなければならない。

本発明は、他のレイヤの情報を利用して現在レイヤに対する予測を実行する方法及びそれを利用する装置を提供することを目的とする。

また、本発明は、現在レイヤが参照する参照レイヤの情報が、符号化データであるか、又は復元した値であるかを指示する情報を受信及び特定することができる装置及びそれを利用する方法を目的とする。

また、本発明は、異なる符号化方式によって符号化された映像を復号するとき、レイヤ間依存タイプ（ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ）を特定することができる方法及びそれを利用する装置を提供することを目的とする。

本発明の一実施形態は、複数のレイヤを含むビットストリームを復号する映像の復号方法に対するものであり、映像の復号方法は、上位レイヤが下位レイヤと同じ符号化方式によって符号化されたか否かを通知する依存性情報を受信して特定するステップと、特定された依存性情報に基づいて上位レイヤの映像を復元するステップと、を含む。

依存性情報は、上位レイヤが下位レイヤの符号化データを参照するか否かを指示する情報を含む。

依存性情報は、上位レイヤが下位レイヤの復元データを参照するか否かを指示する情報を含む。

上位レイヤの映像を復元するステップは、下位レイヤの符号化データをパースするステップと、パースされたデータを利用して上位レイヤの映像を予測するステップと、を含む。

符号化データは、下位レイヤの映像に対する動き情報、ブロック分割（ｐａｒｔｉｔｉｏｎｉｎｇ）及びレジデュアルのうち少なくとも一つを含む。

上位レイヤの映像を復元するステップは、下位レイヤの復元データを利用して上位レイヤの映像を予測するステップを含む。

復元データは、下位レイヤの映像に対するアップサンプリングされたピクセル値を含む。

依存性情報は、ビットストリーム内のビデオパラメータセットに含まれて受信される。

依存性情報は、ビットストリーム内のスライスヘッダに含まれて受信される。

本発明の他の実施形態による複数のレイヤを含むビットストリームを復号する映像の復号装置は、上位レイヤが下位レイヤと同じ符号化方式によって符号化されたか否かを通知する依存性情報を受信して特定する依存性情報特定部と、特定された依存性情報に基づいて上位レイヤの映像を復元する上位レイヤ復号部とを含む。

本発明の一実施例によると、他のレイヤの情報を利用して現在レイヤに対する予測を実行する方法及びそれを利用する装置が提供される。

また、本発明の一実施例によると、現在レイヤが参照する参照レイヤの情報が、符号化データであるか、又は復元した値であるかを指示する情報を受信及び特定することができる装置及びそれを利用する方法が提供される。

また、本発明の一実施例によると、異なる符号化構造によって符号化された映像を復号するとき、レイヤ間依存タイプを特定することができる方法及びそれを利用する装置が提供される。

本発明の一実施例によるスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。 本発明の一実施例によるスケーラビリティをサポートするビデオ復号装置を概略的に示すブロック図である。 本発明の一実施例による参照レイヤ及び参照レイヤの情報を利用する強化レイヤを示す図である。 本発明の他の実施例による参照レイヤ及び参照レイヤの情報を利用する強化レイヤを示す図である。 本発明の他の実施例による参照レイヤ及び参照レイヤの情報を利用する強化レイヤを示す図である。 本発明の一実施例によるビデオ符号化装置を示す制御ブロック図である。 本発明の一実施例によるビデオ復号装置を示す制御ブロック図である。 本発明の一実施例による映像の復号方法を説明する制御流れ図である。

本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われたものではない。単数の表現は、文脈上明白に異なる意味でない限り、複数の表現を含む。本明細書において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものの存在又は付加可能性を予め排除しないと理解しなければならない。

一方、本発明で説明される図面上の各構成は、ビデオ符号化装置／復号装置における別個の特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が別個のハードウェア又は別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成を統合して一つの構成にすることもできるし、一つの構成が複数の構成に分けることもできる。各構成が統合及び／又は分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。

以下、添付図面を参照して、本発明の好ましい実施例を更に詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。

スケーラビリティをサポートするビデオ符号化方法（以下、‘スケーラブル符号化’という）では入力信号をレイヤ別に処理することができる。レイヤによって入力信号（入力映像）は、解像度、フレームレート、ビット深度、カラーフォーマット、アスペクト比のうち少なくとも一つが異なる。

本明細書において、スケーラブル符号化とは、スケーラブル符号化及びスケーラブル復号を含む。

スケーラブル符号化／復号ではレイヤ間の差を利用することによって、すなわち、スケーラビリティに基づいてレイヤ間予測を実行することによって、情報の重複送信／処理を減らして圧縮効率を上げることができる。

図１は、本発明の一実施例によるスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。

図１を参照すると、符号化装置１００は、レイヤ１に対する符号化部１０５と、レイヤ０に対する符号化部１３５とを含む。

レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、強化レイヤ、現在レイヤ又は上位レイヤである。

レイヤ１の符号化部１０５は、予測部１１０、変換／量子化部１１５、フィルタ部１２０、復号ピクチャバッファ（ＤＰＢ）１２５、エントロピ符号化部１３０、及び多重化器（ＭＵＸ）１６５を含む。

レイヤ０の符号化部１３５は、予測部１４０、変換／量子化部１４５、フィルタ部１５０、ＤＰＢ１５５及びエントロピ符号化部１６０を含む。

予測部１１０、１４０は、入力された映像に対してインタ予測及びイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、符号化ユニット（ＣＵ）であってもよいし、予測ユニット（ＰＵ）であってもよいし、変換ユニット（ＴＵ）であってもよい。

例えば、予測部１１０、１４０は、ＣＵ単位にインタ予測を適用するか、又はイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位又はＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック（レジデュアル信号）の生成を含む。

インタ予測を介して、現在ピクチャの先行ピクチャ及び／又は後続ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行し、予測ブロックを生成することができる。イントラ予測を介して、現在ピクチャ内のピクセル情報に基づいて予測を実行して予測ブロックを生成することができる。

インタ予測のモード又は方法として、省略（スキップ）モード、統合（マージ）モード、動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＭＶＰ）モード方法などがある。インタ予測では予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。

予測ブロックは、整数サンプル単位に生成することもできるし、整数以下のピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位又は整数ピクセル以下の単位で表現することができる。

インタ予測において、動き情報、すなわち、参照ピクチャのインデクス、動きベクトル、レジデュアル信号などの情報は、エントロピ符号化されて復号装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。

イントラ予測において、予測モードは、３３個の方向性予測モード及び少なくとも二つ以上の非方向性モードを有することができる。非方向性モードは、ＤＣ予測モード及びプレーナモード（Ｐｌａｎａｒモード）を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。

ＰＵは、多様なサイズ／形態のブロックであり、例えば、インタ予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、又はＮ×Ｎブロック（Ｎは整数）などである。イントラ予測の場合、ＰＵは、２Ｎ×２Ｎブロック又はＮ×Ｎブロック（Ｎは整数）などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にだけ適用するように設定することができる。例えば、最小大きさＣＵに対してだけＮ×Ｎブロック大きさのＰＵを利用するように定め、又はイントラ予測に対してだけ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロック又はｍＮ×２Ｎブロック（ｍ<１）などのＰＵを更に定義して使用することもできる。

また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インタレイヤ予測という。

他のレイヤの情報を利用して予測される（すなわち、インタレイヤ予測によって予測される）現在レイヤの情報として、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタ処理パラメータ等）などがある。

また、現在レイヤに対する予測に利用される（すなわち、インタレイヤ予測に利用される）他のレイヤの情報として、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタ処理パラメータなど）がある。

インタレイヤ予測の一例として、インタレイヤ動き予測は、インタレイヤインタ予測という。インタレイヤインタ予測によると、レイヤ０（参照レイヤ又はベースレイヤ）の動き情報を利用してレイヤ１（現在レイヤ又は強化レイヤ）の現在ブロックに対する予測を実行することができる。

インタレイヤインタ予測を適用する場合は、参照レイヤの動き情報をスケーリングすることもできる。

インタレイヤ予測の他の例として、インタレイヤテクスチャ予測は、インタレイヤイントラ予測又はイントラベースレイヤ（ＢＬ）予測とも呼ばれる。インタレイヤテクスチャ予測は、参照レイヤ内の参照ブロックがイントラ予測によって復元した場合に適用することができる。

インタレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャを強化レイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。

インタレイヤ予測の他の例であるインタレイヤユニットパラメータ予測では、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報を導出して強化レイヤのユニット情報として使用し、又はベースレイヤのユニット情報に基づいて強化レイヤのユニット情報を決定することができる。

また、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション（ＣＵ、ＰＵ及び／又はＴＵ）に対する情報、変換に対する情報、予測に対する情報、符号化に対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報（例えば、動き情報、予測モードに対する情報等）などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報（変換係数、変換方法等）などを含むことができる。

また、ユニット情報は、処理単位（例えば、ＣＵ、ＰＵ、ＴＵ等）の分割情報だけを含むこともできる。

インタレイヤ予測の他の例であるインタレイヤパラメータ予測では、ベースレイヤで使用したパラメータを導出して強化レイヤで再使用するようにし、又はベースレイヤで使用したパラメータに基づいて強化レイヤに対するパラメータを予測することができる。

ここでは、インタレイヤ予測の例として、インタレイヤテクスチャ予測、インタレイヤ動き予測、インタレイヤユニット情報予測、インタレイヤパラメータ予測を説明したが、本発明で適用できるインタレイヤ予測は、これに限定されるものではない。

例えば、予測部１１０は、インタレイヤ予測として、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在レイヤ内の現在ブロックに対する予測を実行するインタレイヤレジデュアル予測を利用することもできる。

また、予測部１１０は、インタレイヤ予測として、現在レイヤの復元ピクチャと他のレイヤの復元ピクチャをアップサンプリング又はダウンサンプリングした映像間の差分（差分映像）映像を利用して、現在レイヤ内の現在ブロックに対する予測を実行するインタレイヤ差分予測を実行することもできる。

また、予測部１１０は、インタレイヤ予測として、他のレイヤの構文情報を利用して、現在ブロックのテクスチャを予測又は生成するインタレイヤ構文予測を利用することもできる。このとき、現在ブロックの予測に利用する参照レイヤの構文情報は、イントラ予測モードに対する情報、動き情報などである。

このとき、参照レイヤで、イントラ予測モードが適用されたブロック（ｉｎｔｒａ）からはイントラ予測モードを参照し、インタ予測モードが適用されたブロック（ＭＶ）からは動き情報を参照することによって、インタレイヤ構文予測を実行することができる。

例えば、参照レイヤはＰスライス又はＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックであってよい。この場合、インタレイヤ構文予測を適用すると、参照レイヤの構文情報のうち参照ブロックのイントラ予測モードを利用して現在ブロックに対するテクスチャを生成／予測するインタレイヤ予測を実行することができる。

前述したインタレイヤを利用した多様な予測方法のうち複数を、特定のブロックに対する予測時に利用することもできる。例えば、現在ブロックを予測するためにレイヤ０の予測情報を利用しながら、対応するレイヤ０又は対応ブロックのユニット情報又はフィルタ処理パラメータ情報などを追加的に利用することができる。このようなインタレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。

変換／量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行して変換係数を生成し、変換係数を量子化することができる。

変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット（ＴＵ）であり、四分木（ｑｕａｄ ｔｒｅｅ）構造を有することができる。

変換／量子化部１１５、１４５は、レジデュアルブロックに適用された予測モード及びブロックの大きさによって変換を実行して変換係数の２次元配列を生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合、レジデュアルブロックを離散サイン変換（ＤＳＴ）を利用して変換し、その他の場合、レジデュアルブロックを離散コサイン変換（ＤＣＴ）を利用して変換することができる。

変換／量子化部１１５、１４５は、変換係数を量子化することによって、量子化された変換係数を生成することができる。

変換／量子化部１１５、１４５は、量子化された変換係数をエントロピ符号化部１３０、１６０に伝達することができる。このとき、変換／量子化部１４５は、量子化された変換係数の２次元配列を所定のスキャン順序によって１次元配列に再整列してエントロピ符号化部１３０、１６０に伝達することもできる。また、変換／量子化部１１５、１４５は、インタ予測のために、レジデュアル及び予測ブロックに基づいて生成された復元ブロックを変換／量子化せずに、フィルタ部１２０、１５０に伝達することができる。

一方、変換／量子化部１１５、１４５は、必要によって、変換を省略（ｓｋｉｐ）して量子化だけを実行し、又は変換及び量子化双方を省略することもできる。例えば、変換／量子化部１１５、１４５は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

エントロピ符号化部１３０、１６０は、量子化された変換係数に対するエントロピ符号化を実行することができる。エントロピ符号化には、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応二進算術符号化（ＣＡＢＡＣ）などのような符号化方法を使用することができる。

フィルタ部１２０、１５０は、ブロック歪み除去（デブロッキング）フィルタ、適応ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）、サンプル適応オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）を復元したピクチャに適用することができる。

デブロッキングフィルタは、復元したピクチャでブロック間の境界に発生した歪みを除去することができる。ＡＬＦは、デブロッキングフィルタを介してブロックがフィルタ処理された後、復元した映像と原映像とを比較した値に基づいてフィルタ処理を実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などの形態で適用される。

フィルタ部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全部適用せずに、デブロッキングフィルタだけを適用し、又はデブロッキングフィルタ及びＡＬＦだけを適用し、又はデブロッキングフィルタ及びＳＡＯだけを適用することもできる。

ＤＰＢ１２５、１５５は、フィルタ部１２０、１５０から復元ブロック又は復元ピクチャの伝達を受けて記憶することができる。ＤＰＢ１２５、１５５は、復元ブロック又はピクチャを、インタ予測を実行する予測部１１０、１４０に提供することができる。

レイヤ０のエントロピ符号化部１６０で出力される情報と、レイヤ１のエントロピ符号化部１３０で出力される情報とは、ＭＵＸ１６５で多重化されてビットストリームで出力することができる。

一方、ここでは説明の便宜のために、レイヤ１の符号化部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１の符号化部１０５及びレイヤ０の符号化部１３５とは別途の装置又はモジュールであってもよい。

図１の符号化装置は、カメラなどを含み、映像を撮像して符号化することができる電子装置等で具現することができる。例えば、符号化装置は、テレビ、計算機システム、携帯電話機又はタブレットＰＣのような個人端末機などで具現され、又はこれらの電子装置に含むことができる。

図２は、本発明によってスケーラブル符号化を実行する復号装置でのインタレイヤ予測に対する一例を説明するブロック図である。

図２を参照すると、復号装置２００は、レイヤ１の復号部２１０及びレイヤ０の復号部２５０を含む。

レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、強化レイヤ、現在レイヤ又は上位レイヤである。

レイヤ１の復号部２１０は、エントロピ復号部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタ部２４０、メモリを含むことができる。

レイヤ０の復号部２５０は、エントロピ復号部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタ部２８０、メモリ２８５を含むことができる。

符号化装置から映像情報を含むビットストリームが送信されたとき、ＤＥＭＵＸ２０５は、レイヤ別に情報を逆多重化して各レイヤ別復号装置に伝達することができる。

エントロピ復号部２１５、２５５は、符号化装置で使用したエントロピ符号化方式に対応してエントロピ復号を実行することができる。例えば、符号化装置でＣＡＢＡＣが使われた場合、エントロピ復号部２１５、２５５もＣＡＢＡＣを利用してエントロピ復号を実行することができる。

エントロピ復号部２１５、２５５で復号された情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピ復号部２１５、２５５でエントロピ復号が実行されたレジデュアル値、すなわち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。

再整列部２２０、２６０は、エントロピ復号部２１５、２５５でエントロピ復号されたビットストリームの情報、すなわち、量子化された変換係数を符号化装置で再整列した方法に基づいて再整列することができる。

例えば、再整列部２２０、２６０は、１次元配列の量子化された変換係数を再び２次元配列の係数に再整列することができる。再整列部２２０、２６０は、現在ブロック（変換ブロック）に適用された予測モード及び／又は変換ブロックの大きさに基づいて走査を実行して係数（量子化された変換係数）の２次元配列を生成することができる。

逆量子化部２２５、２６５は、符号化装置で提供された量子化パラメータと、再整列されたブロックの係数値とに基づいて逆量子化を実行して変換係数を生成することができる。

逆変換部２３０、２７０は、変換係数に対して符号化装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、符号化装置で実行されたＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び／又は逆ＤＳＴを実行することができる。

符号化装置において、ＤＣＴ及び／又はＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、復号装置の逆変換部２３０、２７０は、符号化装置で実行された変換情報に基づいて逆変換を実行することができる。

例えば、逆変換部２３０、２７０は、予測モード／ブロック大きさによって逆ＤＣＴ及び逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。

また、逆変換部２３０、２７０は、予測モード／ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、すべての変換ブロックに逆ＤＳＴだけを適用することができる。また、逆変換部２３０、２７０は、すべての変換ブロックに逆ＤＣＴだけを適用することもできる。

逆変換部２３０、２７０は、変換係数又は変換係数のブロックを逆変換してレジデュアル又はレジデュアルブロックを生成することができる。

逆変換部２３０、２７０は、また、必要によって又は符号化装置で符号化された方式によって、変換を省略することもできる。例えば、逆変換２３０、２７０は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

予測部２３５、２７５は、エントロピ復号部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前に復号されたブロック及び／又はピクチャ情報とに基づいて、現在ブロックに対する予測ブロックを生成することができる。

現在ブロックに対する予測モードがイントラ予測モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。

現在ブロックに対する予測モードがインタ予測モードの場合、予測部２３５、２７５は、現在ピクチャの先行ピクチャ又は後続ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて、現在ブロックに対するインタ予測を実行することができる。インタ予測に必要な動き情報の一部又は全部は、符号化装置から受信した情報を確認し、これに対応して導出することができる。

インタ予測のモードとしてスキップモードが適用される場合は、符号化装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。

一方、レイヤ１の予測部２３５は、レイヤ１内の情報だけを利用してインタ予測又はイントラ予測を実行することもできるし、他のレイヤ（レイヤ０）の情報を利用してインタレイヤ予測を実行することもできる。

例えば、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用して現在ブロックに対する予測を実行することができる。

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インタレイヤ動き予測をインタレイヤインタ予測ともいう。インタレイヤ動き予測によって、参照レイヤ（ベースレイヤ）の動き情報を利用して現在レイヤ（強化レイヤ）の現在ブロックに対する予測が実行することができる。予測部２３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ０のテクスチャ情報の伝達を受けてテクスチャ予測を実行することができる。テクスチャ予測は、インタレイヤイントラ予測又はイントラＢＬ予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックがイントラ予測によって復元した場合に適用することができる。又は、テクスチャ予測は、参照レイヤに参照インデクスを割り当てて参照することもできる。

インタレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャを強化レイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ０のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測によって、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報が強化レイヤのユニット情報として使われ、又はベースレイヤのユニット情報に基づいて強化レイヤのユニット情報を決定することができる。

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ０のフィルタ処理に対するパラメータ情報の伝達を受けてパラメータ予測を実行することもできる。パラメータ予測によって、ベースレイヤで使用したパラメータを導出して強化レイヤで再使用し、又はベースレイヤで使用したパラメータに基づいて強化レイヤに対するパラメータを予測することができる。

前述したインタレイヤを利用した多様な予測方法のうち複数を、特定のブロックに対する予測時に利用することもできる。例えば、現在ブロックを予測するためにレイヤ０の予測情報を利用しながら、対応するレイヤ０又は対応ブロックのユニット情報又はフィルタ処理パラメータ情報などを追加的に利用することができる。このようなインタレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。

加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５を、復元ブロックを生成する別途のユニット（復元ブロック生成部）と見ることができる。

加算器２９０、２９５で復元したブロック及び／又はピクチャは、フィルタ部２４０、２８０に提供することができる。

図２の例を参照すると、レイヤ１のフィルタ部２４０は、レイヤ１の予測部２３５及び／又はレイヤ０のフィルタ部２８０から伝達されるパラメータ情報を利用して復元したピクチャに対するフィルタ処理を実行することもできる。例えば、レイヤ１のフィルタ部２４０は、レイヤ０で適用されたフィルタ処理のパラメータから予測されたパラメータを利用して、レイヤ１に対する又はレイヤ間のフィルタ処理を適用することができる。

メモリ２４５、２８５は、復元したピクチャ又はブロックを記憶して参照ピクチャ又は参照ブロックとして使用可能にする。メモリ２４５、２８５は、記憶された復元ピクチャを所定の出力部（図示せず）又はディスプレイ（図示せず）を介して出力することもできる。

図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１の符号化装置のように、逆量子化／逆変換部の一モジュールで再整列、逆量子化、逆変換を順に実行するように復号装置を構成することもできる。

図１及び図２の例では、予測部と説明したが、発明に対する理解を容易にするために、レイヤ１の予測部は、他のレイヤ（レイヤ０）の情報を利用して予測を実行するインタレイヤ予測部と、他のレイヤ（レイヤ０）の情報を利用せずに予測を実行するインタ／イントラ予測部とを含むとみることもできる。

図２の復号装置は、映像を再生し、又は再生して表示することができる多様な電子装置で具現することができる。例えば、復号装置は、セットトップボックス、テレビ、計算機システム、携帯電話機、タブレットＰＣのような個人端末機などで具現され、又はこれらの電子装置に含むことができる。

ビットストリーム内の複数のレイヤをサポートするビデオの符号化及び復号、すなわち、スケーラブル符号化の場合、複数のレイヤ間には強い相関が存在するため、このような相関を利用して予測を実行することによって、データの重複要素を除去することができ、映像の符号化性能を向上させることができる。以下、他のレイヤの情報を利用して予測の対象となる現在レイヤの予測を実行することをレイヤ間予測（ｉｎｔｅｒ−ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）と表現する。スケーラブルビデオ符号化は、以下、符号化の観点では、スケーラブルビデオ符号化と同じ意味を有し、復号の観点では、スケーラブルビデオ復号と同じ意味を有する。

複数の階層は、解像度、フレームレート、カラーフォーマットのうち少なくとも一つが異なり、レイヤ間予測時に、解像度の調節のためにレイヤのアップサンプリング又はダウンサンプリングを実行することができる。

図３は、本発明の一例によってベースレイヤ、すなわち、参照レイヤ及び参照レイヤの情報を利用する強化レイヤを示す。

第１の強化レイヤ３２０は、参照レイヤ３１０の動きベクトルのような動き情報、ブロック分割及びレジデュアルなどのような符号化データを参照することができる。すなわち、符号化データは、符号化装置から送信される構文及び意味（セマンティックス）のような情報を意味する。

また、図示したように、第２の強化レイヤ３３０は、参照レイヤ３１０及び第１の強化レイヤ３２０の動きベクトル、ブロック分割及びレジデュアルなどのような符号化データを参照することができる。

第２の強化レイヤ３３０は、参照レイヤ３１０だけを参照することもできるし、第１の強化レイヤ３２０だけを利用することもできる。

図３のように、強化レイヤが下位レイヤの情報を参照するとき、参照レイヤの符号化ブロック又は符号化ピクチャの情報に対する依存性を考慮することができる。例えば、強化レイヤは、動きベクトルのような動き情報を参照して動き予測が実行することができる。

本発明における依存性とは、強化レイヤのような上位レイヤの復号時に、参照下位レイヤの情報が利用されること、又はこのような関係を意味し、又は特定のスケーラビリティタイプで下位レイヤを参照する参照タイプを意味する。レイヤ間予測のために依存性に対する明確な信号通知が必要である。

このような符号化データは、復号過程が必要なく、復号装置は、パース過程を介して符号化データを取得することができる。パース過程が必要であるため、参照レイヤ及びそれを参照する強化レイヤは、同じコーデック方式（ｃｏｄｅｃ ｓｃｈｅｍｅ）によって符号化されなければならない。

本発明において、コーデック方式とは、映像を符号化し、符号化された映像を逆に復号する構造を意味し、通常的に、映像は、所定の規格による同じ構造を利用して符号化及び復号することができる。現在コーデック方式には、Ｈ.２６４／ＭＰＥＧ ＡＶＣ及びＨＥＶＣ Ｓｃａｌａｂｌｅ Ｅｘｔｅｎｓｉｏｎなどが存在する。

Ｈ.２６４／ＭＰＥＧ−４パート１０又はＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高度映像符号化）は、映像圧縮標準の一つであって、現在高解像度ビデオの録画、圧縮、配布のための最も一般的なフォーマットのうち一つであり、非常に高いデータ圧縮率を自慢する。この標準は、ＩＴＵ−Ｔのビデオ符号化専門家グループ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＶＣＥＧ）とＩＳＯ／ＩＥＣの動画像専門家グループ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＭＰＥＧ）とが合同で合同ビデオチーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ、ＪＶＴ）を構成して標準化を進めた結果である。したがって、ＩＴＵ−ＴのＨ.２６４とＩＳＯ／ＩＥＣのＭＰＥＧ−４パート１０ ＡＶＣ（公式にはＩＳＯ／ＩＥＣ １４４９６−１０、ＭＰＥＧ−４パート１０、高度ビデオ符号化）とは、技術的に同じ標準案である。標準案は、２００３年５月に発表された。

高能率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）は、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣの成功によって開発に着手した次世代動映像符号化技術である。既存のＨ.２６４／ＭＰＥＧ−４ ＡＶＣを開発したＩＳＯ／ＩＥＣ ＭＰＥＧと、ＩＴＵ−Ｔの映像符号化専門家グループとが映像符号化に関する合同協同チーム（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＪＣＴ−ＶＣ）として２０１０年１月チームを結成して現在作業中である。現在標準化作業は完了した。メインプロファイル（Ｍａｉｎ ｐｒｏｆｉｌｅ）に対する内容は確定しており、これに基づいてスケーラブルビデオ符号化及び３次元（３Ｄ）ビデオ符号化技術が各々開発されている。

２０１３年１月２５日、ＩＴＵは、スイスジュネーブでＨＥＶＣを次世代最終標準案として承認した。ＨＶＥＣのＩＳＯ／ＩＥＣ標準番号は、ＩＳＯ／ＩＥＣ ２３００８−２であり、現在最終標準案（Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｓｒａｄ、ＦＤＩＳ）状態である。ＩＴＵ−Ｔ標準は、２０１３年４月１３日にＨ.２６５として発行された。

図１のレイヤ１、すなわち、強化レイヤに対する符号化部１０５と、図２の強化レイヤに対する復号部２１０とは、同じコーデック方式によって符号化された映像を処理することができ、図１のレイヤ０、すなわち、参照レイヤに対する符号化部１３５と、図２の参照レイヤ０に対する復号部２５０も、同じコーデック方式によって符号化された映像を処理することができるように互いに対になる。

コーデック方式が異なる場合、情報をパースするパース構造が異なるため、前述したように、パース過程を経るべき符号化データは、異なるコーデック方式を利用して符号化された映像間で参照することができない。

したがって、図３のように、レイヤ間符号化データに対する依存性が存在する場合、参照レイヤ及びそれを参照する強化レイヤは、同じコーデックによって符号化されなければならない。したがって、レイヤ間符号化データに対する依存性情報は、参照されるレイヤと、参照するレイヤとが同じ符号化方式によって符号化されたか否か、すなわち、コーデック方式の同一性有無に関する情報であり得る。

例えば、参照レイヤがＨ.２６４／ＭＰＥＧ ＡＶＣによって符号化された場合、強化レイヤもＨ.２６４／ＭＰＥＧ ＡＶＣによって符号化されることによって、強化レイヤが参照レイヤの符号化情報を利用することができる。

参照レイヤがＨ.２６４／ＭＰＥＧ ＡＶＣによって符号化され、参照レイヤを参照する強化レイヤがＨ.２６４／ＭＰＥＧ ＡＶＣでないＨＥＶＣ Ｓｃａｌａｂｌｅ Ｅｘｔｅｎｓｉｏｎによって符号化された場合、二つのレイヤを復号する復号装置のパース部の構造が異なるため、強化レイヤは、参照レイヤの符号化データを参照することができない。

このような、レイヤ間符号化データの依存性が存在する場合、レイヤ別に独立な復号過程が実行される単一ループ復号（Ｓｉｎｇｌｅ−ｌｏｏｐ ｄｅｃｏｄｉｎｇ）が可能である。

一方、レイヤ間符号化データでない復元値に対する依存性が存在できる。

図４は、本発明の他の例によってベースレイヤ、すなわち、参照レイヤ４１０と参照レイヤ４１０の情報を利用する強化レイヤ４２０を示す。

強化レイヤ４２０は、参照レイヤ４１０の復元データ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｄａｔａ）、すなわち、復号過程を介して復元した参照ピクチャ又は参照ブロックのピクセル値、サンプル値、又は復元過程を介したデータを参照することができる。このような復元データは、図４のように強化レイヤのピクチャの大きさに対応するようにアップサンプリングすることができる。

このように復元したサンプル値に対する情報は、強化レイヤ４２０のテクスチャ予測、すなわち、サンプル予測に利用することができる。

また、図示していないが、図３のように追加的な強化レイヤが存在してもよく、この場合、追加的な強化レイヤは、参照レイヤ及び下位強化レイヤのうち少なくとも一つのピクセル値のような復元データを参照することができる。

図４のようにレイヤ間に復元データに対する依存性が存在する場合、参照レイヤの参照ピクチャがどのように符号化されたか、すなわち、符号化方法又はコーデック方式は、強化レイヤが参照レイヤを参照するのに必要ではない。すなわち、強化レイヤと参照レイヤとが異なるコーデック方式によって符号化され、復号されるときでも、参照できる復元データだけ存在する場合、レイヤ間依存性が成立することがある。

したがって、符号化データの依存性と比較して復元データの依存性が存在するレイヤ間にはレイヤのコーデック方式が異なっても強化レイヤが参照レイヤを参照することが可能である。

このようなレイヤ間復元データ依存性が存在する場合、強化レイヤの復号過程で参照レイヤの復号された情報が必要であるため、多重ループ復号（ｍｕｌｔｉ−ｌｏｏｐ ｄｅｃｏｄｉｎｇ）が必要である。

前述のように、強化レイヤが参照レイヤの符号化データを参照するか、又は復元データを参照するかによってコーデック方式の同一性有無がレイヤ間依存性に影響を与えることもある。

すなわち、復号装置は、レイヤ間予測のために、異なるコーデック方式間には符号化データを利用することができ、同じコーデック方式によって符号化されたレイヤ間には符号化データ及び復元データを利用することができる。

本発明ではこのような依存性関係を明確に信号通知し、信号通知された依存性情報に基づいてレイヤ間予測を実行することができる復号装置を提供する。

図５は、本発明の他の実施例によって参照レイヤと、参照レイヤの情報を利用する強化レイヤとを示す。

図５に示すように、参照レイヤ５１０は、第１のコーデック方式、例えば、Ｈ.２６４／ＭＰＥＧ ＡＶＣによって符号化され、第１の強化レイヤ５２０及び第２の強化レイヤ５３０は、第２のコーデック方式、例えば、ＨＥＶＣ Ｓｃａｌａｂｌｅ Ｅｘｔｅｎｓｉｏｎによって符号化することができる。

レイヤの符号化方式は、図５に限定されるものではなく、第１の強化レイヤと第２の強化レイヤとは、異なるコーデック方式によって符号化することもできる。

図５を参照すると、コーデック方式によってレイヤ間の依存性には明確な差異が発生する。コーデック方式の差異にもかかわらず、第１の強化レイヤ５２０は、第１のコーデック方式によって符号化された参照レイヤ５１０の復元した情報を利用することができるため、第１の強化レイヤ５２０と参照レイヤ５１０との間には復元データ依存性が存在する。すなわち、第１の強化レイヤ５２０及び参照レイヤ５１０は、異なるコーデック方式によって符号化されたため、両レイヤ間には符号化データ依存性は存在しない。

それに対し、第２の強化レイヤ５３０は、第１の強化レイヤ５２０と同じコーデック方式によって符号化されたため、第２の強化レイヤ５３０は、第１の強化レイヤ５２０の符号化データ及び復元したデータを両方とも参照することができる。すなわち、第２の強化レイヤ５３０は、第１の強化レイヤ５２０に対して復元データ及び符号化データの両方ともに対して直接的な依存性を有することができる。

もちろん、第２の強化レイヤ５３０は、参照レイヤ５１０と異なる符号化方式によって符号化されたため、第２の強化レイヤ５３０は、参照レイヤ５１０に対して符号化データ依存性は有することができないが、復元データに対する依存性を有することができる。

整理すると、符号化データの依存性及び復元データの依存性を異なるタイプの依存性と見なすと、各レイヤ間にはレイヤが符号化されたコーデック方式によって異なるタイプの依存性を有することができる。図５の場合、第１の強化レイヤ５２０は、参照レイヤ５１０に対して直接的な復元データ依存性を有し、第２の強化レイヤ５３０は、第１の強化レイヤ５２０に対して復元データ及び符号化データに対する直接的な依存性を有する。第２の強化レイヤ５３０は、参照レイヤ５１０に対して直接的な復元データ依存性を有することができる。

上位レイヤが下位レイヤを参照するにあたって、前述のように異なる形態の依存性を有する場合、復号装置が依存性を正確に特定して復号過程を実行するために依存性の信号通知が重要である。

図６は、本発明の一実施例によるビデオ符号化装置を示す制御ブロック図である。

図６に示すように、本実施例による符号化装置は、第１の符号化部６１０、第２の符号化部６２０及び依存性情報生成部６３０を含む。

第１の符号化部６１０は、図１のビデオ符号化装置において、レイヤ０の符号化のための符号化部１３５に対応することができ、第２の符号化部６２０は、図１のビデオ符号化装置において、レイヤ１の符号化のための符号化部１０５に対応することができる。

第１の符号化部６１０及び第２の符号化部６２０では、各レイヤに対する映像に対する予測、変換及びエントロピ符号化が行われ、このような内容は、図１を参照して説明された符号化装置の説明と同様であるため省略する。

符号化装置は、二つのレイヤに加えて、三つ以上のレイヤに対する符号化を実行することができ、この場合、第３の符号化部、第４の符号化部を更に含むことができる。

本実施例による依存性情報生成部６３０は、各符号化部６１０、６２０でレイヤが符号化されるとき、レイヤ間にどのような情報が互いに参照されたかに関する依存性情報を生成する。依存性情報生成部６３０は、第１の符号化部６１０に含まれている部分的な構成であってもよく、第２の符号化部６２０に含むことができる一構成であってもよい。又は、依存性情報生成部６３０は、各符号化部６１０、６２０に含まれる構成で設計することもできる。すなわち、説明の便宜のために、依存性情報生成部６３０は、図６に独立の構成で示したが、依存性情報生成部６３０の物理的な構造及び位置は、図６に限定されるものではない。

このような依存性情報生成部６３０で生成された情報は、他の情報と同様に符号化過程を介してビットストリーム形態でビデオ復号装置に送信される。

表１は、本発明の一例によって依存性情報生成部６３０で生成された依存性情報に対する構文要素を示す。

表１を参照すると、レイヤ間依存性情報は、ビデオパラメータセットに含まれて信号通知される。

ｎｕｍ_ｄｉｒｅｃｔ_ｒｅｆ_ｌａｙｅｒｓ[ｉ]は、ｉ番目のレイヤが直接的に依存するレイヤの個数を意味する。例えば、参照レイヤ及び２個の強化レイヤが存在するビットストリームの場合、最上位の強化レイヤは、直接的に最大２個のレイヤに依存性を有することができる。

ｒｅｆ_ｌａｙｅｒ_ｉｄ[ｉ][ｊ]は、ｉ番目のレイヤが直接的に依存するｊ番目のレイヤを意味し、特定のレイヤが参照する参照レイヤを識別する情報を示す。

ｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]は、ｉ番目のレイヤがｊ番目のレイヤとして識別されたレイヤを参照するとき、符号化データに対する依存性が存在するか否かを示すフラグ情報である。ｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]が１の場合、ｉ番目のレイヤがｊ番目のレイヤに対して符号化データに対する依存性を有することを意味し、０の場合、ｉ番目のレイヤがｊ番目のレイヤに対して符号化データに対する依存性を有しないことを示す。

ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]は、ｉ番目のレイヤがｊ番目のレイヤとして識別されたレイヤを参照するとき、復元データに対する依存性が存在するか否かを示すフラグ情報である。ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]が１の場合、ｉ番目のレイヤがｊ番目のレイヤに対して復元データに対する依存性を有することを意味し、０の場合、ｉ番目のレイヤがｊ番目のレイヤに対して復元データに対する依存性を有しないことを示す。

すなわち、フラグ情報は、レイヤ間参照関係を信号通知するとき、上位レイヤが下位レイヤの符号化情報を利用するか、又は復元した情報を利用するかに対して直接的に通知する役割をする。このようなフラグ情報は、レイヤ間参照関係が成立するとき、依存性の形態を直接的に通知する情報になることもある。

表２は、本発明の他の例によって依存性情報生成部６３０で生成された依存性情報に対する構文要素を示す。

表２を参照すると、レイヤ間依存性情報は、スライスヘッダに含まれて信号通知される。すなわち、レイヤ間依存性情報は、各スライス別に生成されてビデオ復号装置に送信される。

ｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]は、該当スライスに含まれている符号化された木ブロック（ｔｒｅｅ ｂｌｏｃｋ）が参照レイヤを参照するとき、符号化データに対する依存性が存在するか否かを示すフラグ情報である。ｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]が１の場合、該当スライスが参照レイヤに対して符号化データに対する依存性を有することを意味し、０の場合、該当スライスが参照レイヤに対して符号化データに対する依存性を有しないことを示す。

ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]は、該当スライスに含まれている符号化された木ブロックが参照レイヤを参照するとき、復元データに対する依存性が存在するか否かを示すフラグ情報である。ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]が１の場合、該当スライスが参照レイヤに対して復元データに対する依存性を有することを意味し、０の場合、該当スライスが参照レイヤに対して復元データに対する依存性を有しないことを示す。

図７は、本発明の一実施例によるビデオ復号装置を示す制御ブロック図である。

図７に示すように、本実施例による復号装置は、依存性情報特定部７１０、第１の復号部７２０及び第２の復号部７３０を含む。

本実施例による依存性情報特定部７１０は、ビデオ符号化装置から受信されるビットストリームに基づいて各復号部７２０、７３０でレイヤが符号化されるとき、レイヤ間にどのような情報が互いに参照されたかに対する依存性情報を特定する。依存性情報特定部７１０は、ビットストリームをパースするパース部で具現されることができ、又はビットストリームをエントロピ復号するエントロピ復号部で具現することもできる。

このような依存性情報特定部７１０は、第１の復号部７２０に含まれている部分的な構成であってもよいし、第２の復号部７３０に含むことができる一構成であってもよい。又は、依存性情報特定部７１０は、各復号部７２０、７３０に含まれる複数の構成要素で設計することもできる。すなわち、説明の便宜のために、依存性情報特定部７１０は、図７に独立の構成で示したが、依存性情報特定部７１０の物理的な構造及び位置は、図７に限定されるものではない。

符号化装置から受信されて依存性情報特定部７１０で特定される依存性情報は、上位レイヤが下位レイヤの符号化データを参照するか否かを指示する情報であり、一例として、表１及び表２のｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]のようなフラグ情報である。

また、依存性情報は、上位レイヤが下位レイヤの復元データを参照するか否かを指示する情報であり、このような依存性情報は、表１及び表２のｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]である。

前記フラグ情報は、上位レイヤが参照する下位レイヤの依存性形態を指示することができる。依存性情報がｉｎｔｅｒ_ｌａｙｅｒ_ｃｏｄｅｄ_ｆｌａｇ[ｉ][ｊ]であり、フラグ値が１の場合、上位レイヤが下位レイヤの符号化データを参照することができるという依存性形態を指示することができる。

依存性情報が符号化データの依存性を指示する場合、これは上位レイヤと下位レイヤとが同じコーデック方式によって符号化されたと解釈することができ、ひいては、上位レイヤが符号化データ、特に動き情報を利用して動き予測をすることができると解釈することができる。すなわち、前記フラグ情報は、既設定された多様な意味で解釈することができる。

依存性情報のフラグ値が０の場合、上位レイヤが下位レイヤの符号化データを利用しないと解釈することもでき、両レイヤが異なるコーデック方式によって符号化されたことを指示すると解釈することもできる。

一方、依存性情報がｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｃｏｎｓｔｒｕｃｔｅｄ_ｆｌａｇ[ｉ][ｊ]であり、フラグ値が１の場合、上位レイヤが下位レイヤの復元データを参照することができるという依存性形態を通知する情報になる。このような復元データは、上位レイヤのテクスチャ予測、すなわち、サンプル予測に利用することができる。

このような依存性情報は、表１のようにビットストリーム内のビデオパラメータセットに含めて受信することもできるし、表２のようにスライスヘッダに含めて受信することもできる。

依存性情報特定部７１０で特定されたレイヤ間依存性情報は、復号部７２０、７３０に伝達され、復号部７２０、７３０は、依存性情報に基づいてレイヤ間予測及び復元を実行することができる。

第１の復号部７２０は、図２のビデオ復号装置において、レイヤ０の復号のための復号部２５０に対応することができ、第２の復号部７３０は、図２のビデオ復号装置において、レイヤ１の復号のための復号部２１０に対応することができる。

第１の復号部７２０及び第２の復号部７３０では各レイヤの映像に対するエントロピ復号、逆変換及び予測、復元が行われ、このような内容は、図２を参照して説明された復号装置の説明と同様であるため省略する。

復号装置は、二つのレイヤに加えて三つ以上のレイヤに対する復号を実行することができ、この場合、第３の復号部、第４の復号部を更に含むことができる。

図８は、本発明の一実施例による映像の復号方法を説明する制御流れ図である。図８を参照して本実施例による映像の復号方法を整理すると、下記の通りである。

まず、パース部又はエントロピ復号部で具現することができる依存性情報特定部は、ビットストリーム内の下位レイヤを参照する上位レイヤの依存性情報を特定する（Ｓ８１０）。

このような依存性情報は、ビデオパラメータセット又はスライスヘッダに含めて受信することができ、上位レイヤが下位レイヤと同じ符号化方式によって符号化されたか否かを通知する情報である。依存性情報は、復元したデータ又は符号化データに対する依存性有無を指示するフラグ情報を含むことができる。

特定された結果、符号化データに対する依存性有無を指示するフラグが１であり、上位レイヤが下位レイヤの符号化データを参照する依存性が存在するときは（Ｓ８２０）、依存性情報特定部は、上位レイヤが下位レイヤの復元データを参照するか否か、すなわち復元データに対する依存性有無を順に特定することができる（Ｓ８３０）。

特定された結果、上位レイヤが下位レイヤに対して復元データに対する依存性を有するとき、すなわち、上位レイヤが下位レイヤの符号化データ及び復元データの両方ともを参照するとき、上位レイヤに対する復号部は、下位レイヤの符号化データ及び復元データの両方ともを参照して上位レイヤの映像を予測及び復元することができる（Ｓ８４０）。

この場合、符号化データに対する依存性有無を指示するフラグが１であるため、上位レイヤと下位レイヤとは、同じコーデック方式によって復号されたと特定することができる。

このとき、下位レイヤの符号化データは、下位レイヤの映像に対する動きベクトルのような動き情報、ブロック分割及びレジデュアルのうち少なくとも一つであり、下位レイヤの復元データは、下位レイヤの映像のピクセル値及び／又はピクセル値のアップサンプリングされた値である。

復号装置は、下位レイヤの符号化データをパースし、下位レイヤのピクセル値を復元し、これを上位レイヤの予測及び復元に利用することができる。

すなわち、復号装置は、下位レイヤの復元値を利用して上位レイヤのサンプル予測、下位レイヤの動き情報を利用して動き予測を実行することができる。

それに対し、上位レイヤが下位レイヤに対する復元データ依存性がない場合、すなわち、上位レイヤが下位レイヤの符号化データだけを参照する場合、復号装置は、下位レイヤの符号化データをパースする（Ｓ８５０）。

下位レイヤの符号化データは、下位レイヤの映像に対する動きベクトルを含む動き情報、ブロック分割及びレジデュアルのうち少なくとも一つである。

上位レイヤを復号する復号部は、符号化データを参照して復号される対象となる上位レイヤの映像を分割し、又は動きを補償する等の予測過程及びレジデュアル情報を利用して映像を復元する等の復号過程を実行する（Ｓ８６０）。

この場合も符号化データに対する依存性有無を指示するフラグが１であるため、上位レイヤ及び下位レイヤは、同じコーデック方式によって復号されたと特定することができる。

一方、上位レイヤが下位レイヤの符号化データに対する依存性がない場合（Ｓ８２０）、上位レイヤが下位レイヤの復元データを参照する復元データに対する依存性有無を特定することができる。この場合、上位レイヤと下位レイヤとは、同じコーデック方式によって符号化されてもよいし、異なるコーデック方式によって符号化されてもよい。

フラグ情報などを介して上位レイヤが下位レイヤの復元データを参照すると特定されるとき、すなわち、上位レイヤが下位レイヤの復元データだけを参照するとき（Ｓ８７０）、下位レイヤを復号する復号部は、下位レイヤの映像を復元する復号過程及びアップサンプリングを実行することができる（Ｓ８８０）。

下位レイヤに対する復号過程及び／又はアップサンプリング過程は、上位レイヤの復号過程前に実行することができ、復号過程を介して生成された下位レイヤのピクセル値のような復元データは、ＤＰＢのようなメモリに記憶することができる。又は、このような復元データは、上位レイヤの復号過程で必要なとき、復元及び／又はアップサンプリングすることもできる。

上位レイヤを復号する復号部は、復元データを参照して上位レイヤの映像を予測及び復元する（Ｓ８９０）。

一方、上位レイヤが下位レイヤの符号化データ及び復元データに対する依存性がない場合、上位レイヤを復号する復号部は、上位レイヤの情報だけを利用して通常的な復号過程を実行することができる（Ｓ８０１）。

このように、本発明は、他のレイヤの情報を利用して現在レイヤに対する予測を実行する方法に関し、現在レイヤが参照する参照レイヤの情報が、符号化データであるか、又は復元した値であるかを指示する情報を受信及び特定することができる方法及び装置を提供する。

したがって、異なる符号化方式によって符号化された映像を復号するとき、レイヤ間依存タイプも特定することができる。

前述した例示的なシステムにおいて、方法は、一連のステップ又はブロックで流れ図に基づいて説明されたが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップで、異なる順序で、又は同時に発生できる。また、前述した実施例は、多様な態様の例示を含むことができるため、各実施例の組合せも本発明の一実施例として理解しなければならない。したがって、本発明は、特許請求の範囲に属するすべての代替、修正及び変更を含む。

Claims (14)

1. 映像の復号方法であって、
   ビデオパラメータセット（ＶＰＳ）拡張構文を介して依存性情報を受信して特定するステップであって、前記依存性情報は現在レイヤに対する依存性の形態を通知する、ステップと、
   前記依存性情報に基づいて、現在ブロックに対するインタレイヤ予測を実行するステップと、
   前記インタレイヤ予測の結果に基づいて、現在ピクチャを復元するステップと、を有し、
   前記依存性情報は、
   １）参照レイヤは前記現在レイヤのインタレイヤサンプル予測に対して利用可能だが、前記現在レイヤのインタレイヤ動き予測に対して利用不可能なことを示す、第１の依存性の形態、
   ２）前記参照レイヤはインタレイヤ動き予測に対して利用可能だが、インタレイヤサンプル予測に対して利用不可能なことを示す、第２の依存性の形態、
   ３）前記参照レイヤは前記現在レイヤのインタレイヤ動き予測とインタレイヤサンプル予測の両方に対して利用可能であることを示す、第３の依存性の形態、
   の中の前記依存性の形態を通知する、映像の復号方法。
2. 前記依存性情報が、前記依存性の形態として前記第１の依存性の形態を通知する場合、前記参照レイヤ内の復元されたサンプルは、前記現在ブロックに対する前記インタレイヤ予測に対して使用される、請求項１に記載の方法。
3. 前記インタレイヤ予測を実行するステップは、
   前記参照レイヤ内の参照ブロックの前記復元されたサンプルをアップサンプリングするステップと、
   前記復元されアップサンプリングされたサンプルに基づいて、前記現在ブロックの予測されたサンプルを導出するステップと、を含む、請求項２に記載の方法。
4. 前記依存性情報が、前記依存性の形態として前記第２の依存性の形態を通知する場合、前記参照レイヤ内の動き情報は、前記現在ブロックに対する前記インタレイヤ予測に対して使用される、請求項１に記載の方法。
5. 前記インタレイヤ予測を実行するステップは、
   前記参照レイヤ内の対応するブロックの前記動き情報に基づいて、前記現在ブロックの動き情報を導出するステップと、
   前記導出された動き情報に基づいて、前記現在ブロックの予測されたサンプルを導出するステップと、を含む、請求項４に記載の方法。
6. 前記現在ブロックの前記動き情報は、前記参照レイヤ内の前記対応するブロックの前記動き情報をスケーリングすることによって導出される、請求項５に記載の方法。
7. 前記依存性情報は、符号化データ依存性フラグと復元データ依存性フラグとを含み、
   前記符号化データ依存性フラグの値が１であり、前記復元データ依存性フラグの値が０であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第２の依存性の形態が使われることを通知し、
   前記符号化データ依存性フラグの値が０であり、前記復元データ依存性フラグの値が１であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第１の依存性の形態が使われることを通知し、
   前記符号化データ依存性フラグの値が１であり、前記復元データ依存性フラグの値が１であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第３の依存性の形態が使われることを通知する、請求項１に記載の方法。
8. 映像の復号装置であって、
   ビデオパラメータセット（ＶＰＳ）拡張構文を介して依存性情報を受信して特定する依存性情報特定部であって、前記依存性情報は現在レイヤに対する依存性の形態を通知する依存性情報特定部と、
   前記依存性情報に基づいて、現在ブロックに対するインタレイヤ予測を実行する予測部と、
   前記インタレイヤ予測の結果に基づいて、現在ピクチャを復元する加算部と、
   を備え、
   前記依存性情報は、
   １）参照レイヤは前記現在レイヤのインタレイヤサンプル予測に対して利用可能だが、前記現在レイヤのインタレイヤ動き予測に対して利用不可能なことを示す、第１の依存性の形態、
   ２）前記参照レイヤはインタレイヤ動き予測に対して利用可能だが、インタレイヤサンプル予測に対して利用不可能なことを示す、第２の依存性の形態、
   ３）前記参照レイヤは前記現在レイヤのインタレイヤ動き予測とインタレイヤサンプル予測の両方に対して利用可能であることを示す、第３の依存性の形態、
   の中の前記依存性の形態を通知する、映像の復号装置。
9. 前記依存性情報が、前記依存性の形態として前記第１の依存性の形態を通知する場合、前記参照レイヤ内の復元されたサンプルは、前記現在ブロックに対する前記インタレイヤ予測に対して使用される、請求項８に記載の映像の復号装置。
10. 前記インタレイヤ予測を実行することは、
    前記参照レイヤ内の参照ブロックの前記復元されたサンプルをアップサンプリングすることと、
    前記復元されアップサンプリングされたサンプルに基づいて、前記現在ブロックの予測されたサンプルを導出することと、を含む、請求項９に記載の映像の復号装置。
11. 前記依存性情報が、前記依存性の形態として前記第２の依存性の形態を通知する場合、前記参照レイヤ内の動き情報は、前記現在ブロックに対する前記インタレイヤ予測に対して使用される、請求項８に記載の映像の復号装置。
12. 前記インタレイヤ予測を実行することは、
    前記参照レイヤ内の対応するブロックの前記動き情報に基づいて、前記現在ブロックの動き情報を導出することと、
    前記導出された動き情報に基づいて、前記現在ブロックの予測されたサンプルを導出することと、を含む、請求項１１に記載の映像の復号装置。
13. 前記現在ブロックの前記動き情報は、前記参照レイヤ内の前記対応するブロックの前記動き情報をスケーリングすることによって導出される、請求項１２に記載の映像の復号装置。
14. 前記依存性情報は、符号化データ依存性フラグと復元データ依存性フラグとを含み、
    前記符号化データ依存性フラグの値が１であり、前記復元データ依存性フラグの値が０であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第２の依存性の形態が使われることを通知し、
    前記符号化データ依存性フラグの値が０であり、前記復元データ依存性フラグの値が１であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第１の依存性の形態が使われることを通知し、
    前記符号化データ依存性フラグの値が１であり、前記復元データ依存性フラグの値が１であれば、前記依存性情報は、前記現在レイヤの前記依存性の形態として前記第３の依存性の形態が使われることを通知する、請求項８に記載の映像の復号装置。