JP2023520227A - レイヤ間参照の如何に基づいてサブレイヤを決定する画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 - Google Patents

Abstract

画像符号化／復号化方法及び装置が提供される。本開示による画像復号化装置によって行われる画像復号化方法は、レイヤ間直接参照の如何を決定するステップと、前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定するステップと、を含むことができる。【選択図】図１９

Description

本開示は、画像符号化／復号化方法及び装置に関し、より詳細には、レイヤ間参照の如何に基づいてサブレイヤを決定する画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、レイヤ間参照の如何に基づいてサブレイヤを決定することにより、符号化／復号化の効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。例えば、前記記録媒体には、本開示による復号化装置が本開示による画像復号化方法を行うように引き起こすビットストリームが保存されることができる。

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

本開示の一態様による画像復号化装置によって行われる画像復号化方法は、レイヤ間直接参照の如何を決定するステップと、前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定するステップと、を含むことができる。

また、本開示の一態様による画像復号化装置は、メモリと少なくとも１つのプロセッサとを含む画像復号化装置であって、前記少なくとも１つのプロセッサは、レイヤ間直接参照の如何を決定し、前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定することができる。

また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、レイヤ間直接参照の如何を決定し、前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定することができる。

また、本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

また、本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

また、本開示の別の態様によるコンピュータ可読記録媒体は、復号化装置が本開示の画像復号化方法を行うように引き起こすビットストリームを保存することができる。

また、本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号化の効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、レイヤ間参照の如何に基づいてサブレイヤを決定することにより、符号化／復号化の効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。 一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。 一実施例によるコーディングされた画像に対する階層構造を示す図である。 マルチレイヤベースの符号化及び復号化を説明する図である。 マルチレイヤベースの符号化及び復号化を説明する図である。 本開示の一実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の別の一実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の別の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の別の一実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の別の一実施例によるＶＰＳ関連変数を誘導するための擬似コードを示す図である。 本開示の別の一実施例による符号化及び／又は復号化方法を示す図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示で開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本開示で開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／画像コーディング標準（例えば．Ｈ．２６７又はＨ．２６８など）に開示される方法に適用されることができる。

本開示では、ビデオ／画像コーディングに関する様々な実施例を提示し、他に言及しない本開示における実施例は、互いに組み合わせられて行われることもできる。

本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、符号化においてピクチャの一部を構成する符号化単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。前記ＣＵＴは、一つ以上のＣＵに分割されることができる。

１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定のタイル行（Ｔｉｌｅ Ｒｏｗ）及び特定のタイル列（Ｔｉｌｅ Ｃｏｌｕｍｎ）内に存在する四角領域であり、複数のＣＴＵから構成されることができる。タイル列は、ＣＴＵの四角領域として定義されることができ、ピクチャの高さと同じ高さを有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される幅を有することができる。タイル行は、ＣＴＵの四角領域として定義されることができ、ピクチャの幅と同じ幅を有し、ピクチャパラメータセットなどのビットストリーム部分からシグナリングされるシンタックス要素によって指定される高さを有することができる。

タイルスキャンは、ピクチャを分割するＣＴＵの所定の連続した順序付け方法である。ここで、ＣＴＵは、タイル内でＣＴＵラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）に従って連続的に順序付けられてもよく、ピクチャ内のタイルは、ピクチャのタイルのラスタスキャン順序に従って連続的に順序付けられてもよい。スライスは、整数個の完全なタイルを含むか、或いは１つのピクチャの１つのタイル内の連続する整数個の完全なＣＴＵ行を含むことができる。スライスは、１つのシングルＮＡＬユニットに独占的に含まれることができる。

１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る。

１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル以内のＣＴＵ行の四角領域を示すことができる。１つのタイルは、１つ以上のブリック（Ｂｒｉｃｋ）を含むことができる。ブリックは、タイル内のＣＴＵ行の四角領域を示すことができる。１つのタイルは、複数のブリックに分割されることができ、それぞれのブリックは、タイルに属する１つ以上のＣＴＵ行を含むことができる。複数のブリックに分割されないタイルもブリックとして扱われることができる。

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、Ｃｂ、Ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

本開示において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味することができる。また、本開示において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されることができる。

また、本開示において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

また、本開示で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

本開示において、１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

ビデオコーディングシステムの概要

図１は、本開示によるビデオコーディングシステムを示す。

一実施例によるビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０へ伝達することができる。

一実施例によるソースデバイス１０は、ビデオソース生成部１１、符号化装置１２及び伝送部１３を含むことができる。一実施例による受信デバイス２０は、受信部２１、復号化装置２２及びレンダリング部２３を含むことができる。前記符号化装置１２は、ビデオ／画像符号化装置と呼ばれることができ、前記復号化装置２２は、ビデオ／画像復号化装置と呼ばれることができる。伝送部１３は、符号化装置１２に含まれることができる。受信部２１は、復号化装置２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化装置１２は、入力ビデオ／画像を符号化することができる。符号化装置１２は、圧縮及び符号化の効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化装置１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０の受信部２１へ伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め定められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化装置２２へ伝達することができる。

復号化装置２２は、符号化装置１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

画像復号化装置の概要

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

一般な画像／ビデオコーディング手順

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

図４は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。図４において、Ｓ４１０は、図３で上述した復号化装置のエントロピー復号化部２１０で行われることができ、Ｓ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、Ｓ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、Ｓ４４０は、加算部２３５で行われることができ、Ｓ４５０は、フィルタリング部２４０で行われることができる。Ｓ４１０は、本開示で説明された情報復号化手順を含むことができ、Ｓ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、Ｓ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

図５は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。図５において、Ｓ５１０は、図２で上述した符号化装置のイントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、Ｓ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、Ｓ５３０は、エントロピー符号化部１９０で行われることができる。Ｓ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、Ｓ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、Ｓ５３０は、本開示で説明された情報符号化手順を含むことができる。

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

コーディング階層及び構造の例

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

図６は、コーディングされた画像に対する階層構造を示す図である。コーディングされた画像は、画像の復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

前記図面に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。

例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ：ＤＣＩを含むＮＡＬユニットに対するタイプ

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＡＬ ｕｎｉｔ：Ｔｙｐｅ ｆｏｒ ＮＡＬ ｕｎｉｔ ｉｎｃｌｕｄｉｎｇ ＰＨ

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであることができ、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値として特定されることができる。

一方、上述したように、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。

前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、マルチレイヤに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩ（ＤＣＩシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。一方、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。

ＮＡＬユニットを用いたピクチャ情報シグナリング

ピクチャ情報は、ＮＡＬユニット単位でシグナリングされることができる。例えば、以下の説明のように、ピクチャ情報がシグナリングされることができる。サブレイヤは、変数ＴｅｍｐｏｒａｌＩｄの所定の値及び関連したｎｏｎ－ＶＣＬ ＮＡＬユニットを有するＶＣＬ ＮＡＬユニットから構成される時間的スケーラブルビットストリームの時間的スケーラブルレイヤである。ここで、変数ＴｅｍｐｏｒａｌＩｄは、次のように誘導されることができる。

［数式１］

ＴｅｍｐｏｒａｌＩｄ＝ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１－１

変数ＴｅｍｐｏｒａｌＩｄの値をシグナリングするためのシンタックス要素ｎｕｈ＿ｔｅｍｐｒｏａｌ＿ｉｄ＿ｐｌｕｓ１は、ＮＡＬユニットのＮＡＬユニットヘッダーを介してシグナリングされることができる。ＮＡＬユニットヘッダーにおけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値がＩＤＲ＿Ｗ＿ＲＡＤＬからＲＳＶ＿ＩＲＡＰ＿１２までの値の範囲内にある場合、ＴｅｍｐｏｒａｌＩｄの値は０に強制されることができる。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値がＳＴＳＡ＿ＮＵＴと同一であり、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値が１である場合、ＴｅｍｐｏｒａｌＩｄの値は０にならないように制限されることができる。１つのＡＵの全てのＶＣＬ ＮＡＬユニットに対して、ＴｅｍｐｏｒａｌＩｄの値は全て同一であり得る。符号化されたピクチャ、ＰＵ又はＡＵのＴｅｍｐｏｒａｌＩｄの値は、当該符号化されたピクチャ、ＰＵ又はＡＵのＶＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄの値であり得る。サブレイヤ表現（ｓｕｂｌａｙｅｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のＴｅｍｐｏｒａｌＩｄの値は、１つのサブレイヤ表現における全てのＶＣＬ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄのうちの最も大きい値であり得る。

ＶＣＬ ＮＡＬユニットではなく、ｎｏｎ－ＶＣＬ ＮＡＬユニットに対するＴｅｍｐｏｒａｌＩｄの値は、次のように制限されることができる。

－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＤＣＩ＿ＮＵＴ、ＶＰＳ＿ＮＵＴ又はＳＰＳ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄは、０の値を持つように制限されることができ、当該ＮＡＬユニットを含むＡＵのＴｅｍｐｏｒａｌＩｄの値は、０となるように制限されることができる。

－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＨ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄの値は、ＮＡＬユニットを含むＰＵのＴｅｍｐｏｒａｌＩｄに等しく制限されることができる。

－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＥＯＳ＿ＮＵＴ又はＥＯＢ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩＤは、０に等しく制限されることができる。

－そうでなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＡＵＤ＿ＮＵＴ、ＦＤ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴ、又はＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄは、当該ＮＡＬユニットを含むＡＵのＴｅｍｐｏｒａｌＩｄと同じ値を有するように制限されることができる。

－そうではなく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＰＳ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＡＰＳ＿ＮＵＴ又はＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄの値は、当該ＮＡＬユニットを含むＰＵのＴｅｍｐｏｒａｌＩｄ以上の値を有するように制限されることができる。

例えば、当該ＮＡＬユニットがｎｏｎ－ＶＣＬ ＮＡＬである場合、ＴｅｍｐｏｒａｌＩｄの値は、前記ｎｏｎ－ＶＣＬ ＮＡＬユニットが適用されるすべてのＡＵのＴｅｍｐｏｒａｌＩｄ値のうちの最も小さい値に等しくてもよい。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値がＰＰＳ＿ＮＵＴ、ＰＲＥＦＩＸ＿ＡＰＳ＿ＮＵＴ又はＳＵＦＦＩＸ＿ＡＰＳ＿ＮＵＴに等しい場合、ＴｅｍｐｏｒａｌＩｄの値は、これを含むＡＵのＴｅｍｐｏｒａｌＩｄ以上の値を有することができる。これは、すべてのＰＰＳとＡＰＳがビットストリームの開始部に含まれ得るためである（例えば、このような情報が帯域外へ伝送され、受信機がこれをビットストリームの開始部分に配置する）。ここで、一番目に符号化されるピクチャは、０の値を有するＴｅｍｐｏｒａｌＩｄを有することができる。

一実施例において、ＮＡＬユニット情報に基づいてビットストリームから取得される符号化ピクチャは、次のように、符号化装置によってシグナリングされ、復号化装置によって識別されることができる。一方、これは一例を示すものであり、他の方式でピクチャが識別されることもできる。

ＩＲＡＰ（Ｉｎｔｒａ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）ピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまでの値の範囲を有するｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに対して、すべてのＶＣＬ ＮＡＬユニットが同じ値を有する符号化ピクチャである。一実施例において、ＩＲＡＰピクチャは、その復号化プロセスにおいて、インター予測を行うために自分自身以外には他のピクチャを参照しなくてもよい。そして、ＩＲＡＰピクチャは、後述するＣＲＡピクチャ又はＩＤＲピクチャであり得る。復号化順序において、ビットストリームにおける１番目のピクチャは、ＩＲＡＰ又はＧＤＲピクチャとなるように強制されることができる。必須的なパラメータセットの参照が要求される場合において当該パラメータセットが利用可能となるように、復号化順序においてＣＶＳ内のＩＲＡＰピクチャとすべての後続するｎｏｎ－ＲＡＳＬピクチャは正しく復号化されることができる。これは、復号化順序においてＩＲＡＰピクチャより先行する他の任意のピクチャの復号化プロセスを実行しなくても行われることができる。

ＣＲＡ（Ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）ピクチャは、それぞれのＶＣＬ ＮＡＬユニットがＣＲＡ＿ＮＵＴと同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＲＡＰピクチャである。例えば、ＣＲＡピクチャは、その復号化プロセスにおいてインター予測を行うために自分自身以外には他のピクチャを参照しないピクチャである。そして、ＣＲＡピクチャは、復号化順序でビットストリームにおける１番目のピクチャであってもよく、ビットストリームにおける後順序のピクチャとして現れてもよい。ＣＲＡピクチャは、関連したＲＡＤＬ又はＲＡＳＬピクチャを有することができる。ＣＲＡピクチャがＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇの値として１を有する場合、関連したＲＡＳＬピクチャは復号化装置によって出力されない可能性がある。これは、当該ＣＲＡピクチャが当該ビットストリームで提供されないピクチャに対する参照を含まないなどの理由で復号化できない可能性があるためである。一実施例において、画像の復号化の際に、不完全なピクチャが出力されない場合、ＣＲＡピクチャが不完全なピクチャであれば、ＣＲＡピクチャは、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇの値として１を有することができる。

ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ピクチャは、ＩＲＡＰピクチャであって、個別ＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰと同じ値を有するピクチャである。例えば、ＩＤＲピクチャは、その復号化プロセスにおいて、インター予測を行うために自分自身以外には他のピクチャを参照しなくてもよい。そして、ＩＤＲピクチャは、復号化順でビットストリームにおける一番目のピクチャとして現れることができる。あるいは、ＩＤＲピクチャは、ビットストリームにおける後順位のピクチャとして現れることもできる。それぞれのＩＤＲピクチャは、復号化順序で１つのＣＶＳの一番目のピクチャであり得る。それぞれのＶＣＬ ＮＡＬユニットに対するＩＤＲピクチャがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＩＤＲ＿Ｗ＿ＲＡＤＬと同じ値を有する場合、当該ＩＤＲピクチャは、関連したＲＡＤＬピクチャを有することもできる。それぞれのＶＣＬ ＮＡＬユニットに対するＩＤＲピクチャがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＩＤＲ＿Ｎ＿ＬＰと同じ値を有する場合、当該ＩＤＲピクチャは、関連したリーディングピクチャを有しなくてもよい。ＩＤＲピクチャは、関連したＲＡＳＬピクチャを有しなくてもよい。

ＲＡＤＬ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ）ピクチャは、符号化されたピクチャであって、個別ＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＲＡＤＬ＿ＮＵＴの値を有するピクチャであり得る。一実施例において、すべてのＲＡＤＬピクチャはリーディングピクチャであり得る。ＲＡＤＬピクチャは、同じ関連ＩＲＡＰピクチャのトレーリングピクチャの復号化プロセスのために参照ピクチャとして使用されなくてもよい。ビットストリームから取得されるシンタックス要素ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値が０である場合、存在するすべてのＲＡＤＬピクチャは、復号化順序で同じ関連ＩＲＡＰピクチャのすべての非リーディングピクチャよりも先行することができる。

ＲＡＳＬ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｓｋｉｐｐｅｄ ｌｅａｄｉｎｇ）ピクチャは、個別ＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＲＡＳＬ＿ＮＵＴを有する符号化ピクチャであり得る。一実施例において、全てのＲＡＳＬピクチャは、関連したＣＲＡピクチャのリーディングピクチャであり得る。関連するＣＲＡピクチャがＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇの値として１を有する場合、ＲＡＳＬピクチャは、出力されず、正常に復号化されない可能性がある。これは、ＲＡＳＬピクチャがビットストリームで提供されないピクチャの参照を含むためであり得る。ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号化プロセスのために参照ピクチャとして使用されなくてもよい。ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値が０である場合、存在するすべてのＲＡＳＬピクチャは、復号化順序で同じ連関ＣＲＡピクチャのすべての非リーディングピクチャよりも先行することができる。

トレーリングピクチャ（Ｔｒａｉｌｉｎｇ ｐｉｃｔｕｒｅ）は、関連するＩＲＡＰピクチャを出力順序で後行しながら、ＳＴＳＡピクチャではない非ＩＲＡＰピクチャである。ＩＲＡＰピクチャに関連したトレーリングピクチャは、復号化順序に従って当該ＩＲＡＰピクチャの後ろに位置することができる。出力順序に従って前記関連するＩＲＡＰピクチャの後ろに位置し、復号化順序に従って前記関連するＩＲＡＰピクチャの前に位置するピクチャは許容されない。

ＧＤＲ（Ｇｒａｄｕａｌ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ピクチャは、個別ＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅとしてＧＤＲ＿ＮＵＴの値を有するピクチャである。

ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒ ａｃｃｅｓｓ）ピクチャは、個別ＶＣＬ ＮＡＬユニットがｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値としてＳＴＳＡ＿ＮＵＴを有するピクチャである。ＳＴＳＡピクチャは、インター予測参照のためにＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄを有するピクチャを使用しなくてもよい。ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄを有し、復号化順序でＳＴＳＡピクチャの後ろに位置したピクチャは、インター予測参照のためのＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄを有し、復号化順序でＳＴＳＡピクチャより先行して位置したピクチャを利用しなくてもよい。

ＳＴＳＡピクチャは、該当ＳＴＳＡピクチャにおいて、該当ＳＴＳＡピクチャを含むサブレイヤの直下のサブレイヤから該当ＳＴＳＡピクチャを含むサブレイヤへのアップスイッチングを可能にすることができる。ＳＴＳＡピクチャは、０より大きいＴｅｍｐｏｒａｌＩｄを有するように強制されることができる。

一実施例において、シングルレイヤ又はマルチレイヤビットストリームに対して、以下の制限のうちの少なくとも１つが適用できる。

－復号化順序でビットストリームにおける一番目のピクチャではない個別ピクチャは、復号化順序における以前のＩＲＡＰピクチャに連関するものと見なされることができる。

－ＩＲＡＰピクチャのリーディングピクチャである場合、当該ピクチャはＲＡＤＬ又はＲＡＳＬピクチャであり得る。

－ＩＲＡＰピクチャのトレーリングピクチャである場合、当該ピクチャはＲＡＤＬ又はＲＡＳＬピクチャ以外のピクチャとなるように制限されることができる。

－ＩＤＲピクチャに連関したビットストリームにＲＡＳＬピクチャが提供されないように制限されることができる。

－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＩＤＲ＿Ｎ＿ＬＰであるＩＤＲピクチャに連関したビットストリームにはＲＡＤＬピクチャが提供されないように制限されることができる。（例えば、各パラメータセットセットが、それが参照されるとき、ビットストリームで又は外部手段によって利用可能であれば、ＩＲＡＰ ＰＵの位置でランダムアクセスはＩＲＡＰ ＰＵ以前のすべてのＰＵを捨てることにより行われることができる。また、ＩＲＡＰピクチャ及び復号化順序において後続する非ＲＡＳＬピクチャを正確に復号化することができる。）

－復号化順序に従ってＩＲＡＰピクチャより先行する全てのピクチャは、出力順序に従ってＩＲＡＰピクチャを先行するように強制されることができ、出力順序に従って前記ＩＲＡＰピクチャに連関した全てのＲＡＤＬピクチャより先行するように強制されることができる。

－ＣＲＡピクチャに連関した全てのＲＡＳＬピクチャは、出力順序に従ってＣＲＡピクチャに関連した全てのＲＡＤＬピクチャを先行するように制限されることができる。

－ＣＲＡピクチャに連関した全てのＲＡＳＬピクチャは、ＣＲＡピクチャを復号化順序に従って先行する全てのＩＲＡＰピクチャよりも出力順序に従って後ろに位置することができる。

－ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値が０であり、現在ピクチャがＩＲＡＰピクチャに関連したリーディングピクチャである場合、現在ピクチャは、同じＩＲＡＰピクチャに連関した全ての非リーディングピクチャを復号化順序に従って先行することができる。そうでなければ、ＩＲＡＰピクチャに連関したリーディングピクチャのうち、復号化順序による一番目のリーディングピクチャｐｉｃＡと最後のリーディングピクチャｐｉｃＢに対して、復号化順序に従ってｐｉｃＡより先行する非リーディングピクチャが最大１つ存在するように強制されることができ、復号化順序に従ってｐｉｃＡとｐｉｃＢとの間に非リーディングピクチャは存在しないように強制されることができる。

マルチレイヤベースの符号化

本開示による画像／ビデオコーディングは、マルチレイヤベースの画像／ビデオコーディングを含むことができる。前記マルチレイヤベースの画像／ビデオコーディングは、スケーラブルコーディングを含むことができる。マルチレイヤベースのコーディング又はスケーラブルコーディングでは、入力信号をレイヤごとに処理することができる。レイヤによって、入力信号（入力画像／ピクチャ）は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、フレームレート（ｆｒａｍｅ ｒａｔｅ）、ビットデプス（ｂｉｔ－ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ ｆｏｒｍａｔ）、アスファクトレート（ａｓｐｅｃｔ ｒａｔｉｏ）、ビュー（ｖｉｅｗ）のうちの少なくとも１つに対して互いに異なる値を有することができる。この場合、レイヤ間の差異点を利用して（例えば、スケーラビリティに基づいて）、レイヤ間の予測を行うことにより、情報の重複伝送／処理を減らし、圧縮効率を高めることができる。

図７は、本開示の実施例が適用でき、マルチレイヤベースのビデオ／画像信号の符号化が行われるマルチレイヤ符号化装置７００の概略的なブロック図を示す。

図７のマルチレイヤ符号化装置７００は、前記図２の符号化装置を含むことができる。図２と比較して、図７のマルチレイヤ符号化装置７００では、画像分割部１１０及び加算部１５５の図示が省略されているが、前記マルチレイヤ符号化装置７００は、画像分割部１１０及び加算部１５５を含むことができる。一実施例において、画像分割部１１０及び加算部１５５はレイヤ単位で含まれることができる。以下、図７についての説明では、マルチレイヤベースの予測について重点的に説明する。例えば、以下に説明される内容の他にも、図７のマルチレイヤ符号化装置７００は、先立って図２を参照して説明したような符号化装置に対する技術的思想を含むことができる。

説明の便宜のために、２つのレイヤからなるマルチレイヤ構造が図７に示されている。しかし、本開示の実施例は、２つのレイヤに限定されず、本開示の実施例が適用されるマルチレイヤ構造は、２つ以上のレイヤを含むことができる。

図７を参照すると、符号化装置７００は、レイヤ１に対する符号化部７００－１と、レイヤ０に対する符号化部７００－０と、を含む。レイヤ０はベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１はエンハンスメントレイヤ、現在レイヤ又は上位レイヤであり得る。

レイヤ１の符号化部７００－１は、予測部７２０－１、レジデュアル処理部７３０－１、フィルタリング部７６０－１、メモリ７７０－１、エントロピー符号化部７４０－１、及びＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ）７７０を含むことができる。一実施例において、前記ＭＵＸは外部コンポーネントとして含まれてもよい。

レイヤ０の符号化部７００－０は、予測部７２０－０、レジデュアル処理部７３０－０、フィルタリング部７６０－０、メモリ７７０－０及びエントロピー符号化部７４０－０を含むことができる。

予測部７２０－０、７２０－１は、入力された画像に対して上述したように様々な予測技法に基づいて予測を行うことができる。例えば、予測部７２０－０、７２０－１は、インター予測とイントラ予測を行うことができる。予測部７２０－０、７２０－１は、所定の処理単位で予測を行うことができる。予測の実行単位は、コーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であってもよく、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であってもよい。予測の結果に基づいて予測されたブロック（予測サンプルを含む）が生成されることができ、これに基づいてレジデュアル処理部はレジデュアルブロック（レジデュアルサンプルを含む）を導出することができる。

インター予測を通じては、現在ピクチャの以前ピクチャ及び／又は以後ピクチャのうちの少なくとも１つのピクチャの情報に基づいて予測を行って予測ブロックを生成することができる。イントラ予測を通じては、現在ピクチャ内の周辺サンプルに基づいて予測を行って予測ブロックを生成することができる。

インター予測のモード又は方法として、上述した様々な予測モード方法などが使用できる。インター予測では、予測対象である現在ブロックに対して参照ピクチャを選択し、参照ピクチャ内で現在ブロックに対応する参照ブロックを選択することができる。予測部７２０－０、７２０－１は、参照ブロックに基づいて予測されたブロックを生成することができる。

また、予測部７２０－１は、レイヤ０の情報を用いてレイヤ１に対する予測を行うことができる。本開示では、他のレイヤの情報を用いて現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測と呼ぶ。

他のレイヤの情報を用いて予測される（例えば、インターレイヤ予測によって予測される）現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

また、現在レイヤに対する予測に用いられる（例えば、インターレイヤ予測に用いられる）他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

インターレイヤ予測において、現在ブロックは、現在レイヤ（例えば、レイヤ１）内の現在ピクチャ内のブロックであって、符号化対象のブロックであり得る。参照ブロックは、現在ブロックの予測に参照されるレイヤ（参照レイヤ、例えば、レイヤ０）において現在ブロックの属するピクチャ（現在ピクチャ）と同じアクセスユニット（ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ）に属するピクチャ（参照ピクチャ）内のブロックであって、現在ブロックに対応するブロックであり得る。

インターレイヤ予測の一例として、参照レイヤの動き情報を用いて現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によれば、参照ブロックの動き情報を用いて現在ブロックの動き情報を予測することができる。すなわち、後述するインター予測モードに従って動き情報を導出する際に、時間的周辺ブロックの代わりにインターレイヤ参照ブロックの動き情報に基づいて動き情報候補を導出することができる。

インターレイヤ動き予測を適用する場合に、予測部７２０－１は、参照レイヤの参照ブロック（すなわち、インターレイヤ参照ブロック）動き情報をスケーリングして利用することもできる。

インターレイヤ予測の別の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として用いることができる。このとき、予測部７２０－１は、参照ブロックのテクスチャをアップサンプリングによってスケーリングされることができる。インターレイヤテクスチャ予測は、インターレイヤ（復元）サンプル予測、又は単にインターレイヤ予測と呼ばれることがある。

インターレイヤ予測の別の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用するか、或いは参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。

インターレイヤ予測の別の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を用いて現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を行うことができる。

インターレイヤ予測の別の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリング又はダウンサンプリングした画像同士間の差分を利用して、現在ブロックに対する予測を行うことができる。

インターレイヤ予測の別の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を用いて現在ブロックのテクスチャを予測又は生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに関する情報、動き情報を含むことができる。

上述したインターレイヤを用いた予測方法は、特定のブロックに対する予測の際に複数個が用いられることもできる。

ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用可能なインターレイヤ予測は、これらに限定されない。

例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。すなわち、参照レイヤから誘導された参照ピクチャを、現在ブロックのインター予測に参照可能な参照ピクチャに含ませて、現在ブロックに対するインター予測を行うこともできる。

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部７２０－１は、インターレイヤ参照ピクチャを用いて現在ブロックに対するインター予測を行うことができる。

ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャであり得る。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合には、サンプリングなしに参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして用いることができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャにおけるサンプルの幅と高さが同一であり、参照レイヤのピクチャにおける左上端、右上端、左下端、右下端と、現在レイヤのピクチャにおける左上端、右上端、左下端及び右下端とのオフセットが０である場合、参照レイヤの復元されたピクチャを再びサンプリングせず、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。

また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャであり得る。

インターレイヤ参照ピクチャを参照ピクチャリストに含めて現在ブロックに対するインター予測を行う場合に、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は参照ピクチャリストＬ０とＬ１で互いに異なることができる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの後にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。

ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使用される参照ピクチャリスト又はＢスライスのインター予測において１番目の参照ピクチャリストとして用いられる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使用される２番目の参照ピクチャリストである。

したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順で構成されることができる。

ここで、Ｐスライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）は、イントラ予測が行われるか、或いは予測ブロックあたり最大１つの動きベクトル及び参照ピクチャインデックスを用いてインター予測が行われるスライスである。Ｂスライス（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）は、イントラ予測が行われるか、或いは予測ブロックあたり最大２つの動きベクトルと参照ピクチャインデックスを用いて予測が行われるスライスである。これに関して、Ｉスライス（ｉｎｔｒａ ｓｌｉｃｅ）は、イントラ予測のみが適用されたスライスである。

また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を行う場合に、参照ピクチャリストは、複数のレイヤから誘導された複数のインターレイヤ参照ピクチャを含むことができる。

複数のインターレイヤ参照ピクチャを含む場合に、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１において交差配置されることもできる。例えば、２つのインターレイヤ参照ピクチャ（Ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）、インターレイヤ参照ピクチャＩＬＲＰｉ及びインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使用される参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの後ろに位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの後ろに位置することができる。

この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順で構成されることができる。

また、２つのインターレイヤ参照ピクチャのうち、いずれか一つは、解像度に関するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャでもあり得る。この場合、例えば、ＩＬＲＰｉは異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊは異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャであれば、ビュー（ｖｉｅｗ）を除いたスケーラビリティのみを支援するスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順で構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順で構成されることができる。

一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみが用いられてもよく、動き情報（動きベクトル）のみが用いられてもよく、サンプル値と動き情報の両方が用いられてもよい。予測部７２０－１は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指し示す場合に、符号化装置から受信した情報に応じてインターレイヤ参照ピクチャのサンプル値のみを用いるか、或いはインターレイヤ参照ピクチャの動き情報（動きベクトル）のみを用いるか、或いはインターレイヤ参照ピクチャのサンプル値と動き情報の両方を用いることができる。

インターレイヤ参照ピクチャのサンプル値のみを用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャにおいて動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー（ｖｉｅｗ）を考慮しないスケーラブルビデオコーディングの場合に、インターレイヤ参照ピクチャを用いるインター予測（インターレイヤ予測）における動きベクトルは、固定された値（例えば、０）に設定されることができる。

インターレイヤ参照ピクチャの動き情報のみを用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として用いることができる。また、予測部７２０－１は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして用いることもできる。

インターレイヤ参照ピクチャのサンプルと動き情報の両方を用いる場合に、予測部７２０－１は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルと、インターレイヤ参照ピクチャで特定される動き情報（動きベクトル）を現在ブロックの予測に用いることができる。

符号化装置は、インターレイヤ予測が適用される場合に、参照ピクチャリストにおいてインターレイヤ参照ピクチャを指し示す参照インデックスを復号化装置へ伝送することができ、インターレイヤ参照ピクチャからどの情報（サンプル情報、動き情報、又はサンプル情報と動き情報の両方）を用いるかを特定する情報、すなわち２つのレイヤの間でインターレイヤ予測に関する依存性（ｄｅｐｅｎｄｅｎｃｙ）のタイプ（ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ）を特定する情報も復号化装置へ伝送することができる。

図８は、本開示の実施例が適用でき、マルチレイヤベースのビデオ／画像信号の復号化が行われる復号化装置の概略的なブロック図を示す。図８の復号化装置は、前記図３の復号化装置を含むことができる。図８に示されている再整列部は、省略されるか、或いは逆量子化部に含まれることができる。本図面についての説明では、マルチレイヤベースの予測について重点的に説明する。その他は、前記図３で説明された復号化装置についての説明内容を含むことができる。

また、図８の例では、説明の便宜のために、２つのレイヤからなるマルチレイヤ構造を例として説明する。しかし、本開示の実施例はこれに限定されず、本開示の実施例が適用されるマルチレイヤ構造は２つ以上のレイヤを含むことができることに留意されたい。

図８を参照すると、復号化装置８００は、レイヤ１に対する復号化部８００－１と、レイヤ０に対する復号化部８００－０と、を含むことができる。レイヤ１の復号化部８００－１は、エントロピー復号化部８１０－１、レジデュアル処理部８２０－１、予測部８３０－１、加算器８４０－１、フィルタリング部８５０－１、メモリ８６０－１を含むことができる。レイヤ０の復号化部８００－０は、エントロピー復号化部８１０－０、レジデュアル処理部８２０－０、予測部８３０－０、加算器８４０－０、フィルタリング部８５０－０、メモリ８６０－０を含むことができる。

符号化装置から画像情報を含むビットストリームが伝送されると、ＤＥＭＵＸ８０５は、レイヤごとに情報をデマルチプレクシングして各レイヤ別の復号化装置へ伝達することができる。

エントロピー復号化部８１０－１、８１０－０は、符号化装置で使用したコーディング方式に対応して復号化を行うことができる。例えば、符号化装置でＣＡＢＡＣが使用された場合に、エントロピー復号化部８１０－１、８１０－０も、ＣＡＢＡＣを用いてエントロピー復号化を行うことができる。

現在ブロックに対する予測モードがイントラ予測モード（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）である場合に、予測部８３０－１、８３０－０は、現在ピクチャ内の周辺復元サンプルに基づいて現在ブロックに対するイントラ予測を行うことができる。

現在ブロックに対する予測モードがインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）モードである場合に、予測部８３０－１、８３０－０は、現在ピクチャの以前ピクチャ又は以後ピクチャのうちの少なくとも１つのピクチャに含まれている情報に基づいて、現在ブロックに対するインター予測を行うことができる。インター予測に必要な動き情報の一部又は全部は、符号化装置から受信した情報を確認し、それに対応して誘導されることができる。

インター予測のモードとしてスキップモードが適用される場合には、符号化装置からレジデュアルが伝送されず、予測ブロックを復元ブロックとすることができる。

一方、レイヤ１の予測部８３０－１は、レイヤ１内の情報のみを用いてインター予測又はイントラ予測を行ってもよく、他のレイヤ（レイヤ０）の情報を用いてインターレイヤ予測を行ってもよい。

他のレイヤの情報を用いて予測される（例えば、インターレイヤ予測によって予測される）現在レイヤの情報としては、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも１つであり得る。

また、現在レイヤに対する予測に用いられる（例えば、インターレイヤ予測に用いられる）他のレイヤの情報としては、テクスチャ、動き情報、ユニット情報、所定のパラメータ（例えば、フィルタリングパラメータなど）のうちの少なくとも一つであり得る。

インターレイヤ予測において、現在ブロックは、現在レイヤ（例えば、レイヤ１）内の現在ピクチャ内のブロックであって、復号化対象ブロックであり得る。参照ブロックは、現在ブロックの予測に参照されるレイヤ（参照レイヤ、例えば、レイヤ０）における、現在ブロックの属するピクチャ（現在ピクチャ）と同じアクセスユニット（ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ）に属するピクチャ（参照ピクチャ）内のブロックであって、現在ブロックに対応するブロックであり得る。

マルチレイヤ復号化装置８００は、先立ってマルチレイヤ符号化装置７００で説明したようにインターレイヤ予測を行うことができる。例えば、マルチレイヤ復号化装置８００は、先立ってマルチレイヤ符号化装置７００で説明したように、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを行うことができ、本開示で適用することが可能なインターレイヤ予測は、これらに限定されない。

予測部８３０－１は、符号化装置から受信した参照ピクチャインデックス或いは周辺ブロックから誘導した参照ピクチャインデックスが参照ピクチャリスト内でインターレイヤ参照ピクチャを指し示す場合に、インターレイヤ参照ピクチャを用いたインターレイヤ予測を行うことができる。例えば、予測部８３０－１は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指し示す場合に、インターレイヤ参照ピクチャにおいて動きベクトルによって特定される領域のサンプル値を現在ブロックに対する予測ブロックとして誘導することができる。

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部８３０－１は、インターレイヤ参照ピクチャを用いて現在ブロックに対するインター予測を行うことができる。

ここで、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャであり得る。参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合に対する処理も、符号化過程での処理と同様に行われることができる。

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャであり得る。

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャを参照ピクチャリストに含めて、現在ブロックに対するインター予測を行う場合に、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で互いに異なり得る。

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を行う場合に、参照ピクチャリストは、複数のレイヤから誘導された複数のインターレイヤ参照ピクチャを含むことができ、インターレイヤ参照ピクチャの配置も、先立って符号化過程で説明したのと対応するように行われることができる。

また、先立ってマルチレイヤ符号化装置７００で説明したように、マルチレイヤ復号化装置８００の動作において、インターレイヤ参照ピクチャの情報は、サンプル値のみ用いられてもよく、動き情報（動きベクトル）のみ用いられてもよく、サンプル値と動き情報の両方が用いられてもよい。

マルチレイヤ復号化装置８００は、参照ピクチャリストにおいてインターレイヤ参照ピクチャを指し示す参照インデックスをマルチレイヤ符号化装置７００から受信し、それに基づいてインターレイヤ予測を行うことができる。また、マルチレイヤ復号化装置８００は、インターレイヤ参照ピクチャからどの情報（サンプル情報、動き情報、又はサンプル情報と動き情報の両方）を用いるかを指し示す情報、すなわち２つのレイヤの間でインターレイヤ予測に関する依存性（ｄｅｐｅｎｄｅｎｃｙ）のタイプ（ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ）を特定する情報も、マルチレイヤ符号化装置７００から受信することができる。

ＨＬＳ（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）シグナリング及びセマンティクス

前述したように、ＨＬＳは、ビデオ及び／又は画像符号化のために符号化及び／又はシグナリングされることができる。前述したように、本開示におけるビデオ／画像情報はＨＬＳに含まれることができる。そして、画像／ビデオ符号化方法は、このような画像／ビデオ情報に基づいて行われることができる。

Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｓｉｇｎａｌｌｉｎｇ

ビデオパラメータセット（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ）は、階層情報の伝送のために用いられるパラメータセットである。前記階層情報は、例えば、出力レイヤセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）に関する情報、プロファイルディアレベル（ｐｒｏｆｉｌｅ ｔｉｅｒ ｌｅｖｅｌ）に関する情報、ＯＬＳと仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）との関係に関する情報、ＯＬＳとＤＰＢとの関係に関する情報などを含むことができる。ＶＰＳは、ビットストリームの復号化に必須ではなくてもよい。ＶＰＳ ＲＢＳＰ（ｒａｗ ｂｙｔｅ ｓｅｑｕｅｎｃｅ ｐａｙｌｏａｄ）は、参照される前に、ＴｅｍｐｏｒａｌＩＤが０である少なくとも１つのアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。ＣＶＳ内で特定の値のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つすべてのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。

図９は、本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。以下、図９のシンタックス要素について説明する。

ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＶＰＳに対する識別子を提供する。他のシンタックス要素は、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを用いてＶＰＳを参照することができる。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０より大きくなければならない。

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ＶＰＳを参照する個別ＣＶＳに存在するレイヤの最大許容個数を示すことができる。例えば、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳを参照する個別ＣＶＳに存在するレイヤの最大許容個数を示すことができる。

ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、前記ＶＰＳを参照する個別ＣＶＳにおけるレイヤに存在しうる時間的サブレイヤの最大個数を示すことができる。

ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値１は、時間的サブレイヤの個数が、前記ＶＰＳを参照する個別ＣＶＳにおけるすべてのレイヤにおいて同一であることを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値０は、時間的サブレイヤの個数が、前記ＶＰＳを参照する個別ＣＶＳにおけるレイヤで同一でもよく、同一でなくてもよいことを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値がビットストリームから提供されない場合、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇの値は１に誘導されることができる。

ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値１は、ＣＶＳに属するすべてのレイヤがインターレイヤ予測を用いず、独立して符号化されたことを示すことができる。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値０は、ＣＶＳに属する少なくとも１つのレイヤがインターレイヤ予測を用いて符号化されたことを示すことができる。

ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を示すことができる。任意の２つの負数でない整数値ｍ及びｎに対して、ｍがｎより小さい場合、ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｍ］はｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｎ］より小さい値を有するように制限されることができる。ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ＮＡＬユニットヘッダーでシグナリングされるシンタックス要素であって、ＮＡＬユニットの識別子を示すことができる。

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値１は、インデックスｉに対応するレイヤにはインターレイヤ予測が適用されないことを示すことができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値０は、インデックスｉに対応するレイヤにはインターレイヤ予測が適用でき、シンタックス要素ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］がＶＰＳから取得されることを示すことができる。ここで、ｊは、０からｉ－１までの値を有することができる。一方、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値がビットストリームに存在しない場合、その値は１に誘導されることができる。

ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値０は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤではないことを示すことができる。ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値１は、インデックスｊを有するレイヤが、インデックスｉを有するレイヤの直接参照レイヤであることを示すことができる。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までの値の範囲を有するｉ及びｊに対して、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値がビットストリームから取得されなければ、その値は０に誘導されることができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値が０であれば、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値が１となるようにする少なくとも１つのｊが存在する可能性があり、このとき、ｊの値の範囲は、０からｉ－１までの値の範囲を有することができる。

一実施例において、変数ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉ］、ＤｉｒｅｃｔＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｄ］、ＮｕｍＲｅｆＬａｙｅｒｓ［ｉ］、ＲｅｆＬａｙｅｒＩｄｘ［ｉ］［ｒ］、及びＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇｄ［ｊ］は、図１０の擬似コードを用いて誘導されることができる。

変数ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｉ］は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］と等しいレイヤのレイヤインデックスを示し、下記数式のように誘導されることができる。

［数式２］

ｆｏｒ（ｉ＝０；ｉ＜＝ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１；ｉ＋＋）

ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｉ］］＝ｉ

ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値１は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］がビットストリームから提供されることを示すことができる。ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値０は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］がビットストリームから提供されないことを示すことができる。

ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］の値０は、ｉ番目のレイヤのｎｏｎ－ＩＲＡＰピクチャによるインターレイヤ予測が使用されないことを示すことができる。ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］の０より大きい値は、ｉ番目のレイヤのピクチャの復号化のためにｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］－１より大きい時間的ＩＤ（ＴｅｍｐｏｒａｌＩｄ）を有するピクチャは、ＩＬＲＰ（ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）として使用されないことを示すことができる。一方、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］の値がビットストリームから取得されない場合、その値は７に誘導されることができる。

シンタックス要素ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値１は、個別ＯＬＳが１つのレイヤのみを有し、ＶＰＳを参照するＣＶＳに属する個別レイヤは、唯一つの出力レイヤである単独包含レイヤを有するＯＬＳであることを示すことができる。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値０は、ＯＬＳが１つよりも多いレイヤを含み得ることを示すことができる。一実施例において、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値が０であれば、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は１に誘導されることができる。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値が０であれば、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は０に誘導されることができる。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値０は、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを示すことができる。ｉ番目のＯＬＳは、０からｉまでのレイヤインデックスを有するレイヤを含むことができる。そして、個別ＯＬＳに対してＯＬＳのうちの最も高いレイヤが出力されることができる。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値１は、ＶＰＳによって指定されるＯＬＳの総数がｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に等しいことを示すことができる。ｉ番目のＯＬＳは、０からｉまでのレイヤインデックスを有するレイヤを含むことができる。そして、個別ＯＬＳに対してＯＬＳのすべてのレイヤが出力されることができる。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値２は、ＶＰＳによって指定されるＯＬＳの総数が明示的にシグナリングされ、個別ＯＬＳに対して出力レイヤが明示的にシグナリングされ、他のレイヤはＯＬＳの出力レイヤの直接又は参照レイヤであり得る。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は、０から２までの値を有することができる。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値３は、将来の使用のために保存されることができる。ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇの値が１であり、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値が０であれば、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値は２に誘導されることができる。

ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が所定の値である場合（例えば、値が２である場合）、シンタックス要素ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１に１を加えた値は、ＶＰＳによって指定されるＯＬＳの総数を示すことができる。

ＶＰＳによって指定されるＯＬＳの総数を示す変数ＴｏｔａｌＮｕｍＯｌｓｓは、図１１のように誘導されることができる。

ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値１は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が２である場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいレイヤはｉ番目のＯＬＳの出力レイヤであることを示すことができる。ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］の値０は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が２である場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｊ］に等しいレイヤはｉ番目のＯＬＳの出力レイヤではないことを示すことができる。

ｉ番目のＯＬＳにおける出力レイヤの個数を示す変数ＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓ［ｉ］、ｉ番目のＯＬＳにおけるｊ番目のレイヤに存在するサブレイヤの個数を示す変数ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］、ｉ番目のＯＬＳにおけるｊ番目の出力レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を示す変数ＯｕｔｐｕｔＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］、ｋ番目のレイヤが少なくとも１つのＯＬＳで１つの出力レイヤとして使用されるか否かを示す変数ＬａｙｅｒＵｓｅｄＡｓＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｋ］は、図１２の擬似コードのように誘導されることができる。

０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１までのｉの値のそれぞれに対して、ＬａｙｅｒＵｓｅｄＡｓＲｅｆＬａｙｅｒＦｌａｇ［ｉ］及びＬａｙｅｒＵｓｅｄＡｓＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｉ］の値がすべて０とならないように強制されることができる。例えば、少なくとも１つのＯＬＳの出力レイヤでもなく、他のレイヤの直接参照レイヤでもないレイヤは存在しないように強制されることができる。

個別ＯＬＳごとに、出力レイヤであるレイヤが少なくとも１つ存在するように強制されることができる。例えば、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までのそれぞれのｉ値に対して、ＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓ［ｉ］の値は、１以上の値を有するように強制されることができる。

ｉ番目のＯＬＳにおけるレイヤの個数を示す変数ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］及びｉ番目のＯＬＳにおけるｊ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を示す変数ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］は、図１３のように誘導されることができる。

一実施例において、０番目のＯＬＳは、最も低いレイヤのみを含むことができる。ここで、最も低いレイヤとは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がｖｐｓ＿ｌａｙｅｒ＿ｉｄ［０］であるレイヤを意味することができる。そして、０番目のＯＬＳに１つだけ含まれているレイヤは、出力として使用できる。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］と同じレイヤのＯＬＳレイヤインデックスを示す変数ＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、図１４のように誘導されることができる。

それぞれのＯＬＳに存在する最も低いレイヤは、独立レイヤとなるように制限されることができる。例えば、０からＴｏｔａｌＮｕｍＯｌｓｓ－１までの値の範囲を有するそれぞれのｉに対して、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［０］］］の値は、１となるように強制されることができる。

それぞれのレイヤは、ＶＰＳによって指定される少なくとも１つのＯＬＳに含まれるように強制されることができる。

ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］シグナリングの制限

シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］に関するシグナリングは、そのセマンティクスと機能において多少問題がある。

例えば、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］のセマンティクスは、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］の値が０より大きければ、ｉ番目のレイヤに存在するピクチャはそのインターレイヤ予測のために参照ピクチャから最大ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］－１個までのサブレイヤのみを使用することを示すことができる。

これは、ｉ番目のサブレイヤに存在するピクチャはそのインターレイヤ予測を行うために参照ピクチャから最大ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］－１までのサブレイヤを使用することができることを示す。

前記シンタックス要素は、変数ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］の誘導を許容するために設計された。ここで、変数ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］は、ｉ番目のＯＬＳにおけるｊ番目のレイヤに存在するサブレイヤの個数を示すことができる。ここで、ＯＬＳは、出力レイヤセット（Ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ）の略字であって、出力レイヤとして指定された少なくとも１つのレイヤの集合を意味することができる。

抽出されたＯＬＳの出力レイヤではないレイヤに存在するサブレイヤ内に存在するピクチャを除去するために、変数ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］は、ビットストリーム抽出プロセスで使用されることができる。

このようなメカニズムは、１つのレイヤがインターレイヤ予測を行うために１つより多い参照レイヤを使用し、個別参照レイヤで使用されるサブレイヤの個数が同一でない場合に非効率性を示す。

例えば、インターレイヤ予測を行うために、レイヤ２がレイヤ０及びレイヤ１を参照すると仮定することができる。レイヤ０では、インターレイヤ予測を行うために２つのサブレイヤのみが使用されるのに対し、レイヤ１では、３つのサブレイヤが使用されることができる。このような例示において、上述したシグナリング方法によれば、レイヤ２はインターレイヤ予測を行うために３つのサブレイヤを使用し、このような方法では、レイヤ０ではサブレイヤ３又はそれ以上を除去することができなくなるという問題がある。

改善方案

以下の実施例は、上述した問題点を解決するための方案を提示する。個別実施例は、個別的に実施されるか、或いは一部又は全部が一緒に組み合わせられて実施されることができる。

改善方案１．１つのレイヤに対するインターレイヤ予測で使用されるサブレイヤの最大個数をシグナリングするために、すべての参照レイヤに対して１つの値をシグナリングする代わりに、１つのレイヤの個別参照レイヤごとに、前記参照レイヤで使用されるサブレイヤの最大個数がシグナリングされることができる。

改善方案２．レイヤｉに対する参照レイヤｊで使用される最大サブレイヤの個数は、レイヤｊがレイヤｉの直接参照レイヤである場合に限って提供されることができる。

改善方案３．１つのレイヤによるインターレイヤ予測のために使用されるサブレイヤの最大個数のシグナリングが存在するか否かを示すフラグが、全てのレイヤに対して１つシグナリングされることができる。これは、ＶＰＳでシグナリングされることができる。

ａ）シンタックス要素ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに変更されて使用されることができる。

ｂ）すべてのレイヤが独立したレイヤである場合、ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは提供されないことができる。ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが提供されない場合、ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に誘導されることができる。

改善方案４．直接参照レイヤ及び間接参照レイヤのためのＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳは、次のように誘導されることができる。

ａ）ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ［ｉ］の値が１である場合（例えば、ｔｒｕｅ）、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［０］はｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１の値に設定されることができる。

ｂ）ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ［ｉ］の値が０であり（例えば、ｆａｌｓｅ）、個別ＯＬＳに対して、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｌ］［ｋ］の値が真であれば、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］］］は、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ［ｌ］［ｋ］に誘導されることができる。

ｃ）前記改善方案４は、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が２である場合に適用されることができる。

実施例１

一実施例において、改善方案１及び２は、図１５に示されている変更されたＶＰＳのシンタックスに従って実施されることができる。以下に説明されたＶＰＳシンタックスに対して変更された図１５のシンタックス要素について説明する。

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値１は、インデックスｉを有するレイヤがインターレイヤ予測を用いないことを示すことができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値０は、インデックスｉを有するレイヤがインターレイヤ予測を用いることができ、シンタックス要素ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］がＶＰＳから取得されることを示すことができる。ここで、ｊは、０からｉ－１までの値を有することができる。ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値がビットストリームから取得されない場合、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］の値は１に誘導されることができる。

ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値１は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］がビットストリームから提供されることを示すことができる。ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値０は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］がビットストリームから提供されないことを示すことができる。

ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］の値０は、ｉ番目のレイヤの非ＩＲＡＰピクチャによるインターレイヤ予測のための参照レイヤとしてｊ番目のレイヤが使用されないことを示すことができる。ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］の０より大きい値は、ｉ番目のレイヤのピクチャの復号化のためにｊ番目のレイヤにおいてｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］－１より大きい時間的ＩＤ（ＴｅｍｐｏｒａｌＩｄ）レイヤを有するピクチャはＩＬＲＰ（ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）として使用されないことを示すことができる。一方、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］の値がビットストリームから取得されない場合、その値は７に誘導されることができる。

そして、上述した説明に従って変更されたシンタックス要素と変数を用いて、変数ＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓ［ｉ］、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］、ＯｕｔｐｕｔＬａｙｅｒＩｄＩｎＯｌｓ［ｉ］［ｊ］、及びＬａｙｅｒＵｓｅｄＡｓＯｕｔｐｕｔＬａｙｅｒＦｌａｇ［ｋ］は、図１６の擬似コードのように決定されることができる。

上述した方法のように、１つのレイヤの個別参照レイヤごとに、前記参照レイヤで使用されるサブレイヤの最大個数がシグナリングされることができ、レイヤｉに対する参照レイヤｊで使用される最大サブレイヤの個数は、レイヤｊがレイヤｉの直接参照レイヤである場合に限って提供されることができる。

実施例２

一実施例において、改善方案３は、図１７に示されている変更されたＶＰＳのシンタックスに従って実施されることができる。例えば、図１７のｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのように、１つのレイヤによるインターレイヤ予測のために使用されるサブレイヤの最大個数のシグナリングが存在するか否かを示すフラグが全てのレイヤに対して１つシグナリングされることができる。

例えば、前述したＶＰＳのシンタックスに対して変更された図１７のシンタックス要素ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値１は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］がビットストリームから提供されることを示すことができる。ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値０は、シンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］がビットストリームから提供されないことを示すことができる。

実施例３

前述した改善方案１、２及び４によるＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓの誘導は、図１８の擬似コードに従って行われることができる。図１８は、直接参照レイヤ及び間接参照レイヤのためのＮｕｍＯｕｔｐｕｔＬａｙｅｒｓＩｎＯｌｓを誘導する方法を示す擬似コードを示す図である。

図１８に示すように、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃの値が２である場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ［ｉ］の値が真であれば、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［０］はｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１の値に設定されることができ、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ［ｉ］の値が偽であり、個別ＯＬＳに対して、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｌ］［ｋ］の値が真であれば、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｖｐｓ＿ｌａｙｅｒ＿ｉｄ［ｋ］］］］はｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ［ｌ］［ｋ］に誘導されることができる。

符号化及び復号化方法

以下、一実施例による画像符号化装置及び画像復号化装置によって行われる画像符号化方法及び復号化方法について説明する。図１９は、一実施例による画像符号化装置が画像を符号化するために、及び／又は画像復号化装置が画像を復号化するために現在レイヤのサブレイヤの個数を決定する方法を説明するフローチャートである。

一実施例による画像復号化装置は、メモリとプロセッサを含み、復号化装置は、プロセッサの動作によって、以下に説明する実施例に従って復号化を行うことができる。一実施例による画像符号化装置は、メモリとプロセッサとを含み、符号化装置は、プロセッサの動作によって、以下に説明する実施例によって復号化装置の復号化に対応する方式で符号化を行うことができる。以下の説明の便宜のために復号化装置の動作を説明するが、以下の説明は、符号化装置に対しても適用されることができる。

一実施例において、現在レイヤのサブレイヤの個数は、現在レイヤに属するサブレイヤの個数を意味するものと用いられることができるが、他の実施例では、現在レイヤのサブレイヤの個数は、現在レイヤに要求されるサブレイヤの個数を意味するものとして用いられることもできる。

一実施例による復号化装置は、レイヤ間直接参照の如何を決定することができる（Ｓ１９１０）。ここで、前記レイヤ間直接参照の如何は、ビットストリームから取得される直接参照レイヤ情報によって決定されることができる。そして、前記直接参照レイヤ情報は、レイヤ間直接参照の如何を示すことができる。例えば、直接参照レイヤ情報は、前述したシンタックス要素ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］であり得る。

前記直接参照レイヤ情報は、インターレイヤ予測に基づいて符号化されるレイヤに対して前記ビットストリームから取得されることができる。ここで、前記インターレイヤ予測に基づいて符号化されるか否かは、前記ビットストリームから取得される独立レイヤ情報に基づいて決定されることができる。例えば、独立レイヤ情報は、前述したシンタックス要素ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］であり得る。

次に、復号化装置は、前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定することができる（Ｓ１９２０）。

ここで、前記現在レイヤのサブレイヤの個数は、前記現在レイヤが出力レイヤであるか否かに基づいて決定されることができる。一実施例において、現在レイヤが出力レイヤであるか否かは、図１８の擬似コードに示されているように、「ｉｆ（ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ）」又は「ｉｆ（ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｋ］）」によって決定されることができる。

一実施例において、前記現在レイヤが出力レイヤであるか否かに基づいて、前記現在レイヤのサブレイヤの個数は、サブレイヤの利用可能な最大個数として決定されることができる。これは、図１８の擬似コードに示されているように、「ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｊ］＝ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１」で実現されることができる。

一実施例において、前記現在レイヤが出力レイヤではないことに基づいて、前記現在レイヤのサブレイヤの個数は、前記レイヤ間直接参照の如何に基づいて決定された所定の値に決定されることもできる。

ここで、前記所定の値は、インターレイヤ予測を行うために参照可能なピクチャを示す最大識別子情報に基づいて決定されることができる。前記最大識別子情報は、第１レイヤの複数のピクチャのうち、前記最大識別子情報によって識別される値より大きい時間的識別子を有するピクチャが、第２レイヤの現在ピクチャを復号化するためにインターレイヤ参照ピクチャとして使用されないことを示す情報であることができ、例えば、最大識別子情報は、前述したシンタックス要素ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］であり得る。

一実施例において、前記第１レイヤは、前記現在レイヤであり、前記第２レイヤは、前記現在レイヤを直接参照レイヤとして利用可能なレイヤであり得る。

例えば、最大識別子情報は、図１８に示めされているｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｌ］［ｋ］であり得る。そして、現在レイヤのサブレイヤとそれを直接参照可能なレイヤとの関係は、図１８における「ｉｆ（ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｌ］［ｋ］）」によって識別されることができる。

前記現在レイヤが出力レイヤであるか否かは、前記ビットストリームから取得された出力レイヤセットモード情報に基づいて決定されることができ、ここで、出力レイヤセットモード情報は、前述したシンタックス要素ｏｌｓ＿ｍｏｄｅ＿ｉｄｃであり得る。

また、前記現在レイヤが出力レイヤであるか否かは、前記ビットストリームから取得された出力レイヤセットモード情報及び出力レイヤフラグに基づいて決定されることができ、ここで、出力レイヤフラグは、前述したシンタックス要素ｏｌｓ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］であり得る。

このような方式で決定されたサブレイヤの個数に基づいて、復号化装置は、現在レイヤのインターレイヤ予測を行うことにより現在レイヤを復号化することができ、符号化装置は、現在レイヤのインターレイヤ予測を行うことにより現在レイヤを符号化することができる。

例えば、一実施例において、画像復号化方法は、ビットストリームからレイヤの最大許容個数（例えば、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）を取得するステップと、最大許容個数に基づいて第１インデックス（例えば、ｉ）を有する現在レイヤを識別するステップと、ビットストリームから現在レイヤがインターレイヤ予測に基づいて符号化されたか否かを示す独立レイヤフラグ（例えば、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］）を取得するステップと、独立レイヤフラグに基づいてビットストリームから最大時間識別子シグナリングフラグ（例えば、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］）を取得するステップと、独立レイヤフラグと第１インデックス及び第２インデックスに基づいて、第２インデックスを有する参照レイヤが現在レイヤの直接参照レイヤであるかを示す直接参照レイヤフラグ（例えば、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］）をビットストリームから取得するステップと、最大時間識別子シグナリングフラグと直接参照レイヤフラグに基づいてビットストリームから最大時間識別子情報（例えば、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］）を取得するステップと、参照レイヤのサブレイヤの個数（例えば、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｋ］）を最大時間識別子情報に基づいて決定するステップと、を含むことができる。

また、一実施例において、画像符号化方法は、参照レイヤの参照ピクチャを符号化するステップ、参照ピクチャに基づいて現在レイヤの現在ピクチャを符号化するステップ、及び現在ピクチャの符号化情報を含むビットストリームを生成するステップを含むことができる。

ここで、インターレイヤ予測に基づいて現在レイヤが符号化されたかを示す独立レイヤフラグ（例えば、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］）がビットストリームに含まれることができる。さらに、最大時間識別子シグナリングフラグ（例えば、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｒｅｆ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］）が、インターレイヤ予測に基づいて現在レイヤが符号化されたか否かに基づいてビットストリームに含まれることができる。これに加えて、参照レイヤが現在レイヤの直接参照レイヤであるか否かを示す直接参照レイヤフラグ（例えば、ｖｐｓ＿ｄｉｒｅｃｔ＿ｒｅｆ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］）がビットストリームに含まれることができる。

また、最大時間識別子情報（例えば、ｖｐｓ＿ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ｉ］［ｊ］）が最大時間識別子シグナリングフラグ及び直接参照フラグに基づいてビットストリームに含まれることができる。さらに、現在レイヤから参照できる参照レイヤのサブレイヤの個数（例えば、ＮｕｍＳｕｂＬａｙｅｒｓＩｎＬａｙｅｒＩｎＯＬＳ［ｉ］［ｋ］）が最大時間識別子情報に基づいて符号化されることができる。

ここで、サブレイヤは、現在レイヤから参照されることができ、最大時間識別子フラグは、最大時間識別子情報がビットストリームから取得されるか否かを示すことができる。また、参照レイヤのピクチャのうち、最大時間識別子情報によって識別された値よりも大きい時間識別子値を有するピクチャは、現在レイヤの現在ピクチャを復号化するためのインターレイヤ参照ピクチャとして使用されなくてもよい。

応用実施例

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満たされる場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満たされるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

図２０は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

図２０に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

本開示による実施例は、画像を符号化／復号化するために利用可能である。

Claims (15)

1. 画像復号化装置によって行われる画像復号化方法であって、
   レイヤ間直接参照の如何を決定するステップと、
   前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定するステップと、を含む、画像復号化方法。
2. 前記レイヤ間直接参照の如何は、ビットストリームから取得される直接参照レイヤ情報によって決定され、
   前記直接参照レイヤ情報はレイヤ間直接参照の如何を示す、請求項１に記載の画像復号化方法。
3. 前記直接参照レイヤ情報は、インターレイヤ予測に基づいて符号化されるレイヤに対して前記ビットストリームから取得される、請求項２に記載の画像復号化方法。
4. 前記インターレイヤ予測に基づいて符号化されるか否かは、前記ビットストリームから取得される独立レイヤ情報に基づいて決定される、請求項３に記載の画像復号化方法。
5. 前記現在レイヤのサブレイヤの個数は、前記現在レイヤが出力レイヤであるか否かに基づいて決定される、請求項１に記載の画像復号化方法。
6. 前記現在レイヤが出力レイヤであるか否かに基づいて、前記現在レイヤのサブレイヤの個数は、サブレイヤの利用可能な最大個数と決定される、請求項５に記載の画像復号化方法。
7. 前記現在レイヤが出力レイヤではないことに基づいて、前記現在レイヤのサブレイヤの個数は、前記レイヤ間直接参照の如何に基づいて決定された所定の値に決定される、請求項５に記載の画像復号化方法。
8. 前記所定の値は、インターレイヤ予測を行うために参照可能なピクチャを示す最大識別子情報に基づいて決定される、請求項７に記載の画像復号化方法。
9. 前記最大識別子情報は、第１レイヤの複数のピクチャのうち、前記最大識別子情報によって識別される値よりも大きい時間的識別子を有するピクチャが、第２レイヤの対象ピクチャを復号化するためにインターレイヤ参照ピクチャとして使用されないことを示す、請求項８に記載の画像復号化方法。
10. 前記第１レイヤは前記現在レイヤであり、前記第２レイヤは前記現在レイヤを直接参照レイヤとして利用可能なレイヤである、請求項９に記載の画像復号化方法。
11. 前記現在レイヤが出力レイヤであるか否かは、前記ビットストリームから取得された出力レイヤセットモード情報に基づいて決定される、請求項７に記載の画像復号化方法。
12. 前記現在レイヤが出力レイヤであるか否かは、前記ビットストリームから取得された出力レイヤセットモード情報及び出力レイヤフラグに基づいて決定される、請求項７に記載の画像復号化方法。
13. メモリと少なくとも１つのプロセッサとを含む画像復号化装置であって、
    前記少なくとも１つのプロセッサは、
    レイヤ間直接参照の如何を決定し、
    前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定する、画像復号化装置。
14. 画像符号化装置によって行われる画像符号化方法であって、
    レイヤ間直接参照の如何を決定するステップと、
    前記レイヤ間直接参照の如何に基づいて現在レイヤのサブレイヤの個数を決定するステップと、を含む、画像符号化方法。
15. コンピュータ可読記録媒体であって、前記記録媒体には、復号化装置が請求項１に記載の画像復号化方法を行うように引き起こすビットストリームが保存された、記録媒体。

Images