JP2023516375A - 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 - Google Patents

Abstract

画像復号化方法は、現在ピクチャのＶＣＬ ＮＡＬユニットタイプ情報、及び現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かに関する第１フラグ情報をビットストリームから取得するステップと、取得されたＶＣＬ ＮＡＬユニットタイプ情報に基づいて、現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定するステップと、決定されたＮＡＬユニットタイプ及び第１フラグ情報に基づいて複数のスライスを復号化するステップと、を含み、現在ピクチャは、複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャを含み、第１フラグ情報は、複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャそれぞれが一つのピクチャとして扱われることを示す所定の値を有することができる。【選択図】図１５

Description

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、互いに異なるＮＡＬユニットタイプを有する２つ以上のサブピクチャに基づく画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存したコンピュータ可読記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存したコンピュータ可読記録媒体を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示の一態様による画像復号化方法は、現在ピクチャのＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ） ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプ情報、及び前記現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かに関する第１フラグ情報をビットストリームから取得するステップと、前記取得されたＶＣＬ ＮＡＬユニットタイプ情報に基づいて前記現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定するステップと、前記決定されたＮＡＬユニットタイプ及び前記第１フラグ情報に基づいて前記複数のスライスを復号化するステップと、を含み、前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャを含み、前記第１フラグ情報は、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて前記２以上のサブピクチャそれぞれが一つのピクチャとして扱われることを示す所定の値を有することができる。

本開示の他の態様による画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、現在ピクチャのＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ） ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプ情報、及び前記現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かに関する第１フラグ情報をビットストリームから取得し、前記取得されたＶＣＬ ＮＡＬユニットタイプ情報に基づいて、前記現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定し、前記決定されたＮＡＬユニットタイプ及び前記第１フラグ情報に基づいて前記複数のスライスを復号化し、前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャを含み、前記第１フラグ情報は、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて前記２以上のサブピクチャそれぞれが一つのピクチャとして扱われることを示す所定の値を有することができる。

本開示の別の態様による画像符号化方法は、現在ピクチャを１つ以上のサブピクチャに分割するステップと、前記１つ以上のサブピクチャに含まれている複数のスライスそれぞれのＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプを決定するステップと、前記決定されたＮＡＬユニットタイプに基づいて前記複数のスライスを符号化するステップと、を含み、前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャに分割され、前記２以上のサブピクチャそれぞれは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて一つのピクチャとして扱われることができる。

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、互いに異なるＮＡＬユニットタイプを有する２つ以上のサブピクチャに基づく画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化手順を概略的に示すフローチャートである。 本開示による実施例が適用できる画像符号化手順を概略的に示すフローチャートである。 コーディングされた画像／ビデオに対する階層構造の一例を示す図である。 本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）を示す図である。 本開示の一実施例によるスライスヘッダーを示す図である。 サブピクチャの一例を示す図である。 混成ＮＡＬユニットタイプを有するピクチャの一例を示す図である。 本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）の一例を示す図である。 本開示の一実施例によるシーケンスパラメータセット（ＳＰＳ）の一例を示す図である。 ピクチャ類型別の復号化順序及び出力順序を説明するための図である。 本開示の一実施例による現在ピクチャのＮＡＬユニットタイプを決定する方法を示すフローチャートである。 本開示の一実施例による画像符号化方法を示すフローチャートである。 本開示の一実施例による画像復号化方法を示すフローチャートである。 本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

ビデオコーディングシステムの概要

図１は、本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

画像復号化装置の概要

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

一般な画像／ビデオコーディング手順

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

図４は本開示による実施例が適用できる画像復号化手順を概略的に示すフローチャート図である。

図４に示されている各手順は、図３の画像符号化装置によって行われることができる。例えば、図４において、ステップＳ４１０は、エントロピー復号化部２１０によって行われることができ、ステップＳ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、ステップＳ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、ステップＳ４４０は、加算部２３５で行われることができ、ステップＳ４５０は、フィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号化手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

図５は、本開示による実施例が適用できる画像符号化手順を概略的に示すフローチャートである。

図５に示されている各手順は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ５１０は、イントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、ステップＳ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

コーディング階層及び構造の例

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

図６は、コーディングされた画像／ビデオに対する階層構造の一例を示す図である。

コーディングされた画像／ビデオは、画像／ビデオの復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰの類型によってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＤＣＩを含むＮＡＬユニットに対するタイプ

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＶＰＳを含むＮＡＬユニットに対するタイプ

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＳＰＳを含むＮＡＬユニットに対するタイプ

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＰＰＳを含むＮＡＬユニットに対するタイプ

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＡＰＳを含むＮＡＬユニットに対するタイプ

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＵＴ：ピクチャヘッダーを含むＮＵＬユニットに対するタイプ

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を用いて特定できる。

一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。

本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）は、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。

エントリポイント（Ｅｎｔｒｙ ｐｏｉｎｔｓ）シグナリングの概要

上述したように、ＶＣＬ ＮＡＬユニットは、ＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）としてスライスデータを含むことができる。スライスデータは、ＶＣＬ ＮＡＬユニット内でバイト単位にて整列され、１つ以上のサブセット（ｓｕｂｓｅｔｓ）を含むことができる。前記サブセットに対してランダムアクセス（Ｒａｎｄｏｍ Ａｃｃｅｓｓ、ＲＡ）のための少なくとも１つのエントリポイント（ｅｎｔｒｙ ｐｏｉｎｔ）が定義されることができ、前記エントリポイントに基づいて並列処理が行われることができる。

ＶＶＣ標準は、様々な並列処理技法の１つであるＷＰＰ（ｗａｖｅｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ）を支援する。ピクチャ内の複数のスライスは、ＷＰＰに基づいて並列に符号化／復号化できる。

並列処理能力を活性化するために、エントリポイント情報がシグナリングできる。画像復号化装置は、エントリポイント情報に基づいて、ＮＡＬユニットに含まれているデータセグメントの始点に直接アクセスすることができる。ここで、データセグメントの始点とは、スライス内のタイルの始点又はスライス内のＣＴＵ行の始点を意味することができる。

エントリポイント情報は、上位レベルシンタックス、例えば、ピクチャパラメータセット（ＰＰＳ）及び／又はスライスヘッダー内でシグナリングされることができる。

図７は、本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）を示す図であり、図８は、本開示の一実施例によるスライスヘッダーを示す図である。

まず、図７を参照すると、ピクチャパラメータセット（ＰＰＳ）は、エントリポイント情報のシグナリング存否を示すシンタックス要素としてｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むことができる。

ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ピクチャパラメータセット（ＰＰＳ）を参照するスライスヘッダー内にエントリポイント情報のシグナリングが存在するか否かを示すことができる。例えば、第１値（例えば、０）を有するｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、前記スライスヘッダー内に、タイル又はタイル内の特定のＣＴＵ行（ｒｏｗｓ）に対するエントリポイント情報のシグナリングが存在しないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、前記スライスヘッダー内に、タイル又はタイル内の特定のＣＴＵ行（ｒｏｗ）に対するエントリポイント情報のシグナリングが存在することを示すことができる。

一方、図７では、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがピクチャパラメータセット（ＰＰＳ）に含まれる場合を示すが、これは例示的なものなので、本開示の実施例はこれに限定されない。例えば、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。

次に、図８を参照すると、スライスヘッダーは、エントリポイントを識別するためのシンタックス要素としてｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１及びｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］を含むことができる。

ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］のビット長から１を差し引いた値を示すことができる。ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１の値は、０以上３１以下の範囲を持つことができる。一例において、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、エントリポイントの総個数を表す変数ＮｕｍＥｎｔｒｙＰｏｉｎｔｓに基づいてシグナリングされることができる。例えば、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓが０より大きい場合にのみシグナリングされることができる。また、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、図７を参照して前述したｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに基づいてシグナリングされることができる。例えば、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、１）を有する場合（すなわち、スライスヘッダー内にエントリポイント情報のシグナリングが存在する場合）にのみシグナリングされることができる。

ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］は、ｉ番目のエントリポイントオフセットをバイト単位で表すことができ、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１に１ビットを加算して表現できる。ＮＡＬユニット内のスライスデータは、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓに１を加算した値と同じ個数のサブセットを含むことができ、前記サブセットそれぞれを指示するインデックス値は、０以上ＮｕｍＥｎｔｒｙＰｏｉｎｔｓ以下の範囲を有することができる。ＮＡＬユニット内のスライスデータの１番目のバイトはバイト０で表現できる。

ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］がシグナリングされる場合、ＮＡＬユニット内のスライスデータに含まれているエミュレーション防止バイト（ｅｍｕｌａｔｉｏｎ ｐｒｅｖｅｎｔｉｏｎ ｂｙｔｅｓ）は、サブセット識別のためにスライスデータの一部としてカウンされることができる。スライスデータの１番目のサブセットであるサブセット０は、バイト０からｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［０］までの構成を持つことができる。同様に、スライスデータのｋ番目のサブセットであるサブセットｋは、ｆｉｒｓｔＢｙｔｅ［ｋ］からｌａｓｔＢｙｔｅ［ｋ］までの構成を持つことができる。ここで、ｆｉｒｓｔＢｙｔｅ［ｋ］は下記数式１のように導出でき、ｌａｓｔＢｙｔｅ［ｋ］は下記数式２のように導出できる。

数式１及び数式２中、ｋは、１以上であり、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓから１を差し引いた値の範囲を持つことができる。

スライスデータの最後のサブセット（すなわち、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓ番目のサブセット）は、スライスデータのリメイニングバイト（ｒｅｍａｉｎｉｎｇ ｂｙｔｅｓ）で構成できる。

一方、それぞれのタイル内のＣＴＢ行の１番目のＣＴＢを含むＣＴＵを復号化する前に、コンテキスト変数（ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅｓ）に対する所定の同期化プロセスが行われず（例えば、ｓｐｓ＿ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、スライスが１つ以上の完全な（ｃｏｍｐｌｅｔｅ）タイルを含む場合、スライスデータのそれぞれのサブセットは、同じタイル内の全てのＣＴＵに対する全ての符号化ビットで構成できる。この場合、スライスデータのサブセットの総個数は、スライス内のタイルの総個数と同じであり得る。

これとは異なり、前記所定の同期化プロセスが行われず、スライスがシングルタイル内のＣＴＵ行に対して１つのサブセットを含む場合、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓは０であり得る。この場合、スライスデータの１つのサブセットは、スライス内の全てのＣＴＵに対する全ての符号化ビットで構成できる。

これとは異なり、前記所定の同期化プロセスが行われる場合（例えば、ｓｐｓ＿ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、それぞれのサブセットは、１つのタイル内の１つのＣＴＵ行の全てのＣＴＵに対する全ての符号化ビットで構成できる。この場合、スライスデータのサブセットの総個数は、スライス内のタイル別のＣＴＵ行の総個数と同じであり得る。

混成ＮＡＬユニットタイプ（ｍｉｘｅｄ ＮＡＬ ｕｎｉｔ ｔｙｐｅ）の概要

一般に、１つのピクチャに対して１つのＮＡＬユニットタイプが設定できる。上述したように、ＮＡＬユニットタイプを表すシンタックス情報は、ＮＡＬユニット内のＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を用いて特定できる。

本開示による実施例が適用できるＮＡＬユニットタイプの一例は、下記表１の通りである。

表１を参照すると、ＶＣＬ ＮＡＬユニットタイプは、ピクチャの性質及び種類などによって、０番乃至１２番のＮＡＬユニットタイプに分類されることができる。また、ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって、１３番乃至３１番のＮＡＬユニットタイプに分類されることができる。

ＶＣＬ ＮＡＬユニットタイプの具体例は、次の通りである。

－ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＩＲＡＰピクチャのＮＡＬユニットに対するタイプ、ＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲に設定される。

－ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ） ＮＵＴ：ＩＤＲピクチャのＮＡＬユニットに対するタイプ、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに設定される。

－ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ） ＮＵＴ：ＣＲＡピクチャのＮＡＬユニットに対するタイプ、ＣＲＡ＿ＮＵＴに設定される。

－ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ） ＮＵＴ：ＲＡＤＬピクチャのＮＡＬユニットに対するタイプ、ＲＡＤＬ＿ＮＵＴに設定される。

－ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ） ＮＵＴ：ＲＡＳＬピクチャのＮＡＬユニットに対するタイプ、ＲＡＳＬ＿ＮＵＴに設定される。

－トレーリング（Ｔｒａｉｌｉｎｇ） ＮＵＴ：トレーリングピクチャのＮＡＬユニットに対するタイプ、ＴＲＡＩＬ＿ＮＵＴに設定される。

－ＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ） ＮＵＴ：ＧＤＲピクチャのＮＡＬユニットに対するタイプ、ＧＤＲ＿ＮＵＴに設定される。

－ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ） ＮＵＴ：ＳＴＳＡピクチャのＮＡＬユニットに対するタイプ、ＳＴＳＡ＿ＮＵＴに設定される。

一方、ＶＶＣ標準は、１つのピクチャが互いに異なるＮＡＬユニットタイプを有する複数のスライスを含むことを許容する。例えば、１つのピクチャは、第１ＮＡＬユニットタイプを有する少なくとも１つの第１スライスと、前記第１ＮＡＬユニットタイプとは異なる第２ＮＡＬユニットタイプを有する少なくとも１つの第２スライスを含むことができる。この場合、前記ピクチャのＮＡＬユニットタイプは、混成（ｍｉｘｅｄ）ＮＡＬユニットタイプと呼ばれることもある。このように、ＶＶＣ標準が混成ＮＡＬユニットタイプを支援することにより、コンテンツ合成過程、符号化／復号化過程などにおいて、複数のピクチャはより容易に再構成／合成できる。

しかしながら、混成ＮＡＬユニットタイプに関する既存のスキームによれば、２つのＮＡＬユニットタイプ間の混成のみが許容できるという限界がある。また、１つのピクチャが混成ＮＡＬユニットタイプを有する場合、前記ピクチャの１つ以上のＶＣＬ ＮＡＬユニットは、ＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲のＮＡＬユニットタイプを有しなければならず、前記ピクチャの残りのＶＣＬ ＮＡＬユニットは、ＴＲＡＩＬ＿ＮＵＴ乃至ＲＳＶ＿ＶＣＬ＿６の範囲のＮＡＬユニットタイプを有しなければならないという制限がある。その結果、混成ＮＡＬユニットタイプが画像処理過程で有用であるにもかかわらず、一般的に活用できないという問題が発生した。

かかる問題を解決するために、本開示の実施例によれば、２つ以上のＮＡＬユニットタイプ間の混成が許容され、より多様な類型の混成ＮＡＬユニットタイプが提供されることができる。

以下、添付図面を参照して本開示の実施例を詳細に説明する。

１つのピクチャが２つ以上のスライスを含み、前記スライスそれぞれのＮＡＬユニットタイプが互いに異なる場合、前記ピクチャは、２つ以上のサブピクチャを含むように制限され得る。すなわち、１つのピクチャが混成（ｍｉｘｅｄ）ＮＡＬユニットタイプを有する場合、前記ピクチャは、２つ以上のサブピクチャを含むことができる。

サブピクチャは、１つ以上のスライスを含むことができ、ピクチャ内で矩形領域を構成することができる。ピクチャ内でサブピクチャそれぞれのサイズは互いに異なるように設定されることができる。これとは異なり、１つのシーケンスに属する全てのピクチャに対して、特定の個別サブピクチャのサイズ及び位置は互いに同一に設定できる。

図９はサブピクチャの一例を示す図である。

図９を参照すると、１つのピクチャは、１８個のタイルに分割されることができる。前記ピクチャの左側には１２個のタイルが配置でき、前記タイルそれぞれは、４×４のＣＴＵからなる１つのスライスを含むことができる。また、前記ピクチャの右側には６つのタイルが配置でき、前記タイルそれぞれは、２×２のＣＴＵでそれぞれ構成され、垂直方向に積層される２つのスライスを含むことができる。その結果、前記ピクチャは、２４個のサブピクチャ及び２４個のスライスを含み、前記サブピクチャそれぞれは、１つのスライスを含むことができる。

一実施例において、１つのピクチャ内のそれぞれのサブピクチャは、混成ＮＡＬユニットタイプを支援するために１つのピクチャとして扱われることができる。サブピクチャが１つのピクチャとして扱われる場合、前記サブピクチャは、他のサブピクチャの符号化／復号化結果とは関係なく独立して符号化／復号化されることができる。ここで、独立した符号化／復号化とは、サブピクチャのブロック分割構造（例えば、シングルツリー構造、デュアルツリー構造など）、予測モードタイプ（例えば、イントラ予測、インター予測など）、復号化手順などが、他のサブピクチャとは異なるように設定できることを意味することができる。例えば、第１サブピクチャがイントラ予測モードに基づいて符号化／復号された場合、前記第１サブピクチャに隣接し、１つのピクチャとして扱われる第２サブピクチャは、インター予測モードに基づいて符号化／復号化できる。

このように、１つのピクチャが２つ以上の独立したサブピクチャを含み、前記サブピクチャそれぞれが互いに異なるＮＡＬユニットタイプを有する場合、前記ピクチャは、混成ＮＡＬユニットタイプを有することができる。

図１０は、混成ＮＡＬユニットタイプを有するピクチャの一例を示す図である。

図１０を参照すると、１つのピクチャ１０００は、第１乃至第３サブピクチャ１０１０～１０３０を含むことができる。第１及び第３サブピクチャ１０１０、１０３０は、それぞれ２つのスライスを含むことができる。これとは異なり、第２サブピクチャ１０２０は４つのスライスを含むことができる。

第１乃至第３サブピクチャ１０１０～１０３０がそれぞれ１つのピクチャとして扱われる場合、第１乃至第３サブピクチャ１０１０～１０３０は、それぞれ独立して符号化されて、互いに異なるビットストリームを構成することができる。例えば、第１サブピクチャ１０１０の符号化スライスデータは、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第１ビットストリーム（Ｂｉｔｓｔｒｅａｍ１）を構成することができる。また、第２サブピクチャ１０２０の符号化スライスデータは、ＲＡＤＬ＿ＮＵＴのようなＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第２ビットストリーム（Ｂｉｔｓｔｒｅａｍ２）を構成することができる。また、第３サブピクチャ１０３０の符号化スライスデータは、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ３）を構成することができる。その結果、１つのピクチャ１０００は、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴが混成された混成ＮＡＬユニットタイプを有することができる。

一実施例において、ピクチャ内のそれぞれのサブピクチャに含まれる全てのスライスは、同じＮＡＬユニットタイプを有するように制限されることができる。例えば、第１サブピクチャ１０１０に含まれる２つのスライスはいずれも、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。また、第２サブピクチャ１０２０に含まれる４つのスライスはいずれも、ＲＡＤＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。また、第３サブピクチャ１０３０に含まれる２つのスライスはいずれも、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

サブピクチャに関する情報は、上位レベルシンタックス、例えば、ピクチャパラメータセット（ＰＰＳ）及びシーケンスパラメータセット（ＳＰＳ）内でシグナリングされることができる。また、混成ＮＡＬユニットタイプの適用如何に関する情報は、上位レベルシンタックス、例えばピクチャパラメータセット（ＰＰＳ）内でシグナリングされることができる。

図１１は、本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）の一例を示す図であり、図１２は、本開示の一実施例によるシーケンスパラメータセット（ＳＰＳ）の一例を示す図である。

まず、図１１を参照すると、ピクチャパラメータセット（ＰＰＳ）は、混成ＮＡＬユニットタイプの適用如何に関するシンタックス要素としてｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ（又はｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）を含むことができる。

ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有しないことを示すことができる。この場合、現在ピクチャは、全てのＶＣＬ ＮＡＬユニットに対して同じＮＡＬユニットタイプ、例えば、符号化スライスＮＡＬユニットと同じＮＡＬユニットタイプを有することができる。これとは異なり、第２値（例えば、１）を有するｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有することを示すことができる。

一実施例において、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャのＶＣＬ ＮＡＬユニットは、ＧＤＲ＿ＮＵＴのようなＮＡＬユニットタイプを有しないように制限できる。

一実施例において、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャのいずれかのＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴのようなＮＡＬユニットタイプ（ＮＡＬユニットタイプＡ）を有すれば、現在ピクチャの他の全てのＶＣＬ ＮＡＬユニットは、前記ＮＡＬユニットタイプＡのようなＮＡＬユニットタイプを有するか、或いはＴＲＡＩＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するように制限できる。例えば、現在ピクチャのいずれかのＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有する場合、現在ピクチャの他の全てのＮＡＬユニットは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＴＲＡＩＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャ内のそれぞれのサブピクチャは、表１を参照して前述したＶＣＬ ＮＡＬユニットタイプのうちのいずれかを有することができる。例えば、現在ピクチャ内のサブピクチャがＩＤＲサブピクチャである場合、前記サブピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有することができる。或いは、現在ピクチャ内のサブピクチャがトレーリングサブピクチャである場合、前記サブピクチャは、ＴＲＡＩＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

したがって、第２値（例えば、１）を有するｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ピクチャパラメータセット（ＰＰＳ）を参照するピクチャが互いに異なるＮＡＬユニットタイプを有するスライスを含み得ることを示すことができる。ここで、前記ピクチャは、符号化器がビットストリーム構造のマッチング（ｍａｔｃｈｉｎｇ）及びオリジナルビットストリームのパラメータ間の整列（ａｌｉｇｎｍｅｎｔ）を確保（ｅｎｓｕｒｅ）しなければならないサブピクチャビットストリームマージ動作から起源することができる。前記整列の一例として、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有するスライスに対する参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ、ＲＰＬ）シンタックス要素がスライスヘッダー内に存在せず（例えば、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝＝０）、前記スライスを含む現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプのスライスを含まないように制限できる。

一方、出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用されないように制限された場合（例えば、ｇｃｉ＿ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ＝＝１）、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、第１値（例えば、０）を有することができる。

また、ピクチャパラメータセット（ＰＰＳ）は、ピクチャ分割如何を示すシンタックス要素としてｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ（又はｎｏ＿ｐｉｃ＿ｐａｒｔｉｏｎ＿ｆｌａｇ）を含むことができる。

ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャにピクチャ分割が適用できるか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャが分割できないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャが２つ以上のタイル又はスライスに分割できることを示すことができる。現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャは、２つ以上のタイル又はスライスに分割されるように制限できる（例えば、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝１）。

また、ピクチャパラメータセット（ＰＰＳ）は、サブピクチャの個数を表すシンタックス要素としてｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１（又はｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１）を含むことができる。

ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、現在ピクチャに含まれるサブピクチャの個数から１を差し引いた値を表すことができる。ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、現在ピクチャにピクチャ分割が適用できる場合（例えば、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝＝１）にのみシグナリングできる。ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１がシグナリングされない場合、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、０と推論できる。一方、サブピクチャの個数を表すシンタックス要素は、ピクチャパラメータセット（ＰＰＳ）とは異なる上位レベルシンタックス、例えばシーケンスパラメータセット（ＳＰＳ）内でシグナリングされることもできる。

一実施例において、現在ピクチャが１つのサブピクチャのみを含む場合（例えば、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＝＝０）、現在ピクチャは、混成ＮＡＬユニットタイプを有しないように制限できる（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝０）。すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャは、２つ以上のサブピクチャを含むように制限できる（例えば、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＞０）。

次に、図１２を参照すると、シーケンスパラメータセット（ＳＰＳ）は、符号化／復号化時のサブピクチャの取り扱いに関連したシンタックス要素として、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］（又はｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］）を含むことができる。

ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われるか否かを示すことができる。例えば、第１値（例えば、０）のｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のｉ番目のサブピクチャが１つのピクチャとして扱われないことを示すことができる。これとは異なり、第２値（例えば、１）のｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のｉ番目のサブピクチャがインループフィルタリング動作を除く符号化／復号化過程で１つのピクチャとして扱われることを示すことができる。ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされない場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、第２値（例えば、１）を有すると推論できる。

一実施例において、現在ピクチャが２つ以上のサブピクチャを含み（例えば、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＞０）、前記サブピクチャのうちの少なくとも１つが１つのピクチャとして扱われない場合（例えば、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝＝０）、現在ピクチャは、混成ＮＡＬユニットタイプを有しないように制限できる（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝０）。すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャ内のサブピクチャはいずれも、１つのピクチャとして扱われるように（例えば、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝１）制限できる。

以下、本開示の実施例によるＮＡＬユニットタイプをピクチャ類型別に詳細に説明する。

（１）ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャ

ＩＲＡＰピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したように、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。ＩＲＡＰピクチャは、復号化過程でインター予測のために前記ＩＲＡＰピクチャ以外の他のピクチャは参照しなくてもよい。ＩＲＡＰピクチャは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ピクチャ及びＣＲＡ（Ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）ピクチャを含むことができる。

復号化順序におけるビットストリーム内の１番目のピクチャは、ＩＲＡＰピクチャ又はＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに制限され得る。シングルレイヤーのビットストリームに対して、参照すべき必須パラメータセットが利用可能である場合、復号化順序においてＩＲＡＰピクチャに先行するピクチャが全く復号化されなくても、前記ＩＲＡＰピクチャ、及び復号化順序において前記ＩＲＡＰピクチャに後行する全ての非ＲＡＳＬ（ｎｏｎ－ＲＡＳＬ）ピクチャは、正しく（ｃｏｒｒｅｃｔｌｙ）復号化できる。

一実施例において、ＩＲＡＰピクチャは、混成ＮＡＬユニットタイプを有しないことができる。すなわち、ＩＲＡＰピクチャに対して前述したｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、第１値（例えば、０）を有することができ、ＩＲＡＰピクチャ内の全てのスライスは、ＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲で互いに同じＮＡＬユニットタイプを有することができる。その結果、ピクチャ内で一番目に復号化されるスライスがＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲のＮＡＬユニットタイプを有する場合、前記ピクチャは、ＩＲＡＰピクチャと決定できる。

（２）ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャ

ＣＲＡピクチャは、ＩＲＡＰピクチャのうちの１つであり、表１を参照して前述したようにＣＲＡ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。ＣＲＡピクチャは、復号化過程でインター予測のために前記ＣＲＡピクチャ以外の他のピクチャは参照しなくてもよい。

ＣＲＡピクチャは、復号化順序上、ビットストリーム内で１番目のピクチャであってもよく、１番目以後のピクチャであってもよい。ＣＲＡピクチャは、ＲＡＤＬ又はＲＡＳＬピクチャに関連することができる。

ＣＲＡピクチャに対してＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第２値（例えば、１）を有する場合、前記ＣＲＡピクチャに関連したＲＡＳＬピクチャは、ビットストリーム内に存在しないピクチャを参照するので復号化できず、その結果、画像復号化装置によって出力されないことができる。ここで、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャ（ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ ｐｉｃｔｕｒｅ）に先行するピクチャが前記リカバリポイントピクチャよりも先に出力されるか否かを示すことができる。例えば、第１値（例えば、０）を有するＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャに先行するピクチャが前記リカバリポイントピクチャよりも先に出力できることを示すことができる。この場合、ＣＲＡピクチャは、ビットストリーム内で１番目のピクチャ、又は復号化順序においてＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ）ＮＡＬユニットに後行する１番目のピクチャではない可能性がある。これは、ランダムアクセスが発生していない場合を意味することができる。これとは異なり、第２値（例えば、１）を有するＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャに先行するピクチャが前記リカバリポイントピクチャよりも先に出力できないことを示すことができる。この場合、ＣＲＡピクチャは、ビットストリーム内で１番目のピクチャ、又は復号化順序においてＥＯＳ ＮＡＬユニットに後行する１番目のピクチャである可能性がある。これは、ランダムアクセスが発生した場合を意味することができる。一方、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、実施例によってＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇと呼ばれることもある。

ＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）内で復号化順序において現在ピクチャに後行する全てのピクチャユニット（ｐｉｃｔｕｒｅ ｕｎｉｔｓ、ＰＵｓ）に対して、前記ピクチャユニット（ＰＵｓ）に属するＣＲＡサブピクチャに含まれる１つのスライスに対する参照ピクチャリスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ［０］）及び参照ピクチャリスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ［１］）は、活性化エントリ（ａｃｔｉｖｅ ｅｎｔｒｙ）内で、復号化順序において前記ＣＲＡサブピクチャを含むピクチャに先行する如何なるピクチャも含まないように制限できる。ここで、ピクチャユニット（ＰＵ）とは、１つの符号化ピクチャに対して所定の分類規則に従って相互関連し、復号化順序において連続する複数のＮＡＬユニットを含む、ＮＡＬユニットセットを意味することができる。

（３）ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャ

ＩＤＲピクチャは、ＩＲＡＰピクチャのうちの１つであり、表１を参照して前述したように、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有することができる。ＩＤＲピクチャは、復号化過程でインター予測のために前記ＩＤＲピクチャ以外の他のピクチャは参照しなくてもよい。

ＩＤＲピクチャは、復号化順序上、ビットストリーム内で１番目のピクチャであってもよく、１番目以後のピクチャであってもよい。それぞれのＩＤＲピクチャは、復号化順序でのＣＶＳ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）の１番目のピクチャであり得る。

ＩＤＲピクチャがそれぞれのＮＡＬユニットに対してＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有する場合、前記ＩＤＲピクチャは、関連したＲＡＤＬピクチャを有することができる。これとは異なり、ＩＤＲピクチャがそれぞれのＮＡＬユニットに対してＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有する場合、前記ＩＤＲピクチャは、関連したリーディングピクチャ（ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅｓ）を有しなくてもよい。一方、前記ＩＤＲピクチャは、ＲＡＳＬピクチャとは関連しなくてもよい。

ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内で復号化順序において現在ピクチャに後行する全てのピクチャユニット（ｐｉｃｔｕｒｅ ｕｎｉｔｓ、ＰＵｓ）に対して、前記ピクチャユニット（ＰＵｓ）に属するＩＤＲサブピクチャに含まれる１つのスライスに対する参照ピクチャリスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ［０］）及び参照ピクチャリスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ［１］）は、活性化エントリ（ａｃｔｉｖｅ ｅｎｔｒｙ）内で、復号化順序において前記ＩＤＲサブピクチャを含むピクチャに先行する如何なるピクチャも含まないように制限できる。

（４）ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャ

ＲＡＤＬピクチャは、リーディングピクチャのうちの１つであって、表１を参照して前述したようにＲＡＤＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

ＲＡＤＬピクチャは、前記ＲＡＤＬピクチャと同じＩＲＡＰピクチャに関連したトレーリング（ｔｒａｉｌｉｎｇ）ピクチャの復号化過程で、参照ピクチャとして利用されなくてもよい。ＲＡＤＬピクチャに対してｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが第１値（例えば、０）を有する場合、前記ＲＡＤＬピクチャは、関連したＩＲＡＰピクチャが同じである全ての非リーディングピクチャ（ｎｏｎ－ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅｓ）よりも復号化順序において先行することができる。ここで、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）がフィールド（ｆｉｅｌｄｓ）を表すピクチャを伝達（ｃｏｎｖｅｙ）するか、それともフレーム（ｆｒａｍｅｓ）を表すピクチャを伝達するかを示すことができる。例えば、第１値（例えば、０）を有するｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳがフレームを表すピクチャを伝達することを示すことができる。これとは異なり、第２値（例えば、１）を有するｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳがフィールドを表すピクチャを伝達することを示すことができる。

（５）ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）ピクチャ

ＲＡＳＬピクチャは、リーディングピクチャのうちの１つであり、表１を参照して前述したようにＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

一例において、全てのＲＡＳＬピクチャは、関連したＣＲＡピクチャのリーディングピクチャであり得る。前記ＣＲＡピクチャに対してＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第２値（例えば、１）を有する場合、前記ＲＡＳＬピクチャは、ビットストリーム内に存在しないピクチャを参照するので復号化できず、その結果として、画像復号化装置によって出力されないことができる。

ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号化過程で参照ピクチャとして利用されなくてもよい。ただし、ＲＡＳＬピクチャと同じレイヤーに属し、同じＣＲＡピクチャに関連するＲＡＤＬピクチャが存在する場合、前記ＲＡＳＬピクチャは、前記ＲＡＤＬピクチャに含まれるＲＡＤＬサブピクチャのインター予測のためのコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）参照ピクチャとして利用できる。

ＲＡＳＬピクチャに対してｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが第１値（例えば、０）を有する場合、前記ＲＡＳＬピクチャは、前記ＲＡＳＬピクチャに関連したＣＲＡピクチャの全ての非リーディングピクチャに対して復号化順序において先行することができる。

（６）トレーリング（Ｔｒａｉｌｉｎｇ）ピクチャ

トレーリングピクチャは、関連したＩＲＡＰピクチャ又はＧＤＲピクチャに対して出力順序において後行する非ＩＲＡＰピクチャであって、ＳＴＳＡピクチャではなくてもよい。また、トレーリングピクチャは、関連したＩＲＡＰピクチャに対して復号化順序において後行することができる。すなわち、関連したＩＲＡＰピクチャに対して出力順序において後行するが、復号化順序において先行するトレーリングピクチャは、許容できない。

（７）ＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャ

ＧＤＲピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したようにＧＤＲ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

（８）ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ）ピクチャ

ＳＴＳＡピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したようにＳＴＳＡ＿ＮＵＴのようなＮＡＬユニットタイプを有することができる。

ＳＴＳＡピクチャは、インター予測のために前記ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄを有するピクチャを参照しなくてもよい。ここで、ＴｅｍｐｏｒａｌＩｄは、スケーラブル（ｓｃａｌａｂｌｅ）ビデオコーディングにおいて時間的階層性、例えば時間的サブレイヤー（ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒ）を指示する識別子であり得る。一例として、ＳＴＳＡピクチャは、０よりも大きいＴｅｍｐｏｒａｌＩｄを有するように制限できる。

ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩＤを有し、復号化順序において前記ＳＴＳＡピクチャに後行するピクチャは、インター予測のために、前記ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩＤを有し、復号化順序において前記ＳＴＳＡピクチャに先行するピクチャを参照しなくてもよい。ＳＴＳＡピクチャは、前記ＳＴＳＡピクチャが属する現在サブレイヤーの真下位サブレイヤー（ｉｍｍｅｄｉａｔｅｌｙ ｌｏｗｅｒ ｓｕｂｌａｙｅｒ）から前記現在サブレイヤーへのアップスイッチング（ｕｐ－ｓｗｉｔｃｈｉｎｇ）を活性化させることができる。

図１３は、ピクチャ類型別の復号化順序及び出力順序を説明するための図である。

複数のピクチャは、予測方式によってＩピクチャ、Ｐピクチャ又はＢピクチャに区分できる。Ｉピクチャは、イントラ予測のみが適用できるピクチャを意味し、他のピクチャを参照することなく復号化できる。Ｉピクチャは、イントラピクチャと呼ばれることができ、前述したＩＲＡＰピクチャを含むことができる。Ｐピクチャは、イントラ予測及び一方向インター予測が適用できるピクチャを意味し、他の１つのピクチャを参照して復号化できる。Ｂピクチャは、イントラ予測及び双方向／一方向インター予測が適用できるピクチャを意味し、他の１つ又は２つのピクチャを参照して復号化できる。Ｐピクチャ及びＢピクチャは、インターピクチャと呼ばれることもあり、前述したＲＡＤＬピクチャ、ＲＡＳＬピクチャ及びトレーリングピクチャを含むことができる。

インターピクチャは、復号化順序及び出力順序によってリーディングピクチャ（Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ、ＬＰ）又は非リーディングピクチャ（Ｎｏｎ－Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ、ＮＬＰ）にさらに区分されることができる。リーディングピクチャは、復号化順序においてＩＲＡＰピクチャに後行し、出力順序においてＩＲＡＰピクチャに先行するピクチャを意味し、前述したＲＡＤＬピクチャ及びＲＡＳＬピクチャを含むことができる。非リーディングピクチャは、復号化順序及び出力順序においてＩＲＡＰピクチャに後行するピクチャを意味し、前述したトレーリングピクチャを含むことができる。

図１３において、それぞれのピクチャ名称は、上述したピクチャ類型を示すことができる。例えば、Ｉ５ピクチャはＩピクチャ、Ｂ０、Ｂ２、Ｂ３、Ｂ４及びＢ６ピクチャはＢピクチャ、Ｐ１及びＰ７ピクチャはＰピクチャであり得る。さらに、図１３において、それぞれの矢印は、ピクチャ間の参照方向を示すことができる。例えば、Ｂ０ピクチャはＰ１ピクチャを参照して復号化できる。

図１３を参照すると、Ｉ５ピクチャはＩＲＡＰピクチャ、例えばＣＲＡピクチャであり得る。Ｉ５ピクチャに対するランダムアクセスが行われる場合、Ｉ５ピクチャは、復号化順序上での１番目のピクチャであり得る。

Ｂ０及びＰ１ピクチャは、復号化順序においてＩ５ピクチャに先行するピクチャであって、Ｉ５ピクチャとは別個のビデオシーケンスを構成することができる。Ｂ２、Ｂ３、Ｂ４、Ｂ６、及びＰ７ピクチャは、復号化順序においてＩ５ピクチャに後行するピクチャであって、Ｉ５ピクチャと共に１つのビデオシーケンスを構成することができる。

Ｂ２、Ｂ３及びＢ４ピクチャは、復号化順序においてＩ５ピクチャに後行し、出力順序においてＩ５ピクチャに先行するので、リーディングピクチャに分類されることができる。Ｂ２ピクチャは、復号化順序においてＩ５ピクチャに先行するＰ１ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ２ピクチャは、ビットストリーム内に存在しないＰ１ピクチャを参照するので、正しく復号化できない。Ｂ２ピクチャのようなピクチャ類型をＲＡＳＬピクチャと呼ぶことができる。これとは異なり、Ｂ３ピクチャは、復号化順序においてＢ３ピクチャに先行するＩ５ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ３ピクチャは、既に復号化されたＩ５ピクチャを参照して正しく復号化できる。また、Ｂ４ピクチャは、復号化順序においてＢ４ピクチャに先行するＩ５ピクチャ及びＢ３ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ４ピクチャは、既に復号化されたＩ５ピクチャ及びＢ３ピクチャを参照して正しく復号化できる。Ｂ３及びＢ４ピクチャのようなピクチャ類型をＲＡＤＬピクチャと呼ぶことができる。

一方、Ｂ６及びＰ７ピクチャは、復号化順序及び出力順序においてＩ５ピクチャに後行するので、非リーディングピクチャとして分類されることができる。Ｂ６ピクチャは、復号化順序において先行するＩ５ピクチャ及びＰ７ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ６ピクチャは、既に復号化されたＩ５ピクチャ及びＰ７ピクチャを参照して正しく復号化できる。

このように、１つのビデオシーケンス内で復号化過程及び出力過程はピクチャ類型に基づいて互いに異なる順で行われることができる。例えば、１つのビデオシーケンスがＩＲＡＰピクチャ、リーディングピクチャ及び非リーディングピクチャを含む場合、復号化過程は、ＩＲＡＰピクチャ、リーディングピクチャ及び非リーディングピクチャの順で行われるが、出力過程は、リーディングピクチャ、ＩＲＡＰピクチャ及び非リーディングピクチャの順で行われることができる。

図１４は、本開示の一実施例による現在ピクチャのＮＡＬユニットタイプを決定する方法を示すフローチャートである。

図１４を参照すると、画像符号化装置は、現在ピクチャが２つ以上のサブピクチャを含むか否かを決定することができる（Ｓ１４１０）。現在ピクチャの分割情報は、上位レベルシンタックス内の１つ以上のシンタックス要素を用いてシグナリングされることができる。例えば、図７を参照して前述したピクチャパラメータセット（ＰＰＳ）を介して、現在ピクチャが分割されるか否かを示すｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ、及び現在ピクチャに含まれるサブピクチャの個数を示すｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１がシグナリングされることができる。現在ピクチャが２つ以上のサブピクチャを含む場合、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは第１値（例えば、０）を有し、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓは０よりも大きい値を有することができる。

現在ピクチャが２つ以上のサブピクチャを含まない場合（Ｓ１４１０の「ＮＯ」）、画像符号化装置は、現在ピクチャが単一のＮＡＬユニットタイプを有すると決定することができる（Ｓ１４５０）。すなわち、現在ピクチャ内の全てのスライスは、表１を参照して前述した複数のＮＡＬユニットタイプのうちのいずれかを有することができる。

これとは異なり、現在ピクチャが２つ以上のサブピクチャを含む場合（Ｓ１４１０の「ＹＥＳ」）、画像符号化装置は、現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われるか否かを決定することができる（Ｓ１４２０）。サブピクチャが１つのピクチャとして扱われるか否かに関する情報は、上位レベルシンタックス内の所定のシンタックス要素を用いてシグナリングされることができる。例えば、図１２を参照して前述したシーケンスパラメータセット（ＳＰＳ）を介して、サブピクチャが１つのピクチャとして扱われるか否かを示すｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされることができる。現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われる場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、第２値（例えば、１）を有することができる。

現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われない場合（Ｓ１４２０の「ＮＯ」）、画像符号化装置は、現在ピクチャが単一のＮＡＬユニットタイプを有すると決定することができる（Ｓ１４５０）。

これとは異なり、現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われる場合（Ｓ１４２０の「ＹＥＳ」）、画像符号化装置は、現在ピクチャ内の複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有するか否かを決定することができる（Ｓ１４３０）。

現在クチャ内の複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットイプを有する場合（Ｓ１４３０の「ＹＥＳ」）、画像符号化装置は、現在ピクチャが混成ＮＡＬユニットタイプを有すると決定することができる（Ｓ１４４０）。

これとは異なり、現在ピクチャ内の複数のスライスの全部が同じＮＡＬユニットタイプを有する場合（Ｓ１４３０のＮＯ）、画像符号化装置は、現在ピクチャが単一のＮＡＬユニットタイプを有すると決定することができる（Ｓ１４５０）。

現在ピクチャが混成ＮＡＬユニットタイプを有する場合、画像符号化装置は、現在ピクチャに含まれているそれぞれのサブピクチャに対してサブビットストリームを生成することができる。このとき、現在ピクチャに対して生成された複数のサブビットストリームは、１つのビットストリームを構成することができる。

現在ピクチャが混成ＮＡＬユニットタイプを有するか否かに関する情報は、上位レベルシンタックス内の所定のシンタックス要素を用いてシグナリングされることができる。例えば、図１１を参照して前述したピクチャパラメータセット（ＰＰＳ）を介して、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを示すｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇがシグナリングされることができる。この場合、画像復号化装置は、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇに基づいて、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを決定することができる。例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが第１値（例えば、０）を有する場合、画像復号化装置は、現在ピクチャが単一のＮＡＬユニットタイプを有すると決定することができる。これとは異なり、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが第２値（例えば、１）を有する場合、画像復号化装置は、現在ピクチャが混成ＮＡＬユニットタイプを有すると決定することができる。

一方、現在ピクチャに含まれているそれぞれのサブピクチャ内の全てのスライスは、同じＮＡＬユニットタイプを有することができる。すなわち、それぞれのサブピクチャは、単一のＮＡＬユニットタイプのみを有することができる。また、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、現在ピクチャに含まれているサブピクチャのうちの少なくとも一部は、互いに異なるＮＡＬユニットタイプを有することができる。例えば、現在ピクチャに含まれている第１サブピクチャは、第１ＮＡＬユニットタイプを有し、現在ピクチャに含まれている第２サブピクチャは、前記第１ＮＡＬユニットタイプとは異なる第２ＮＡＬユニットタイプを有することができる。

現在ピクチャに含まれているそれぞれのサブピクチャの類型は、それぞれのサブピクチャが有するＮＡＬユニットタイプに基づいて決定されることができる。例えば、表１を参照して前述したように、ＴＲＡＩＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、トレーリングサブピクチャと決定されることができる。また、ＳＴＳＡ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＳＴＳＡサブピクチャと決定され、ＧＤＲ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＧＤＲサブピクチャと決定されることができる。また、ＲＡＤＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＲＡＤＬサブピクチャと決定され、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＲＡＳＬサブピクチャと決定されることができる。また、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＩＤＲサブピクチャと決定し、ＣＲＡ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＣＲＡサブピクチャと決定されることができる。

以上、本開示の実施例によれば、現在ピクチャが２つ以上のサブピクチャを含み、前記サブピクチャそれぞれが１つのピクチャとして扱われる場合、現在ピクチャは、混成ＮＡＬユニットタイプを有することができる。これにより、様々なアプリケーションやユースケース（ｕｓｅ ｃａｓｅｓ）において、画像符号化／復号化効率がより向上することができる。

以下、図１５及び図１６を参照して、本開示の一実施例による画像符号化／復号化方法を詳細に説明する。

図１５は、本開示の一実施例による画像符号化方法を示すフローチャートである。

図１５の画像符号化方法は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ１５１０は、画像分割部１１０によって行われ、ステップＳ１５２０及びステップＳ１５３０は、エントロピー符号化部１９０によって行われることができる。

図１５を参照すると、画像符号化装置は、現在ピクチャを一つ以上のサブピクチャに分割することができる（Ｓ１５１０）。

一実施例として、現在ピクチャが混成ＮＡＬユニットを有する場合、現在ピクチャは、２以上のサブピクチャを含むように制限できる。すなわち、現在ピクチャに含まれている複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて、現在ピクチャは２以上のサブピクチャに分割されることができる。

現在ピクチャの分割情報は、上位レベルシンタックス内の所定のシンタックス要素を用いて符号化／シグナリングされることができる。例えば、図１１を参照して前述したピクチャパラメータセット（ＰＰＳ）を介して、現在ピクチャが分割されるか否かを示すｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ、及び現在ピクチャに含まれるサブピクチャの個数を示すフラグ情報ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１が符号化／シグナリングされることができる。このとき、現在ピクチャが２つ以上のサブピクチャに分割される場合、ｐｐｓ＿ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、第１値（例えば、０）を有し、ｐｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓは、０よりも大きい値を有することができる。

一実施例において、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、現在ピクチャに含まれているそれぞれのサブピクチャは、１つのピクチャとして扱われることができる。例えば、混成ＮＡＬユニットタイプを有する現在ピクチャは、第１サブピクチャ及び第２サブピクチャを含むことができ、前記第１サブピクチャ及び前記第2サブピクチャは、インループフィルタリング動作を除いてそれぞれ独立して符号化／復号化できる。

現在ピクチャに含まれているサブピクチャが１つのピクチャとして扱われるか否かに関する情報は、上位レベルシンタックス内の所定のシンタックス要素を用いて符号化／シグナリングされることができる。例えば、図１２を参照して前述したシーケンスパラメータセット（ＳＰＳ）を介して、現在ピクチャに含まれているｉ番目のサブピクチャが１つのピクチャとして扱われるか否かを示すフラグ情報ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］が符号化／シグナリングされることができる。このとき、現在ピクチャに含まれているｉ番目のサブピクチャが１つのピクチャとして扱われない場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第１値（例えば、０）を有することができる。これとは異なり、現在ピクチャに含まれるｉ番目のサブピクチャが１つのピクチャとして扱われる場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第２値（例えば、１）を有することができる。

画像符号化装置は、現在ピクチャに含まれている複数のスライスそれぞれのＮＡＬユニットタイプを決定することができる（Ｓ１５２０）。

一実施例において、現在ピクチャ内のそれぞれのサブピクチャに含まれている全てのスライスは、同じＮＡＬユニットタイプを有することができる。例えば、現在ピクチャの第１サブピクチャに含まれている全てのスライスは、第１ＮＡＬユニットタイプを有し、現在ピクチャの第２サブピクチャに含まれている全てのスライスは、第２ＮＡＬユニットタイプを有することができる。このとき、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、前記第２ＮＡＬユニットタイプは、前記第１ＮＡＬユニットタイプとは異なり得る。これとは異なり、現在ピクチャが単一のＮＡＬユニットタイプを有する場合、前記第２ＮＡＬユニットタイプは前記第１ＮＡＬユニットタイプと同じであり得る。

一実施例において、現在ピクチャに含まれている複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有するか否か（すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有するか否か）は、上位レベルシンタックス内の所定のシンタックス要素を用いて符号化／シグナリングされることができる。例えば、図１１を参照して前述したピクチャパラメータセット（ＰＰＳ）を介して、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを示すフラグ情報ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ（又はｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）が符号化／シグナリングされることができる。このとき、現在ピクチャが単一のＮＡＬユニットタイプを有する場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）を有することができる。これとは異なり、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第２値（例えば、１）を有することができる。

一実施例において、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は、出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できるか否かに基づいて決定されることができる。例えば、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できない場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）を有するように制限できる。これとは異なり、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できる場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）又は第２値（例えば、１）を有することができる。

一方、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できるか否かは、上位レベルシンタックス内の所定のシンタックス要素を用いて符号化／シグナリングされることができる。例えば、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）を含むｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔｓ＿ｉｎｆｏを介して、混成ＮＡＬユニットタイプの制限如何を示すフラグ情報ｇｃｉ＿ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ（又はｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）が符号化／シグナリングされることができる。このとき、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できる場合、ｇｃｉ＿ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは第１値（例えば、０）を有することができる。これとは異なり、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できない場合、ｇｃｉ＿ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇは第２値（例えば、１）を有することができる。

一実施例において、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は、現在ピクチャが１つのサブピクチャのみを含むか否かに基づいて決定されことができる。例えば、現在ピクチャが１つのサブピクチャのみを含む場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）を有するように制限できる。これとは異なり、現在ピクチャが２つ以上のサブピクチャを含む場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）又は第２値（例えば、１）を有することができる。

一実施例において、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は、現在ピクチャに含まれている全てのサブピクチャがそれぞれ１つのピクチャとして扱われるか否かに基づいて決定できる。例えば、現在ピクチャに含まれているサブピクチャのうちの少なくとも１つが１つのピクチャとして扱われない場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）を有するように制限できる。これとは異なり、現在ピクチャに含まれている全てのサブピクチャがそれぞれ１つのピクチャとして扱われる場合、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは第１値（例えば、０）又は第２値（例えば、１）を有することができる。

画像符号化装置は、ステップＳ１５２０で決定されたＮＡＬユニットタイプに基づいて、現在ピクチャに含まれている複数のスライスを符号化することができる（Ｓ１５３０）。このとき、それぞれのスライスに対する符号化過程は所定の予測モードに基づいてＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）単位で行われることができるのは、上述した通りである。一方、それぞれのサブピクチャは、独立して符号化され、互いに異なるサブビットストリームを構成することができる。例えば、第１サブピクチャの符号化情報を含む第１サブビットストリームが構成され、第２サブピクチャの符号化情報を含む第２サブビットストリームが構成されることができる。

図１６は、本開示の一実施例による画像復号化方法を示すフローチャートである。

図１６の画像復号化方法は、図３の画像復号化装置によって行われることができる。例えば、ステップＳ１６１０及びステップＳ１６２０は、エントロピー復号化部２１０によって行われ、ステップＳ１６３０は、逆量子化部２２０乃至イントラ予測部２６５によって行われることができる。

図１６を参照すると、画像復号化装置は、現在ピクチャのＶＣＬ ＮＡＬユニットタイプ情報及び現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かを示す第１フラグ情報をビットストリームから取得することができる（Ｓ１６１０）。

現在ピクチャのＶＣＬ ＮＡＬユニットタイプ情報は、現在ピクチャの符号化画像データ（例えば、スライスデータ）を含むＶＣＬ ＮＡＬユニットのＮＡＬユニットタイプ値を含むことができる。前記ＮＡＬユニットタイプ値は、前記ＶＣＬ ＮＡＬユニットのＮＡＬユニットヘッダーに含まれているシンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅをパーシングすることにより取得できる。

第１フラグ情報は、上位レベルシンタックス、例えばシーケンスパラメータセット（ＳＰＳ）に含まれているｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］をパーシングすることにより取得できる。このとき、現在ピクチャに含まれているｉ番目のサブピクチャが１つのピクチャとして扱われない場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第１値（例えば、０）を有することができる。これとは異なり、現在ピクチャに含まれるｉ番目のサブピクチャが１つのピクチャとして扱われる場合、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第２値（例えば、１）を有することができる。

画像復号化装置は、現在ピクチャのＶＣＬ ＮＡＬユニットタイプ情報に基づいて、現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定することができる（Ｓ１６２０）。

一実施例において、現在ピクチャ内の複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有する場合（すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有する場合）、現在ピクチャは２以上のサブピクチャを含むことができる。

一実施例において、現在ピクチャ内の複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有する場合、現在ピクチャに含まれている全てのサブピクチャは、それぞれ一つのピクチャとして扱われることができる。この場合、現在ピクチャに含まれている全てのサブピクチャに対して、第１フラグ情報（例えば、ｓｐｓ＿ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａ［１］）は第２値（例えば、１）を有することができる。

一実施例において、現在ピクチャ内のそれぞれのサブピクチャに含まれている全てのスライスは、同じＮＡＬユニットタイプを有することができる。例えば、現在ピクチャの第１サブピクチャに含まれている全てのスライスは、第１ＮＡＬユニットタイプを有し、現在ピクチャの第２サブピクチャに含まれている全てのスライスは、第２ＮＡＬユニットタイプを有することができる。このとき、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、前記第２ＮＡＬユニットタイプは前記第１ＮＡＬユニットタイプとは異なり得る。これとは異なり、現在ピクチャが単一のＮＡＬユニットタイプを有する場合、前記第２ＮＡＬユニットタイプは前記第１ＮＡＬユニットタイプと同じであり得る。

一実施例において、現在ピクチャ内の複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有するか否かは、上位レベルシンタックス、例えば、ピクチャパラメータセット（ＰＰＳ）から取得される第２フラグ情報（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）に基づいて決定されることができる。例えば、第２フラグ情報が第１値（例えば、０）を有する場合、現在ピクチャ内の全てのスライスは、同じＮＡＬユニットタイプを有することができる。これとは異なり、第２フラグ情報が第２値（例えば、１）を有する場合、現在ピクチャ内の複数のスライスのうちの少なくとも一部は互いに異なるＮＡＬユニットタイプを有することができる。

一実施例において、第２フラグ情報（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）は、出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＬ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できるか否かに基づいて所定の値を有することができる。例えば、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できない場合、第２フラグ情報は第１値（例えば、０）のみを有することができる。この場合、画像復号化装置は、第２フラグ情報を別途パーシングすることなく、第２フラグ情報の値を第１値（例えば、０）と推論することができる。これとは異なり、出力レイヤーセット（ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できる場合、第２フラグ情報は第１値（例えば、０）又は第２値（例えば、１）を有することができる。

一実施例において、第２フラグ情報（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）は、現在ピクチャが１つのサブピクチャのみを含むか否かに基づいて所定の値を有することができる。例えば、現在ピクチャが１つのサブピクチャのみを含む場合、第２フラグ情報は第１値（例えば、０）のみを有することができる。この場合、画像復号化装置は、第２フラグ情報を別途パーシングすることなく、第２フラグ情報の値を第１値（例えば、０）と推論することができる。これとは異なり、現在ピクチャが２つ以上のサブピクチャを含む場合、第２フラグ情報は第１値（例えば、０）又は第２値（例えば、１）を有することができる。

一実施例において、第２フラグ情報（例えば、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）は、現在ピクチャに含まれているすべてのサブピクチャがそれぞれ１つのピクチャとして扱われるか否かに基づいて所定の値を有することができる。例えば、現在ピクチャに含まれているサブピクチャのうちの少なくとも１つが１つのピクチャとして扱われない場合、第２フラグ情報は第１値（例えば、０）のみを有することができる。この場合、画像復号化装置は、第２フラグ情報を別途パーシングすることなく、第２フラグ情報の値を第１値（例えば、０）と推論することができる。これとは異なり、現在ピクチャに含まれている全てのサブピクチャがそれぞれ１つのピクチャとして扱われる場合、第２フラグ情報は第１値（例えば、０）又は第２値（例えば、１）を有することができる。

一方、現在ピクチャに含まれているそれぞれのサブピクチャの類型は、それぞれのサブピクチャが有するＮＡＬユニットタイプに基づいて決定されることができる。例えば、表１を参照して前述したように、ＴＲＡＩＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、トレーリングサブピクチャと決定されることができる。また、ＳＴＳＡ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＳＴＳＡサブピクチャと決定され、ＧＤＲ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＧＤＲサブピクチャと決定されることができる。また、ＲＡＤＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＲＡＤＬサブピクチャと決定され、ＲＡＳＬ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＲＡＳＬサブピクチャと決定されることができる。また、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＩＤＲサブピクチャと決定され、ＣＲＡ＿ＮＵＴのようなＮＡＬユニットタイプを有するサブピクチャの類型は、ＣＲＡサブピクチャと決定されることができる。

画像復号化装置は、ステップＳ１６１０で取得された第１フラグ情報及びステップＳ１６２０で決定されたＮＡＬユニットタイプに基づいて現在ピクチャ内の複数のスライスを符号化することができる（Ｓ１６３０）。このとき、それぞれのスライスに対する復号化過程は所定の予測モードに基づいてＣＵ（ｃｏｄｉｎｇ ｙｕｎｉｔ）単位で行われることができるのは、前述したとおりである。

以上、本開示の一実施例によれば、現在ピクチャは、サブピクチャ構造に基づいて２つ以上のＮＡＬユニットタイプを有することができる。

本開示で説明されたシンタックス要素の名称は、当該シンタックス要素がシグナリングされる位置に関する情報を含むことができる。例えば、「ｓｐｓ＿」で始まるシンタックス要素は、当該シンタックス要素がシーケンスパラメータセット（ＳＰＳ）でシグナリングされることを意味することができる。さらに、「ｐｐｓ＿」、「ｐｈ＿」、「ｓｈ＿」などで始まるシンタックス要素は、当該シンタックス要素がピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダー、スライスヘッダーなどでそれぞれシグナリングされることを意味することができる。

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

図１７は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

図１７に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

本開示による実施例は、画像を符号化／復号化するために利用可能である。

Claims (15)

1. 画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
   現在ピクチャのＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ） ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプ情報、及び前記現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かに関する第１フラグ情報をビットストリームから取得するステップと、
   前記取得されたＶＣＬ ＮＡＬユニットタイプ情報に基づいて、前記現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定するステップと、
   前記決定されたＮＡＬユニットタイプ及び前記第１フラグ情報に基づいて、前記複数のスライスを復号化するステップと、を含み、
   前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャを含み、前記第１フラグ情報は、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて前記２以上のサブピクチャそれぞれが一つのピクチャとして扱われることを示す所定の値を有する、画像復号化方法。
2. 前記現在ピクチャに含まれているそれぞれのサブピクチャ内の全てのスライスは同じＮＡＬユニットタイプを有する、請求項１に記載の画像復号化方法。
3. 前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有するか否かは、ピクチャパラメータセット（ＰＰＳ）から取得される第２フラグ情報に基づいて決定される、請求項１に記載の画像復号化方法。
4. 出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できないことに基づいて、前記第２フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットを有することを示す所定の値を有する、請求項３に記載の画像復号化方法。
5. 前記現在ピクチャが１つのサブピクチャのみを含むことに基づいて、前記第２フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットタイプを有することを示す所定の値を有する、請求項３に記載の画像復号化方法。
6. 前記現在ピクチャに含まれているサブピクチャのうちの少なくとも１つが１つのピクチャとして扱われないことに基づいて、前記第２フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットタイプを有することを示す所定の値を有する、請求項３に記載の画像復号化方法。
7. 前記現在ピクチャに含まれているそれぞれのサブピクチャのサブピクチャ類型は、前記それぞれのサブピクチャが有するＮＡＬユニットタイプに基づいて決定される、請求項１に記載の画像復号化方法。
8. メモリ及び少なくとも１つのプロセッサを含む画像復号化装置であって、
   前記少なくとも１つのプロセッサは、
   現在ピクチャのＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ） ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプ情報、及び前記現在ピクチャに含まれているサブピクチャが一つのピクチャとして扱われるか否かに関する第１フラグ情報をビットストリームから取得し、
   前記取得されたＶＣＬ ＮＡＬユニットタイプ情報に基づいて、前記現在ピクチャ内の複数のスライスそれぞれのＮＡＬユニットタイプを決定し、
   前記決定されたＮＡＬユニットタイプ及び前記第１フラグ情報に基づいて、前記複数のスライスを復号化し、
   前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャを含み、前記第１フラグ情報は、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて前記２以上のサブピクチャそれぞれが一つのピクチャとして扱われることを示す所定の値を有する、画像復号化装置。
9. 画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
   現在ピクチャを１つ以上のサブピクチャに分割するステップと、
   前記１つ以上のサブピクチャに含まれている複数のスライスそれぞれのＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプを決定するステップと、
   前記決定されたＮＡＬユニットタイプに基づいて、前記複数のスライスを符号化するステップと、を含み、
   前記現在ピクチャは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて２以上のサブピクチャに分割され、前記２以上のサブピクチャそれぞれは、前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有することに基づいて一つのピクチャとして扱われる、画像符号化方法。
10. 前記現在ピクチャに含まれているそれぞれのサブピクチャ内の全てのスライスは同じＮＡＬユニットタイプを有する、請求項９に記載の画像符号化方法。
11. 前記複数のスライスのうちの少なくとも一部が互いに異なるＮＡＬユニットタイプを有するか否かは、ピクチャパラメータセット（ＰＰＳ）に含まれる所定のフラグ情報を用いて符号化される、請求項９に記載の画像符号化方法。
12. 出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用できないことに基づいて、前記第２フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットを有することを示す所定の値を有する、請求項１１に記載の画像符号化方法。
13. 前記現在ピクチャが１つのサブピクチャのみを含むことに基づいて、前記フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットタイプを有することを示す所定の値を有する、請求項１１に記載の画像符号化方法。
14. 前記現在ピクチャに含まれているサブピクチャのうちの少なくとも１つが１つのピクチャとして扱われないことに基づいて、前記フラグ情報は、前記複数のスライスの全てが同じＮＡＬユニットタイプを有することを示す所定の値を有する、請求項１１に記載の画像符号化方法。
15. 請求項９の画像符号化方法によって生成されたビットストリームを保存するコンピュータ可読記録媒体。

Images