JP2023519981A - Ｄｐｂパラメータをシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを保存したコンピュータ可読記録媒体 - Google Patents

Abstract

ＶＰＳをシグナリングする画像符号化／復号化方法及び装置、並びにビットストリームを保存した記録媒体が提供される。本開示による画像復号化方法は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層（ｌａｙｅｒ）のみを含むか否かを指示する第１情報を取得するステップと、前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を取得するステップと、前記第２情報に基づいて前記ＶＰＳ内のＤＰＢパラメータシンタックス構造を取得するステップと、前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理するステップと、を含むことができる。【選択図】図１７

Description

本開示は、画像符号化／復号化方法及び装置に関し、より詳細には、ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータをシグナリングする画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを保存したコンピュータ可読記録媒体に関する。

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号化の効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、ＤＰＢパラメータを効率よくシグナリングすることにより、符号化／復号化の効率の向上を図る画像符号化／復号方法及び装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示の一態様による画像復号化装置によって行われる画像復号化方法は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層（ｌａｙｅｒ）のみを含むか否かを指示する第１情報を取得するステップと、前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を取得するステップと、前記第２情報に基づいて前記ＶＰＳ内のＤＰＢパラメータシンタックス構造を取得するステップと、前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理するステップと、を含むことができる。

本開示の画像復号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示しないことに基づいて、前記第２情報をビットストリームから取得することができる。

本開示の画像復号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記第２情報の取得をスキップし、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の個数は０に設定されることができる。

本開示の画像復号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の取得をスキップすることができる。

本開示の画像復号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＯＬＳに対するＤＰＢパラメータは、前記ＶＰＳから取得されず、前記ＯＬＳに含まれている前記１つの階層によって参照されるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）から取得されることができる。

本開示の他の態様による画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層のみを含むか否かを指示する第１情報を取得し、前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を取得し、前記第２情報に基づいて、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造を取得し、前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理することができる。

本開示の別の態様による画像符号化装置によって行われる画像符号化方法は、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層のみを含むか否かを指示する第１情報を符号化するステップと、前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を符号化するステップと、前記ＤＰＢパラメータシンタックス構造の個数に基づいてＶＰＳ内のＤＰＢパラメータシンタックス構造を符号化するステップと、前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理するステップと、を含むことができる。

本開示の画像符号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示しないことに基づいて、前記第２情報をビットストリームに符号化することができる。

本開示の画像符号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記第２情報の符号化をスキップし、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の個数は０に設定されることができる。

本開示の画像符号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の符号化をスキップすることができる。

本開示の画像符号化方法において、前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＯＬＳに対するＤＰＢパラメータは、前記ＶＰＳに符号化されず、前記ＯＬＳに含まれている前記１つの階層によって参照されるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化されることができる。

本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号化の効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

また、本開示は、ＤＰＢパラメータを効率よくシグナリングすることにより、符号化／復号化の効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。 本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。 コーディングされたビデオ／画像に対する階層構造の一例を示す図である。 本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。 本開示によるＤＰＢパラメータをシグナリングするためのシンタックス構造を例示する図である。 本開示の他の実施例によるＶＰＳのシンタックス構造を例示的に示す図である。 本開示による実施例が適用できる画像符号化方法を説明するための図である。 本開示による実施例が適用できる画像復号化方法を説明するための図である。 本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の他の実施例によるＶＰＳのシンタックス構造を示す図である。 図１３～図１５のＶＰＳに従ってＤＰＢパラメータを符号化する方法を説明するための図である。 図１３～図１５のＶＰＳに従ってＤＰＢパラメータを復号化する方法を説明するための図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。

本開示において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「Ａ及びＢの両方」を意味することができる。言い換えれば、本開示において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈されることができる。例えば、本開示において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

本開示で使用される「／」と「、（ｃｏｍｍａ）」は「及び／又は（ａｎｄ／ｏｒ）」を意味することができる。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」を意味することができる。これにより、「Ａ／Ｂ」は、「Ａのみ」、「Ｂのみ」、又は「ＡとＢの両方」を意味することができる。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味することができる。

本開示において、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味することができる。また、本開示において、「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同一に解釈されることができる。

また、本開示において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、又は「Ａ、Ｂ及びＣの任意のいずれの組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味することができる。

また、本開示で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

本開示において、１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

ビデオコーディングシステムの概要

図１は、本開示によるビデオコーディングシステムを示す。

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

画像復号化装置の概要

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

一般な画像／ビデオコーディング手順

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

図４は、本開示の実施例が適用できる概略的なピクチャ復号化手順の例を示す。

図４に示されている各手順は、図３の画像符号化装置によって行われることができる。例えば、ステップＳ４１０は、エントロピー復号化部２１０によって行われることができ、ステップＳ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、ステップＳ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、ステップＳ４４０は、加算部２３５で行われることができ、ステップＳ４５０は、フィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号化手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

図５は、本開示の実施例が適用できる概略的なピクチャ符号化手順の例を示す。

図５に示されている各手順は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ５１０は、イントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、ステップＳ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。

コーディング階層及び構造の例

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。

図６は、コーディングされたビデオ／画像に対する階層構造の一例を示す図である。

コーディングされたビデオ／画像は、画像／ビデオの復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰの類型によってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＤＣＩを含むＮＡＬユニットに対するタイプ

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＶＰＳを含むＮＡＬユニットに対するタイプ

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＳＰＳを含むＮＡＬユニットに対するタイプ

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＰＰＳを含むＮＡＬユニットに対するタイプ

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＡＰＳを含むＮＡＬユニットに対するタイプ

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＵＴ：ピクチャヘッダーを含むＮＵＬユニットに対するタイプ

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を用いて特定できる。

一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、マルチレイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。

本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）は、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。

Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ ｓｉｇｎａｌｌｉｎｇ ａｎｄ ｓｅｍａｎｔｉｃｓ

上述したように、本開示による画像／ビデオ情報は、ハイレベルシンタックス（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ、ＨＬＳ）を含むことができる。画像符号化方法及び／又は画像復号化方法は、前記画像／ビデオ情報に基づいて行われることができる。

ＤＰＢ ｐａｒａｍｅｔｅｒ ｓｉｇｎａｌｌｉｎｇ

ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）は、概念的にサブＤＰＢ（ｓｕｂ－ＤＰＢ）で構成されることができる。各ｓｕｂ－ＤＰＢは、１つの階層（ｌａｙｅｒ）の復号化ピクチャを保存するためのピクチャストレージバッファ（ｐｉｃｔｕｒｅ ｓｔｒｏａｇｅ ｂｕｆｆｅｒ）を含むことができる。それぞれのピクチャストレージバッファは、「参照ピクチャとして使用される（ｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ）」と表示された復号化ピクチャ又は将来の出力（ｆｕｔｕｒｅ ｏｕｔｐｕｔ）のために保有中の復号化ピクチャを含むことができる。

マルチレイヤー（ｍｕｌｔｉｌａｙｅｒ）ビットストリームにおいて、ＤＰＢパラメータは、出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）ごとに割り当てられず、それぞれの階層ごとに割り当てられる。また、各階層に対して、最大２つのＤＰＢパラメータが割り当てられることができる。このとき、２つのＤＰＢパラメータのうち、いずれか１つは、当該階層が出力レイヤーである場合に対するＤＰＢパラメータであり、残りの１つは、当該階層が出力レイヤーではなく、参照階層として使用される場合に対するＤＰＢパラメータであり得る。当該階層が出力レイヤーである場合、当該階層は参照階層として使用されてもよく、将来の出力のために使用されてもよい。当該階層が出力レイヤーではなく、参照階層として使用される場合、レイヤースイッチング（ｌａｙｅｒ ｓｗｉｔｃｈｉｎｇ）がない限り、当該階層は出力レイヤーのピクチャ／スライス／ブロックの参照のみのために使用できる。従来技術によれば、ＯＬＳ内の各階層に対してＤＰＢパラメータがシグナリングされる。前記ＤＰＢパラメータのシグナリングは、従来のＤＰＢパラメータのシグナリングを単純化することができる。

図７は、本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。

図７に示されている例によれば、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０である場合、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓがシグナリングされることができる。後述するように、第１値（例えば、０）のｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）内の階層のうち、一つ以上が階層間予測（ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）を用いることができることを示すことができる。また、第２値（例えば、１）のｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）内のすべての階層が階層間予測（ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ）を使用せずに、独立して符号化されることを示すことができる。上記において、ＣＶＳは、マルチレイヤーに対する符号化ピクチャのシーケンスを含むビットストリーム又は画像／ビデオ情報として理解されることができる。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に含まれているｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示すことができる。例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは０～１６の値を持つことができ、存在しない場合には、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓの値は０に推論（設定）されることができる。

ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓの値が０より大きい場合、すなわち、ＶＰＳに含まれているｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数が０より大きい場合、１つ以上のＤＰＢパラメータがシグナリングされることができる。例えば、前記１つ以上のＤＰＢパラメータは、ｓａｍｅ＿ｄｐｂ＿ｓｉｚｅ＿ｏｕｔｐｕｔ＿ｏｒ＿ｎｏｎｏｕｔｐｕｔ＿ｆｌａｇ、ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｄｐｂ＿ｓｉｚｅ＿ｏｎｌｙ＿ｆｌａｇ［ｉ］、ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］、ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］、ｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］及び／又はｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）を含むことができる。

第１値（例えば、１）のｓａｍｅ＿ｄｐｂ＿ｓｉｚｅ＿ｏｕｔｐｕｔ＿ｏｒ＿ｎｏｎｏｕｔｐｕｔ＿ｆｌａｇは、ＶＰＳ内にｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］が存在しないことを示すことができる。第２値（例えば、０）のｓａｍｅ＿ｄｐｂ＿ｓｉｚｅ＿ｏｕｔｐｕｔ＿ｏｒ＿ｎｏｎｏｕｔｐｕｔ＿ｆｌａｇは、ＶＰＳ内にｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］が存在し得ることを示すことができる。

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［］、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［］、及び／又はｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［］が存在するか否かを制御するのに用いられることができる。ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、その値は０と推論されることができる。

第１値（例えば、１）のｄｐｂ＿ｓｉｚｅ＿ｏｎｌｙ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［］及び／又はｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［］が存在しないことを示すことができる。第２値（例えば、０）のｄｐｂ＿ｓｉｚｅ＿ｏｎｌｙ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［］及び／又はｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［］が存在し得ることを示すことができる。

ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＶＰＳ内のｉ番目のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にＤＰＢパラメータが存在し得る最上位サブレイヤー（ｓｕｂｌａｙｅｒ）の時間的階層識別子（例えば、ＴｅｍｐｏｒａｌＩｄ）を意味することができる。ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値を持つことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であれば、ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、シグナリングされず、０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが１である場合、ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同じ値に推論されることができる。

ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであり、ｉ番目の階層がＯＬＳに含まれている出力レイヤー（ｏｕｔｐｕｔ ｌａｙｅｒ）であるときに、ｉ番目の階層に適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）を指示するインデックスであり得る。ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、０乃至ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ－１の値を持つことができる。

ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が１である場合、出力レイヤーであるｉ番目の階層に適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）は、当該階層によって参照されるＳＰＳに存在するｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。

そうではなく、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が０である場合、以下の事項が適用できる。

－ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓが１である場合、ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は０と推論されることができる。

－ビットストリーム整合性に対する要求事項として、ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は、ｄｐｂ＿ｓｉｚｅ＿ｏｎｌｙ＿ｆｌａｇ［ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］］が０となるようにする値でなければならない。

ｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであり、ｉ番目の階層がＯＬＳに含まれている非出力レイヤー（ｎｏｎ－ｏｕｔｐｕｔ ｌａｙｅｒ）であるとき、ｉ番目の階層に適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）を指示するインデックスであり得る。ｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、０乃至ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ－１の値を持つことができる。

ｓａｍｅ＿ｄｐｂ＿ｓｉｚｅ＿ｏｕｔｐｕｔ＿ｏｒ＿ｎｏｎｏｕｔｐｕｔ＿ｆｌａｇが１である場合、以下の事項が適用できる。

－ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が１であれば、非出力レイヤーであるｉ番目の階層に適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）は、当該階層によって参照されるＳＰＳに存在するｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）であり得る。

－そうではなく、ｖｐｓ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］が０である場合、ｌａｙｅｒ＿ｎｏｎｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は、ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］と同じ値に推論されることができる。

そうではなく、ｓａｍｅ＿ｄｐｂ＿ｓｉｚｅ＿ｏｕｔｐｕｔ＿ｏｒ＿ｎｏｎｏｕｔｐｕｔ＿ｆｌａｇが０である場合、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓが１であれば、ｌａｙｅｒ＿ｏｕｔｐｕｔ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は０と推論されることができる。

図８は、本開示によるＤＰＢパラメータをシグナリングするためのシンタックス構造を例示する図である。

図８に示されているように、ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造は、ＤＰＢサイズに関する情報、最大ピクチャリオーダ個数情報、及び／又は最大レイテンシに関する情報をＣＶＳの各ＣＬＶＳに対して含むことができる。上記において、ＣＬＶＳ（Ｃｏｄｅｒ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）は、同じ階層に属する符号化ピクチャのシーケンスを含むビットストリーム又は画像／ビデオ情報として理解されることができる。

ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＶＰＳ内に含まれる場合、当該ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が適用されるＯＬＳは、前記ＶＰＳによって特定されることができる。ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造がＳＰＳ内に含まれる場合、前記ＳＰＳを参照する階層のうち、最下位階層のみを含むＯＬＳに適用されることができる。このとき、前記最下位階層は独立階層であってもよい。

ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］＋１は、ＣＶＳのそれぞれのＣＬＶＳに対して、ＤＰＢの最大要求サイズを示すことができる。ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］は、０乃至ＭａｘＤｐｂＳｉｚｅ－１の値を持つことができる。

ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、ＣＶＳのそれぞれのＣＬＶＳに対して、ＣＬＶＳ内の任意のピクチャよりも復号化順序において先行し、出力順序において後行するＣＬＶＳ内のピクチャの許容可能な最大個数を示すことができる。ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、０乃至ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の値を有することができる。ｉが０よりも大きい場合、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ１］以上の値を持たなければならない。ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］が存在しない場合には、その値はｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］と同じ値に推論されることができる。

０ではない値を持つｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］は、ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の計算に用いられることができる。ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］は、ＣＶＳのそれぞれのＣＬＶＳに対して、ＣＬＶＳ内の任意のピクチャに出力順序において先行し、復号化順序において後行するＣＬＶＳ内のピクチャの最大個数を示すことができる。

ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が０ではない場合、ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］は、次のように計算できる。

ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］＝ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］＋ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］－１

ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］は、０乃至２^３２－２の値を持つことができる。ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が存在しない場合、その値はｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］と同様に推論されることができる。

前記ＤＰＢパラメータは、ＤＰＢから復号化画像を出力又は除去する過程で用いられることができる。

Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｓｉｇｎａｌｌｉｎｇ

ビデオパラメータセット（Ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＶＰＳ）は、階層情報の伝送のために使用されるパラメータセットである。前記階層情報は、例えば、出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）に関する情報、プロファイルティアレベル（ｐｒｏｆｉｌｅ ｔｉｅｒ ｌｅｖｅｌ）に関する情報、ＯＬＳと仮想参照デコーダ（ｈｙｐｏｔｈｅｔｉｃａｌ ｒｅｆｅｒｅｎｃｅ ｄｅｃｏｄｅｒ）との関係に関する情報、ＯＬＳとＤＰＢとの関係に関する情報などを含むことができる。ＶＰＳは、ビットストリームの復号化に必須ではないことができる。

ＶＰＳ ＲＢＳＰ（ｒａｗ ｂｙｔｅ ｓｅｑｕｅｎｃｅ ｐａｙｌｏａｄ）は、参照される前に、ＴｅｍｐｏｒａｌＩＤが０である少なくとも１つのアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）に含まれるか、或いは外部手段を介して提供されることにより、復号化プロセスに利用可能でなければならない。

ＣＶＳ内で特定の値のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。

図９は、本開示の他の実施例によるＶＰＳのシンタックス構造を例示的に示す図である。

図７及び図９において、同一のシンタックス要素及び／又は同一のシグナリング条件に対する重複説明は省略できる。

図９に示されている例において、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＶＰＳに対する識別子を提供する。他のシンタックス要素は、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを用いてＶＰＳを参照することができる。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は０よりも大きくなければならない。

ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の個数を示すことができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値は、ＴｏｔａｌＮｕｍＯｌｓｓよりも小さくなければならない。ＴｏｔａｌＮｕｍＯｌｓｓは、ＶＰＳによって特定されるＯＬＳｓの全体個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であるとき、ＴｏｔａｌＮｕｍＯｌｓｓは１に誘導されることができる。そうではなく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１であるか、或いはｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０又は１である場合、ＴｏｔａｌＮｕｍＯｌｓｓはｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に誘導されることができる。そうではなく、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２である場合、ＴｏｔａｌＮｕｍＯｌｓｓは、ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１に誘導されることができる。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳｓの全体個数を誘導するためのモードを指示する指示子であり得る。後述するように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、各ＯＬＳが１つの階層のみを含むか否かを示すことができる。

第１値（例えば、１）のｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造にプロファイル、ティア及び一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔｓ ｉｎｆｏｒｍａｔｉｏｎ）が存在することを示すことができる。第２値（例えば、０）のｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造にプロファイル、ティア及び一般制限情報が存在しないことを示すことができる。ｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が第２値である場合、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に対するプロファイル、ティア及び一般制限情報は、ＶＰＳ内の（ｉ－１）番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に対するプロファイル、ティア及び一般制限情報と同様に推論されることができる。

ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造にレベル情報が存在する最上位サブレイヤーのＴｅｍｐｏｒａｌＩｄを示すことができる。ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値を有することができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが１である場合、ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同じ値に推論されることができる。上記において、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、ＶＰＳでシグナリングされる情報である。第１値（例えば、１）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、前記ＶＰＳを参照する各ＣＶＳ内のすべての階層に対する時間的サブレイヤーの個数が同じであることを意味することができる。第２値（例えば、０）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、前記ＶＰＳを参照する各ＣＶＳ内の階層が同じ個数の時間的サブレイヤーを有さないことを意味することができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが存在しないとき、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは第１値と推論されることができる。また、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳを参照する各ＣＶＳ内の階層に存在し得る時間的サブレイヤー（ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒｓ）の最大個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１は０乃至６の値を持つことができる。

ｖｐｓ＿ｐｔｌ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔは、０と同一でなければならない。

ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のリストに対するインデックスであって、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のインデックスであり得る。ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］が存在するとき、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は０乃至ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値を有することができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は０と推論されることができる。

ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］は、ｉ番目のＯＬＳ内の階層の個数を示すことができる。ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であるとき、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造は、ｉ番目のＯＬＳ内の階層によって参照されるＳＰＳにも存在することができる。ビットストリーム整合性に対する要求事項として、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であるとき、ｉ番目のＯＬＳに対するＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造とＳＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造は同一でなければならない。

ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示すことができる。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、０乃至１６の値を持つことができる。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓが存在しないとき、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓの値は０と推論されることができる。

ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［］、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［］、及び／又はｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［］が存在するか否かを制御するのに用いられることができる。ｖｐｓ＿ｓｕｂｌａｙｅｒ＿ｄｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、その値は０と推論されることができる。

ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＶＰＳ内のｉ番目のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）内にＤＰＢパラメータが存在し得る最上位サブレイヤー（ｓｕｂｌａｙｅｒ）の時間的階層識別子（例えば、ＴｅｍｐｏｒａｌＩｄ）を意味することができる。ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０乃至ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値を持つことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、シグナリングされず、０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが１である場合、ｄｐｂ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］の値は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同じ値に推論されることができる。

ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｗｉｄｔｈ［ｉ］は、ｉ番目のＯＬＳに対する各ピクチャストレージバッファの幅を示すことができる。このとき、前記幅はルマサンプル単位の値であり得る。

ｏｌｓ＿ｄｐｂ＿ｐｉｃ＿ｈｅｉｇｈｔ［ｉ］は、ｉ番目のＯＬＳに対する各ピクチャストレージバッファの高さを示すことができる。このとき、前記高さはルマサンプル単位の値であり得る。

ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）のリストに対するインデックスであり、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１より大きいとき、ｉ番目のＯＬＳに適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）のインデックスであり得る。ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］が存在するとき、ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］は０乃至ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ－１の値を持つことができる。ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］が存在しないとき、ｏｌｓ＿ｄｐｂ＿ｐａｒａｍｓ＿ｉｄｘ［ｉ］の値は０と推論されることができる。ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であるとき、ｉ番目のＯＬＳに適用されるｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）は、ｉ番目のＯＬＳ内の階層によって参照されるＳＰＳに存在することができる。

図７～図９を参照して説明したＶＰＳシグナリング方法及び／又はＤＰＢパラメータシグナリング方法によれば、以下の問題の少なくとも１つが発生する可能性がある。

－ｖｐｓ＿ｎｕｍ＿ｄｂｐ＿ｐａｒａｍｓは、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇに基づいて条件的にシグナリングされる。しかし、ＤＰＢパラメータの個数は、各ＯＬＳに対して定義されるので、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇに基づくｖｐｓ＿ｎｕｍ＿ｄｂｐ＿ｐａｒａｍｓのシグナリングは不正確であり得る。

－また、各階層がＯＬＳであるとき、各階層のＳＰＳ内にＤＰＢパラメータが既に存在するので、ＶＰＳ内のＤＰＢパラメータのシグナリングは重複的である。

これらの問題の少なくとも１つを解決するための本開示による実施例は、以下の構成の少なくとも１つを含むことができる。以下の構成は、個別に又は他の構成と組み合わせられて適用されることができる。

構成１：ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇを条件としてシグナリングされる代わりに、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを条件としてシグナリングされることができる。上述したように、ＤＰＢパラメータの個数は、各ＯＬＳに対して定義されるので、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいてｖｐｓ＿ｎｕｍ＿ｄｂｐ＿ｐａｒａｍｓを正確にシグナリングすることができる。

構成２：各階層がＯＬＳであるとき、各階層のＳＰＳ内にＤＰＢパラメータが既に存在するので、ＶＰＳ内のＤＰＢパラメータのシグナリングを省略することができる。

図１０は、本開示による実施例が適用できる画像符号化方法を説明するための図である。

画像符号化装置は、入力画像を符号化し、符号化された画像を再び復号化することにより、復号化されたピクチャ（復元画像）を取得することができる（Ｓ１０１０）。

画像符号化装置は、ＤＰＢパラメータに基づいてＤＰＢを更新することができる（Ｓ１０２０）。ＤＰＢ更新過程は、ＤＰＢ管理（ＤＰＢ ｍａｎａｇｅｍｅｎｔ）と呼ばれることがある。復号化ピクチャは、インター予測の参照ピクチャとして用いられることができるので、復号化ピクチャは基本的にＤＰＢに入力されることができる。そして、ＤＰＢは、現在ピクチャの復号化に先立って更新されることができる。ＤＰＢの更新は、例えば、ＤＰＢから復号化ピクチャを除去することを意味することができる。例えば、ＤＰＢに保存された復号化ピクチャのうち、もはや参照ピクチャとして使用されないピクチャ、既に出力（表示）されたピクチャは、ＤＰＢから除去されることができる。

画像符号化装置は、ＤＰＢパラメータに関する情報を含めて画像／ビデオ情報を符号化することができる（Ｓ１０３０）。

図１０には示されていないが、画像符号化装置は、ステップＳ１０２０で更新されたＤＰＢに基づいて現在ピクチャの復号化をさらに行うことができる。さらに、復号化された現在ピクチャは、ＤＰＢに挿入されることができ、復号化された現在ピクチャを含むＤＰＢは、次のピクチャの復号化前にＤＰＢパラメータに基づいてさらに更新されることができる。

図１１は、本開示による実施例が適用できる画像復号化方法を説明するための図である。

図１１の画像復号化方法と図１０の画像符号化方法において、重複する部分についての説明は省略できる。

画像復号化装置は、ＤＰＢパラメータに関連する情報を含む画像／ビデオ情報をビットストリームから取得することができる（Ｓ１１１０）。

画像復号化装置は、ＤＰＢパラメータに基づいて、ＤＰＢから復号化ピクチャを出力することができる（Ｓ１１２０）。ＤＰＢに関連する階層が出力レイヤーではなく（又はＤＰＢパラメータが出力レイヤーに連関付けられず）、参照階層である場合、ステップＳ１１２０は省略（スキップ）できる。ＤＰＢ（又はＤＰＢパラメータ）に関連する階層が出力レイヤーである場合、ステップＳ１１２０は、ＤＰＢ及び／又はＤＰＢパラメータに基づいて行われることができる。

画像復号化装置は、ＤＰＢパラメータに基づいてＤＰＢを更新及び／又は復号化ピクチャを出力することができる（Ｓ１１３０）。ＤＰＢ更新過程は、ＤＰＢ管理（ＤＰＢ ｍａｎａｇｅｍｅｎｔ）と呼ばれることがある。

画像復号化装置は、ＤＰＢに基づいて現在ピクチャを復号化することができる（Ｓ１１４０）。ステップＳ１１４０で、例えば、ＤＰＢ内の既に復元されたピクチャを参照ピクチャとして使用するインター予測に基づいて、現在ピクチャ内のブロック／スライスが復号化されることができる。

図１０及び図１１において、ＤＰＢパラメータに関連する情報は、図７～図９を参照して説明した情報／シンタックス要素を含むことができる。上述したように、現在階層が出力レイヤーであるか参照階層であるかに基づいて、互いに異なるＤＰＢパラメータがシグナリングされることができる。或いは、ＤＰＢ（又はＤＰＢパラメータ）がＯＬＳ（又はＯＬＳマッピング）に関するものであるかに基づいて、互いに異なるＤＰＢパラメータがシグナリングされることができる。

図１２は、本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。

図１２に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図１２に示すように、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇ値に基づいてシグナリングされることができる。すなわち、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇを条件としてシグナリングされる代わりに、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを条件としてシグナリングされることができる。ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇをシグナリング条件としてチェックするシンタックス要素に先立ってシグナリングされることができる。例えば、本開示のＶＰＳ（）シンタックス構造には図示されていないが、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ＶＰＳ（）シンタックス構造に含まれてシグナリングされることができる。例えば、画像復号化装置は、ＶＰＳ（）シンタックス構造からｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを取得（パーシング）することができる。

上述したように、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に含まれているｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の個数を示すことができる。

本開示において、第１値（例えば、１）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ＶＰＳによって特定された各ＯＬＳが１つの階層のみを含むか否かを示すことができる。また、第１値（例えば、１）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ＶＰＳを参照するＣＶＳ内の各階層自体がＯＬＳ（すなわち、ＯＬＳに含まれている１つの階層が唯一の出力レイヤーである）であることを示すことができる。また、第２値（例えば、０）のｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、ＶＰＳによって特定された少なくとも１つのＯＬＳが１つより多い階層を含むことができることを示すことができる。もしｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は１と推論されることができる。そうではなく、ｖｐｓ＿ａｌｌ＿ｉｎｄｅｐｅｎｄｅｎｔ＿ｌａｙｅｒｓ＿ｆｌａｇが０である場合、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値は０と推論されることができる。

図１２を参照して説明した実施例によれば、ＤＰＢパラメータの個数は、各ＯＬＳに対して定義されるので、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇの値に基づいてｖｐｓ＿ｎｕｍ＿ｄｂｐ＿ｐａｒａｍｓをシグナリングすることにより、ｖｐｓ＿ｎｕｍ＿ｄｂｐ＿ｐａｒａｍｓのシグナリングの精度を向上させることができる。

図１３は、本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。

図１３に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図１３に示すように、ＤＰＢパラメータの個数を示す情報（例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０であるときにシグナリングされることができる。図１２の例において、ＤＰＢパラメータの個数を示す情報はｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓであるのに対し、図１３の例において、ＤＰＢパラメータの個数を示す情報はｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１である。すなわち、図１２の例では、ＤＰＢパラメータの個数と同じ値を有する情報（ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ）がシグナリングされ、図１３の例では、ＤＰＢパラメータの個数から１を差し引いた値と同じ値を有する情報（ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）がシグナリングされる。上記において、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓとｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１の両方が０以上の値を有することができる。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓの代わりにｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１をシグナリングする理由は、ＶＰＳ内のＤＰＢパラメータが存在するにも拘らず、０の値を有するｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓが伝送されることにより発生しうるエラーを回避するためである。すなわち、ＶＰＳ内にＤＰＢパラメータが存在する場合、ＤＰＢパラメータの個数は１以上でなければならないので、０以上の値を有するｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１をシグナリングすることにより、シグナリングの効率性及び精度が向上することができる。したがって、図１３の例のように、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１がシグナリングされる場合、ＤＰＢパラメータの個数は、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１＋１の値に誘導されることができる。ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ及び／又はｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１がビットストリームに存在しない場合、ＶＰＳ内のＤＰＢパラメータの個数は０と推論されることができる。

上述したように、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＤＰＢパラメータの個数（ＶｐｓＮｕｍＤｐｂＰａｒａｍｓ）が誘導され、後続するＤＰＢ関連パラメータは、ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが０より大きい場合にのみシグナリングされることができる。

上述したように、各階層がＯＬＳであるとき、各階層のＳＰＳ内にＤＰＢパラメータが存在するので、ＶＰＳ内のＤＰＢパラメータをシグナリングする必要がない。したがって、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０であり、それにより、ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが０より大きいときにのみＶＰＳ内のＤＰＢパラメータをシグナリングすることができる。言い換えれば、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１であり、それにより、ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが０に誘導されるときには、ＶＰＳ内のＤＰＢパラメータのシグナリングを省略（スキップ）することができる。

図１４は、本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。

図１４に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図１４に示されている例は、図１３に示されている例を変形させたものである。

図１４に示されているように、ＤＰＢパラメータの個数を示す情報（例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０であるときにシグナリングされることができる。また、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１に基づいてＶｐｓＮｕｍＤｐｂＰａｒａｍｓが誘導され、後続するＤＰＢ関連パラメータは、ＶｐｓＮｕｍＤｐｂＰａｒａｍｓが０より大きい場合にのみシグナリングされることができる。

図１４に示されている例によれば、図１３の例と同様に、各階層がＯＬＳであるときにＶＰＳ内のＤＰＢパラメータのシグナリングを省略（スキップ）することができる。

図１５は、本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。

図１５に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図１５に示されている例は、図１３に示されている例を変形させたものである。

図１５に示されている例によれば、ＤＰＢパラメータの個数を示す情報（例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）を含めて後続のＤＰＢ関連パラメータのシグナリング条件として、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇがチェックされることができる。図１５に示されているように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０である場合には、ＤＰＢ関連パラメータがシグナリングされ、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１である場合には、ＤＰＢ関連パラメータのシグナリングは省略できる。

図１５に示されている例によれば、図１３の例と同様に、各階層がＯＬＳであるときに、ＶＰＳ内のＤＰＢパラメータのシグナリングを省略（スキップ）することができる。

図１６は、図１３～図１５のＶＰＳに従ってＤＰＢパラメータを符号化する方法を説明するための図である。

画像符号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいてＤＰＢパラメータの符号化を行うことができる。画像符号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１である場合（Ｓ１６１０－Ｙｅｓ）、ＶＰＳ内のＤＰＢパラメータの符号化を行わずに省略することができる（Ｓ１６２０）。画像符号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０である場合（Ｓ１６１０－Ｎｏ）、ＶＰＳ内のＤＰＢパラメータの符号化を行うことができる（Ｓ１６３０）。

図１６の例において、ＤＰＢパラメータは、ＤＰＢパラメータの個数を示す情報（例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）を含む少なくとも１つのＤＰＢパラメータを含むことができる。ＤＰＢパラメータの個数を示す情報以外のＤＰＢパラメータのＶＰＳ内の符号化は、図１５を参照して説明したように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいて条件的に行われることができる。又は、ＤＰＢパラメータの個数を示す情報以外のＤＰＢパラメータのＶＰＳ内符号化は、図１３又は図１４を参照して説明したように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいて誘導されるＶｐｓＮｕｍＤｐｂＰａｒａｍｓに基づいて条件的に行われることもできる。

図１７は、図１３～図１５のＶＰＳに従ってＤＰＢパラメータを復号化する方法を説明するための図である。

画像復号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいてＤＰＢパラメータの取得（パーシング）を行うことができる。画像復号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１である場合（Ｓ１７１０－Ｙｅｓ）、ＶＰＳ内のＤＰＢパラメータの取得を行わずに省略することができる（Ｓ１７２０）。画像復号化装置は、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０である場合（Ｓ１７１０－Ｎｏ）、ＶＰＳ内のＤＰＢパラメータの取得を行うことができる（Ｓ１７３０）。

図１７の例において、ＤＰＢパラメータは、ＤＰＢパラメータの個数を示す情報（例えば、ｖｐｓ＿ｎｕｍ＿ｄｐｂ＿ｐａｒａｍｓ＿ｍｉｎｕｓ１）を含む少なくとも１つのＤＰＢパラメータを含むことができる。ＤＰＢパラメータの個数を示す情報以外のＤＰＢパラメータのＶＰＳ内の取得は、図１５を参照して説明したように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいて条件的に行われることができる。或いは、ＤＰＢパラメータの個数を示す情報以外のＤＰＢパラメータのＶＰＳ内の取得は、図１３又は図１４を参照して説明したように、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇに基づいて誘導されるＶｐｓＮｕｍＤｐｂＰａｒａｍｓに基づいて条件的に行われることもできる。

図１３～図１７を参照して説明した実施例によれば、各階層がＯＬＳであるときにＶＰＳ内のＤＰＢパラメータのシグナリングを省略（スキップ）することができる。

本開示の実施例によれば、ＶＰＳ内のＤＰＢパラメータの個数に関する情報など、ＤＰＢパラメータのシグナリング条件としてｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇを確認することができる。具体的には、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが０であるとき、すなわち、ＶＰＳによって特定された少なくとも１つのＯＬＳが１つよりも多い階層を含むことができる場合に、ＶＰＳ内のＤＰＢパラメータがシグナリングされることができる。さらに、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１であるとき、すなわち、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含む場合に、ＶＰＳ内のＤＰＢパラメータのシグナリングが省略できる。この場合、当該ＯＬＳに対するＤＰＢパラメータは、当該ＯＬＳに含まれている階層によって参照されるＳＰＳでシグナリングされることができる。これにより、各ＯＬＳに対して定義されるＤＰＢパラメータのシグナリングを正確かつ効率的に行うことができる。

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

図１８は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

図１８に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

本開示による実施例は、画像を符号化／復号化することに利用可能である。

Claims (12)

1. 画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
   ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層（ｌａｙｅｒ）のみを含むか否かを指示する第１情報を取得するステップと、
   前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を取得するステップと、
   前記第２情報に基づいて前記ＶＰＳ内のＤＰＢパラメータシンタックス構造を取得するステップと、
   前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理するステップと、を含む、画像復号化方法。
2. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示しないことに基づいて、前記第２情報をビットストリームから取得する、請求項１に記載の画像復号化方法。
3. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記第２情報の取得をスキップし、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の個数は０に設定される、請求項１に記載の画像復号化方法。
4. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の取得をスキップする、請求項１に記載の画像復号化方法。
5. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＯＬＳに対するＤＰＢパラメータは、前記ＶＰＳから取得されず、ＯＬＳに含まれている前記１つの層によって参照されるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）から取得される、請求項１に記載の画像復号化方法。
6. メモリ及び少なくとも１つのプロセッサを含む画像復号化装置であって、
   前記少なくとも１つのプロセッサは、
   ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層のみを含むか否かを指示する第１情報を取得し、
   前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を取得し、
   前記第２情報に基づいて前記ＶＰＳ内のＤＰＢパラメータシンタックス構造を取得し、
   前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理する、画像復号化装置。
7. 画像符号化装置によって行われる画像符号化方法であって、
   前記画像符号化方法は、
   ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）によって特定された各出力レイヤーセット（ｏｕｔｐｕｔ ｌａｙｅｒ ｓｅｔ、ＯＬＳ）が１つの階層のみを含むか否かを指示する第１情報を符号化するステップと、
   前記第１情報に基づいて、ＶＰＳ内のＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）パラメータシンタックス構造の個数を示す第２情報を符号化するステップと、
   前記ＤＰＢパラメータシンタックス構造の個数に基づいて、ＶＰＳ内のＤＰＢパラメータシンタックス構造を符号化するステップと、
   前記ＤＰＢパラメータシンタックス構造に基づいてＤＰＢを管理するステップと、を含む、画像符号化方法。
8. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示しないことに基づいて、前記第２情報をビットストリームに符号化する、請求項７に記載の画像符号化方法。
9. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記第２情報の符号化をスキップし、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の個数は０に設定される、請求項７に記載の画像符号化方法。
10. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＶＰＳ内のＤＰＢパラメータシンタックス構造の符号化をスキップする、請求項７に記載の画像符号化方法。
11. 前記第１情報が、ＶＰＳによって特定されたＯＬＳが１つの階層のみを含むことを指示することに基づいて、前記ＯＬＳに対するＤＰＢパラメータは、前記ＶＰＳに符号化されず、前記ＯＬＳに含まれている前記１つの階層によって参照されるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化される、請求項７に記載の画像符号化方法。
12. 請求項７に記載の画像符号化方法によって生成されたビットストリームを保存したコンピュータ可読記録媒体。

Images