JP7492027B2 - Ｐｔｌ関連情報をシグナリングする画像符号化／復号方法および装置、ならびにビットストリームを記憶したコンピュータ読み取り可能記録媒体 - Google Patents

Description

本開示は、画像符号化／復号方法および装置に関し、より詳細には、ＶＰＳ（Video Parameter Set）を介してＰＴＬ（Profile Tier Level）関連情報をシグナリングする画像符号化／復号方法および装置、ならびに本開示の画像符号化方法／装置によって生成されたビットストリームを記憶（保存）したコンピュータ読み取り可能（可読）記録媒体に関する。

最近、高解像度、高品質の画像、例えばＨＤ（High Definition）画像およびＵＨＤ（Ultra High Definition）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送（送信）される（transmitted）情報量またはビット量が相対的に増加する。伝送される情報量またはビット量の増加は、伝送コスト（費用）および記憶コストの増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送または記憶し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号効率が向上した画像符号化／復号方法および装置を提供することを目的とする。

また、本開示は、ＶＰＳを介してＰＴＬ関連情報を効率よくシグナリングすることにより、符号化／復号効率の向上を図る画像符号化／復号方法および装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法または装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

また、本開示は、本開示による画像符号化方法または装置によって生成されたビットストリームを記憶した記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号装置によって受信され、復号されて画像の復元に利用されるビットストリームを記憶した記録媒体を提供することを目的とする。

本開示で解決しようとする技術的課題は、上述した技術的課題に制限されず、上述していない別の技術的課題は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解されることができるだろう。

本開示の一態様による画像復号装置によって行われる画像復号方法は、ＶＰＳ（Video Parameter Set）内の複数のプロファイルティアレベル（Profile Tier Level、ＰＴＬ）シンタックス構造の個数に関する第１情報を取得するステップと、第１情報に基づいてＶＰＳ内の複数のＰＴＬシンタックス構造を取得するステップと、ＶＰＳによって特定される複数の出力レイヤセット（Output Layer Set、ＯＬＳ）の全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であるか否かを判断するステップと、判断に基づいて、複数のＯＬＳのそれぞれと各ＯＬＳに適用されるＰＴＬシンタックス構造とのマッピング情報を導出（誘導）するステップと、を有することができる。

本開示の画像復号方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一でないことに基づいて、マッピング情報は、ビットストリームから取得されることができる。

本開示の画像復号方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であることに基づいて、マッピング情報は、所定の値に導出されることができる。

本開示の画像復号方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であることに基づいて、ｉ番目のＯＬＳに対するマッピング情報は、ｉに導出されることができる。

本開示の画像復号方法において、マッピング情報を導出するステップは、第１情報が０よりも大きいか否かに基づいて行われることができる。

本開示の画像復号方法において、第１情報が０であることに基づいて、ｉ番目のＯＬＳに対するマッピング情報は、０に導出されることができる。

本開示の他の態様による画像復号装置は、メモリおよび少なくとも１つのプロセッサを有し、少なくとも１つのプロセッサは、ＶＰＳ（Video Parameter Set）内の複数のプロファイルティアレベル（Profile Tier Level、ＰＴＬ）シンタックス構造の個数に関する第１情報を取得し、第１情報に基づいてＶＰＳ内の複数のＰＴＬシンタックス構造を取得し、ＶＰＳによって特定される複数の出力レイヤセット（Output Layer Set、ＯＬＳ）の全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であるか否かを判断し、判断に基づいて、複数のＯＬＳのそれぞれと各ＯＬＳに適用されるＰＴＬシンタックス構造とのマッピング情報を導出することができる。

本開示の別の態様による画像符号化装置によって行われる画像符号化方法は、ＶＰＳ（Video Parameter Set）内の複数のプロファイルティアレベル（Profile Tier Level、ＰＴＬ）シンタックス構造の個数に関する第１情報、およびＶＰＳ内の複数のＰＴＬシンタックス構造を符号化するステップと、ＶＰＳによって特定される複数の出力レイヤセット（Output Layer Set、ＯＬＳ）の全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であるか否かを判断するステップと、判定に基づいて、複数のＯＬＳのそれぞれと各ＯＬＳに適用されるＰＴＬシンタックス構造とのマッピング情報を符号化するステップと、を有することができる。

本開示の画像符号化方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一でないことに基づいて、マッピング情報は、ビットストリームに符号化されることができる。

本開示の画像符号化方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であることに基づいて、マッピング情報は、ビットストリームに符号化されず、所定の値に決定されることができる。

本開示の画像符号化方法において、ＶＰＳによって特定される複数のＯＬＳの全体個数とＶＰＳ内の複数のＰＴＬシンタックス構造の個数とが同一であることに基づいて、ｉ番目のＯＬＳに対するマッピング情報は、ｉと決定されることができる。

本開示の画像符号化方法において、マッピング情報を符号化するステップは、第１情報が０よりも大きいか否かに基づいて行われることができる。

本開示の画像符号化方法において、第１情報が０であることに基づいて、マッピング情報は、ビットストリームに符号化されず、ｉ番目のＯＬＳに対するマッピング情報は、０と決定されることができる。

本開示の別の態様による伝送方法は、本開示の画像符号化装置または画像符号化方法によって生成されたビットストリームを伝送することができる。

本開示の別の態様によるコンピュータ読み取り可能記録媒体は、本開示の画像符号化方法または画像符号化装置によって生成されたビットストリームを記憶することができる。

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号効率が向上した画像符号化／復号方法および装置が提供されることができる。

また、本開示は、ＶＰＳを介してＰＴＬ関連情報を効率よくシグナリングすることにより、符号化／復号効率の向上を図る画像符号化／復号方法および装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法または装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法または装置によって生成されたビットストリームを記憶した記録媒体が提供されることができる。

また、本開示は、本開示による画像復号装置によって受信され、復号されて画像の復元に利用されるビットストリームを記憶した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解されることができるだろう。

本開示による実施例が適用されることができるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用されることができる画像符号化装置を概略的に示す図である。 本開示による実施例が適用されることができる画像復号装置を概略的に示す図である。 本開示の実施例が適用されることができる概略的なピクチャ復号手順の例を示す図である。 本開示の実施例が適用されることができる概略的なピクチャ符号化手順の例を示す図である。 コーディングされたビデオ／画像に対する階層構造の一例を示す図である。 本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。 本開示の他の実施例によるＶＰＳのシンタックス構造を示す図である。 本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。 図９のＶＰＳ（）を符号化する方法を説明する図である。 図９のＶＰＳ（）を復号する方法を説明する図である。 本開示の実施例が適用されることができるコンテンツストリーミングシステムを例示する図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかしながら、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成または機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」または「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」または「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序または重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェアまたはソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェアまたはソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合されたまたは分散された実施例も本開示の範囲に含まれる。

本開示において、様々な実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化および復号に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示において、「ピクチャ（picture）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（slice）／タイル（tile）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つまたは複数のスライス／タイルで構成されることができる。また、スライス／タイルは、一つまたは複数のＣＴＵ（Coding Tree Unit）を含むことができる。

本開示において、「ピクセル（pixel）」または「ペル（pel）」は、一つのピクチャ（または画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（sample）」が使用されることができる。サンプルは、一般的に、ピクセルまたはピクセルの値を示すことができ、ルマ（luma）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（chroma）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（unit）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域および当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（block）」または「領域（area）」などの用語と混用できる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列およびＮ個の行からなるサンプル（またはサンプルアレイ）または変換係数（transform coefficient）のセット（またはアレイ）を含むことができる。

本開示において、「現（現在）ブロック」は、「現コーディングブロック」、「現コーディングユニット」、「符号化対象ブロック」、「復号対象ブロック」または「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現ブロック」は、「現予測ブロック」または「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現ブロック」は、「現変換ブロック」または「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現ブロック」は、「フィルタリング対象ブロック」を意味することができる。

また、本開示において、「現ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックとを全て含むブロックまたは「現ブロックのルマブロック」を意味することができる。現ブロックのルマ成分ブロックは、明示的に「ルマブロック」または「現ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現されることができる。また、現ブロックのクロマ成分ブロックは、明示的に「クロマブロック」または「現クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現されることができる。

本開示において、「ＡまたはＢ（A or B）」は、「Ａのみ」、「Ｂのみ」または「ＡおよびＢの両方」を意味することができる。言い換えれば、本開示において、「ＡまたはＢ（A or B）」は、「Ａおよび／またはＢ（A and/or B）」と解釈されることができる。例えば、本開示において、「Ａ、ＢまたはＣ（A, B or C）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、ＢおよびＣの任意のいずれかの組み合わせ（any combination of A, B and C）」を意味することができる。

本開示で使用される「／」および「、（comma）」は、「および／または（and/or）」を意味することができる。例えば、「Ａ／Ｂ」は、「Ａおよび／またはＢ」を意味することができる。これにより、「Ａ／Ｂ」は、「Ａのみ」、「Ｂのみ」、または「ＡおよびＢの両方」を意味することができる。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、ＢまたはＣ」を意味することができる。

本開示において、「少なくとも１つのＡおよびＢ（at least one of A and B）」は、「Ａのみ」、「Ｂのみ」または「ＡおよびＢの両方」を意味することができる。また、本開示において、「少なくとも１つのＡまたはＢ（at least one of A or B）」や「少なくとも１つのＡおよび／またはＢ（at least one of A and/or B）」という表現は、「少なくとも１つのＡおよびＢ（at least one of A and B）」と同一に解釈されることができる。

また、本開示において、「少なくとも１つのＡ、ＢおよびＣ（at least one of A, B and C）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、ＢおよびＣの任意のいずれかの組み合わせ（any combination of A,B and C）」を意味することができる。また、「少なくとも１つのＡ、ＢまたはＣ（at least one of A, B or C）」や「少なくとも１つのＡ、Ｂおよび／またはＣ（at least one of A,B and/or C）」は、「少なくとも１つのＡ、ＢおよびＣ（at least one of A, B and C）」を意味することができる。

また、本開示で使用される括弧は、「例えば（for example）」を意味することができる。具体的には、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えれば、本開示の「予測」は、「イントラ予測」に限定（limit）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

本開示において、１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

ビデオコーディングシステムの概要

図１は、本開示によるビデオコーディングシステムを示す。

一実施例によるビデオコーディングシステムは、符号化装置１０および復号装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（video）および／または画像（image）情報またはデータをファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して復号装置２０へ伝達することができる。

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２および伝送部１３を含むことができる。一実施例による復号装置２０は、受信部２１、復号部２２およびレンダリング部２３を含むことができる。上記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、上記復号部２２は、ビデオ／画像復号部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成または生成過程（処理、プロセス、process）などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイスおよび／またはビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つまたは複数のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレットおよびスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮および符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（bitstream）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報またはデータを、ファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して復号装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、上記記憶媒体またはネットワークから上記ビットストリームを抽出／受信して復号部２２に伝達することができる。

復号部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号することができる。

レンダリング部２３は、復号されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は、本開示による実施例が適用されることができる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５およびエントロピ符号化部１９０を含むことができる。インター予測部１８０およびイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０および逆変換部１５０は、残差（レジデュアル）（residual）処理部に含まれることができる。残差処理部は、減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部または少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダまたはプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（Decoded Picture Buffer）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つまたは複数の処理ユニット（processing unit）に分割することができる。一例として、上記処理ユニットは、コーディングユニット（Coding Unit、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（Coding Tree Unit、ＣＴＵ）または最大コーディングユニット（Largest Coding Unit、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Quad-Tree/Binary-Tree/Ternary-Tree）構造によって再帰的に（recursively）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造および／または三分木構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造および／または三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプス（deeper depth）のコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換および／または復元などの手順を含むことができる。他の例として、上記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）であることができる。上記予測ユニットおよび上記変換ユニットは、それぞれ上記最終コーディングユニットから分割またはパーティショニングされることができる。上記予測ユニットは、サンプル予測の単位であることができ、上記変換ユニットは、変換係数を導出する単位、および／または変換係数から残差信号（residual signal）を導出する単位であることができる。

予測部（インター予測部１８０またはイントラ予測部１８５）は、処理対象ブロック（現ブロック）に対する予測を行い、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は、現ブロックまたはＣＵ単位で、イントラ予測が適用されるかまたはインター予測が適用されるかを決定することができる。予測部は、現ブロックの予測に関する様々な情報を生成してエントロピ符号化部１９０に伝達することができる。予測に関する情報は、エントロピ符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。参照される上記サンプルは、イントラ予測モードおよび／またはイントラ予測技法に従って、上記現ブロックの周辺（neighbor）に位置することもでき、または離れて位置することもできる。イントラ予測モードは、複数の非方向性モードおよび複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモードおよび平面（プランナー）モード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かさの程度に応じて、例えば３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現ブロックとの動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測することができる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現ピクチャ内に存在する空間周辺ブロック（spatial neighboring block）と、参照ピクチャに存在する時間周辺ブロック（temporal neighboring block）と、を含むことができる。上記参照ブロックを含む参照ピクチャと、上記時間周辺ブロックを含む参照ピクチャと、は同一でもよく、互いに異なってもよい。上記時間周辺ブロックは、コロケート参照ブロック（collocated reference block）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。上記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（collocated picture、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードおよびマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、残差信号が伝送されないことができる。動き情報予測（Motion Vector Prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）として用い、動きベクトル差分（motion vector difference）および動きベクトル予測子に対するインジケータ（indicator）を符号化することにより、現ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法および／または予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現ブロックの予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。現ブロックの予測のためにイントラ予測とインター予測とを同時に適用する予測方法は、ＣＩＩＰ（Combined Inter and Intra Prediction）と呼ばれることができる。また、予測部は、現ブロックの予測のためにイントラブロックコピー（Intra Block Copy、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（Screen Content Coding）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現ブロックから所定の距離だけ離れた位置の現ピクチャ内の既に復元された参照ブロックを用いて現ブロックを予測する方法である。ＩＢＣが適用される場合、現ピクチャ内の参照ブロックの位置は、上記所定の距離に該当（対応）する（corresponding）ベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現ピクチャ内で予測を行うが、現ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、または残差信号を生成するために用いられることができる。減算部１１５は、入力画像信号（オリジナル（原本）ブロック、オリジナルサンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、残差信号（residual signal、残差（残余）ブロック、残差サンプルアレイ）を生成することができる。生成された残差信号は、変換部１２０に伝送されることができる。

変換部１２０は、残差信号に変換技法を適用して変換係数（transform coefficients）を生成することができる。例えば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（all previously reconstructed pixel）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピ符号化部１９０に伝送することができる。エントロピ符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。上記量子化された変換係数に関する情報は、残差情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（scan order）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、上記１次元ベクトル形式の量子化された変換係数に基づいて、上記量子化された変換係数に関する情報を生成することもできる。

エントロピ符号化部１９０は、例えば、指数ゴロム（exponential Golomb）、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などの様々な符号化方法を行うことができる。エントロピ符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（syntax elements）の値など）を一緒にまたは別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（Network Abstraction Layer）ユニット単位で伝送または記憶されることができる。上記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／画像情報は、一般制限情報（general constraint information）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報および／またはシンタックス要素は、上述した符号化手順を介して符号化されて上記ビットストリームに含まれることができる。

上記ビットストリームは、ネットワークを介して伝送されることができ、またはデジタル記憶媒体に記憶されることができる。ここで、ネットワークは、放送網および／または通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。エントロピ符号化部１９０から出力された信号を伝送する伝送部（図示せず）および／もしくは記憶する記憶部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、または伝送部は、エントロピ符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、残差信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０および逆変換部１５０を介して逆量子化および逆変換を適用することにより、残差信号（残差ブロックまたは残差サンプル）を復元することができる。

加算部１５５は、復元された残差信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることにより、復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャをメモリ１７０、具体的には、メモリ１７０のＤＰＢに記憶することができる。上記様々なフィルタリング方法は、例えば、デブロックフィルタリング、サンプル適応オフセット（sample adaptive offset）、適応ループフィルタ（adaptive loop filter）、双方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピ符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピ符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号装置とにおける予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０における参照ピクチャとして使用するために、修正された復元ピクチャを記憶することができる。メモリ１７０は、現ピクチャ内の動き情報が導出された（または符号化された）ブロックの動き情報および／または既に復元されたピクチャ内ブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間周辺ブロックの動き情報または時間周辺ブロックの動き情報として活用されるために、インター予測部１８０に伝達されることができる。メモリ１７０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部１８５に伝達することができる。

画像復号装置の概要

図３は、本開示による実施例が適用されることができる画像復号装置を概略的に示す図である。

図３に示されているように、画像復号装置２００は、エントロピ復号部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０およびイントラ予測部２６５を含んで構成できる。インター予測部２６０およびイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０は、残差処理部に含まれることができる。

画像復号装置２００を構成する複数の構成部の全部または少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現されることができる。

ビデオ／画像情報を含むビットストリームを受信した画像復号装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号装置２００は、画像符号化装置で適用された処理ユニットを用いて復号を行うことができる。したがって、復号の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットを分割して取得できる。そして、画像復号装置２００を介して復号および出力された復元画像信号は、再生装置（図示せず）を介して再生されることができる。

画像復号装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピ復号部２１０を介して復号されることができる。例えば、エントロピ復号部２１０は、上記ビットストリームをパージングして画像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。上記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、上記ビデオ／画像情報は、一般制限情報（general constraint information）をさらに含むことができる。画像復号装置は、画像を復号するために、上記パラメータセットに関する情報および／または上記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報および／またはシンタックス要素は、上記復号手順を介して復号されることにより、上記ビットストリームから取得されることができる。例えば、エントロピ復号部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号し、画像復元に必要なシンタックス要素の値、残差に関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピ復号方法は、ビットストリームから各シンタックス要素に該当するビン（bin）を受信し、復号対象シンタックス要素情報と周辺ブロックおよび復号対象ブロックの復号情報、または以前のステップで復号されたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測してビンの算術復号（arithmetic decoding）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピ復号方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピ復号部２１０で復号された情報のうち、予測に関する情報は、予測部（インター予測部２６０およびイントラ予測部２６５）に提供され、エントロピ復号部２１０でエントロピ復号が行われた残差値、すなわち量子化された変換係数および関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピ復号部２１０で復号された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が、画像復号装置２００の内／外部要素としてさらに備えられることができ、または、受信部は、エントロピ復号部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号装置は、ビデオ／画像／ピクチャ復号装置と呼ばれることができる。上記画像復号装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）および／またはサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。上記情報デコーダは、エントロピ復号部２１０を含むことができ、上記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０およびイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、上記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（transform coefficient）を取得することができる。

逆変換部２３０では、変換係数を逆変換して残差信号（残差ブロック、残差サンプルアレイ）を取得することができる。

予測部は、現ブロックに対する予測を行い、上記現ブロックに対する予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は、エントロピ復号部２１０から出力された上記予測に関する情報に基づいて、上記現ブロックにイントラ予測が適用されるかまたはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現ピクチャ内のサンプルを参照して現ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現ブロックに対する予測されたブロックを導出することができる。このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現ブロックとの動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測することができる。上記動き情報は、動きベクトルおよび参照ピクチャインデックスを含むことができる。上記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現ピクチャ内に存在する空間周辺ブロック（spatial neighboring block）と参照ピクチャに存在する時間周辺ブロック（temporal neighboring block）とを含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて上記現ブロックの動きベクトルおよび／または参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、上記予測に関する情報は、上記現ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得された残差信号を予測部（インター予測部２６０および／またはイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対する残差がない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部または復元ブロック生成部と呼ばれることもある。生成された復元信号は、現ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（modified）復元ピクチャを生成することができ、上記修正された復元ピクチャをメモリ２５０、具体的には、メモリ２５０のＤＰＢに記憶することができる。上記様々なフィルタリング方法は、例えば、デブロックフィルタリング、サンプル適応オフセット（sample adaptive offset）、適応ループフィルタ（adaptive loop filter）、双方向フィルタ（bilateral filter）などを含むことができる。

メモリ２５０のＤＰＢに記憶された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現ピクチャ内の動き情報が導出された（または復号された）ブロックの動き情報および／または既に復元されたピクチャ内のブロックの動き情報を記憶することができる。上記記憶された動き情報は、空間周辺ブロックの動き情報または時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現ピクチャ内の復元されたブロックの復元サンプルを記憶することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０およびイントラ予測部１８５で説明された実施例は、それぞれ画像復号装置２００のフィルタリング部２４０、インター予測部２６０およびイントラ予測部２６５にも、同様にまたは対応するように適用されることができる。

一般的な画像／ビデオコーディング手順

画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号順序（decoding order）に従って符号化／復号できる。復号されたピクチャの出力順序（output order）に該当するピクチャ順序（picture order）は、上記復号順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。

図４は、本開示の実施例が適用されることができる概略的なピクチャ復号手順の例を示す。

図４に示されている各手順は、図３の画像復号（符号化）装置によって行われることができる。例えば、ステップＳ４１０は、エントロピ復号部２１０によって行われることができ、ステップＳ４２０は、イントラ予測部２６５およびインター予測部２６０を含む予測部で行われることができ、ステップＳ４３０は、逆量子化部２２０および逆変換部２３０を含む残差処理部で行われることができ、ステップＳ４４０は、加算部２３５で行われることができ、ステップＳ４５０は、フィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明された残差処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。

図４を参照すると、ピクチャ復号手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、および復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。上記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）および残差処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプルおよび残差サンプルに基づいて行われることができる。上記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（modified）された復元ピクチャが生成されることができ、上記修正された復元ピクチャが、復号されたピクチャとして出力されることができ、また、復号装置の復号ピクチャバッファまたはメモリ２５０に記憶されて以後のピクチャの復号時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、上記インループフィルタリング手順は省略可能であり、この場合、上記復元ピクチャが復号されたピクチャとして出力されることができ、また、復号装置の復号ピクチャバッファまたはメモリ２５０に記憶されて以後のピクチャの復号時にインター予測手順で参照ピクチャとして使用されることができる。上記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロックフィルタリング手順、ＳＡＯ（Sample Adaptive Offset）手順、ＡＬＦ（Adaptive Loop Filter）手順、および／またはバイラテラルフィルタ（bi-lateral filter）手順などを含むことができ、その一部または全部が省略可能である。また、上記デブロックフィルタリング手順、ＳＡＯ（Sample Adaptive Offset）手順、ＡＬＦ（Adaptive Loop Filter）手順、およびバイラテラルフィルタ（bi-lateral filter）手順のうちの一つまたは一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロックフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。あるいは、例えば、復元ピクチャに対してデブロックフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。

図５は、本開示の実施例が適用されることができる概略的なピクチャ符号化手順の例を示す。

図５に示されている各手順は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ５１０は、イントラ予測部１８５またはインター予測部１８０を含む予測部で行われることができ、ステップＳ５２０は、変換部１２０および／または量子化部１３０を含む残差処理部で行われることができ、ステップＳ５３０は、エントロピ符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明された残差処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。

図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、残差情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現ピクチャに対する復元ピクチャを生成する手順、および復元ピクチャにインループフィルタリングを適用する手順（optional）を含むことができる。符号化装置は、逆量子化部１４０および逆変換部１５０を介して、量子化された変換係数から（修正された）残差サンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと上記（修正された）残差サンプルとに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号装置で生成した復元ピクチャと同一であり得る。上記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファまたはメモリ１７０に記憶されることができ、復号装置における場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、上記インループフィルタリング手順の一部または全部は省略可能である。上記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピ符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号装置は、上記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。

このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（artifact）およびリンギング（ringing）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置および復号装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号装置とは、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。

上述したように、復号装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、上記現ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現ピクチャ／スライス／タイルグループがＰまたはＢピクチャ／スライス／タイルグループである場合、上記現ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測またはインター予測に基づいて復元されることができる。この場合、現ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分およびクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法および実施例は、ルマ成分およびクロマ成分に適用されるができる。

コーディング層（レイヤ、階層、layer）および構造の例

本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング層および構造に従って処理されることができる。

図６は、コーディングされたビデオ／画像に対する階層構造の一例を示す図である。

コーディングされたビデオ／画像は、画像／ビデオの復号処理およびそれ自体を扱うＶＣＬ（Video Coding Layer、ビデオ符号化層（ビデオコーディング層））、符号化された情報を伝送し記憶する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（Network Abstraction Layer、ネットワーク抽象化層（ネットワーク抽象層））に区分されることができる。

ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、またはピクチャパラメータセット（Picture Parameter Set：ＰＰＳ）、シーケンスパラメータセット（Sequence Parameter Set：ＳＰＳ）、ビデオパラメータセット（Video Parameter Set：ＶＰＳ）などの情報を含むパラメータセットもしくは画像の復号処理に付加的に必要なＳＥＩ（Supplemental Enhancement Information）メッセージを生成することができる。

ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Raw Byte Sequence Payload）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰとは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダには、該当のＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。

図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰのタイプ（類型）によってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に関する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号するために必要な情報（パラメータセットまたはＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。

上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダ情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Real-time Transport Protocol）、ＴＳ（Transport Stream）などの所定の規格のデータ形式で変形して様々なネットワークを介して伝送されることができる。

上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（structure）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに関する情報は、ＮＡＬユニットヘッダに記憶されてシグナリングされることができる。例えば、ＮＡＬユニットが画像に関する情報（スライスデータ）を含むか否かによって、大まかにＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質および種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。

以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。

－ＤＣＩ（Decoding Capability Information） ＮＡＬ Ｕｎｉｔ Ｔｙｐｅ（ＮＵＴ）：ＤＣＩを含むＮＡＬユニットに対するタイプ

－ＶＰＳ（Video Parameter Set） ＮＵＴ：ＶＰＳを含むＮＡＬユニットに対するタイプ

－ＳＰＳ（Sequence Parameter Set） ＮＵＴ：ＳＰＳを含むＮＡＬユニットに対するタイプ

－ＰＰＳ（Picture Parameter Set） ＮＵＴ：ＰＰＳを含むＮＡＬユニットに対するタイプ

－ＡＰＳ（Adaptation Parameter Set） ＮＵＴ：ＡＰＳを含むＮＡＬユニットに対するタイプ

－ＰＨ（Picture Header） ＮＵＴ：ピクチャヘッダを含むＮＵＬユニットに対するタイプ

上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、上記シンタックス情報は、ＮＡＬユニットヘッダに記憶されてシグナリングされることができる。例えば、上記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を用いて特定されることができる。

一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダおよびスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダおよびスライスデータセット（集合））に対して一つのピクチャヘッダがさらに付加されることができる。上記ピクチャヘッダ（ピクチャヘッダシンタックス）は、上記ピクチャに共通に適用可能な情報／パラメータを含むことができる。上記スライスヘッダ（スライスヘッダシンタックス）は、上記スライスに共通に適用可能な情報／パラメータを含むことができる。上記ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つまたは複数のスライスまたはピクチャに共通に適用可能な情報／パラメータを含むことができる。上記ＳＰＳ（ＳＰＳシンタックス）は、一つまたは複数のシーケンスに共通に適用可能な情報／パラメータを含むことができる。上記ＶＰＳ（ＶＰＳシンタックス）は、マルチ（複数の、multiple）レイヤに共通に適用可能な情報／パラメータを含むことができる。上記ＤＣＩは、復号能力（decoding capability）に関連する情報／パラメータを含むことができる。

本開示において、上位レベルシンタックス（High Level Syntax、ＨＬＳ）は、上記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダシンタックス、およびスライスヘッダシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス（Low Level Syntax、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。

一方、本開示において、符号化装置から復号装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、残差情報、インループフィルタリング情報などを含むだけでなく、上記スライスヘッダの情報、上記ピクチャヘッダの情報、上記ＡＰＳの情報、上記ＰＰＳの情報、ＳＰＳの情報、上記ＶＰＳの情報および／または上記ＤＣＩの情報を含むことができる。また、上記画像／ビデオ情報は、一般制限情報（general constraint information）および／またはＮＡＬユニットヘッダの情報をさらに含むことができる。

High level syntax signaling and semantics

上述したように、本開示による画像／ビデオ情報は、ハイレベルシンタックス（High Level Syntax、ＨＬＳ）を含むことができる。画像符号化方法および／または画像復号方法は、上記画像／ビデオ情報に基づいて行われることができる。

Video Parameter Set signaling

ビデオパラメータセット（Video Parameter Set、ＶＰＳ）は、層（レイヤ）情報（layer information）の伝送のために使用されるパラメータセットである。上記層情報は、例えば、出力レイヤセット（Output Layer Set、ＯＬＳ）に関する情報、プロファイルティアレベル（profile tier level）に関する情報、ＯＬＳと仮想参照デコーダ（hypothetical reference decoder）との関係に関する情報、ＯＬＳとＤＰＢとの関係に関する情報などを含むことができる。ＶＰＳは、ビットストリームの復号に必須ではないことができる。

ＶＰＳ ＲＢＳＰ（Raw Byte Sequence Payload）は、参照される前に、ＴｅｍｐｏｒａｌＩＤが０である少なくとも１つのアクセスユニット（Access Unit、ＡＵ）に含まれるか、または外部手段を介して提供されることにより、復号プロセスに利用可能でなければならない。

ＣＶＳ（Coded Video Sequence）内で特定の値のｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを持つ全てのＶＰＳ ＮＡＬユニットは、同じコンテンツを持たなければならない。上記において、ＣＶＳは、マルチレイヤに対する符号化ピクチャのシーケンスを含むビットストリームまたは画像／ビデオ情報として理解されることができる。

図７は、本開示の一実施例によるＶＰＳのシンタックス構造を例示的に示す図である。

図７に示されている例において、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、ＶＰＳに対する識別子を提供する。他のシンタックス要素は、ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを用いてＶＰＳを参照することができる。ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０よりも大きくなければならない。

ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、上記ＶＰＳを参照する各ＣＶＳ内の許容可能な最大層数（階層の数）を示すことができる。

ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた値は、上記ＶＰＳを参照する各ＣＶＳ内の層に存在しうる時間的サブレイヤ（temporal sublayers）の最大個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１は、０～６の値を有することができる。

ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きく、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きい場合にシグナリングされることができる。第１値（例えば、１）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、上記ＶＰＳを参照する各ＣＶＳ内のすべての層に対して時間的サブレイヤの個数が同一であることを示すことができる。第２値（例えば、０）のｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇは、上記ＶＰＳを参照する各ＣＶＳ内の層が同じ個数の時間的サブレイヤを有しないことができることを示すことができる。ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが存在しないとき、その値は、第１値（例えば、１）と推論されることができる。

ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の個数を示すことができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値は、ＴｏｔａｌＮｕｍＯｌｓｓよりも小さくなければならない。ＴｏｔａｌＮｕｍＯｌｓｓは、ＶＰＳによって特定されるＯＬＳｓの全体個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０であるとき、ＴｏｔａｌＮｕｍＯｌｓｓは、１に導出されることができる。そうではなく、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇが１であるか、またはｏｌｓ＿ｍｏｄｅ＿ｉｄｃが０もしくは１である場合、ＴｏｔａｌＮｕｍＯｌｓｓは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１に導出されることができる。そうではなく、ｏｌｓ＿ｍｏｄｅ＿ｉｄｃが２である場合、ＴｏｔａｌＮｕｍＯｌｓｓは、ｎｕｍ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１＋１に導出されることができる。ｏｌｓ＿ｍｏｄｅ＿ｉｄｃは、ＶＰＳによって特定されるＯＬＳの全体個数を導出するためのモードを指し示す指示子であり得る。上記において、ｅａｃｈ＿ｌａｙｅｒ＿ｉｓ＿ａｎ＿ｏｌｓ＿ｆｌａｇは、各ＯＬＳが１つの層のみを含むか否かを示すことができる。

第１値（例えば、１）のｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造にプロファイル、ティアおよび一般制限情報（general constraints information）が存在することを示すことができる。第２値（例えば、０）のｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造にプロファイル、ティアおよび一般制限情報が存在しないことを示すことができる。ｐｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］が第２値である場合、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に対するプロファイル、ティアおよび一般制限情報は、ＶＰＳ内の（ｉ－１）番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造に対するプロファイル、ティアおよび一般制限情報と同一に推論されることができる。

ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ＶＰＳ内のｉ番目のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造内にレベル情報が存在する最上位サブレイヤの時間層識別子（ＴｅｍｐｏｒａｌＩｄ）を示すことができる。ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０ないしｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１の値を有することができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１が０より大きく、ｖｐｓ＿ａｌｌ＿ｌａｙｅｒｓ＿ｓａｍｅ＿ｎｕｍ＿ｓｕｂｌａｙｅｒｓ＿ｆｌａｇが１である場合、ｐｔｌ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］は、ｖｐｓ＿ｍａｘ＿ｓｕｂｌａｙｅｒｓ＿ｍｉｎｕｓ１と同じ値と推論されることができる。

ｖｐｓ＿ｐｔｌ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔは、０と同一でなければならない。

ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のリストに対するインデックスであって、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のインデックスであり得る。ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］が存在するとき、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、０ないしｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値を有することができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、０と推論されることができる。

ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］は、ｉ番目のＯＬＳ内の層の個数を示すことができる。ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であるとき、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造は、ｉ番目のＯＬＳ内の層によって参照されるＳＰＳにも存在することができる。ビットストリームの整合性に対する要求事項として、ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｉ］が１であるとき、ｉ番目のＯＬＳに対するＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造とＳＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造とは同一でなければならない。

図７を参照して説明したＶＰＳシグナリング方法によれば、以下の問題点のうちの少なくとも１つが発生する可能性がある。

－ビットストリームが単一層のみを含む場合でも、複数のプロファイルレベルディアがシグナリングされることができる。

－また、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］のシグナリングのためにＰＴＬ（Profile Tier Level）の個数だけチェックするので、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］のシグナリングに不一致が発生する可能性がある。

これらの問題点のうちの少なくとも１つを解決するための本開示による実施例は、以下の構成のうちの少なくとも１つを含むことができる。下記の構成は、個別に、または他の構成と組み合わせられて適用されることができる。

構成１：ＶＰＳ内のＰＴＬ情報の個数を示すシンタックス要素は、ビットストリームに１つよりも多い層（複数の層）が存在する場合にのみシグナリングされるようにすることができる。また、ビットストリームが単一層を含む場合、ＰＴＬ情報の個数は、１と推論されることができる。構成１によれば、ビットストリームが単一層のみを含む場合には、ＰＴＬ情報の個数をシグナリングせずに１と推論することにより、複数のプロファイルレベルティアがシグナリングされる問題を防止することができる。

構成２：シグナリングされるＰＴＬ情報の個数がＯＬＳの個数と同一である場合、ＰＴＬ情報とＯＬＳとのマッピング情報（ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］）のシグナリングを省略することができる。ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］のシグナリングが省略される場合、ｉ番目のＯＬＳは、ｉ番目のＰＴＬ情報とマッピングされることができる。

図８は、本開示の他の実施例によるＶＰＳのシンタックス構造を示す図である。

図８に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部分を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図８に示すように、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きい場合、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１がシグナリングされることができる。上述したように、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の個数を示すことができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０である場合、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１は、シグナリングされず、０と推論されることができる。ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ＶＰＳを参照する各ＣＶＳ内の層の許容可能な最大個数を示すことができる。したがって、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１がｎであることは、ＶＰＳを参照する各ＣＶＳが最大ｎ＋１個の層を含むことができることを意味することができる。

図８に示されている例によれば、ＶＰＳ内のＰＴＬ情報の個数を示すためのシンタックス要素（例えば、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１）は、ビットストリームに複数の層が存在する場合（例えば、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＞０）にのみシグナリングされる。また、ビットストリームが単一層を含む場合（例えば、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＝０）、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１は、シグナリングされず、０と推論されることができる。したがって、図８に示されている例によれば、ビットストリームが単一層のみを含む場合に複数のプロファイルレベルティア情報がシグナリングされる問題を防止することができる。

図９は、本開示の別の実施例によるＶＰＳのシンタックス構造を示す図である。

図９に示されているＶＰＳのシンタックス構造は、本開示の他の実施例によるＶＰＳのシンタックス構造の一部分を変更したものであり得る。したがって、本開示の他の実施例についての説明と重複する部分についての説明は省略する。

図９に示すように、ｏｌｓ＿ｐｔｌ＿ｉｄｘは、下記の条件が満たされる場合にシグナリングされることができる。

ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１！＝ＴｏｔａｌＮｕｍＯｌｓｓ ＆＆ ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＞０

上述したように、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のリストに対するインデックスであって、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）のインデックスであり得る。ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］が存在するとき、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］は、０ないしｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値を持つことができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、０と推論されることができる。また、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１がＴｏｔａｌＮｕｍＯｌｓｓと同じである場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値は、ｉと推論されることができる。

また、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１は、ＶＰＳ内のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の個数を示すことができる。ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１の値は、ＴｏｔａｌＮｕｍＯｌｓｓよりも小さくなければならない。ＴｏｔａｌＮｕｍＯｌｓｓは、ＶＰＳによって特定されるＯＬＳｓの全体の個数を示すことができる。

図１０は、図９のＶＰＳによるｏｓｌ＿ｐｔｌ＿ｉｄｘを符号化する方法を説明する図である。

画像符号化装置は、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］を決定することができる（Ｓ１０１０）。画像符号化装置は、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値を０と決定することができる。また、画像符号化装置は、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１がＴｏｔａｌＮｕｍＯｌｓｓと同じである場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値をｉと決定することができる。

画像符号化装置は、ステップＳ１０２０の条件をチェックすることにより、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］を符号化するか否かを決定することができる（Ｓ１０２０）。

ステップＳ１０２０を満たす場合、画像符号化装置は、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］をビットストリームに符号化することができる（Ｓ１０３０）。ステップＳ１０２０を満たさない場合、画像符号化装置は、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］をビットストリームに符号化しないことができる（Ｓ１０３０）。ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］を符号化しない場合、後述するように、画像復号装置は、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］を所定の値と推論することができる。

画像符号化装置は、上記決定されたｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値によって特定されるｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）に基づいてｉ番目のＯＬＳを処理（例えば、符号化）することができる。

図１１は、図９のＶＰＳによるｏｓｌ＿ｐｔｌ＿ｉｄｘを復号する方法を説明する図である。

画像復号装置は、ステップＳ１１１０の条件をチェックすることにより、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］がパージングされるか否か（如何）を決定することができる（Ｓ１１１０）。

ステップＳ１１１０を満たす場合、画像復号装置は、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］をビットストリームから取得することができる（Ｓ１１２０）。画像復号装置は、取得されたｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］に基づいてｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値を導出することができる（Ｓ１１３０）。

ステップＳ１１１０を満たさない場合、画像復号装置は、ステップＳ１１２０の実行をスキップし、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］を所定の値に導出することができる（Ｓ１１３０）。具体的には、画像復号装置は、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１が０である場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値を０に導出することができる。また、画像復号装置は、ｖｐｓ＿ｎｕｍ＿ｐｔｌｓ＿ｍｉｎｕｓ１＋１がＴｏｔａｌＮｕｍＯｌｓｓと同じである場合、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値をｉに導出することができる。

画像復号装置は、上記の過程によって導出されたｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］の値に基づいて、ｉ番目のＯＬＳに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）を取得することができる。画像復号装置は、上記取得されたｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）内の情報に基づいてｉ番目のＯＬＳを処理（例えば、復号）することができる。

図９～図１１を参照して説明した実施例によれば、シグナリングされるＰＴＬ情報の個数がＯＬＳの個数と同じである場合、ＰＴＬ情報とＯＬＳとのマッピング情報（例えば、ｏｌｓ＿ｐｔｌ＿ｉｄｘ［ｉ］）のＶＰＳ内のシグナリングを省略することができる。上述したように、本実施例によれば、ＶＰＳでシグナリングされるＰＴＬ関連情報の量が減少し、よって、効率的なシグナリングを行うことができる。

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時にまたは異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、または一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置または画像復号装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置または画像復号装置は、上記所定の条件が満足されるか否かを確認する動作を行った後、上記所定の動作を行うことができる。

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（firmware）、ソフトウェア、またはそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つまたは複数のＡＳＩＣｓ（Application Specific Integrated Circuits）、ＤＳＰｓ（Digital Signal Processors）、ＤＳＰＤｓ（Digital Signal Processing Devices）、ＰＬＤｓ（Programmable Logic Devices）、ＦＰＧＡｓ（Field Programmable Gate Arrays）、汎用プロセッサ（general processor）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号装置および画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（注文型ビデオ）（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over The Top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Over The Top video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などを含むことができる。

図１２は、本開示の実施例が適用されることができるコンテンツストリーミングシステムを例示する図である。

図１２に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大まかに、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置およびマルチメディア入力装置を含むことができる。

上記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記符号化サーバは省略できる。

上記ビットストリームは、本開示の実施例が適用された画像符号化方法および／または画像符号化装置によって生成されることができ、上記ストリーミングサーバは、上記ビットストリームを伝送または受信する過程で一時的に上記ビットストリームを記憶することができる。

上記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、上記Ｗｅｂサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが上記Ｗｅｂサーバに所望のサービスを要求すると、上記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。このとき、上記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

上記ストリーミングサーバは、メディアストレージおよび／または符号化サーバからコンテンツを受信することができる。例えば、上記符号化サーバからコンテンツを受信する場合、上記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間の間記憶することができる。

上記ユーザ装置の例としては、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ULTRABOOK（登録商標））、ウェアラブルデバイス（wearable device）、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

上記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運用されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置もしくはコンピュータ上で実行されるようにするソフトウェアもしくはマシン実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（firmware）、プログラムなど）、ならびにこのようなソフトウェアもしくはコマンドなどが記憶されて装置もしくはコンピュータ上で実行できる非一時的なコンピュータ読み取り可能媒体（non-transitory computer-readable medium）を含む。

本開示による実施例は、画像を符号化／復号するのに利用可能である。

Claims (14)

1. 画像復号装置によって行われる画像復号方法であって、前記画像復号方法は、
   第１情報を取得するステップであって、前記第１情報＋１は、ＶＰＳ（Video Parameter Set）内のＰＴＬ（Profile Tier Level）シンタックス構造の個数を示す、ステップと、
   前記第１情報に基づいて前記ＶＰＳ内のＰＴＬシンタックス構造を取得するステップと、
   前記ＶＰＳによって特定されるＯＬＳ（Output Layer Set）の総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいかどうかを決定するステップと、
   前記決定に基づいて、前記ＯＬＳと前記ＯＬＳにそれぞれ適用される前記ＰＴＬシンタックス構造との間のマッピング情報を導出するステップと、を含み、
   前記第１情報は、前記ＶＰＳによって特定される層の最大許容個数が１より大きいことに基づいて取得され、
   前記第１情報が取得されないことに基づいて、前記第１情報の値が０であると推論される、画像復号方法。
2. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しくないことに基づいて、前記マッピング情報は、ビットストリームから取得される、請求項１に記載の画像復号方法。
3. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいことに基づいて、前記マッピング情報は、所定の値になるように導出される、請求項１に記載の画像復号方法。
4. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいことに基づいて、ｉ番目のＯＬＳに対する前記マッピング情報は、ｉになるように導出される、請求項３に記載の画像復号方法。
5. 前記マッピング情報を導出するステップは、さらに前記第１情報が０よりも大きいかどうかに基づいて行われる、請求項１に記載の画像復号方法。
6. 前記第１情報が０であることに基づいて、ｉ番目のＯＬＳに対する前記マッピング情報は、０になるように導出される、請求項５に記載の画像復号方法。
7. メモリ及び少なくとも１つのプロセッサを備える画像復号装置であって、
   前記少なくとも１つのプロセッサは、
   第１情報を取得し、前記第１情報＋１は、ＶＰＳ（Video Parameter Set）内のＰＴＬ（Profile Tier Level）シンタックス構造の個数を示し、
   前記第１情報に基づいて前記ＶＰＳ内のＰＴＬシンタックス構造を取得し、
   前記ＶＰＳによって特定されるＯＬＳ（Output Layer Set）の総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいかどうかを決定し、
   前記決定に基づいて、前記ＯＬＳと前記ＯＬＳにそれぞれ適用される前記ＰＴＬシンタックス構造との間のマッピング情報を導出する、ように構成され、
   前記第１情報は、前記ＶＰＳによって特定される層の最大許容個数が１より大きいことに基づいて取得され、
   前記第１情報が取得されないことに基づいて、前記第１情報の値が０であると推論される、画像復号装置。
8. 画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
   第１情報とＶＰＳ（Video Parameter Set）内のＰＴＬ（Profile Tier Level）シンタックス構造とを符号化するステップであって、前記第１情報＋１は、前記ＶＰＳ内の前記ＰＴＬシンタックス構造の個数を示す、ステップと、
   前記ＶＰＳによって特定されるＯＬＳ（Output Layer Set）の総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいかどうかを決定するステップと、
   前記決定に基づいて、前記ＯＬＳと前記ＯＬＳにそれぞれ適用される前記ＰＴＬシンタックス構造との間のマッピング情報を符号化するステップと、を含み、
   前記第１情報は、前記ＶＰＳによって特定される層の最大許容個数が１より大きいことに基づいて符号化され、
   前記ＶＰＳによって特定される層の前記最大許容個数が１であることに基づいて、前記第１情報が符号化されず、前記第１情報の値が０であると決定される、画像符号化方法。
9. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しくないことに基づいて、前記マッピング情報は、ビットストリーム内に符号化される、請求項８に記載の画像符号化方法。
10. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいことに基づいて、前記マッピング情報は、ビットストリーム内に符号化されず、所定の値になるように決定される、請求項８に記載の画像符号化方法。
11. 前記ＶＰＳによって特定されるＯＬＳの総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいことに基づいて、ｉ番目のＯＬＳに対する前記マッピング情報は、ｉになるように決定される、請求項１０に記載の画像符号化方法。
12. 前記マッピング情報を符号化するステップは、さらに前記第１情報が０よりも大きいかどうかに基づいて行われる、請求項８に記載の画像符号化方法。
13. 前記第１情報が０であることに基づいて、前記マッピング情報は、ビットストリーム内に符号化されず、ｉ番目のＯＬＳに対する前記マッピング情報は、０になるように決定される、請求項１２に記載の画像符号化方法。
14. ビットストリームを送信する方法であって、
    第１情報とＶＰＳ（Video Parameter Set）内のＰＴＬ（Profile Tier Level）シンタックス構造とを前記ビットストリーム内に符号化するステップであって、前記第１情報＋１は、前記ＶＰＳ内の前記ＰＴＬシンタックス構造の個数を示す、ステップと、
    前記ＶＰＳによって特定されるＯＬＳ（Output Layer Set）の総数が前記ＶＰＳ内のＰＴＬシンタックス構造の個数と等しいかどうかを決定するステップと、
    前記決定に基づいて、前記ＯＬＳと前記ＯＬＳにそれぞれ適用される前記ＰＴＬシンタックス構造との間のマッピング情報を前記ビットストリーム内に符号化するステップと、
    前記ビットストリームを送信するステップと、を含み、
    前記第１情報は、前記ＶＰＳによって特定される層の最大許容個数が１より大きいことに基づいて符号化され、
    前記ＶＰＳによって特定される層の前記最大許容個数が１であることに基づいて、前記第１情報が符号化されず、前記第１情報の値が０であると決定される、方法。

Images