JP7462740B2 - Ｐｒｏｆを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

Description

本開示は、画像符号化／復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、ＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を行う画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、ＰＲＯＦを行う画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、現在ピクチャのサイズと参照ピクチャのサイズを考慮してＰＲＯＦを行う画像符号化／復号化方法及び装置を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示の一態様による画像復号化方法は、画像復号化装置によって行われる画像復号化方法であって、現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出するステップと、前記現在ブロックに対するＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）条件を導出するステップと、前記ＲＰＲ条件に基づいて前記現在ブロックにＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を適用するか否かを決定するステップと、前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出するステップと、を含むことができる。

本開示の画像復号化方法において、前記ＲＰＲ条件は、前記現在ブロックの参照ピクチャのサイズ及び現在ピクチャのサイズに基づいて導出されることができる。

本開示の画像復号化方法において、前記現在ブロックの参照ピクチャのサイズと前記現在ピクチャのサイズが異なる場合、前記ＲＰＲ条件は第１値として導出され、前記現在ブロックの参照ピクチャのサイズと前記現在ピクチャのサイズが同一である場合、前記ＲＰＲ条件は第２値として導出されることができる。

本開示の画像復号化方法において、前記ＲＰＲ条件が第１値である場合、前記現在ブロックにＰＲＯＦを適用しないものと決定することができる。

本開示の画像復号化方法において、前記現在ブロックにＰＲＯＦを適用するか否かは、前記現在ブロックのサイズに基づいて決定されることができる。

本開示の画像復号化方法において、前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）との積が１２８よりも小さい場合、前記現在ブロックにＰＲＯＦを適用しないものと決定することができる。

本開示の画像復号化方法において、前記現在ブロックがアフィンマージモードであるか否かを示す情報は、前記現在ブロックのサイズに基づいてビットストリームからパーシングされることができる。

本開示の画像復号化方法において、前記現在ブロックがアフィンマージモードであるか否かを示す情報は、前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）がそれぞれ８以上であり、ｗ＊ｈが１２８以上である場合、前記ビットストリームからパーシングされることができる。

本開示の画像復号化方法において、前記現在ブロックがアフィンＭＶＰモードであるか否かを示す情報は、前記現在ブロックのサイズに基づいてビットストリームからパーシングされることができる。

本開示の画像復号化方法において、前記現在ブロックがアフィンＭＶＰモードであるか否かを示す情報は、前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）がそれぞれ８以上であり、ｗ＊ｈが１２８以上である場合、前記ビットストリームからパーシングされることができる。

本開示の画像復号化方法において、前記現在ブロックにＰＲＯＦを適用するか否かは、前記現在ブロックにＢＣＷ又はＷＰが適用されるか否かに基づいて決定されることができる。

本開示の画像復号化方法において、前記現在ブロックにＢＣＷ又はＷＰが適用される場合、前記現在ブロックにＰＲＯＦを適用しないものと決定することができる。

本開示の別の態様による画像復号化装置は、メモリと少なくとも一つのプロセッサとを含み、前記少なくとも一つのプロセッサは、現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出し、前記現在ブロックに対するＲＰＲ条件を導出し、前記ＲＰＲ条件に基づいて前記現在ブロックにＰＲＯＦを適用するか否かを決定し、前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出することができる。

本発明の別の態様による画像符号化方法は、画像符号化装置によって行われる画像符号化方法であって、現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出するステップと、前記現在ブロックに対するＲＰＲ条件を導出するステップと、前記ＲＰＲ条件に基づいて前記現在ブロックにＰＲＯＦを適用するか否かを決定するステップと、前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出するステップと、を含むことができる。

本開示の別の態様による伝送方法は、本開示の画像符号化方法及び／又は画像符号化装置によって生成されたビットストリームを画像復号化装置に伝送することができる。

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、ＰＲＯＦを行う画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、現在ピクチャのサイズと参照ピクチャのサイズを考慮してＰＲＯＦを行う画像符号化／復号化方法及び装置が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 インター予測に基づくビデオ／画像符号化方法を示すフローチャートである。 本開示によるインター予測部１８０の構成を例示的に示す図である。 インター予測に基づくビデオ／画像復号化方法を示すフローチャートである。 本開示によるインター予測部２６０の構成を例示的に示す図である。 アフィンモードで表現可能な動きを例示的に示す図である。 アフィンモードのパラメータモデルを説明するための図である。 アフィンマージ候補リストを生成する方法を説明するための図である。 周辺ブロックから誘導されるＣＰＭＶを説明するための図である。 継承アフィンマージ候補を誘導するための周辺ブロックを説明するための図である。 組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。 アフィンＭＶＰ候補リストを生成する方法を説明するための図である。 サブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。 サブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。 ＢＤＯＦを行うために拡張されたＣＵを示す図である。 Δｖ（ｉ，ｊ）、ｖ（ｉ，ｊ）及びサブブロック動きベクトルの関係を示す図である。 本開示によるＢＤＯＦの適用有無決定過程を示す一例である。 本開示によるＰＲＯＦの適用有無決定過程を示す一例である。 本開示の一例によってサブブロックマージモードの適用有無を指示する情報のシグナリングを説明するための図である。 本開示の一例によってアフィンＭＶＰモードの適用有無を指示する情報のシグナリングを説明するための図である。 本開示の他の実施例によってＰＲＯＦの適用有無決定過程を示す図である。 本開示の別の実施例によってサブブロックマージモードの適用有無を指示する情報のシグナリングを説明するための図である。 本開示の別の実施例によってアフィンＭＶＰモードの適用有無を指示する情報のシグナリングを説明するための図である。 本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。 本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。 本開示によってＰＲＯＦを行う方法を説明するための図である。 本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。 本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」（備える；構成する；構築する；包接する；包含する；含有する）とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

ビデオコーディングシステムの概要

図１は本開示によるビデオコーディングシステムを示す図である。

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイルまたはストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

画像符号化装置の概要

図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

一方、後述するように、ピクチャ符号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

画像復号化装置の概要

図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

画像復号化装置２００は、図１の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。

一方、後述するように、ピクチャ復号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

インター予測の概要

画像符号化／復号化装置は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素に依存的な方法で導出される予測技法を意味することができる。現在ブロックに対してインター予測が適用される場合、参照ピクチャ上で動きベクトルによって特定される参照ブロックに基づいて、現在ブロックに対する予測ブロックが誘導されることができる。

このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報が誘導されることができ、ブロック、サブブロック又はサンプル単位で動き情報が誘導されることができる。このとき、動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報はインター予測タイプ情報をさらに含むことができる。ここで、インター予測タイプ情報はインター予測の方向性情報を意味することができる。インター予測タイプ情報は、現在ブロックがＬ０予測、Ｌ１予測及びＢｉ予測のうちのいずれか一つを用いて予測されることを指示することができる。

現在ブロックに対してインター予測が適用される場合、現在ブロックの周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）を含むことができる。このとき、現在ブロックに対する参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、異なっていてもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケート符号化ユニット（ｃｏｌＣＵ）などと呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。

一方、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成されることができ、このとき、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が使用されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。

動き情報は、インター予測タイプに基づいてＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と定義されることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と定義されることができる。Ｌ０動きベクトルに基づいた予測はＬ０予測と定義されることができ、Ｌ１動きベクトルに基づいた予測はＬ１予測と定義されることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方ともに基づいた予測は双予測（Ｂｉ ｐｒｅｄｉｃｔｉｏｎ）と定義されることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０に関連した動きベクトルを意味することができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１に関連した動きベクトルを意味することができる。

参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序における以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序における以後のピクチャを含むことができる。このとき、以前のピクチャは、順方向（参照）ピクチャと定義することができ、前記以後のピクチャは、逆方向（参照ピクチャ）と定義することができる。一方、参照ピクチャリストＬ０は、現在ピクチャよりも出力順序における以後のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデックス化され、以後のピクチャは、その次にインデックス化されることができる。参照ピクチャリストＬ１は、現在ピクチャよりも出力順序における以前のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後のピクチャが先にインデックス化され、以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。

図４はインター予測に基づくビデオ／画像符号化方法を示すフローチャート図である。

図５は本開示によるインター予測部１８０の構成を例示的に示す図である。

図４の符号化方法は、図２の画像符号化装置によって行われることができる。具体的に、ステップＳ４１０は、インター予測部１８０によって行われることができ、ステップＳ４２０は、レジデュアル処理部によって行われることができる。具体的に、ステップＳ４２０は、減算部１１５によって行われることができる。ステップＳ４３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ４３０の予測情報はインター予測部１８０によって導出され、ステップＳ４３０のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。

画像符号化装置は、現在ブロックに対するインター予測を行うことができる（Ｓ４１０）。画像符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図５に示されているように、画像符号化装置のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２、及び予測サンプル導出部１８３を含むことができる。予測モード決定部１８１で前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で前記現在ブロックの動き情報を導出し、予測サンプル導出部１８３で前記現在ブロックの予測サンプルを導出することができる。例えば、画像符号化装置のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定の領域（探索領域）内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。画像符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。画像符号化装置は、前記様々なインター予測モードに対するレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ（ＲＤ） ｃｏｓｔ）を比較し、前記現在ブロックに対する最適の予測モードを決定することができる。しかし、画像符号化装置が現在ブロックに対するインター予測モードを決定する方法は、上記の例に限定されず、様々な方法が利用できる。

例えば、現在ブロックに対するインター予測モードは、マージモード（ｍｅｒｇｅ ｍｏｄｅ）、スキップモード（ｓｋｉｐ ｍｏｄｅ）、ＭＶＰモード（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、ＳＭＶＤモード（Ｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）、アフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）、サブブロックベースのマージモード（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＲモード（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）、ＨＭＶＰモード（Ｈｉｓｔｏｒｙ－ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ ｍｏｄｅ）、双予測マージモード（Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｍｏｄｅ）、ＭＭＶＤモード（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ ｍｏｄｅ）、ＤＭＶＲモード（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ ｍｏｄｅ）、ＣＩＩＰモード（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、及びＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）のうちの少なくとも一つと決定されることができる。

例えば、現在ブロックにスキップモード又はマージモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。また、画像符号化装置は、前記マージ候補リストに含まれているマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されて画像復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。

他の例として、前記現在ブロックにＭＶＰモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックから動きベクトル予測子（ＭＶＰ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）候補を誘導し、誘導されたＭＶＰ候補を用いてＭＶＰ候補リストを構成することができる。また、画像符号化装置は、前記ＭＶＰ候補リストに含まれているＭＶＰ候補のうち、選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ＭＶＰ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つＭＶＰ候補が、前記選択されたＭＶＰ候補になることができる。前記現在ブロックの動きベクトルから前記ＭＶＰを差し引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。この場合、前記選択されたＭＶＰ候補を示すインデックス情報、及び前記ＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。また、ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記画像復号化装置にシグナリングされることができる。

画像符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる（Ｓ４２０）。画像符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。例えば、前記レジデュアルサンプルは、原本サンプルから対応する予測サンプルを減算することにより導出されることができる。

画像符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化することができる（Ｓ４３０）。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記予測モード情報のうち、ｓｋｉｐ ｆｌａｇは、現在ブロックに対してスキップモードが適用されるか否かを示す情報であり、ｍｅｒｇｅ ｆｌａｇは、現在ブロックに対してマージモードが適用されるか否かを示す情報である。又は、予測モード情報は、ｍｏｄｅ ｉｎｄｅｘのように、複数の予測モードのうちのいずれか一つを指示する情報であってもよい。前記ｓｋｉｐ ｆｌａｇとｍｅｒｇｅ ｆｌａｇがそれぞれ０である場合、現在ブロックに対してＭＶＰモードが適用されると決定されることができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含むことができる。前記候補選択情報のうち、ｍｅｒｇｅ ｉｎｄｅｘは、現在ブロックに対してマージモードが適用される場合にシグナリングされることができ、マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択するための情報であることができる。前記候補選択情報のうち、ＭＶＰ ｆｌａｇ又はＭＶＰ ｉｎｄｅｘは、現在ブロックに対してＭＶＰモードが適用される場合にシグナリングされることができ、ＭＶＰ候補リストに含まれているＭＶＰ候補のうちのいずれか一つを選択するための情報であることができる。具体的に、ＭＶＰ ｆｌａｇは、シンタックス要素ｍｖｐ＿ｌ０＿ｆｌａｇ或いはｍｖｐ＿ｌ１＿ｆｌａｇを用いてシグナリングされることができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測又は双（Ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。

出力されたビットストリームは、（デジタル）記憶媒体に保存されて画像復号化装置に伝達されることができ、又はネットワークを介して画像復号化装置に伝達されることもできる。

一方、前述したように、画像符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含むピクチャ）を生成することができる。これは、画像復号化装置で行われるのと同じ予測結果を画像符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、画像符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。

図６はインター予測に基づくビデオ／画像復号化方法を示すフローチャートである。

図７は本開示によるインター予測部２６０の構成を例示的に示す図である。

画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。画像復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。

図６の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ６１０乃至Ｓ６３０は、インター予測部２６０によって行われることができ、ステップＳ６１０の予測情報及びステップＳ６４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ６４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ６５０は、加算部２３５又は復元部によって行われることができる。

具体的に、画像復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる（Ｓ６１０）。画像復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。

例えば、前記ｓｋｉｐ ｆｌａｇに基づいて、前記現在ブロックに前記スキップモードが適用されるか否かを決定することができる。また、前記ｍｅｒｇｅ ｆｌａｇに基づいて、前記現在ブロックに前記マージモードが適用されるか或いはＭＶＰモードが決定されるかを決定することができる。又は、前記ｍｏｄｅ ｉｎｄｅｘに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又はＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。

画像復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出することができる（Ｓ６２０）。例えば、画像復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、前述した候補選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。例えば、前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。

他の例として、画像復号化装置は、前記現在ブロックにＭＶＰモードが適用される場合、ＭＶＰ候補リストを構成し、前記ＭＶＰ候補リストに含まれているＭＶＰ候補の中から選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。前記選択は、前述した候補選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのＭＶＰと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。

画像復号化装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成することができる（Ｓ６３０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。場合に応じて、前記現在ブロックの予測サンプルのうちの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。

例えば、図７に示されているように、画像復号化装置のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、予測サンプル導出部２６３を含むことができる。画像復号化装置のインター予測部２６０は、予測モード決定部２６１で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部２６２で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部２６３で前記現在ブロックの予測サンプルを導出することができる。

画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ６５０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは前述したとおりである。

前述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、及び導出された動き情報に基づく予測実行（予測サンプル生成）ステップを含むことができる。前記インター予測手順は、前述したように、画像符号化装置及び画像復号化装置で行われることができる。

以下、予測モードによる動き情報導出ステップについてより詳細に説明する。

前述したように、インター予測は、現在ブロックの動き情報を用いて行われることができる。画像符号化装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して、現在ブロックに対する最適の動き情報を導出することができる。例えば、画像符号化装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似な参照ブロックを参照ピクチャ内の定められた探索範囲内で分数ピクセル単位にて探索することができ、これにより動き情報を導出することができる。ブロックの類似性は、現在ブロックと参照ブロック間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算できる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によって画像復号化装置にシグナリングされることができる。

現在ブロックに対してマージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在ブロックの動き情報が直接伝送されず、周辺ブロックの動き情報を用いて前記現在ブロックの動き情報を誘導する。よって、マージモードを用いたことを知らせるフラグ情報及びどの周辺ブロックをマージ候補として用いたかを知らせる候補選択情報（例えば、マージインデックス）を伝送することにより、現在予測ブロックの動き情報を指示することができる。本開示において、現在ブロックは予測実行の単位であるので、現在ブロックは現在予測ブロックと同じ意味で使用され、周辺ブロックは周辺予測ブロックと同じ意味で使用されることができる。

画像符号化装置は、マージモードを行うために現在ブロックの動き情報を誘導するのに用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）を探索することができる。例えば、前記マージ候補ブロックは、最大５個まで使用できるが、これに限定されない。前記マージ候補ブロックの最大個数は、スライスヘッダー又はタイルグループヘッダーから伝送されることができるが、これに限定されない。前記マージ候補ブロックを見つけた後、画像符号化装置は、マージ候補リストを生成することができ、これらのうち、ＲＤコストが最も小さいマージ候補ブロックを最終マージ候補ブロックとして選択することができる。

前記マージ候補リストは、例えば５つのマージ候補ブロックを用いることができる。例えば、４つの空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を用いることができる。

アフィン（Ａｆｆｉｎｅ）モードの概要

以下、インター予測モードの一例であるアフィンモードについて詳細に説明する。従来のビデオ符号化／復号化システムでは、現在ブロックの動き情報を表現するために一つの動きベクトルのみを使用する（ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ ｍｏｄｅｌ）。ところが、従来の方法は、ブロック単位の最適の動き情報を表現するだけであり、画素単位の最適の動き情報を表現することができない。かかる問題点を解決するために、画素単位でブロックの動き情報を定義するアフィンモード（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）が提案された。アフィンモードによれば、現在ブロックに関連付けられた２個乃至４個の動きベクトル用いてブロックの画素／又はサブブロック単位別動きベクトルが決定できる。

従来の動き情報が画素値の平行移動（又は変位）を用いて表現されたのに比べて、アフィンモードでは、平行移動（ｔｒａｎｓｌａｔｅ）、スケーリング（Ｓｃｌａｅ）、回転（Ｒｏｔａｔｅ）、傾き（ｓｈｅａｒ）のうちの少なくとも一つを用いて、画素別動き情報が表現できる。

図８はアフィンモードで表現可能な動きを例示的に示す図である。

図８に示された動きの中で、画素別動き情報が変位、スケーリング、回転を用いて表現されるアフィンモードを類似（ｓｉｍｉｌａｒｉｔｙ）或いは簡略化（ｓｉｍｐｌｉｆｉｅｄ）アフィンモードと定義することができる。以下の説明におけるアフィンモードは、類似又は簡略化アフィンモードを意味することができる。

動きアフィンモードでの動き情報は、２つ以上のＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いて表現できる。現在ブロックの特定の画素位置の動きベクトルはＣＰＭＶを用いて誘導できる。このとき、現在ブロックの画素別及び／又はサブブロック別動きベクトルの集合をアフィン動きベクトルフィールド（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：Ａｆｆｉｎｅ ＭＶＦ）と定義することができる。

図９はアフィンモードのパラメータモデルを説明するための図である。

現在ブロックに対してアフィンモードが適用される場合、４－パラメータモデル及び６－パラメータモデルのうちのいずれか一つを用いてアフィンＭＶＦが誘導されることができる。このとき、４－パラメータモデルは、２つのＣＰＭＶが使用されるモデルタイプを意味し、６－パラメータモデルは、３つのＣＰＭＶが使用されるモデルタイプを意味することができる。図９（ａ）及び図９（ｂ）は、それぞれ４－パラメータモデル及び６－パラメータモデルに使用されるＣＰＭＶを図示化した図である。

現在ブロックの位置を（ｘ，ｙ）と定義する場合、画素位置による動きベクトルは、下記の数式１又は２に従って誘導されることができる。例えば、４－パラメータモデルによる動きベクトルは数式１に従って誘導されることができ、６－パラメータモデルによる動きベクトルは数式２に従って誘導されることができる。

数式１及び数式２において、ｍｖ０＝｛ｍｖ＿０ｘ，ｍｖ＿０ｙ｝は、現在ブロックの左上側コーナー位置のＣＰＭＶであり、ｍｖ１＝｛ｍｖ＿１ｘ，ｍｖ＿１ｙ｝は、現在ブロックの右上側位置のＣＰＭＶであり、ｍｖ２＝｛ｍｖ＿２ｘ、ｍｖ＿２ｙ｝は、現在ブロックの左下側位置のＣＰＭＶであり得る。ここで、Ｗ及びＨはそれぞれ現在ブロックの幅及び高さに該当し、ｍｖ＝｛ｍｖ＿ｘ，ｍｖ＿ｙ｝は画素位置｛ｘ，ｙ｝の動きベクトルを意味することができる。

符号化／復号化過程で、アフィンＭＶＦは、画素単位及び／又は予め定義されたサブブロック単位で決定されることができる。アフィンＭＶＦが画素単位で決定される場合、各画素値を基準に動きベクトルが誘導されることができる。一方、アフィンＭＶＦがサブブロック単位で決定される場合、サブブロックの中央画素値を基準に当該ブロックの動きベクトルが誘導されることができる。中央画素値は、サブブロックのセンターに存在する仮想の画素を意味するか、或いは中央に存在する４つの画素のうちの右下側画素を意味することができる。また、中央画素値は、サブブロック内の特定の画素であって当該サブブロックを代表する画素であり得る。本開示において、アフィンＭＶＦは、４×４サブブロック単位で決定される場合を説明する。ただし、これは説明の便宜のためであり、サブブロックのサイズは多様に変更できる。

つまり、Ａｆｆｉｎｅ予測が利用可能である場合、現在ブロックに適用可能な動きモデルは、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ（平行移動モデル）、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌの３つを含むことができる。ここで、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌは、従来のブロック単位動きベクトルが使用されるモデルを示すことができ、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、２つのＣＰＭＶが使用されるモデルを示すことができ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、３つのＣＰＭＶが使用されるモデルを示すことができる。アフィンモードは、動き情報を符号化／復号化する方法によって詳細モードに区分できる。一例として、アフィンモードはアフィンＭＶＰモードとアフィンマージモードに細分化できる。

現在ブロックに対してアフィンマージモードが適用される場合、ＣＰＭＶは、アフィンモードで符号化／復号化された現在ブロックの周辺ブロックから誘導できる。現在ブロックの周辺ブロックのうちの少なくとも一つがアフィンモードで符号化／復号化された場合、現在ブロックに対してアフィンマージモードが適用できる。すなわち、現在ブロックに対してアフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて現在ブロックのＣＰＭＶが誘導できる。例えば、周辺ブロックのＣＰＭＶが現在ブロックのＣＰＭＶとして決定されるか、或いは周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導されることができる。周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導される場合、現在ブロック又は周辺ブロックの符号化パラメータのうちの少なくとも一つが使用できる。例えば、周辺ブロックのＣＰＭＶが前記周辺ブロックのサイズ及び現在ブロックのサイズなどに基づいて修正されて現在ブロックのＣＰＭＶとして使用され得る。

一方、サブブロック単位でＭＶが導出されるａｆｆｉｎｅ ｍｅｒｇｅの場合には、サブブロックマージモードと呼ばれることができる。これは、第１値（例えば、「１」）を有するｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇによって指示できる。この場合、後述するアフィンマージ候補リスト（ａｆｆｉｎｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）は、サブブロックマージ候補リスト（ｓｕｂｂｌｏｃｋ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）と呼ばれることもできる。この場合、前記サブブロックマージ候補リストには、後述するＳｂＴＭＶＰで導出された候補がさらに含まれることができる。この場合、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リストの０番インデックスの候補として用いられることができる。言い換えれば、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リスト内で後述の継承アフィンマージ候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）、組み合わせアフィンマージ候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）よりも前方に位置することができる。

一例として、現在ブロックに対してアフィンモードが適用できるか否かを指示するアフィンモードフラグが定義できる。これはシーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、アフィンモードフラグはｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。

アフィンマージモードが適用される場合、現在ブロックのＣＰＭＶ誘導のために、アフィンマージ候補リストが構成できる。このとき、アフィンマージ候補リストは、継承アフィンマージ候補、組み合わせアフィンマージ候補、及びゼロマージ候補のうちの少なくとも一つを含むことができる。継承アフィンマージ候補は、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化された場合、当該周辺ブロックのＣＰＭＶを用いて誘導される候補を意味することができる。組み合わせアフィンマージ候補は、それぞれのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックの動きベクトルに基づいてそれぞれのＣＰＭＶが誘導された候補を意味することができる。一方、ゼロマージ候補は、サイズ０のＣＰＭＶからなる候補を意味することができる。以下の説明において、ＣＰとは、ＣＰＭＶを誘導するのに用いられるブロックの特定の位置を意味することができる。例えば、ＣＰはブロックの各頂点位置であり得る。

図１０はアフィンマージ候補リストを生成する方法を説明するための図である。

図１０のフローチャートを参照すると、継承アフィンマージ候補（Ｓ１２１０）、組み合わせアフィンマージ候補（Ｓ１２２０）、ゼロマージ候補（Ｓ１２３０）の順にアフィンマージ候補リストにアフィンマージ候補が追加できる。ゼロマージ候補は、アフィンマージ候補リストに継承アフィンマージ候補及び組み合わせアフィンマージ候補が全て追加されたにも拘らず、候補リストに含まれる候補の数が最大候補数を満たさない場合に追加できる。このとき、ゼロマージ候補は、アフィンマージ候補リストの候補の数が最大候補数を満たすまで追加できる。

図１１は周辺ブロックから誘導されるＣＰＭＶを説明するための図である。

一例として、最大２つの継承アフィンマージ候補が誘導でき、それぞれの候補は、左側周辺ブロック及び上側周辺ブロックのうちの少なくとも一つに基づいて誘導できる。

図１２は継承アフィンマージ候補を誘導するための周辺ブロックを説明するための図である。

左側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、図１２の周辺ブロックＡ０及びＡ１のうちの少なくとも一つに基づいて誘導され、上側周辺ブロックに基づいて誘導された継承アフィンマージ候補は、図１２の周辺ブロックＢ０、Ｂ１及びＢ２のうちの少なくとも一つに基づいて誘導され得る。このとき、各周辺ブロックのスキャン順序は、Ａ０からＡ１の順、及びＢ０からＢ１、Ｂ２の順であり得るが、これに限定されない。左側及び上側のそれぞれに対して、前記スキャン順序上利用可能な１番目の周辺ブロックに基づいて継承アフィンマージ候補が誘導できる。この場合、左側周辺ブロックと上側周辺ブロックから誘導された候補の間では冗長性検査が行われないことがある。

一例として、図１１に示すように、左側周辺ブロックＡがアフィンモードで符号化／復号化された場合、周辺ブロックＡのＣＰに対応する動きベクトルｖ２、ｖ３及びｖ４のうちの少なくとも一つが誘導されることができる。周辺ブロックＡが４－パラメータアフィンモデルを介して符号化／復号化される場合、継承アフィンマージ候補は、ｖ２及びｖ３を用いて誘導できる。一方、周辺ブロックＡが６－パラメータアフィンモデルを介して符号化／復号化された場合、継承アフィンマージ候補はｖ２、ｖ３及びｖ４を用いて誘導できる。

図１３は組み合わせアフィンマージ候補を誘導するための周辺ブロックを説明するための図である。

組み合わせアフィン候補は、周辺ブロックの一般的な動き情報の組み合わせを用いてＣＰＭＶが誘導される候補を意味することができる。各ＣＰ別の動き情報は、現在ブロックの空間周辺ブロック又は時間周辺ブロックを用いて誘導できる。以下の説明において、ＣＰＭＶｋは、ｋ番目のＣＰを代表する動きベクトルを意味することができる。一例として、図１３を参照すると、ＣＰＭＶ１は、Ｂ２、Ｂ３及びＡ２の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序は、Ｂ２、Ｂ３、Ａ２の順であり得る。ＣＰＭＶ２は、Ｂ１及びＢ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序はＢ１、Ｂ０の順であり得る。ＣＰＭＶ３は、Ａ１及びＡ０の動きベクトルのうちの利用可能な一番目の動きベクトルとして決定でき、このときのスキャン順序は、Ａ１、Ａ０の順であり得る。現在ブロックに対してＴＭＶＰ適用が可能である場合、ＣＰＭＶ４は、時間周辺ブロックであるＴの動きベクトルとして決定できる。

各ＣＰに対する４つの動きベクトルが誘導された後、これに基づいて組み合わせアフィンマージ候補が誘導できる。組み合わせアフィンマージ候補は、誘導された各ＣＰに対する４つの動きベクトルの中から選択された少なくとも２つの動きベクトルを含んで構成できる。一例として、組み合わせアフィンマージ候補は、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ２｝及び｛ＣＰＭＶ１，ＣＰＭＶ３｝の順序に従って少なくとも一つで構成できる。３つの動きベクトルからなる組み合わせアフィン候補は、６－パラメータアフィンモデルのための候補であり得る。これに対し、２つの動きベクトルからなる組み合わせアフィン候補は、４－パラメータアフィンモデルのための候補であり得る。動きベクトルのスケーリング過程を回避するために、ＣＰの参照ピクチャインデックスが異なる場合、関連するＣＰＭＶの組み合わせは、組み合わせアフィン候補の誘導に利用されずに無視できる。

現在ブロックに対してアフィンＭＶＰモードが適用される場合、画像符号化装置は、現在ブロックに対する２つ以上のＣＰＭＶ予測子とＣＰＭＶを誘導して、これに基づいてＣＰＭＶ差分（ｄｉｆｆｅｒｅｎｃｅｓ）を誘導することができる。このとき、ＣＰＭＶ差分が符号化装置から復号化装置にシグナリングされることができる。画像復号化装置は、現在ブロックに対するＣＰＭＶ予測子を誘導し、シグナリングされたＣＰＭＶ差分を復元した後、ＣＰＭＶ予測子とＣＰＭＶ差分に基づいて現在ブロックのＣＰＭＶを誘導することができる。

一方、現在ブロックに対してアフィンマージモード又はサブブロックベースのＴＭＶＰが適用されない場合（例えば、ａｆｆｉｎｅ ｍｅｒｇｅ ｆｌａｇ又はｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇの値が０である場合）、現在ブロックに対してアフィンＭＶＰモードが適用できる。又は、例えば、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇの値が１である場合、現在ブロックに対してアフィンＭＶＰモードが適用できる。一方、アフィンＭＶＰモードはアフィンＣＰ ＭＶＰモードと表現されることもできる。後述するアフィンＭＶＰ候補リスト（ａｆｆｉｎｅ ｍｖｐ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）は、ｃｏｎｔｒｏｌ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ ｐｒｅｄｉｃｔｏｒ ｃａｎｄｉｄａｔｅ ｌｉｓｔと呼ばれることができる。

現在ブロックに対してアフィンＭＶＰモードが適用される場合、現在ブロックに対するＣＰＭＶの誘導のために、アファインＭＶＰ候補リストが構成できる。ここで、アフィンＭＶＰ候補リストは、継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補のうちの少なくとも一つを含むことができる。例えば、アフィンＭＶＰ候補リストは、最大ｎ個（例えば、ｎ＝２）の候補を含むことができる。

このとき、継承アフィンＭＶＰ候補とは、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化される場合、周辺ブロックのＣＰＭＶに基づいて誘導される候補を意味することができる。組み合わせアフィンＭＶＰ候補は、ＣＰ周辺ブロックの動きベクトルに基づいてＣＰＭＶ組み合わせを生成して誘導される候補を意味することができる。ゼロＭＶＰ候補は、値０のＣＰＭＶからなる候補を意味することができる。継承アフィンＭＶＰ候補、組み合わせアフィンＭＶＰ候補の誘導方法及び特徴は、上述した継承アフィン候補及び組み合わせアフィン候補と同様であるので、説明を省略する。

アフィンＭＶＰ候補リストの最大候補数が２である場合、組み合わせアフィンＭＶＰ候補、平行移動アフィンＭＶＰ候補、及びゼロＭＶＰ候補は、現在候補数が２未満である場合に追加できる。特に、平行移動アフィンＭＶＰ候補は、次の順序に従って誘導できる。

一例として、アフィンＭＶＰ候補リストに含まれている候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ０が有効である場合、ＣＰＭＶ０がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ０であるアフィンＭＶＰ候補がアファインＭＶＰ候補リストに追加できる。

次に、アフィンＭＶＰの候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ１が有効である場合、ＣＰＭＶ１がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ１であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

次に、アフィンＭＶＰ候補リストの候補の数が２未満であり、組み合わせアフィンＭＶＰ候補のＣＰＭＶ２が有効である場合、ＣＰＭＶ２がアフィンＭＶＰ候補として使用できる。すなわち、ＣＰ０、ＣＰ１、ＣＰ２の動きベクトルが全てＣＰＭＶ２であるアフィンＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

上述した条件にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、現在ブロックのＴＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）がアフィンＭＶＰ候補リストに追加できる。上記にも拘らず、アフィンＭＶＰ候補リストの候補の数が２未満である場合、ゼロＭＶＰ候補がアフィンＭＶＰ候補リストに追加できる。

図１４はアフィンＭＶＰ候補リストを生成する方法を説明するための図である。

図１４のフローチャートを参照すると、継承アフィンＭＶＰ候補（Ｓ１６１０）、組み合わせアフィンＭＶＰ候補（Ｓ１６２０）、平行移動アフィンＭＶＰ候補（Ｓ１６３０）、ゼロＭＶＰ候補（Ｓ１６４０）の順にアフィンＭＶＰ候補リストに候補が追加できる。上述したように、ステップＳ１６２０～ステップＳ１６４０は、各ステップでアフィンＭＶＰ候補リストに含まれた候補の数が２未満であるか否かに応じて行われることができる。

継承アフィンＭＶＰ候補のスキャン順序は、継承アフィンマージ候補のスキャン順序と同じであり得る。ただし、継承アフィンＭＶＰ候補の場合、現在ブロックの参照ピクチャと同じ参照ピクチャを参照する周辺ブロックのみが考慮できる。継承アフィンＭＶＰ候補をアフィンＭＶＰ候補リストに追加するとき、冗長性チェックは行われないことができる。

組み合わせアフィンＭＶＰ候補を誘導するために、図１３に示された空間周辺ブロックのみが考慮できる。また、組み合わせアフィンＭＶＰ候補のスキャン順序は、組み合わせアフィンマージ候補のスキャン順序と同じであり得る。さらに、組み合わせアフィンＭＶＰ候補を誘導するために、周辺ブロックの参照ピクチャインデックスがチェックされ、前記スキャン順序上、インターコードされ且つ現在ブロックの参照ピクチャと同じ参照ピクチャを参照する一番目の周辺ブロックが利用できる。

サブブロックベースのＴＭＶＰ（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＳｂＴＭＶＰ）モードの概要

以下、インター予測モードの一例であるサブブロックベースのＴＭＶＰモードについて詳細に説明する。サブブロックベースのＴＭＶＰモードによれば、現在ブロックに対する動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：ＭＶＦ）が誘導されるので、サブブロック単位で動きベクトルが誘導されることができる。

従来のＴＭＶＰモードがコーディングユニット単位で行われるのとは異なり、サブブロックベースのＴＭＶＰモードが適用されるコーディングユニットは、サブコーディングユニット単位で動きベクトルに対する符号化／復号化が行われることができる。また、従来のＴＭＶＰモードによれば、コロケートピクチャ内のコロケートブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）から時間動きベクトルが誘導される。これに対し、サブブロックベースのＴＭＶＰモードは、現在ブロックの周辺ブロックから誘導された動きベクトルが指示するコロケートピクチャ内の参照ブロックから動きベクトルフィールドが誘導されることができる。以下、周辺ブロックから誘導された動きベクトルを現在ブロックの動きシフト（ｍｏｔｉｏｎ ｓｈｉｆｔ）或いは代表動きベクトルと呼ぶことができる。

図１５はサブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。

現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用される場合、動きシフトを決定するための周辺ブロックが決定できる。一例として、動きシフトを決定するための周辺ブロックに対するスキャンは、図１５のＡ１、Ｂ１、Ｂ０、Ａ０ブロックの順に行われることができる。他の例として、動きシフトを決定するための周辺ブロックは、現在ブロックの特定の周辺ブロックに制限できる。例えば、動きシフトを決定するための周辺ブロックは、常にＡ１ブロックと決定できる。周辺ブロックがｃｏｌピクチャを参照する動きベクトルを有する場合、当該動きベクトルが動きシフトとして決定できる。動きシフトとして決定された動きベクトルは、時間動きベクトルと呼ばれることもできる。一方、周辺ブロックから上述の動きベクトルが誘導できない場合、動きシフトは（０，０）に設定できる。

図１６はサブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。

次に、動きシフトが指示するコロケートピクチャ上の参照ブロックが決定できる。例えば、現在ブロックの座標に動きシフトを加算することにより、ｃｏｌピクチャからサブブロックベースの動き情報（動きベクトル、参照ピクチャインデックス）を取得することができる。図１６に示されている例において、動きシフトは、Ａ１ブロックの動きベクトルであると仮定する。現在ブロックに動きシフトを適用することにより、現在ブロックを構成する各サブブロックに対応するｃｏｌピクチャ内のサブブロック（ｃｏｌサブブロック）を特定することができる。その後、ｃｏｌピクチャの対応サブブロック（ｃｏｌサブブロック）の動き情報を用いて、現在ブロックの各サブブロックの動き情報が誘導できる。例えば、対応サブブロックの中央位置から対応サブブロックの動き情報が取得できる。このとき、中央位置は、対応サブブロックの中央に位置する４つのサンプルのうち、右下側サンプルの位置であり得る。もし、現在ブロックに対応するｃｏｌブロックの特定のサブブロックの動き情報が利用可能でない場合、ｃｏｌブロックの中心サブブロックの動き情報が当該サブブロックの動き情報として決定されることができる。対応サブブロックの動き情報が誘導されると、上述したＴＭＶＰ過程と同様に、現在サブブロックの動きベクトルと参照ピクチャインデックスに切り替えられることができる。すなわち、サブブロックベースの動きベクトルが誘導される場合、参照ブロックの参照ピクチャのＰＯＣを考慮して動きベクトルのスケーリングが行われることができる。

上述したように、サブブロックに基づいて誘導された現在ブロックの動きベクトルフィールド又は動き情報を用いて現在ブロックに対するサブブロックベースのＴＭＶＰ候補が誘導できる。

以下、サブブロック単位で構成されるマージ候補リストをサブブロック単位マージ候補リストと定義する。上述したアフィンマージ候補及びサブブロックベースのＴＭＶＰ候補が併合されてサブブロック単位マージ候補リストが構成できる。

一方、現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用できるか否かを指示するサブブロックベースのＴＭＶＰモードフラグが定義できる。これは、シーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、サブブロックベースのＴＭＶＰモードフラグは、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用可能である場合、サブブロック単位マージ候補リストにサブブロックベースのＴＭＶＰ候補が先に追加できる。以後、アフィンマージ候補がサブブロック単位マージ候補リストに追加できる。一方、サブブロック単位マージ候補リストに含まれ得る最大候補の数がシグナリングされることができる。一例として、サブブロック単位マージ候補リストに含まれ得る最大候補の数は５であり得る。

サブブロック単位マージ候補リストの誘導に使用されるサブブロックのサイズは、シグナリングされるか、或いはＭ×Ｎに既に設定されることができる。例えば、Ｍ×Ｎは８×８であり得る。よって、現在ブロックのサイズが８×８以上である場合にのみ、現在ブロックに対してアフィンモード又はサブブロックベースのＴＭＶＰモードが適用できる。

以下、本開示の予測実行方法の一実施例について説明する。以下の予測実行方法は、図４のステップＳ４１０又は図６のステップＳ６３０で行われることができる。

予測モードに従って導出された動き情報に基づいて、現在ブロックに対する予測されたブロックを生成することができる。前記予測されたブロック（予測ブロック）は前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数サンプル（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ）単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われることができ、これにより参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィンインター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相による）加重和又は加重平均によって導出された予測サンプルが現在ブロックの予測サンプルとして用いられることができる。双予測が適用される場合、Ｌ０予測に用いられた参照ピクチャとＬ１予測に用いられた参照ピクチャが現在ピクチャを基準に互いに異なる時間方向に位置する場合（すなわち、双予測でありながら双方向予測に該当する場合）、これをｔｒｕｅ（真）双予測と呼ぶことができる。

画像復号化装置において、導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成でき、その後、インループフィルタリングなどの手順が行われることができる。また、画像符号化装置において、導出された予測サンプルに基づいてレジデュアルサンプルが導出され、予測情報及びレジデュアル情報を含む画像情報の符号化が行われることができる。

ＣＵレベルの重みを用いた双方向予測（Ｂｉ－pｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ、ＢＣＷ）

上述したように現在ブロックに双予測が適用される場合、加重平均（ｗｅｉｇｈｔｅｄａｖｅｒａｇｅ）に基づいて予測サンプルを導出することができる。従来は、双予測信号（すなわち、双予測サンプル）はＬ０予測信号（Ｌ０予測サンプル）とＬ１予測信号（Ｌ１予測サンプル）の単純平均を介して導出されることができた。すなわち、双予測サンプルは、Ｌ０参照ピクチャ及びＭＶＬ０に基づくＬ０予測サンプルと、Ｌ１参照ピクチャ及びＭＶＬ１に基づくＬ１予測サンプルとの平均によって導出された。しかし、本開示によれば、双予測が適用される場合、次のようにＬ０予測信号とＬ１予測信号の加重平均を介して双予測信号（双予測サンプル）を導出することができる。

前記数式３において、Ｐ_bi-predは、加重平均によって導出された双予測信号（双予測ブロック）を示し、Ｐ₀とＰ₁は、それぞれＬ０予測サンプル（Ｌ０予測ブロック）とＬ１予測サンプル（Ｌ１予測ブロック）を示す。また、（８－ｗ）とｗは、それぞれＰ₀とＰ₁に適用される重みを示す。

加重平均による双予測信号の生成において、５つの重みが許容できる。例えば、重みｗは｛－２，３，４，５，１０｝から選択できる。双予測されたＣＵのそれぞれに対して、重みｗは、２つの方法のうちの一つで決定できる。これらの２つの方法のうちの第１方法として、現在ＣＵがマージモードでない場合（ｎｏｎ－ｍｅｒｇｅ ＣＵ）、動きベクトル差分と共に重みインデックス（ｗｅｉｇｈｔ ｉｎｄｅｘ）がシグナリングされることができる。例えば、ビットストリームは、動きベクトル差分に関する情報の後に重みインデックスに関する情報を含むことができる。これらの２つの方法のうちの第２方法として、現在ＣＵがマージモードである場合（ｍｅｒｇｅ ＣＵ）、重みインデックスはマージ候補インデックス（マージインデックス）に基づいて周辺ブロックから誘導できる。

加重平均による双予測信号の生成は、２５６個以上のサンプル（ルマ成分サンプル）を含むサイズのＣＵに対してのみ適用されるように制限できる。すなわち、現在ブロックの幅（ｗｉｄｔｈ）と高さ（ｈｅｉｇｈｔ）の積が２５６以上であるＣＵに対してのみ加重平均による双予測が行われることができる。また、重みｗは、上述したように５つの重みのうちの一つが使用されてもよく、異なる個数の重みのうちの一つが使用されてもよい。例えば、現在画像の特性に応じて、ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては５つの重みが使用され、ｎｏｎ－ｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅに対しては３つの重みが使用されることができる。このとき、３つの重みは｛３，４，５｝であり得る。

画像符号化装置は、ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍを適用して複雑度を大幅に増加させることなく重みインデックスを決定することができる。この場合、前記ｆａｓｔ ｓｅａｒｃｈ ａｌｇｏｒｉｔｈｍは、次のように要約できる。以下において、不均等重み（ｕｎｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ₀とＰ₁に適用される重みが均等でないことを意味することができる。また、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）とは、Ｐ₀とＰ₁に適用される重みが均等であることを意味することができる。

－動きベクトルの解像度が適応的に変更されるＡＭＶＲモードが一緒に適用される場合、現在ピクチャがｌｏｗ－ｄｅｌａｙ ｐｉｃｔｕｒｅであれば、１－ｐｅｌ動きベクトル解像度と４－ｐｅｌ動きベクトル解像度のそれぞれに対して不均等重みのみが条件的にチェックできる。

－アフィンモードが一緒に適用され、アフィンモードが現在ブロックの最適のモードとして選択された場合、画像符号化装置は、不均等重みのそれぞれに対してａｆｆｉｎｅ ＭＥ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を行うことができる。

－双予測に使用される２つの参照ピクチャが同一である場合、不均等重みのみが条件的にチェックできる。

－不均等重みは、所定の条件が満たされた場合、チェックされないことができる。前記所定の条件は、現在ピクチャと参照ピクチャとのＰＯＣ距離（ＰＯＣ ｄｉｓｔａｎｃｅ）、量子化パラメータ（ＱＰ）、時間レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）などに基づく条件であり得る。

ＢＣＷの重みインデックスは、一つのコンテキスト符号化ビン（ｂｉｎ）と後続する一つ以上のバイパス符号化ビン（ｂｙｐａｓｓ ｃｏｄｅｄ ｂｉｎｓ）を用いて符号化できる。一番目のコンテキスト符号化ビンは、均等重み（ｅｑｕａｌ ｗｅｉｇｈｔ）が使用されるか否かを指示する。不均等重みが使用される場合、追加ビンがバイパス符号化されてシグナリングされることができる。追加ビンは、どの重みが使用されるかを指示するためにシグナリングされることができる。

加重予測（ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＷＰ）は、フェージング（ｆａｄｉｎｇ）を含む画像を効率よく符号化するためのツールである。加重予測によれば、参照ピクチャリストＬ０とＬ１のそれぞれに含まれた各参照ピクチャに対して重み付けパラメータ（重み及びオフセット）がシグナリングされることができる。次に、動き補償が行われるとき、重み（ら）及びオフセット（ら）が、対応する参照画像（ら）に適用され得る。荷重予測とＢＣＷは、互いに異なるタイプの画像に対して使用できる。加重予測とＢＣＷとの間の相互作用を避けるために、加重予測を使用するＣＵに対しては、ＢＣＷ重みインデックスはシグナリングされないことができる。この場合、重みは４と推論できる。すなわち、均等重みが適用できる。

マージモードが適用されたＣＵの場合、重みインデックスは、マージ候補インデックスに基づいて周辺ブロックから推論できる。これは、通常のマージモードと継承アフィンマージモードの両方に対して適用できる。

組み合わせアフィンマージモードの場合、最大３つのブロックの動き情報に基づいてアフィン動き情報が構成できる。組み合わせアフィンマージモードを使用するＣＵに対するＢＣＷ重みインデックスは、組み合わせ内の一番目のＣＰのＢＣＷ重みインデックスとして設定されることができる。ＣＩＩＰとＢＣＷは、ＣＵに一緒に適用されないことができる。すなわち、ＣＩＩＰモードで符号化されたＣＵに対しては、ＢＣＷが適用されないことができる。例えば、ＣＩＩＰモードで符号化されたＣＵのＢＣＷ重みインデックスは、均等重みを指示する値に設定できる。

Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）

本開示によれば、双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）信号をリファイン（改善）するためにＢＤＯＦが使用できる。ＢＤＯＦは、現在ブロック（ｅｘ．ＣＵ）に双予測が適用される場合、改善された動き情報を計算して予測サンプルを生成するためのものである。よって、ＢＤＯＦを適用して改善された動き情報を計算する過程は、上述した動き情報導出ステップに含まれてもよい。

例えば、ＢＤＯＦは、４×４サブブロックレベルで適用できる。すなわち、ＢＤＯＦは、現在ブロック内の４×４サブブロック単位で行われることができる。

ＢＯＤＦは、例えば、次の条件を少なくとも一つ又は全て満たすＣＵに対して適用できる。

－ＣＵがｔｒｕｅ双予測モードで符号化された場合、すなわち、２つの参照ピクチャのうち、いずれか一つはディスプレイ順序が現在ピクチャに先行し、もう一つはディスプレイ順序が現在ピクチャに後行する場合

－ＣＵがアフィンモード又はＡＴＭＶＰマージモードでない場合

－ＣＵが６４個よりも多いルマサンプルを有する場合

－ＣＵの高さ（ｈｅｉｇｈｔ）及び幅（ｗｉｄｔｈ）が８ルマサンプル以上である場合

－ＢＣＷ重みインデックスが均等重みを指示する場合、すなわちＬ０予測サンプルとＬ１予測サンプルに同一の重みが適用されることを指示する場合

－現在ＣＵに対して加重予測（ＷＰ、Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用されない場合

－現在ＣＵに対してＣＩＩＰモードが使用されない場合

また、ＢＤＯＦはルマ成分に対してのみ適用できる。しかし、これに限定されず、ＢＤＯＦは、クロマ成分に対してのみ適用されてもよく、ルマ成分及びクロマ成分の両方に対して適用されてもよい。

ＢＤＯＦモードはオプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）の概念に基づく。すなわち、オブジェクトの動きがスムーズ（ｓｍｏｏｔｈ）であると仮定する。ＢＤＯＦが適用される場合、それぞれの４×４サブブロックに対して、改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）（ｖ_x，ｖ_y）が計算できる。改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）は、Ｌ０予測サンプルとＬ１予測サンプルとの差を最小化することにより計算できる。改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）は、４×４サブブロック内の双予測されたサンプル値を調整（ａｄｊｕｓｔ）するのに利用できる。

以下、ＢＤＯＦが行われる過程をより具体的に説明する。

上記数式４中、Ｉ^(k)（ｉ，ｊ）は、リストｋ（ｋ＝０，１）内の予測信号の座標（ｉ，ｊ）のサンプル値を意味する。例えば、Ｉ⁽⁰⁾（ｉ，ｊ）はＬ０予測ブロック内の（ｉ，ｊ）位置のサンプル値を意味し、Ｉ⁽¹⁾（ｉ，ｊ）はＬ１予測ブロック内の（ｉ，ｊ）位置のサンプル値を意味することができる。前記数式４中、第１シフト量（ｓｈｉｆｔ１）は、ルマ成分のビットデプス（ビット深度）に基づいて決定できる。例えば、ルマ成分のビットデプスをｂｉｔＤｅｐｔｈとするとき、ｓｈｉｆｔ１はｍａｘ（６，ｂｉｔＤｅｐｔｈ－６）と決定されることができる。

上述したようにグラジエントが計算された後、グラジエント間の自己相関（ａｕｔｏ－ｃｏｒｒｅｌａｔｉｏｎ）及び交差相関（ｃｒｏｓｓ－ｃｏｒｒｅｌａｔｉｏｎ）Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₅及びＳ₆が次のように計算できる。

前記数式５中、ｎ_a及びｎ_bはそれぞれｍｉｎ（１，ｂｉｔＤｅｐｔｈ－１１）及びｍｉｎ（４，ｂｉｔＤｅｐｔｈ－８）に設定されることができる。

上述したグラジエント間の自己相関及び交差相関を利用して改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）（ｖ_x，ｖ_y）が次のように誘導できる。

前記数式６中、ｎ_S2は１２であり得る。前記誘導された、改善された動きベクトル（ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）及びグラジエントに基づいて、４×４サブブロック内の各サンプルに対して次のような調整が行われることができる。

最終的に、ＣＵの双予測サンプルを次のように調整することにより、ＢＤＯＦが適用されたＣＵの予測サンプル（ｐｒｅｄ_BDOF）を計算することができる。

上記数式において、ｎ_a、ｎ_b及びｎ_S2はそれぞれ３、６及び１２であり得る。これらの値は、ＢＤＯＦ過程における乗数（ｍｕｌｔｉｐｌｉｅｒ）が１５ビットを超えず、中間パラメータ（ｉｎｔｅｒｍｅｄｉａｔｅ ｐａｒａｍｅｔｅｒｓ）のビット幅（ｂｉｔ－ｗｉｄｔｈ）が３２ビット以内に維持できるように選択され得る。

グラジエント値を誘導するために、現在ＣＵの外部に存在するリストｋ（ｋ＝０、１）内の予測サンプルＩ^(k)（ｉ，ｊ）が生成できる。図１７はＢＤＯＦを行うために拡張されたＣＵを示す図である。

図１７に示されているように、ＢＤＯＦを行うために、ＣＵの境界周辺に拡張された行／列が使用できる。境界外の予測サンプルを生成するための計算の複雑度を制御するために、拡張された領域（図１７の白色領域）内の予測サンプルは、双線形フィルタ（ｂｉｌｉｎｅａｒ ｆｉｌｔｅｒ）を用いて生成され、ＣＵ（図１７の灰色領域）内の予測サンプルは、通常の８－ｔａｐ動き補償補間フィルタ（ｎｏｒｍａｌ ８－ｔａｐ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ）を用いて生成できる。前記拡張された位置のサンプル値は、グラジエント計算にのみ使用できる。ＢＤＯＦ過程の残りのステップを行うために、ＣＵ境界の外側に位置するサンプル値及び／又はグラジエント値が必要な場合、最も隣接している隣接サンプル値及び／又はグラジエント値をパディング（反復）して使用することができる。

ＣＵの幅及び／又は高さが１６ルマサンプルよりも大きい場合、当該ＣＵは、幅及び又は高さが１６ルマサンプルであるサブブロックに分割されることができる。各サブブロックの境界は、ＢＤＯＦ過程で上述したＣＵ境界と同一に取り扱われることができる。ＢＤＯＦ過程が行われる最大ユニットサイズは１６×１６に制限できる。

それぞれのサブブロックに対して、ＢＤＯＦを実行するか否かが決定されることができる。すなわち、それぞれのサブブロックに対するＢＤＯＦ過程はスキップできる。例えば、初期（ｉｎｉｔｉａｌ）ＬＯ予測サンプルと初期Ｌ１予測サンプルとの間のＳＡＤ値が所定の閾値よりも小さい場合、ＢＤＯＦ過程は、当該サブブロックに適用されないことができる。このとき、当該サブブロックの幅と高さがそれぞれＷ及びＨであるとき、前記所定の閾値は（８＊Ｗ＊Ｈ＞＞１）に設定できる。付加的なＳＡＤ計算の複雑度を考慮して、ＤＭＶＲ過程で計算された初期Ｌ０予測サンプルと初期Ｌ１予測サンプルとの間のＳＡＤが再使用できる。

現在ブロックに対してＢＣＷが利用可能である場合、例えば、ＢＣＷ重みインデックスが不均等重みを指示する場合、ＢＤＯＦは適用されないことができる。同様に、現在ブロックに対してＷＰが利用可能である場合、例えば、２つの参照ピクチャのうちの少なくとも一つに対するｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇが１である場合、ＢＤＯＦは適用されないことができる。このとき、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌｘ＿ｆｌａｇは、ｌｘ予測（ｘは０又は１）のルマ成分に対するＷＰの重み係数（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒｓ）がビットストリームに存在するか否かを指示する情報であり得る。或いは、ｌｘ予測のルマ成分に対してＷＰが適用されるか否かを指示する情報であり得る。ＣＵがＳＭＶＤ（Ｓｙｍｍｅｔｒｉｃ ＭＶＤ）モード又はＣＩＩＰモードで符号化された場合、ＢＤＯＦは適用されないことができる。

Ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ（ＰＲＯＦ）

以下、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）を適用してサブブロックベースのアフィン動き補償予測されたブロックを改善する方法について説明する。サブブロックベースのアフィン動き補償（ｓｕｂ－ｂｌｏｃｋ ｂａｓｅｄ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）が行われて生成された予測サンプルは、オプティカルフロー方程式によって誘導された差異に基づいて改善できる。このような予測サンプルの改善は、本開示においてオプティカルフローを用いた予測改善（ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ（ＰＲＯＦ））と呼ばれることができる。ＰＲＯＦは、メモリアクセスの帯域幅を増やすことなく、ピクセルレベル粒度（ｇｒａｎｕｌａｒｉｔｙ）のインター予測を達成することができる。

アフィン動きモデルのパラメータは、ＣＵ内の各ピクセルの動きベクトルを誘導するのに利用できる。しかしながら、ピクセルベースのアフィン動き補償予測は、高い複雑度とメモリアクセスの帯域幅の増加を引き起こすので、サブブロックベースのアフィン動き補償予測が行われることができる。サブブロックベースのアフィン動き補償予測が行われる場合、ＣＵは、４×４サブブロックに分割され、サブブロックごとに動きベクトルが決定され得る。このとき、各サブブロックの動きベクトルは、ＣＵのＣＰＭＶから誘導できる。サブブロックベースのアフィン動き補償は、符号化効率と複雑度及びメモリアクセスの帯域幅との間にトレードオフ関係を有する。サブブロック単位で動きベクトルを誘導するので、複雑度及びメモリアクセスの帯域幅は減少するものの、予測精度は低くなる。

したがって、サブブロックベースのアフィン動き補償予測にオプティカルフローを適用して改善することにより、向上した粒度の動き補償を達成することができる。

上述したように、サブブロックベースのアフィン動き補償が行われた後、オプティカルフロー方程式によって誘導された差異を加えることにより、ルマ予測サンプルが改善できる。より具体的に、ＰＲＯＦは、次の４ステップで行われることができる。

ステップ１）サブブロックベースのアフィン動き補償が行われることで、予測されたサブブロックＩ（ｉ，ｊ）が生成される。

ステップ２）予測されたサブブロックの空間グラジエント（ｓｐａｔｉａｌ ｇｒａｄｉｅｎｔｓ）ｇ_x（ｉ，ｊ）及びｇ_y（ｉ，ｊ）が各サンプル位置で計算される。このとき、３タップフィルタが使用でき、フィルタ係数は［－１，０，１］であり得る。例えば、空間グラジエントは、次のように計算できる。

グラジエントを計算するために、予測されたサブブロックは、それぞれの側面で１ピクセルだけ拡張できる。この場合、メモリ帯域幅と複雑度を減らすために、拡張された境界のピクセルは、参照ピクチャ内の最も近い整数ピクセルからコピーできる。よって、パディング領域に対する付加的な補間は省略できる。

ステップ３）ルマ予測の改善量（ｌｕｍａ ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ）（ΔＩ（ｉ，ｊ））がオプティカルフロー方程式によって計算できる。例えば、次の数式が使用できる。

上記数式において、Δｖ（ｉ，ｊ）は、サンプル位置（ｉ，ｊ）で計算されたピクセル動きベクトル（ｐｉｘｅｌ ＭＶ、ｖ（ｉ，ｊ））とサンプル（ｉ，ｊ）の属するサブブロックのサブブロック動きベクトル（ｓｕｂ－ｂｌｏｃｋ ＭＶ）との差を意味する。

図１８はΔｖ（ｉ，ｊ）、ｖ（ｉ，ｊ）とサブブロック動きベクトルとの関係を示す図である。

図１８に示されている例において、例えば、現在サブブロックの左上側サンプル位置の動きベクトルｖ（ｉ，ｊ）と現在サブブロックの動きベクトルｖ_SBとの差が太い破線矢印で表現でき、太い破線矢印が示すベクトルはΔｖ（ｉ，ｊ）に対応することができる。

アフィンモデルパラメータと、サブブロックの中心からのピクセル位置は変更されない。よって、Δｖ（ｉ，ｊ）は、一番目のサブブロックに対してのみ計算され、同じＣＵ内の異なるサブブロックに対して再使用できる。ピクセル位置からサブブロックの中心までの水平オフセット及び垂直オフセットをそれぞれｘ及びｙとするとき、Δｖ（ｘ，ｙ）は次のように誘導できる。

上記において、（ｖ_0x，ｖ_0y）、（ｖ_1x，ｖ_1y）及び（ｖ_2x，ｖ_2y）は、左上側ＣＰＭＶ、右上側ＣＰＭＶ及び左下側ＣＰＭＶに該当し、ｗ及びｈは、ＣＵの幅及び高さを意味する。

ステップ４）最後に、計算されたルマ予測の改善量ΔＩ（ｉ，ｊ）と予測されたサブブロックＩ（ｉ，ｊ）に基づいて最終予測ブロックＩ’（ｉ，ｊ）を生成することができる。例えば、最終予測ブロックＩ'は、次のように生成できる。

図１９は本開示によるＢＤＯＦの適用有無決定過程を示す一例である。

現在ＣＵにＢＤＯＦが適用されるか否かは、フラグｂｄｏｆＦｌａｇで表すことができる。第１値（「Ｔｒｕｅ」又は「１」）のｂｄｏｆＦｌａｇは、現在ＣＵにＢＤＯＦが適用されることを示すことができる。第２値（「Ｆａｌｓｅ」又は「０」）のｂｄｏｆＦｌａｇは、現在ＣＵにＢＤＯＦが適用されないことを示すことができる。ｂｄｏｆＦｌａｇは、例えば、図１９に示されている様々な条件に基づいて導出されることができる。図１９に示されているように、ｂｄｏｆＦｌａｇは、ブロックのサイズ（ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ）に関する条件を含む。より具体的には、ｂｄｏｆＦｌａｇは、ブロックの幅（ｃｂＷｉｄｔｈ）とブロックの高さ（ｃｂＨｅｉｇｔｈ）がいずれも８（ルマサンプル）以上であり、ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈが１２８（ルマサンプル）以上であるとき、第１値に設定されることができる。このとき、ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈは、現在ＣＵに含まれているルマサンプルの個数を示すことができる。図１９に示されている例によれば、サイズ８×８のＣＵに対しては、ｂｄｏｆＦｌａｇが第２値に設定され、よって、ＢＤＯＦが適用されない。

上述したように、インター予測過程でＢＤＯＦが適用されて動き補償過程で参照サンプルを改善することにより、画像の圧縮性能を高めることができる。ＢＤＯＦは、現在ブロックの予測モードが一般モード（正規マージモード又は正規ＡＭＶＰモード）であるときに行われることができる。すなわち、現在ブロックの予測モードがアフィンモード、ＧＰＭモード、ＣＩＩＰモードなどである場合、ＢＤＯＦは適用されない。

アフィンモードで符号化されたブロックに対しては、ＢＤＯＦと類似の方法でＰＲＯＦが行われることができる。上述したように、ＰＲＯＦを介して各４×４サブブロック内の参照サンプルを改善することにより、画像の圧縮性能を高めることができる。

本開示によるＰＲＯＦは予測方向別に行われることができる。前記予測方向は、Ｌ０予測方向とＬ１予測方向を含むことができる。ＰＲＯＦがＬ０予測方向に対して行われる場合、上述したＰＲＯＦ過程は、Ｌ０予測サンプルに適用され、改善されたＬ０予測サンプルを生成することができる。ＰＲＯＦがＬ１予測方向に対して行われる場合、上述したＰＲＯＦ過程は、Ｌ１予測サンプルに適用され、改善されたＬ１予測サンプルを生成することができる。したがって、ＰＲＯＦの適用有無は、Ｌ０予測方向及びＬ１予測方向のそれぞれに対して誘導されることができる。例えば、ＰＲＯＦの適用有無を示すフラグｃｂＰｒｏｆＦｌａｇは、Ｌ０予測方向に関するｃｂＰｒｏｆＦｌａｇＬ０及びＬ１予測方向に関するｃｂＰｒｏｆＦｌａｇＬ１を含むことができる。現在ブロック（ＣＵ）にＰＲＯＦが適用されるか否かは、ｃｂＰｒｏｆＦｌａｇＬ０及び／又はｃｂＰｒｏｆＦｌａｇＬ１に基づいて、Ｌ０予測方向及びＬ１予測方向のそれぞれに対して決定されることができる。本開示において、ｃｂＰｒｏｆＦｌａｇＬ０及び／又はｃｂＰｒｏｆＦｌａｇＬ１が第１値であるとき、現在ＣＵの当該予測方向にＰＲＯＦが行われることを意味することができる。より具体的には、ｃｂＰｒｏｆＦｌａｇＬ０が第１値である現在ＣＵのＬ０予測方向に対してＰＲＯＦが行われることができる。また、ｃｂＰｒｏｆＦｌａｇＬ１が第１値である現在ＣＵのＬ１予測方向に対してＰＲＯＦが行われることができる。本開示において、現在ＣＵにＰＲＯＦが適用されるとは、ｃｂＰｒｏｆＦｌａｇＬＸ（Ｘ＝０及び／又は１）が第１値を有することを意味することができる。本開示の様々な実施例において、ｃｂＰｒｏｆＦｌａｇＬＸを誘導するための様々な条件は、当該予測方向（ＬＸ）に関する条件であり得る。

図２０は本開示によるＰＲＯＦの適用有無決定過程を示す一例である。

現在ＣＵにＰＲＯＦが適用されるか否かは、フラグｃｂＰｒｏｆＦｌａｇＬＸ（Ｘ＝０又は１）で表すことができる。第１値（「Ｔｒｕｅ」又は「１」）のｃｂＰｒｏｆＦｌａｇは、現在ＣＵにＰＲＯＦが適用されることを示すことができる。第２値（「Ｆａｌｓｅ」又は「０」）のｃｂＰｒｏｆＦｌａｇは、現在ＣＵにＰＲＯＦが適用されないことを示すことができる。ｃｂＰｒｏｆＦｌａｇは、例えば、図２０に示された様々な条件に基づいて導出されることができる。図２０に示されているように、ｃｂＰｒｏｆＦｌａｇはブロックのサイズ（ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔ）に関する条件を含まない。

ＰＲＯＦは、アフィンモードで符号化されたブロック（アフィンブロック）に適用できるので、ＰＲＯＦが適用されるブロックのサイズは、アフィンブロックに対するブロックサイズ条件によって制約できる。したがって、後述するように、ＰＲＯＦとＢＤＯＦのそれぞれに対するブロックサイズ条件が異なる。

図２１は本開示の一例によってサブブロックマージモードの適用有無を指示する情報のシグナリングを説明するための図である。

現在ＣＵに対してサブブロックマージモード（アフィンマージモード）が適用されるか否かは、ビットストリームを介してシグナリングされる情報（例えば、図２１のｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）に基づいて決定されることができる。第１値（「Ｔｒｕｅ」又は「１」）のｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは、現在ＣＵに対してサブブロックマージモードが適用されることを指示することができる。この場合、サブブロックマージ候補リストに含まれている候補のうちの１つを指示するインデックス（例えば、図２１のｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ）がシグナリングされることができる。サブブロックマージ候補リストに候補が１つである場合（ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄが１である場合）、候補を選択するための前記インデックス情報は、シグナリングされず、固定された値０に決定されることができる。図２１に示されているように、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのシグナリング条件は、ブロックサイズに関する条件を含む。具体的には、現在ブロックの幅（ｃｂＷｉｄｔｈ）と高さ（ｃｂＨｅｉｇｈｔ）の両方が８以上である場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇがシグナリングされることができる。すなわち、サブブロックマージモードは、８×８ブロック以上のサイズを有するブロックに対して適用できる。したがって、アフィンマージブロックに対するＰＲＯＦは、８×８ブロック以上のサイズを有するブロックに対して適用できる。

図２２は本開示の一例によってアフィンＭＶＰモードの適用有無を指示する情報のシグナリングを説明するための図である。

現在ＣＵに対してアフィンＭＶＰモード（インターアフィンモード）が適用されるか否かは、ビットストリームを介してシグナリングされる情報（例えば、図２２のｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ）に基づいて決定されることができる。第１値（「Ｔｒｕｅ」又は「１」）のｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇは、現在ＣＵに対してアフィンＭＶＰモードが適用されることを指示することができる。この場合、アフィンＭＶＰ候補リストに含まれている候補のうちの１つを指示するインデックスがシグナリングされることができる。図２２に示されているように、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇのシグナリング条件は、ブロックサイズに関する条件を含む。具体的には、現在ブロックの幅（ｃｂＷｉｄｔｈ）と高さ（ｃｂＨｅｉｇｈｔ）の両方が１６以上である場合、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇがシグナリングされることができる。すなわち、アフィンＭＶＰモードは、１６×１６ブロック以上のサイズを有するブロックに対して適用できる。したがって、アフィンＭＶＰブロックに対するＰＲＯＦは、１６×１６ブロック以上のサイズを有するブロックに対して適用できる。

図２０乃至図２２を参照して説明したように、ＰＲＯＦは、ブロックサイズに関する条件を含まないので、ＰＲＯＦが適用できるブロックサイズは、アフィンマージモード及びアフィンＭＶＰモードが適用できるブロックサイズに応じて制限される。例えば、アフィンマージモードは、８×８ブロック以上のサイズを有するブロックに対して適用でき、この場合、ＰＲＯＦは、８×８ブロックに対して適用できる。ところが、ＢＤＯＦの適用条件は、ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈが１２８サンプル以上である条件を含むので、ＢＤＯＦは８ｘ８ブロックに対して適用されない。よって、ＰＲＯＦが適用されるブロックサイズは、ＢＤＯＦが適用されるブロックサイズとは異なる。

本開示は、ＰＲＯＦとＢＤＯＦの適用条件を一致させるための様々な実施例を提供する。具体的には、本開示は、ＰＲＯＦとＢＤＯＦに対するブロックサイズに関する条件を一致させるための様々な実施例を提供する。また、本開示は、ＢＣＷ又はＷＰを考慮してＰＲＯＦとＢＤＯＦの適用条件を一致させるための様々な実施例を提供する。また、本開示は、ＰＲＯＦの適用条件として、現在ピクチャの解像度と参照ピクチャの解像度に関する条件を含む様々な実施例を提供する。

図２３は本開示の他の実施例によるＰＲＯＦの適用有無決定過程を示す図である。

図２０の例と比較して、図２３の実施例は、ＰＲＯＦの適用条件としてブロックサイズに関する条件をさらに含むことができる。より具体的には、図２３の下線部分のように、ｃｂＨｅｉｇｈｔ＊ｃｂＷｉｄｔｈが１２８（ルマサンプル）より小さいとき、ｃｂＰｒｏｆＦｌａｇは第２値（「Ｆａｌｓｅ」又は「０」）に設定されることができる。

したがって、図２３の実施例によれば、アフィンマージモードが適用された８×８ブロックに対してはＰＲＯＦが適用されないように制限することができる。すなわち、図２３の実施例のように、ＰＲＯＦの適用条件にブロックサイズに関する条件を追加することにより、ＰＲＯＦとＢＤＯＦが適用できるブロックサイズに関する条件を一致させることができる。

図２３の実施例によれば、アフィンＭＶＰモード、アフィンマージモード、ＰＲＯＦ及びＢＤＯＦのブロックサイズに関する条件は、下記表のとおりに変更できる。

前記表１において、ｗ及びｈはそれぞれ現在ブロックの幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）を意味することができる。

図２４は本開示の別の実施例によってサブブロックマージモードの適用有無を指示する情報のシグナリングを説明するための図である。

図２１の例において、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのシグナリング条件のうち、ブロックサイズに関する条件は、ｃｂＷｉｄｔｈ及びｃｂＨｅｉｇｈｔの両方が８以上である条件を含む。図２４の実施例によれば、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのシグナリング条件は、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔが１２８（ルマサンプル）以上である条件をさらに含むことができる。図２４の実施例によれば、アフィンマージモードは、８×８ブロック以上のサイズを有するブロックであって、１２８サンプル以上のサンプルを含むブロックに対してのみ適用されることができる。すなわち、８×８ブロックに対しては、アフィンマージモードが適用されないので、ＰＲＯＦも、８×８ブロックに対して適用されないことができる。

図２４の実施例によれば、アフィンＭＶＰモード、アフィンマージモード、ＰＲＯＦ及びＢＤＯＦのブロックサイズに関する条件は、下記表のとおりに変更できる。

図２５は本開示の別の実施例によってアフィンＭＶＰモードの適用有無を指示する情報のシグナリングを説明するための図である。

図２２の例において、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇのシグナリング条件のうち、ブロックサイズに関する条件は、ｃｂＷｉｄｔｈ及びｃｂＨｅｉｇｈｔの両方が１６以上である条件を含む。図２５の実施例によれば、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇのシグナリング条件のうち、ブロックサイズに関する条件は、ｃｂＷｉｄｔｈ及びｃｂＨｅｉｇｈｔの両方が１６以上であり、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔが１２８（ルマサンプル）以上である条件に変更されることができる。図２５の実施例によれば、アフィンＭＶＰモードは、８×８ブロック以上のサイズを有するブロックであり、１２８サンプル以上のサンプルを含むブロックに対してのみ適用されることができる。すなわち、図２５の実施例によれば、アフィンＭＶＰモードに対するブロックサイズ条件は、ＢＤＯＦに対するブロックサイズ条件と一致することができる。したがって、図２５の実施例によれば、８×８ブロックに対してはアフィンＭＶＰモードが適用されないので、ＰＲＯＦも８×８ブロックに対して適用されないことができる。

また、図２５の実施例は、図２４の実施例と組み合わせられることができる。すなわち、アフィンＭＶＰモードに対するブロックサイズ条件アフィンマージモードに対するブロックサイズ条件を全てＢＤＯＦに対するブロックサイズ条件と一致させることができる。これにより、アフィンブロックに適用できるＰＲＯＦのブロックサイズ条件をＢＤＯＦのブロックサイズ条件と一致させることができる。

図２４及び図２５の実施例によれば、アフィンＭＶＰモード、アフィンマージモード、ＰＲＯＦ及びＢＤＯＦのブロックサイズに関する条件は、下記表のとおりに変更できる。

図２６は本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。

ＢＤＯＦは、オプティカルフローの特徴を用いてサンプルのオフセットを決定する。したがって、参照ピクチャ間の明るさ値が異なる場合、すなわち、ＢＣＷ又はＷＰ（ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、ＢＤＯＦを行わない。しかし、ＰＲＯＦは、オプティカルフローの特徴を用いてサンプルのオフセットを誘導するにも拘らず、ＢＣＷ又はＷＰの適用有無を考慮せずに行われることができる。

図２６の実施例によれば、ＢＤＯＦとＰＲＯＦとのデザイン観点からの調和のために、ＢＣＷ又はＷＰが適用されるブロックに対してＰＲＯＦを適用しないことができる。例えば、ＢｃｗＩｄｘが０でないか、或いはｌｕｍａ＿ｗｅｉｇｈｔ＿ｌＸ＿ｆｌａｇ［ｒｅｆＩｄｘＬＸ］（Ｘは０又は１）が１であるとき、ｃｂＰｒｏＦｌａｇＬＸを第２値（「Ｆａｌｓｅ」又は「０」）に設定することができる。ＢｃｗＩｄｘが０ではないのは、現在ブロックにＢＣＷが適用されることを意味し、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌＸ＿ｆｌａｇ［ｒｅｆＩｄｘＬＸ］が１であることは、現在ブロックにＬＸ予測方向のＷＰが適用されることを意味することができる。本開示において、ＢｃｗＩｄｘが０であることは、均等重みが適用されることを意味し、すなわち、Ｌ０予測ブロックとＬ１予測ブロックの平均（ａｖｅｒａｇｅ ｓｕｍ）で双方向予測ブロックが生成されることを意味することができる。したがって、ｃｂＰｒｏｆＦｌａｇＬＸを誘導するとき、上記条件を追加することにより、現在ブロックにＢＣＷ又はＷＰが適用される場合、ＰＲＯＦが適用されないように制御することができる。

図２７は本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。

図２７の実施例によれば、ＰＲＯＦ適用条件は、現在ピクチャと参照ピクチャの解像度に関する条件をさらに含むことができる。ＰＲＯＦは、ＢＤＯＦと類似に、オプティカルフローを考慮した予測サンプルの改善方法である。オプティカルフローは、動くオブジェクトが同じ画素値を有し、双方向の動きが一定であるとき、その動きのオフセットを反映する技術である。したがって、現在ピクチャと参照ピクチャの解像度（ｒｅｓｏｌｕｉｏｎ）が異なるとき、ＰＲＯＦを行わないように制限する必要がある。

図２７に示されているように、参照ピクチャの幅（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）が現在ピクチャの幅と異なるか、或いは参照ピクチャの高さ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ）が現在ピクチャの高さと異なる場合、ｃｂＰｒｏｆＦｌａｇを第２値（「Ｆａｌｓｅ」又は「０」）に設定することにより、現在ブロックにＰＲＯＦが適用されないように制御することができる。

このとき、参照ピクチャは、ｃｂＰｒｏｆＦｌａｇの予測方向の参照ピクチャであり得る。具体的には、ｃｂＰｒｏｆＦｌａｇＬ０を誘導する場合、Ｌ０参照ピクチャのサイズと現在ピクチャのサイズが考慮されることができる。Ｌ０参照ピクチャの幅又は高さが現在ピクチャの幅又は高さと異なる場合、ｃｂＰｒｏｆＦｌａｇＬ０は第２値に設定され、Ｌ０予測サンプルに対するＰＲＯＦは行われないことができる。また、Ｌ０参照ピクチャの幅及び高さが現在ピクチャの幅及び高さと同じである場合、ｃｂＰｒｏｆＦｌａｇＬ０は第１値に設定され、Ｌ０予測サンプルに対してＰＲＯＦが適用されて改善されたＬ０予測サンプルが生成されることができる。

同様に、ｃｂＰｒｏｆＦｌａｇＬ１を誘導する場合、Ｌ１参照ピクチャのサイズと現在ピクチャのサイズが考慮されることができる。Ｌ１参照ピクチャの幅又は高さが現在ピクチャの幅又は高さと異なる場合、ｃｂＰｒｏｆＦｌａｇＬ１は第２値に設定され、Ｌ１予測サンプルに対するＰＲＯＦは行われないことができる。また、Ｌ１参照ピクチャの幅及び高さが現在ピクチャの幅及び高さと同一である場合、ｃｂＰｒｏｆＦｌａｇＬ１は第１値に設定され、Ｌ１予測サンプルに対してＰＲＯＦが適用されて改善されたＬ１予測サンプルが生成されることができる。

図２７の下線の条件は、ＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）条件を意味することができる。参照ピクチャのサイズと現在ピクチャのサイズが異なるとき、ＲＰＲ条件は第１値（「Ｔｒｕｅ」又は「１」）を持つことができる。第１値のＲＰＲ条件は、参照ピクチャに対するｒｅｓａｍｐｌｉｎｇが必要であることを意味することができる。また、参照ピクチャのサイズと現在ピクチャのサイズが同一であるとき、ＲＰＲ条件は第２値（「Ｆａｌｓｅ」又は「０」）を有することができる。第２値のＲＰＲ条件は、参照ピクチャに対するｒｅｓａｍｐｌｉｎｇが不要であることを意味することができる。すなわち、ＲＰＲ条件が第１値である場合、ＰＲＯＦが適用されないことができる。

図２８は本開示によるＰＲＯＦを行う方法を説明するための図である。

図２８の方法は、画像符号化装置のインター予測部１８０又は画像復号化装置のインター予測部２６０で行われることができる。より具体的には、図２８の方法は、画像符号化装置のインター予測部１８０内の予測サンプル導出部１８３又は画像復号化装置のインター予測部２６０内の予測サンプル導出部２６３で行われることができる。

図２８によれば、現在ブロックの動き情報が決定できる（Ｓ２８１０）。現在ブロックの動き情報は、本開示に記載された様々な方法に基づいて決定されることができる。画像符号化装置は、様々なインター予測モード及び動き情報に基づいてレート歪みコスト（ＲＤ ｃｏｓｔ）を計算することにより、最適な動き情報を現在ブロックの動き情報として決定することができる。画像符号化装置は、決定されたインター予測モード及び動き情報をビットストリームに符号化することができる。画像復号化装置は、ビットストリームを介してシグナリングされた情報を復号化することにより、現在ブロックの動き情報を決定（導出）することができる。

ステップＳ２８１０で決定された現在ブロックの動き情報に基づいて、現在ブロックの予測サンプル（予測ブロック）が導出されることができる（Ｓ２８２０）。現在ブロックの予測サンプルは、本開示に記載されている様々な方法に基づいて導出されることができる。

ステップＳ２８３０で、現在ブロックに対するＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）条件が導出されることができる。例えば、現在ブロックの参照ピクチャの幅又は高さが現在ピクチャの幅又は高さと異なる場合、ＲＰＲ条件は第１値（「Ｔｒｕｅ」又は「１」）に設定されることができる。また、現在ブロックの参照ピクチャの幅及び高さが現在ピクチャの幅及び高さとそれぞれ同一である場合、ＲＰＲ条件は第２値（「Ｆａｌｓｅ」又は「０」）に設定されることができる。

現在ブロックにＰＲＯＦが適用されるか否かを示す情報ｃｂＰｒｏｆＦｌａｇは、前記ＲＰＲ条件に基づいて誘導されることができる（Ｓ２８４０）。例えば、ＲＰＲ条件が第１値である場合、ｃｂＰｒｏｆＦｌａｇは第２値に設定されることができる。すなわち、現在ピクチャのサイズが参照ピクチャのサイズと異なる場合、ＰＲＯＦは適用されないものと決定されることができる。また、ＲＰＲ条件が第２値である場合、ｃｂＰｒｏｆＦｌａｇは第１値に設定されることができる。すなわち、現在ピクチャのサイズが参照ピクチャのサイズと同一である場合、ＰＲＯＦは適用されるものと決定されることができる。ステップＳ２８４０は、ＲＰＲ条件に基づいてｃｂＰｒｏｆＦｌａｇを誘導するものと説明されたが、これは、説明の便宜のためのものであり、ｃｂＰｒｏｆＦｌａｇを誘導する条件は、ＲＰＲ条件に限定されない。すなわち、ｃｂＰｒｏｆＦｌａｇを誘導するために、ＲＰＲ条件に加えて、本開示に記載された他の条件、又は本開示に記載されていない他の条件が一緒に考慮されることができる。

ステップＳ２８４０で誘導されたｃｂＰｒｏｆＦｌａｇに基づいて、ＰＲＯＦが行われるか否かが決定されることができる（Ｓ２８５０）。ｃｂＰｒｏｆＦｌａｇが第１値（「Ｔｒｕｅ」又は「１」）である場合、現在ブロックの予測サンプルに対してＰＲＯＦが行われることができる（Ｓ２８６０）。ｃｂＰｒｏｆＦｌａｇが第２値（「Ｆａｌｓｅ」又は「０」）である場合、現在ブロックの予測サンプルに対してＰＲＯＦが行われず、スキップされることができる。

ステップＳ２８６０のＰＲＯＦ過程は、本開示に記載されたＰＲＯＦ過程によって行われることができる。より具体的には、現在ブロックにＰＲＯＦが適用される場合、現在ブロック内の各サンプル位置に対する差分動きベクトルを導出し、現在ブロック内の各サンプル位置に対するグラジエントを導出し、前記差分動きベクトル及び前記グラジエントに基づいてＰＲＯＦオフセットを導出した後、前記ＰＲＯＦオフセットに基づいて前記現在ブロックに対する改善された予測サンプルを導出することができる。

画像符号化装置は、前記改善された予測サンプル（予測ブロック）に基づいて現在ブロックに対するレジデュアルサンプル（残差ブロック）を誘導し、レジデュアルサンプルに関する情報をビットストリームに符号化することができる。画像復号化装置は、前記改善された予測サンプル（予測ブロック）及びビットストリームを復号化して取得したレジデュアルサンプル（残差ブロック）に基づいて現在ブロックを復元することができる。

図２８に示されている例において、ステップＳ２８３０のＲＰＲ条件は、ステップＳ２８２０以後に行われるものに限定されない。例えば、ＲＰＲ条件は、ｃｂＰｒｏｆＦｌａｇを誘導する（Ｓ２８４０）前に導出されることで十分であり、本開示による実施例は、ステップＳ２８４０の実行前にＲＰＲ条件を導出する様々な例を含むことができる。

図２９は本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。

図２９の実施例は、図２６の実施例と図２７の実施例とを組み合わせた実施例の一例である。上述したように、ＢＤＯＦとＰＲＯＦとの間のデザイン観点からの調和のために、ＢＣＷ又はＷＰが適用されるブロックに対してＰＲＯＦを適用しないことができる。ＰＲＯＦは、ＢＤＯＦとは異なり、単方向予測（ｕｎｉ－ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎ）の場合にも適用できる。したがって、単方向予測のＷＰが適用される場合、現在ブロックに対してＰＲＯＦが適用されないようにすることができる。また、単方向予測の参照ピクチャのサイズと現在ピクチャのサイズが異なる場合、現在ブロックに対してＰＲＯＦが適用されないようにすることができる。

図２９によれば、Ｌ０方向のＷＰが適用される（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ＝＝１）、Ｌ１方向のＷＰが適用される場合（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ＝＝１）、ＰＲＯＦが適用されないようにｃｂＰｒｏｆＦｌａｇを設定することができる。また、Ｌ０方向の参照ピクチャのサイズと現在ピクチャのサイズが異なるか、或いはＬ１方向の参照ピクチャのサイズと現在ピクチャのサイズとが異なる場合、ＰＲＯＦが適用されないようにｃｂＰｒｏｆＦｌａｇを設定することができる。

図３０は本開示の別の実施例によるＰＲＯＦの適用有無決定過程を示す図である。

図３０の実施例は、図２６の実施例と図２７の実施例とを組み合わせた実施例の他の例である。上述したように、ＰＲＯＦは、ＢＤＯＦとは異なり、単方向予測の場合にも適用できる。したがって、単方向予測のＷＰが適用される場合、当該方向に対してＰＲＯＦが適用されないようにすることができる。また、単方向予測の参照ピクチャのサイズと現在ピクチャのサイズが異なる場合、当該方向に対してＰＲＯＦが適用されないようにすることができる。

図３０によれば、Ｌ０方向のＷＰが適用されるか（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０＿ｆｌａｇ＝＝１）、Ｌ０方向の参照ピクチャのサイズと現在ピクチャのサイズが異なる場合、Ｌ０方向に対してＰＲＯＦが適用されないようにｃｂＰｒｏｆＦｌａｇＬ０を第２値（「Ｆａｌｓｅ」又は「０」）に設定することができる。また、Ｌ１方向のＷＰが適用されるか（例えば、ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１＿ｆｌａｇ＝＝１）、或いはＬ１方向の参照ピクチャのサイズと現在ピクチャのサイズが異なる場合、Ｌ１方向に対してＰＲＯＦが適用されないようにｃｂＰｒｏｆＦｌａｇＬ１を第２値（「Ｆａｌｓｅ」又は「０」）に設定することができる。

本開示に記載された様々な実施例は、それぞれ単独で実現されてもよく、他の実施例と組み合わせられて実現されてもよい。或いは、例えば、一実施例の一部が他の実施例に付加されてもよく、一実施例の一部が他の実施例の一部を置き換えることによりに実現されてもよい。

本開示に記載されている様々な実施例によれば、ＰＲＯＦの適用条件とＢＤＯＦの適用条件の一部とを一致させることにより、ＰＲＯＦとＢＤＯＦのデザイン観点からの調和を期待することができ、さらに実現複雑度が減少できる。

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

図３１は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

図３１に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

本開示による実施例は、画像を符号化／復号化することに利用可能である。

Claims (13)

1. 画像復号化装置によって行われる画像復号化方法であって、
   現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出するステップと、
   前記現在ブロックに対するＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）条件を導出するステップと、
   前記ＲＰＲ条件に基づいて前記現在ブロックにＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を適用するか否かを決定するステップと、
   前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出するステップと、を含んでなり、
   前記現在ブロックにＰＲＯＦを適用するか否かは、前記ＲＰＲ条件に加えて、
   前記現在ブロックに、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）又はＷＰ（Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて更に決定される、画像復号化方法。
2. 前記ＲＰＲ条件は、前記現在ブロックの参照ピクチャのサイズ及び現在ピクチャのサイズに基づいて決定される、請求項１に記載の画像復号化方法。
3. 前記現在ブロックの参照ピクチャのサイズと前記現在ピクチャのサイズが異なる場合、前記ＲＰＲ条件は第１値として導出され、
   前記現在ブロックの参照ピクチャのサイズと前記現在ピクチャのサイズが同一である場合、前記ＲＰＲ条件は第２値として導出される、請求項２に記載の画像復号化方法。
4. 前記ＲＰＲ条件が第１値である場合、前記現在ブロックにＰＲＯＦを適用しないものと決定する、請求項３に記載の画像復号化方法。
5. 前記現在ブロックにＰＲＯＦを適用するか否かは、前記ＲＰＲ条件及び前記現在ブロックに前記ＢＣＷ又は前記ＷＰが適用されるか否かに加えて、前記現在ブロックのサイズに基づいて更に決定される、請求項１に記載の画像復号化方法。
6. 前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）との積が１２８よりも小さい場合、前記現在ブロックにＰＲＯＦを適用しないものと決定される、請求項５に記載の画像復号化方法。
7. 前記現在ブロックがアフィンマージモードであるか否かを示す情報は、前記現在ブロックのサイズに基づいてビットストリームからパーシングされる、請求項１に記載の画像復号化方法。
8. 前記現在ブロックがアフィンマージモードであるか否かを示す情報は、前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）がそれぞれ８以上であり、
   ｗ＊ｈが１２８以上である場合、前記ビットストリームからパーシングされる、請求項７に記載の画像復号化方法。
9. 前記現在ブロックがアフィンＭＶＰモードであるか否かを示す情報は、前記現在ブロックのサイズに基づいてビットストリームからパーシングされる、請求項１に記載の画像復号化方法。
10. 前記現在ブロックがアフィンＭＶＰモードであるか否かを示す情報は、前記現在ブロックの幅（ｗ）と前記現在ブロックの高さ（ｈ）がそれぞれ８以上であり、
    ｗ＊ｈが１２８以上である場合、前記ビットストリームからパーシングされる、請求項９に記載の画像復号化方法。
11. 前記現在ブロックにＢＣＷ又はＷＰが適用される場合、前記現在ブロックにＰＲＯＦを適用しないものと決定する、請求項１に記載の画像復号化方法。
12. 画像符号化装置によって行われる画像符号化方法であって、
    現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出するステップと、
    前記現在ブロックに対するＲＰＲ条件を導出するステップと、
    前記ＲＰＲ条件に基づいて、前記現在ブロックにＰＲＯＦを適用するか否かを決定するステップと、
    前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出するステップと、を含んでなり、
    前記現在ブロックにＰＲＯＦを適用するか否かは、前記ＲＰＲ条件に加えて、
    前記現在ブロックに、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）又はＷＰ（Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて更に決定される、画像符号化方法。
13. ビットストリーム（ｂｉｔｓｔｒｅａｍ）を伝送する方法であって、
    画像符号化方法によって生成された前記ビットストリームを取得するステップと、及び
    前記ビットストリームを送信するステップと、を含んでなり、
    前記画像符号化方法は、
    現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出するステップと、
    前記現在ブロックに対するＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）条件を導出するステップと、
    前記ＲＰＲ条件に基づいて前記現在ブロックにＰＲＯＦ（Ｐｒｅｄｉｃｔｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ）を適用するか否かを決定するステップと、
    前記現在ブロックにＰＲＯＦを適用して前記現在ブロックに対する改善された予測サンプルを導出するステップと、を含んでなり、
    前記現在ブロックにＰＲＯＦを適用するか否かは、前記ＲＰＲ条件に加えて、
    前記現在ブロックに、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）又はＷＰ（Ｗｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かに基づいて更に決定される、ビットストリームを伝送する方法。