JP2023510846A - マージ候補の最大個数情報を含むシーケンスパラメータセットを用いた画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 - Google Patents

マージ候補の最大個数情報を含むシーケンスパラメータセットを用いた画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 Download PDF

Info

Publication number
JP2023510846A
JP2023510846A JP2022542708A JP2022542708A JP2023510846A JP 2023510846 A JP2023510846 A JP 2023510846A JP 2022542708 A JP2022542708 A JP 2022542708A JP 2022542708 A JP2022542708 A JP 2022542708A JP 2023510846 A JP2023510846 A JP 2023510846A
Authority
JP
Japan
Prior art keywords
mode
merge
block
current block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022542708A
Other languages
English (en)
Inventor
ネ リ パク
チョン ハク ナム
ヒョン ムン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023510846A publication Critical patent/JP2023510846A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2023510846000001
画像符号化／復号化方法及び装置が提供される。本開示による画像復号化方法は、現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成するステップと、前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出するステップと、前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、を含み、前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を介して取得され、前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能であるか否かに基づいて決定できる。
【選択図】図２３

Description

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、マージ候補リストに含まれるマージ候補の最大個数情報をシーケンスパラメータセットを用いて符号化／復号化する画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
また、本開示は、マージ候補の最大個数情報をシーケンスパラメータセットを用いて符号化／復号化する画像符号化／復号化方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示の一態様による画像復号化方法は、現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成するステップと、前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出するステップと、前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、を含み、前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を介して取得され、前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能であるか否かに基づいて決定されることができる。
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成し、前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出し、前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するが、前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を介して取得され、前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能であるか否かに基づいて決定されることができる。
本開示の別の態様による画像符号化方法は、現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成するステップと、前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出するステップと、前記動き情報及び前記マージ候補リストに含まれるマージ候補の最大個数情報を符号化するステップと、を含み、前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）内に符号化され、前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能であるか否かに基づいて決定されることができる。
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、マージ候補の最大個数情報を含むシーケンスパラメータセットを用いた画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、マージ候補リストに基づくインター予測モードでシグナリング効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、マージ候補リストに基づくインター予測モードでツール制御が容易な画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 インター予測に基づくビデオ／画像符号化方法を示すフローチャートである。 本開示によるインター予測部１８０の構成を例示的に示す図である。 インター予測に基づくビデオ／画像復号化方法を示すフローチャートである。 本開示によるインター予測部２６０の構成を例示的に示す図である。 空間マージ候補として用いられる周辺ブロックを例示する図である。 本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。 本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。 アフィンモードのパラメータモデルを説明するための図である。 アフィンマージ候補リストを生成する方法を説明するための図である。 サブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。 サブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。 現在ブロックに三角分割モードが適用されて２つの三角形パーティションに分割された例を示す図である。 マージ候補の最大個数に関する情報を含むピクチャパラメータセット（ＰＰＳ）の一例を示す図である。 マージ候補の最大個数に関する情報を含むピクチャヘッダーの一例を示す図である。 本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）の一例を示す図である。 本開示の一実施例によるシーケンスパラメータセット（ＳＰＳ）の一例を示す図である。 本開示の一実施例によるスライスヘッダーの一例を示す図である。 本開示の一実施例によるピクチャヘッダーの一例を示す図である。 本開示の一実施例による画像符号化方法を示すフローチャートである。 本開示の一実施例による画像復号化方法を示すフローチャートである。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
ビデオコーディングシステムの概要
図１は、本開示によるビデオコーディングシステムを示す図である。
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード、プレーナー（プラナー）モード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
画像復号化装置の概要
図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
インター予測の概要
画像符号化／復号化装置は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素に依存的な方法で導出される予測技法を意味することができる。現在ブロックに対してインター予測が適用される場合、参照ピクチャ上で動きベクトルによって特定される参照ブロックに基づいて、現在ブロックに対する予測ブロックが誘導されることができる。
このとき、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報が誘導されることができ、ブロック、サブブロック又はサンプル単位で動き情報が誘導されることができる。このとき、動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報はインター予測タイプ情報をさらに含むことができる。ここで、インター予測タイプ情報はインター予測の方向性情報を意味することができる。インター予測タイプ情報は、現在ブロックがＬ０予測、Ｌ１予測及びＢｉ予測のうちのいずれか一つを用いて予測されることを指示することができる。
現在ブロックに対してインター予測が適用される場合、現在ブロックの周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。このとき、現在ブロックに対する参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、異なっていてもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケート符号化ユニット（ｃｏｌＣＵ）などと呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。
一方、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成されることができ、このとき、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が使用されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。
動き情報は、インター予測タイプに基づいてＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と定義されることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と定義されることができる。Ｌ０動きベクトルに基づいた予測はＬ０予測と定義されることができ、Ｌ１動きベクトルに基づいた予測はＬ１予測と定義されることができ、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方ともに基づいた予測は双予測（Ｂｉ ｐｒｅｄｉｃｔｉｏｎ）と定義されることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０に関連した動きベクトルを意味することができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１に関連した動きベクトルを意味することができる。
参照ピクチャリストＬ０は、前記現在ピクチャよりも出力順序における以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも出力順序における以後のピクチャを含むことができる。このとき、以前のピクチャは、順方向（参照）ピクチャと定義することができ、前記以後のピクチャは、逆方向（参照ピクチャ）と定義することができる。一方、参照ピクチャリストＬ０は、現在ピクチャよりも出力順序における以後のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデックス化され、以後のピクチャは、その次にインデックス化されることができる。参照ピクチャリストＬ１は、現在ピクチャよりも出力順序における以前のピクチャをさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後のピクチャが先にインデックス化され、以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応することができる。
図４は、インター予測に基づくビデオ／画像符号化方法を示すフローチャート図である。
図５は、本開示によるインター予測部１８０の構成を例示的に示す図である。
図４の符号化方法は、図２の画像符号化装置によって行われることができる。具体的に、ステップＳ４１０は、インター予測部１８０によって行われることができ、ステップＳ４２０は、レジデュアル処理部によって行われることができる。具体的に、ステップＳ４２０は、減算部１１５によって行われることができる。ステップＳ４３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ４３０の予測情報はインター予測部１８０によって導出され、ステップＳ４３０のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
画像符号化装置は、現在ブロックに対するインター予測を行うことができる（Ｓ４１０）。画像符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モードの決定、動き情報の導出及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図５に示されているように、画像符号化装置のインター予測部１８０は、予測モード決定部１８１、動き情報導出部１８２、及び予測サンプル導出部１８３を含むことができる。予測モード決定部１８１で前記現在ブロックに対する予測モードを決定し、動き情報導出部１８２で前記現在ブロックの動き情報を導出し、予測サンプル導出部１８３で前記現在ブロックの予測サンプルを導出することができる。例えば、画像符号化装置のインター予測部１８０は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定の領域（探索領域）内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。画像符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。画像符号化装置は、前記様々なインター予測モードに対するレート歪みコスト（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ（ＲＤ） ｃｏｓｔ）を比較し、前記現在ブロックに対する最適の予測モードを決定することができる。しかし、画像符号化装置が現在ブロックに対するインター予測モードを決定する方法は、上記の例に限定されず、様々な方法が利用できる。
例えば、現在ブロックに対するインター予測モードは、マージモード（ｍｅｒｇｅ ｍｏｄｅ）、スキップモード（ｓｋｉｐ ｍｏｄｅ）、ＭＶＰモード（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、ＳＭＶＤモード（Ｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）、アフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）、サブブロックベースのマージモード（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、ＡＭＶＲモード（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ ｍｏｄｅ）、ＨＭＶＰモード（Ｈｉｓｔｏｒｙ－ｂａｓｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ ｍｏｄｅ）、双予測マージモード（Ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｍｏｄｅ）、ＭＭＶＤモード（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ ｍｏｄｅ）、ＤＭＶＲモード（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ ｍｏｄｅ）、ＣＩＩＰモード（Ｃｏｍｂｉｎｅｄ Ｉｎｔｅｒ ａｎｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、及びＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）のうちの少なくとも一つと決定されることができる。
例えば、現在ブロックにスキップモード又はマージモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。また、画像符号化装置は、前記マージ候補リストに含まれているマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されて画像復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。
他の例として、前記現在ブロックにＭＶＰモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックから動きベクトル予測子（ＭＶＰ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）候補を誘導し、誘導されたＭＶＰ候補を用いてＭＶＰ候補リストを構成することができる。また、画像符号化装置は、前記ＭＶＰ候補リストに含まれているＭＶＰ候補のうち、選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記ＭＶＰ候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つＭＶＰ候補が、前記選択されたＭＶＰ候補になることができる。前記現在ブロックの動きベクトルから前記ＭＶＰを差し引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出されることができる。この場合、前記選択されたＭＶＰ候補を示すインデックス情報、及び前記ＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。また、ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記画像復号化装置にシグナリングされることができる。
画像符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる（Ｓ４２０）。画像符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。例えば、前記レジデュアルサンプルは、原本サンプルから対応する予測サンプルを減算することにより導出されることができる。
画像符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化することができる（Ｓ４３０）。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含むことができる。前記予測モード情報のうち、ｓｋｉｐ ｆｌａｇは、現在ブロックに対してスキップモードが適用されるか否かを示す情報であり、ｍｅｒｇｅ ｆｌａｇは、現在ブロックに対してマージモードが適用されるか否かを示す情報である。又は、予測モード情報は、ｍｏｄｅ ｉｎｄｅｘのように、複数の予測モードのうちのいずれか一つを指示する情報であってもよい。前記ｓｋｉｐ ｆｌａｇとｍｅｒｇｅ ｆｌａｇがそれぞれ０である場合、現在ブロックに対してＭＶＰモードが適用されると決定されることができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含むことができる。前記候補選択情報のうち、ｍｅｒｇｅ ｉｎｄｅｘは、現在ブロックに対してマージモードが適用される場合にシグナリングされることができ、マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択するための情報であることができる。前記候補選択情報のうち、ＭＶＰ ｆｌａｇ又はＭＶＰ ｉｎｄｅｘは、現在ブロックに対してＭＶＰモードが適用される場合にシグナリングされることができ、ＭＶＰ候補リストに含まれているＭＶＰ候補のうちのいずれか一つを選択するための情報であることができる。具体的に、ＭＶＰ ｆｌａｇは、シンタックス要素ｍｖｐ＿ｌ０＿ｆｌａｇ或いはｍｖｐ＿ｌ１＿ｆｌａｇを用いてシグナリングされることができる。また、前記動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測又は双（Ｂｉ）予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。
出力されたビットストリームは、（デジタル）記憶媒体に保存されて画像復号化装置に伝達されることができ、又はネットワークを介して画像復号化装置に伝達されることもできる。
一方、前述したように、画像符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含むピクチャ）を生成することができる。これは、画像復号化装置で行われるのと同じ予測結果を画像符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、画像符号化装置は、復元ピクチャ（又は復元サンプル、復元ブロック）をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。
図６は、インター予測に基づくビデオ／画像復号化方法を示すフローチャートである。
図７は本開示によるインター予測部２６０の構成を例示的に示す図である。
画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。画像復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。
図６の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ６１０乃至Ｓ６３０は、インター予測部２６０によって行われることができ、ステップＳ６１０の予測情報及びステップＳ６４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ６４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ６５０は、加算部２３５又は復元部によって行われることができる。
具体的に、画像復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる（Ｓ６１０）。画像復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。
例えば、前記ｓｋｉｐ ｆｌａｇに基づいて、前記現在ブロックに前記スキップモードが適用されるか否かを決定することができる。また、前記ｍｅｒｇｅ ｆｌａｇに基づいて、前記現在ブロックに前記マージモードが適用されるか或いはＭＶＰモードが決定されるかを決定することができる。又は、前記ｍｏｄｅ ｉｎｄｅｘに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又はＭＶＰモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。
画像復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出することができる（Ｓ６２０）。例えば、画像復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、前述した候補選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。例えば、前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。
他の例として、画像復号化装置は、前記現在ブロックにＭＶＰモードが適用される場合、ＭＶＰ候補リストを構成し、前記ＭＶＰ候補リストに含まれているＭＶＰ候補の中から選択されたＭＶＰ候補の動きベクトルを前記現在ブロックのＭＶＰとして用いることができる。前記選択は、前述した候補選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのＭＶＰと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
画像復号化装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成することができる（Ｓ６３０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。場合に応じて、前記現在ブロックの予測サンプルのうちの全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。
例えば、図７に示されているように、画像復号化装置のインター予測部２６０は、予測モード決定部２６１、動き情報導出部２６２、予測サンプル導出部２６３を含むことができる。画像復号化装置のインター予測部２６０は、予測モード決定部２６１で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部２６２で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部２６３で前記現在ブロックの予測サンプルを導出することができる。
画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる（Ｓ６５０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは前述したとおりである。
前述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、及び導出された動き情報に基づく予測実行（予測サンプル生成）ステップを含むことができる。前記インター予測手順は、前述したように、画像符号化装置及び画像復号化装置で行われることができる。
以下、予測モードによる動き情報導出ステップについてより詳細に説明する。
前述したように、インター予測は、現在ブロックの動き情報を用いて行われることができる。画像符号化装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して、現在ブロックに対する最適の動き情報を導出することができる。例えば、画像符号化装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似な参照ブロックを参照ピクチャ内の定められた探索範囲内で分数ピクセル単位にて探索することができ、これにより動き情報を導出することができる。ブロックの類似性は、現在ブロックと参照ブロック間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算できる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によって画像復号化装置にシグナリングされることができる。
現在ブロックに対してマージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在ブロックの動き情報が直接伝送されず、周辺ブロックの動き情報を用いて前記現在ブロックの動き情報を誘導する。よって、マージモードを用いたことを知らせるフラグ情報及びどの周辺ブロックをマージ候補として用いたかを知らせる候補選択情報（例えば、マージインデックス）を伝送することにより、現在予測ブロックの動き情報を指示することができる。本開示において、現在ブロックは予測実行の単位であるので、現在ブロックは現在予測ブロックと同じ意味で使用され、周辺ブロックは周辺予測ブロックと同じ意味で使用されることができる。
画像符号化装置は、マージモードを行うために現在ブロックの動き情報を誘導するのに用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）を探索することができる。例えば、前記マージ候補ブロックは、最大５個まで使用できるが、これに限定されない。前記マージ候補ブロックの最大個数は、スライスヘッダー又はタイルグループヘッダーから伝送されることができるが、これに限定されない。前記マージ候補ブロックを見つけた後、画像符号化装置は、マージ候補リストを生成することができ、これらのうち、ＲＤコストが最も小さいマージ候補ブロックを最終マージ候補ブロックとして選択することができる。
本開示は、前記マージ候補リストを構成するマージ候補ブロックに対する様々な実施例を提供する。前記マージ候補リストは、例えば５つのマージ候補ブロックを用いることができる。例えば、４つの空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を用いることができる。
図８は、空間マージ候補として用いられる周辺ブロックを例示する図である。
図９は、本開示の一例によるマージ候補リスト構成方法を概略的に示す図である。
画像符号化装置／画像復号化装置は、現在ブロックの空間周辺ブロックを探索して導出された空間マージ候補をマージ候補リストに挿入することができる（Ｓ９１０）。前記空間周辺ブロックは、図８に示すように、前記現在ブロックの左下側コーナー周辺ブロックＡ０、左側周辺ブロックＡ１、右上側コーナー周辺ブロックＢ０、上側周辺ブロックＢ１、左上側コーナー周辺ブロックＢ２を含むことができる。但し、これは例示であって、前述した空間周辺ブロック以外にも、右側周辺ブロック、下側周辺ブロック、右下側周辺ブロックなどの追加周辺ブロックがさらに前記空間周辺ブロックとして使用できる。画像符号化装置／画像復号化装置は、前記空間周辺ブロックを優先順位に基づいて探索することにより、利用可能なブロックを検出し、検出されたブロックの動き情報を前記空間マージ候補として導出することができる。例えば、画像符号化装置／画像復号化装置は、図８に示されている５つのブロックをＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順に探索し、利用可能な候補を順次インデックス化することにより、マージ候補リストを構成することができる。
画像符号化装置／画像復号化装置は、前記現在ブロックの時間周辺ブロックを探索して導出された時間マージ候補を前記マージ候補リストに挿入することができる（Ｓ９２０）。前記時間周辺ブロックは、前記現在ブロックが位置する現在ピクチャとは異なるピクチャである参照ピクチャ上に位置することができる。前記時間周辺ブロックが位置する参照ピクチャは、コロケート（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はｃｏｌピクチャと呼ばれることができる。前記時間周辺ブロックは、前記ｃｏｌピクチャ上における前記現在ブロックに対するコロケートブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側コーナー周辺ブロック及び右下側センターブロックの順序で探索できる。 一方、メモリ負荷を減らすためにｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記ｃｏｌピクチャに対して、一定の保存単位ごとに特定の動き情報を代表動き情報として保存することができる。この場合、前記一定の保存ユニット内のすべてのブロックに対する動き情報を保存する必要がなく、これによりｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ効果を得ることができる。この場合、一定の保存単位は、例えば１６×１６サンプル単位、又は８×８サンプル単位などに予め定められることもでき、又は画像符号化装置から画像復号化装置へ前記一定の保存単位に対するサイズ情報がシグナリングされることもできる。前記ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎが適用される場合、前記時間周辺ブロックの動き情報は、前記時間周辺ブロックが位置する前記一定の保存単位の代表動き情報に置き換えられることができる。つまり、この場合、実現の観点からみると、前記時間周辺ブロックの座標に位置する予測ブロックロックではなく、前記時間周辺ブロックの座標（左上側サンプルポジション）に基づいて一定の値だけ算術右シフトした後、算術左シフトした位置をカバーする予測ブロックの動き情報に基づいて前記時間マージ候補が導出されることができる。例えば、前記一定の保存単位が２n×２nサンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ、ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞ｎ）＜＜ｎ）、（ｙＴｎｂ＞＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。具体的には、例えば、前記一定の保存単位が１６×１６サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞４）＜＜４），（ｙＴｎｂ＞＞４）＜＜４））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。又は、例えば、前記一定の保存単位が８×８サンプル単位である場合、前記時間周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）であるとすれば、修正された位置である（（ｘＴｎｂ＞＞３）＜＜３），（ｙＴｎｂ＞＞３）＜＜３））に位置する予測ブロックの動き情報が前記時間マージ候補のために使用できる。
再び図９を参照すると、画像符号化装置／画像復号化装置は、現在マージ候補の数が最大マージ候補の数よりも小さいか否かを確認することができる（Ｓ９３０）。前記最大マージ候補の数は、予め定義されるか、或いは画像符号化装置から画像復号化装置にシグナリングされることができる。例えば、画像符号化装置は、前記最大マージ候補の数に関する情報を生成し、符号化してビットストリーム形式で前記画像復号化装置に伝達することができる。前記最大マージ候補の数が全て満たされると、以後の候補追加過程（Ｓ９４０）は行われないことができる。
ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さい場合、画像符号化装置／画像復号化装置は、所定の方式に基づいて追加マージ候補を誘導した後、前記マージ候補リストに挿入することができる（Ｓ９４０）。前記追加マージ候補は、例えば、ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ＡＴＭＶＰ、ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅマージ候補（現在スライス／タイルグループのスライス／タイルグループタイプがＢタイプである場合）及び／又はゼロ（ｚｅｒｏ）ベクトルマージ候補のうちの少なくとも一つを含むことができる。
ステップＳ９３０の確認結果、前記現在マージ候補の数が前記最大マージ候補の数よりも小さくない場合、画像符号化装置／画像復号化装置は、前記マージ候補リストの構成を終了することができる。この場合、画像符号化装置は、ＲＤコストに基づいて、前記マージ候補リストを構成するマージ候補のうちの最適のマージ候補を選択することができ、前記選択されたマージ候補を指す候補選択情報（例えば、マージ候補インデックス、ｍｅｒｇｅ ｉｎｄｅｘ）を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記マージ候補リスト及び前記候補選択情報に基づいて前記最適のマージ候補を選択することができる。
前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として使用されることができ、前記現在ブロックの動き情報に基づいて前記現在ブロックの予測サンプルを導出することができるのは、前述したとおりである。画像符号化装置は、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出することができ、前記レジデュアルサンプルに関するレジデュアル情報を画像復号化装置にシグナリングすることができる。画像復号化装置は、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成し、これに基づいて復元ピクチャを生成することができるのは、前述したとおりである。
現在ブロックに対してスキップモード（ｓｋｉｐ ｍｏｄｅ）が適用される場合、前でマージモードが適用される場合と同様の方法で前記現在ブロックの動き情報を導出することができる。ただし、スキップモードが適用される場合、当該ブロックに対するレジデュアル信号が省略される。よって、予測サンプルが直ちに復元サンプルとして使用できる。前記スキップモードは、例えばｃｕ＿ｓｋｉｐ＿ｆｌａｇの値が１である場合に適用できる。
現在ブロックに対してＭＶＰモードが適用される場合、復元された空間周辺ブロック（例えば、図８に示されている周辺ブロック）の動きベクトル及び／又は時間周辺ブロック（又はＣｏｌブロック）に対応する動きベクトルを用いて、動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ、ｍｖｐ）候補リストが生成できる。つまり、復元された空間周辺ブロックの動きベクトル及び／又は時間周辺ブロックに対応する動きベクトルが現在ブロックの動きベクトル予測子候補として使用できる。双予測が適用される場合、Ｌ０動き情報導出のためのｍｖｐ候補リストとＬ１動き情報導出のためのｍｖｐ候補リストが個別に生成されて利用できる。現在ブロックに対する予測情報（又は予測に関する情報）は、前記ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から選択された最適の動きベクトル予測子候補を指示する候補選択情報（例えば、ＭＶＰフラグ又はＭＶＰインデックス）を含むことができる。このとき、予測部は、前記候補選択情報を用いて、ｍｖｐ候補リストに含まれている動きベクトル予測子候補の中から、現在ブロックの動きベクトル予測子を選択することができる。画像符号化装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との動きベクトル差分（ＭＶＤ）を求めることができ、これを符号化してビットストリーム形式で出力することができる。つまり、ＭＶＤは現在ブロックの動きベクトルから前記動きベクトル予測子を差し引いた値で求められることができる。画像復号化装置の予測部は、前記予測に関する情報に含まれている動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子との加算を介して、現在ブロックの前記動きベクトルを導出することができる。画像復号化装置の予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを前記予測に関する情報から取得又は誘導することができる。
図１０は、本開示の一例による動きベクトル予測子候補リスト構成方法を概略的に示す図である。
まず、現在ブロックの空間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０１０）。その後、ＭＶＰ候補リストに含まれているＭＶＰ候補が２つ未満であるか否かが判断され（Ｓ１０２０）、２つである場合、ＭＶＰ候補リストの構成を完了することができる。
ステップＳ１０２０で、利用可能な空間候補ブロックが２つ未満である場合、現在ブロックの時間候補ブロックを探索して、利用可能な候補ブロックをＭＶＰ候補リストに挿入することができる（Ｓ１０３０）。時間候補ブロックが利用可能でない場合、ゼロ動きベクトルをＭＶＰ候補リストに挿入（Ｓ１０４０）することにより、ＭＶＰ候補リストの構成を完了することができる。
一方、ＭＶＰモードが適用される場合、参照ピクチャインデックスが明示的にシグナリングされることができる。この場合、Ｌ０予測のためのピクチャインデックス（ｒｅｆｉｄｘＬ０）とＬ１予測のための参照ピクチャインデックス（ｒｅｆｉｄｘＬ１）が区分されてシグナリングされることができる。例えば、ＭＶＰモードが適用され、双予測（ＢＩ ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、前記ｒｅｆｉｄｘＬ０に関する情報及びｒｅｆｉｄｘＬ１に関する情報が両方ともシグナリングされることができる。
前述したように、ＭＶＰモードが適用される場合、画像符号化装置から導出されたＭＶＤに関する情報が画像復号化装置にシグナリングされることができる。ＭＶＤに関する情報は、例えばＭＶＤ絶対値及び符号に対するｘ、ｙ成分を示す情報を含むことができる。この場合、ＭＶＤ絶対値が０よりも大きいか、及び１よりも大きいか否か、ＭＶＤの残りを示す情報が段階的にシグナリングされることができる。例えば、ＭＶＤ絶対値が１よりも大きいか否かを示す情報は、ＭＶＤ絶対値が０よりも大きいか否かを示すｆｌａｇ情報の値が１である場合に限ってシグナリングされることができる。
アフィンモード（Ａｆｆｉｎｅ ｍｏｄｅ）の概要
以下、インター予測モードの一例であるアフィンモードについて詳細に説明する。従来のビデオ符号化／復号化システムでは、現在ブロックの動き情報を表現するために一つの動きベクトルのみを使用したが、このような方法には、ブロック単位の最適の動き情報を表現するだけであり、画素単位の最適の動き情報を表現することはできなかったという問題点があった。かかる問題点を解決するために、画素単位でブロックの動き情報を定義するアフィンモードが提案された。アフィンモードによれば、現在ブロックに関連付けられた２個乃至４個の動きベクトル用いてブロックの画素／又はサブブロック単位別動きベクトルが決定できる。
従来の動き情報が画素値の平行移動（又は変位）を用いて表現されたのに比べ、アフィンモードでは、平行移動、スケーリング、回転、傾き（ｓｈｅａｒ）のうちの少なくとも一つを用いて、画素別動き情報が表現できる。その中で、画素別動き情報が変位、スクーリング、回転を用いて表現されるアフィンモードを類似（ｓｉｍｉｌａｒｉｔｙ）或いは簡略化（ｓｉｍｐｌｉｆｉｅｄ）アフィンモードと定義することができる。以下の説明におけるアフィンモードは、類似又は簡略化アフィンモードを意味することができる。
アフィンモードでの動き情報は、２つ以上のＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いて表現できる。現在ブロックの特定の画素位置の動きベクトルはＣＰＭＶを用いて誘導できる。このとき、現在ブロックの画素別及び／又はサブブロック別動きベクトルの集合をアフィン動きベクトルフィールド（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：Ａｆｆｉｎｅ ＭＶＦ）と定義することができる。
図１１は、アフィンモードのパラメータモデルを説明するための図である。
現在ブロックに対してアフィンモードが適用される場合、４－パラメータモデル及び６－パラメータモデルのうちのいずれか一つを用いてアフィンＭＶＦが誘導されることができる。このとき、４－パラメータモデルは、２つのＣＰＭＶが使用されるモデルタイプを意味し、６－パラメータモデルは、３つのＣＰＭＶが使用されるモデルタイプを意味することができる。図１１（ａ）及び図１１（ｂ）は、それぞれ４－パラメータモデル及び６－パラメータモデルに使用されるＣＰＭＶを示す。
現在ブロックの位置を（ｘ，ｙ）と定義する場合、画素位置による動きベクトルは、下記の数式１又は数式２に従って誘導されることができる。例えば、４－パラメータモデルによる動きベクトルは数式１に従って誘導されることができ、６－パラメータモデルによる動きベクトルは数式２に従って誘導されることができる。
Figure 2023510846000002
Figure 2023510846000003
数式１及び数式２において、ｍｖ0＝｛ｍｖ0x，ｍｖ0y｝は、現在ブロックの左上側コーナー位置のＣＰＭＶであり、ｍｖ1＝｛ｍｖ1x，ｍｖ1y｝は、現在ブロックの右上側コーナー位置のＣＰＭＶであり、ｍｖ2＝｛ｍｖ2x，ｍｖ2y｝は、現在ブロックの左下側位置のＣＰＭＶであり得る。ここで、Ｗ及びＨはそれぞれ現在ブロックの幅及び高さに該当し、ｍｖ＝｛ｍｖx，ｍｖy｝は画素位置｛ｘ，ｙ｝の動きベクトルを意味することができる。
符号化／復号化過程で、アフィンＭＶＦは、画素単位及び／又は予め定義されたサブブロック単位で決定されることができる。アフィンＭＶＦが画素単位で決定される場合、各画素値を基準に動きベクトルが誘導されることができる。一方、アフィンＭＶＦがサブブロック単位で決定される場合、サブブロックの中央画素値を基準に当該ブロックの動きベクトルが誘導されることができる。中央画素値は、サブブロックのセンターに存在する仮想の画素を意味するか、或いは中央に存在する４つの画素のうちの右下側画素を意味することができる。また、中央画素値は、サブブロック内の特定の画素であって当該サブブロックを代表する画素であり得る。本開示において、アフィンＭＶＦは、４×４サブブロック単位で決定される場合を説明する。ただし、これは説明の便宜のためであり、サブブロックのサイズは多様に変更できる。
つまり、Ａｆｆｉｎｅ予測が利用可能である場合、現在ブロックに適用可能な動きモデルは、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ（平行移動モデル）、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌの３つを含むことができる。ここで、Ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌは、従来のブロック単位動きベクトルが使用されるモデルを示すことができ、４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、２つのＣＰＭＶが使用されるモデルを示すことができ、６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌは、３つのＣＰＭＶが使用されるモデルを示すことができる。アフィンモードは、動き情報を符号化／復号化する方法によって詳細モードに区分できる。一例として、アフィンモードはアフィンＭＶＰモードとアフィンマージモードに細分化できる。
現在ブロックに対してアフィンマージモードが適用される場合、ＣＰＭＶは、アフィンモードで符号化／復号化された現在ブロックの周辺ブロックから誘導できる。現在ブロックの周辺ブロックのうちの少なくとも一つがアフィンモードで符号化／復号化された場合、現在ブロックに対してアフィンマージモードが適用できる。すなわち、現在ブロックに対してアフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて現在ブロックのＣＰＭＶが誘導できる。例えば、周辺ブロックのＣＰＭＶが現在ブロックのＣＰＭＶとして決定されるか、或いは周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導されることができる。周辺ブロックのＣＰＭＶに基づいて現在ブロックのＣＰＭＶが誘導される場合、現在ブロック又は周辺ブロックの符号化パラメータのうちの少なくとも一つが使用できる。例えば、周辺ブロックのＣＰＭＶが前記周辺ブロックのサイズ及び現在ブロックのサイズなどに基づいて修正されて現在ブロックのＣＰＭＶとして使用され得る。
一方、サブブロック単位でＭＶが導出されるａｆｆｉｎｅ ｍｅｒｇｅの場合には、サブブロックベースのマージモードと呼ばれることができ、これは、第２値（例えば、「１」）を有するｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇによって指示できる。この場合、後述するアフィンマージ候補リスト（ａｆｆｉｎｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）は、サブブロックマージ候補リスト（ｓｕｂｂｌｏｃｋ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）と呼ばれることもできる。この場合、前記サブブロックマージ候補リストには、後述するｓｂＴＭＶＰで導出された候補がさらに含まれることができる。この場合、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リストの０番インデックスの候補として用いられることができる。言い換えれば、前記ｓｂＴＭＶＰで導出された候補は、前記サブブロックマージ候補リスト内で後述の継承アフィンマージ候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）、組み合わせアフィンマージ候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅｓ）よりも前方に位置することができる。
一例として、現在ブロックに対してアフィンモードが適用できるか否かを指示するアフィンモードフラグが定義できる。これはシーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、アフィンモードフラグはｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。
アフィンマージモードが適用される場合、現在ブロックのＣＰＭＶ誘導のために、アフィンマージ候補リストが構成できる。このとき、アフィンマージ候補リストは、継承アフィンマージ候補、組み合わせアフィンマージ候補、及びゼロマージ候補のうちの少なくとも一つを含むことができる。継承アフィンマージ候補は、現在ブロックの周辺ブロックがアフィンモードで符号化／復号化された場合、当該周辺ブロックのＣＰＭＶを用いて誘導される候補を意味することができる。組み合わせアフィンマージ候補は、それぞれのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックの動きベクトルに基づいてそれぞれのＣＰＭＶが誘導された候補を意味することができる。一方、ゼロマージ候補は、サイズ０のＣＰＭＶからなる候補を意味することができる。以下の説明において、ＣＰとは、ＣＰＭＶを誘導するのに用いられるブロックの特定の位置を意味することができる。例えば、ＣＰはブロックの各頂点位置であり得る。
図１２は、アフィンマージ候補リストを生成する方法を説明するための図である。
図１２のフローチャートを参照すると、継承アフィンマージ候補（Ｓ１２１０）、組み合わせアフィンマージ候補（Ｓ１２２０）、ゼロマージ候補（Ｓ１２３０）の順にアフィンマージ候補リストにアフィンマージ候補が追加できる。ゼロマージ候補は、アフィンマージ候補リストに継承アフィンマージ候補及び組み合わせアフィンマージ候補が全て追加されたにも拘らず、候補リストに含まれる候補の数が最大候補個数を満たさない場合に追加できる。このとき、ゼロマージ候補は、アフィンマージ候補リストの候補の数が最大候補個数を満たすまで追加できる。
サブブロックベースのＴＭＶＰ（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ＴＭＶＰ、ｓｂＴＭＶＰ）モードの概要
以下、インター予測モードの一例であるサブブロックベースのＴＭＶＰモードについて詳細に説明する。サブブロックベースのＴＭＶＰモードによれば、現在ブロックに対する動きベクトルフィールド（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ：ＭＶＦ）が誘導されるので、サブブロック単位で動きベクトルが誘導されることができる。
従来のＴＭＶＰモードがコーディングユニット単位で行われるのとは異なり、サブブロックベースのＴＭＶＰモードが適用されるコーディングユニットは、サブコーディングユニット単位で動きベクトルに対する符号化／復号化が行われることができる。また、従来のＴＭＶＰモードによれば、コロケートブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）から時間動きベクトルが誘導されるのに対し、サブブロックベースのＴＭＶＰモードは、現在ブロックの周辺ブロックから誘導された動きベクトルが指示する参照ブロックから動きベクトルフィールドが誘導されることができる。以下、周辺ブロックから誘導された動きベクトルを現在ブロックの動きシフト（ｍｏｔｉｏｎ ｓｈｉｆｔ）或いは代表動きベクトルと呼ぶことができる。
図１３は、サブブロックベースのＴＭＶＰモードの周辺ブロックを説明するための図である。
現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用される場合、動きシフトを決定するための周辺ブロックが決定できる。一例として、動きシフトを決定するための周辺ブロックに対するスキャンは、図１３のＡ１、Ｂ１、Ｂ０、Ａ０ブロックの順に行われることができる。他の例として、動きシフトを決定するための周辺ブロックは、現在ブロックの特定の周辺ブロックに制限できる。例えば、動きシフトを決定するための周辺ブロックは、常にＡ１ブロックと決定できる。周辺ブロックがｃｏｌピクチャを参照する動きベクトルを有する場合、当該動きベクトルが動きシフトとして決定できる。動きシフトとして決定された動きベクトルは、時間動きベクトルと呼ばれることもできる。一方、周辺ブロックから上述の動きベクトルが誘導できない場合、動きシフトは（０，０）に設定できる。
図１４は、サブブロックベースのＴＭＶＰモードに従って動きベクトルフィールドを誘導する方法を説明するための図である。
次に、動きシフトが指示するコロケートピクチャ上の参照ブロックが決定できる。例えば、現在ブロックの座標に動きシフトを加算することにより、ｃｏｌピクチャからサブブロックベースの動き情報（動きベクトル、参照ピクチャインデックス）を取得することができる。図１４に示されている例において、動きシフトは、Ａ１ブロックの動きベクトルであると仮定する。現在ブロックに動きシフトを適用することにより、現在ブロックを構成する各サブブロックに対応するｃｏｌピクチャ内のサブブロック（ｃｏｌサブブロック）を特定することができる。その後、ｃｏｌピクチャの対応サブブロック（ｃｏｌサブブロック）の動き情報を用いて、現在ブロックの各サブブロックの動き情報が誘導できる。例えば、対応サブブロックの中央位置から対応サブブロックの動き情報が取得できる。このとき、中央位置は、対応サブブロックの中央に位置する４つのサンプルのうち、右下側サンプルの位置であり得る。もし、現在ブロックに対応するｃｏｌブロックの特定のサブブロックの動き情報が利用可能でない場合、ｃｏｌブロックの中心サブブロックの動き情報が当該サブブロックの動き情報として決定されることができる。対応サブブロックの動き情報が誘導されると、上述したＴＭＶＰ過程と同様に、現在サブブロックの動きベクトルと参照ピクチャインデックスに切り替えられることができる。すなわち、サブブロックベースの動きベクトルが誘導される場合、参照ブロックの参照ピクチャのＰＯＣを考慮して動きベクトルのスケーリングが行われることができる。
上述したように、サブブロックに基づいて誘導された現在ブロックの動きベクトルフィールド又は動き情報を用いて現在ブロックに対するサブブロックベースのＴＭＶＰ候補が誘導できる。
以下、サブブロック単位で構成されるマージ候補リストをサブブロックマージ候補リストと定義する。上述したアフィンマージ候補及びサブブロックベースのＴＭＶＰ候補が併合されてサブブロックマージ候補リストが構成できる。
一方、現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用できるか否かを指示するサブブロックベースのＴＭＶＰモードフラグが定義できる。これは、シーケンス、ピクチャ、スライス、タイル、タイルグループ、ブリックなど、現在ブロックの上位レベルのうちの少なくとも一つのレベルでシグナリングできる。例えば、サブブロックベースのＴＭＶＰモードフラグは、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇと命名できる。現在ブロックに対してサブブロックベースのＴＭＶＰモードが適用可能である場合、サブブロックマージ候補リストにサブブロックベースのＴＭＶＰ候補が先に追加できる。以後、アフィンマージ候補がサブブロックマージ候補リストに追加できる。一方、サブブロックマージ候補リストに含まれ得る最大候補の数がシグナリングされることができる。一例として、サブブロックマージ候補リストに含まれ得る最大候補の数は５であり得る。
サブブロックマージ候補リストの誘導に使用されるサブブロックのサイズは、シグナリングされるか、或いはＭ×Ｎに既に設定されることができる。例えば、Ｍ×Ｎは８×８であり得る。よって、現在ブロックのサイズが８×８以上である場合にのみ、現在ブロックに対してアフィンモード又はサブブロックベースのＴＭＶＰモードが適用できる。
三角分割モード（Ｔｒｉａｎｇｌｅ ｐａｒｔｉｔｉｏｎ ｆｏｒ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ、ＴＰＭ）
インター予測モードとして三角分割モード（ＴＰＭ）が使用できる。三角分割モードは、８×８以上のサイズを有するＣＵに対して適用できる。現在ＣＵに三角分割モードを使用するか否かを示す情報は、ＣＵレベルで例えばフラグ情報としてシグナリングされることができる。三角分割モードは、正規（ｒｅｇｕｌａｒ）マージモード、ＭＭＶＤモード、ＣＩＩＰモード、及びサブブロックベースのマージモードと共に、一般なマージモードに含まれる１つのモードとして取り扱われることができる。
図１５は、現在ブロックに三角分割モードが適用されて２つの三角形パーティションに分割された例を示す図である。
図１５に示すように、三角分割モードが適用される場合、現在ブロック（ＣＵ）は、対角分割又は逆対角分割されて２つの三角形のパーティションに分割されることができる。各三角パーティションは、それぞれの動きを用いてインター予測され、各パーティションに対して単方向予測のみが許容される。すなわち、各三角形パーティションは、１つの動きベクトルと１つの参照ピクチャインデックスを有することができる。各パーティションに対して単方向予測のみが許容される理由は、通常の双方向予測と同様に、各ＣＵに対して２つの動き補償された予測ブロックが必要だからである。
三角分割モードの単方向予測のための動き情報は、図９を参照して説明したマージ候補リストから誘導されることができる。例えば、三角分割モードの単方向予測のために、図９のマージ候補リストから単方向予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）候補リストを誘導することができる。変数ｎを、三角分割の単方向予測候補リストに含まれている単方向予測動き候補のインデックスとするとき、ｎ番目のマージ候補のＬＸ動きベクトル（Ｘは、ｎのパリティと同じ）は三角分割モードのｎ番目の単方向予測動きベクターとして使用できる。三角分割モードのｎ番目の単方向予測動きベクトルは、図１５において「ｘ」で表される。このとき、ｎ番目のマージ候補のＬＸ動きベクトルが存在しない場合、ＬＸ動きベクトルの代わりに、ｎ番目のマージ候補のＬ（１－Ｘ）動きベクトルが三角分割モードの単方向予測動きベクトルとして使用できる。
現在ブロックに対して三角分割モードが使用されると、三角分割の方向（対角方向又は逆対角方向）を指し示すフラグと、２つのマージインデックス（各パーティションに対して１つずつ）がシグナリングされることができる。ＴＰＭマージ候補の最大個数は、スライスレベルで明示的にシグナリングされることができる。また、ＴＰＭマージ候補の最大個数に応じて、ＴＰＭマージインデックスに対するシンタックス二値化方法が特定できる。各パーティションに対する予測を行った後、対角線又は逆対角線に沿って予測サンプル値が調整できる。予測サンプル値の調整は、適応的な重みを用いたブレンディングプロセス（ｂｌｅｎｄｉｎｇ ｐｒｏｃｅｓｓ）によって行われることができる。三角分割モードによって生成された予測信号は、全体ＣＵ（現在ブロック）に対するものであり、残差信号に対する変換及び量子化過程は、他の予測モードと同様に、全体ＣＵに対して行われることができる。最後に、三角分割モードで予測されたＣＵの動きフィールドは、４×４サンプル単位で保存されることができる。三角分割モードは、サブブロック単位の変換（ｓｕｂｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ、ＳＢＴ）と共に行われない。つまり、三角分割モードを指し示すフラグが第１値（例えば、１）である場合、サブブロック単位の変換を行うか否かを指し示すフラグ（例えば、ｃｕ＿ｓｂｔ＿ｆｌａｇ）は、シグナリングされず、第２値（例えば、０）と推論できる。
各三角パーティションに対する予測が行われた後、ブレンディングプロセスが行われることができる。ブレンディングプロセスは、２つの予測信号に適用され、対角エッジ又は逆対角エッジの周りのサンプルを誘導することができる。
ＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）予測の概要
以下、本開示によるＩＢＣ予測について説明する。
ＩＢＣ予測は、画像符号化装置／画像復号化装置の予測部で行われることができる。ＩＢＣ予測は、簡単に「ＩＢＣ」と呼ばれることができる。前記ＩＢＣは、例えばＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。前記ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。つまり、ＩＢＣは、本開示で説明されたインター予測技法のうちの少なくとも一つを用いることができる。例えば、ＩＢＣでは、前述した動き情報（動きベクトル）導出方法のうちの少なくとも一つを用いることができる。前記インター予測技法のうちの少なくとも一つは、前記ＩＢＣ予測を考慮して一部修正されて用いられることもできる。前記ＩＢＣは、現在ピクチャを参照することができる。よって、ＣＰＲ（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ）と呼ばれることもある。
ＩＢＣのために、画像符号化装置は、ブロックマッチング（ＢＭ）を行って現在ブロック（例えば、ＣＵ）に対する最適のブロックベクトル（又は動きベクトル）を導出することができる。前記導出されたブロックベクトルは、前述したインター予測での動き情報（動きベクトル）シグナリングと同様の方法を用いて、ビットストリームを介して画像復号化装置にシグナリングされることができる。画像復号化装置は、前記シグナリングされたブロックベクトルを介して、現在ピクチャ内で前記現在ブロックに対する参照ブロックを導出することができ、これにより前記現在ブロックに対する予測信号（予測されたブロック又は予測サンプル）を導出することができる。ここで、前記ブロックベクトルは、現在ブロックから現在ピクチャ内の既に復元された領域に位置する参照ブロックまでの変位（ｄｉｓｐｌａｃｅｍｅｎｔ）を示すことができる。よって、前記ブロックベクトルは、変位ベクトルと呼ばれることもある。以下、ＩＢＣにおける動きベクトルは、前記ブロックベクトル又は前記変位ベクトルに対応することができる。現在ブロックの動きベクトルは、ルマ成分に対する動きベクトル（ルマ動きベクトル）又はクロマ成分に対する動きベクトル（クロマ動きベクトル）を含むことができる。例えば、ＩＢＣコーディングされたＣＵに対するルマ動きベクトルも、整数サンプル単位（すなわち、ｉｎｔｅｇｅｒ ｐｒｅｃｉｓｉｏｎ）であることができる。クロマ動きベクトルも、整数サンプル単位でクリッピング（ｃｌｉｐｐｅｄ）されることができる。前述したように、ＩＢＣは、インター予測技法のうちの少なくとも一つを用いることができ、例えば、ルマ動きベクトルは、前述したマージモード又はＭＶＰモードを用いて符号化／復号化されることができる。
ルマＩＢＣブロックに対してマージモードが適用される場合、ルマＩＢＣブロックに対するマージ候補リストは、インター予測モードでのマージ候補リストと同様に構成されることができる。ただし、ルマＩＢＣブロックに対するマージ候補リストは、インター予測モードでのマージ候補リストとは異なり、時間候補ブロック（ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）を含まなくてもよい。
ルマＩＢＣブロックに対してＭＶＰモードが適用される場合、ルマＩＢＣブロックに対するｍｖｐ候補リストは、インター予測モードでのｍｖｐ候補リストと同様に構成されることができる。ただし、ルマＩＢＣブロックに対するマージ候補リストは、インター予測モードでのｍｖｐ候補リストとは異なり、時間候補ブロックを含まなくてもよい。
ＩＢＣは、現在ピクチャ内の既に復元された領域から参照ブロックを導出することができる。このとき、メモリの消費と画像復号化装置の複雑度を減少させるために、現在ピクチャ内の既に復元された領域のうち、既に定義された領域（ｐｒｅｄｅｆｉｎｅｄ ａｒｅａ）のみが参照できる。前記既に定義された領域は、現在ブロックが含まれている現在ＣＴＵを含むことができる。このように、参照可能な復元領域を既に定義された領域に制限することにより、ＩＢＣモードは、ローカルオンチップメモリ（ｌｏｃａｌ ｏｎ－ｃｈｉｐ ｍｅｍｏｒｙ）を用いてハードウェア的に実現できる。
ＩＢＣを実行する画像符号化装置は、前記既に定義された領域を探索して、最も小さいＲＤコストを有する参照ブロックを決定し、前記決定された参照ブロックと現在ブロックの位置に基づいて動きベクトル（ブロックベクトル）を導出することができる。
ＩＢＣに関する予測モード情報は、ＣＵレベルでシグナリングされることができる。例えば、現在ブロックに対してＩＢＣスキップ／マージモードが適用されるか否かを示すフラグ情報及び／又は現在ブロックに対してＩＢＣ ＡＭＶＰモードが適用されるか否かを示すフラグ情報がｃｏｄｉｎｇ＿ｕｎｉｔシンタックスを介してシグナリングされることができる。
ＩＢＣスキップ／マージモードの場合、マージ候補インデックスがシグナリングされてマージ候補リストに含まれているブロックベクトルのうち、現在ルマブロックの予測に使用されるブロックベクトルを指示するために使用できる。このとき、マージ候補リストは、ＩＢＣで符号化された周辺ブロックを含むことができる。前述したように、マージ候補リストは、空間マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を含むが、時間マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）は含まなくてもよい。また、マージ候補リストは、さらに、ＨＭＶＰ（Ｈｉｓｔｒｏｒｙ－ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補及び／又はペアワイズ（ｐａｉｒｗｉｓｅ）候補を含んでもよい。
ＩＢＣ ＭＶＰモードの場合、ブロックベクトル差分値（ｂｌｏｃｋ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）がインター予測モードの動きベクトル差分値（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）と同様の方法で符号化されることができる。ＩＢＣ ＭＶＰモードにおけるブロックベクトル予測方法は、ＭＶＰモードと同様に、２つの候補を予測子として含むｍｖｐ候補リストに基づいて行われることができる。前記２つの候補のうちのいずれか一つは、現在ブロックの左側周辺ブロックから誘導され、残りの一つは、現在ブロックの上側周辺ブロックから誘導されることができる。このとき、前記左側周辺ブロック又は前記上側周辺ブロックがＩＢＣで符号化された場合にのみ、当該周辺ブロックから候補を誘導することができる。前記左側周辺ブロック又は前記上側周辺ブロックが利用可能でない場合（例えば、ＩＢＣで符号化されていない場合）、所定のデフォルトブロックベクトルが予測子としてｍｖｐ候補リストに含まれることができる。また、ＩＢＣ ＭＶＰモードの場合、２つのブロックベクトル予測子のうちのいずれか一つを指示するための情報（例えば、フラグ）が候補選択情報としてシグナリングされ、画像復号化に利用されるという点で、ＭＶＰモードに類似したブロックベクトル予測が行われることができる。前記ｍｖｐ候補リストは、デフォルトブロックベクトルとしてＨＭＶＰ候補及び／又はゼロ動きベクトルを含むことができる。
前記ＨＭＶＰ候補は、ヒストリベースのＭＶＰ候補と呼ばれることもあり、現在ブロックの符号化／復号化の以前に使用されたＭＶＰ候補、マージ候補又はブロックベクトル候補は、ＨＭＶＰ候補としてＨＭＶＰリストに保存されることができる。以後、現在ブロックのマージ候補リスト又はｍｖｐ候補リストが最大個数の候補を含まない場合、ＨＭＶＰリストに保存された候補がＨＭＶＰ候補として現在ブロックのマージ候補リスト又はｍｖｐ候補リストに追加されることができる。
前記ペアワイズ（ｐａｉｒｗｉｓｅ）候補は、現在ブロックのマージ候補リストに既に含まれている候補の中から、予め定められた順序に従って選択される２つの候補を平均することにより誘導される候補を意味することができる。
現在ブロックに対してＩＢＣが適用されるか否かに関する予測モード情報（例えば、ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇ）は、ＣＵレベルでシグナリングされることができる。例えば、ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇは、ｃｏｄｉｎｇ＿ｕｎｉｔシンタックスを介してシグナリングされることができる。この場合、第１値（例えば、０）を有するｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇは、現在ブロックに対してＩＢＣが適用されないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇは、現在ブロックに対してＩＢＣが適用されることを示すことができる。
前述したように、現在ブロックに対してインター予測モードが適用される場合、所定のマージ候補リストに基づいて現在ブロックの予測ブロックが生成されることができる。現在ブロックに対するインター予測モードは、様々なインター予測モード（例えば、正規マージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）、アフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）、サブブロックベースのマージモード（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、三角分割モード（Ｔｒｉａｎｇｌｅ ｐａｒｔｉｔｉｏｎ ｆｏｒ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ、ＴＰＭ）、又はＩＢＣ（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）など）うちのいずれか一つに決定されることができる。そして、マージ候補リストに含まれるマージ候補の最大個数に関する情報は、ピクチャレベルでシグナリングされることができる。
図１６は、マージ候補の最大個数に関する情報を含むピクチャパラメータセット（ＰＰＳ）の一例を示す図である。
図１６を参照すると、ピクチャパラメータセット（ＰＰＳ）は、マージ候補の最大個数に関するシンタックス要素を含むことができる。
例えば、ピクチャパラメータセット（ＰＰＳ）は、ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１を含むことができる。ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャパラメータセット（ＰＰＳ）を参照するピクチャヘッダー内に、マージ候補の最大個数を導出するのに用いられるシンタックス要素（例えば、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ）が存在するか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャヘッダー内にｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄが存在することを示すことができる。これとは異なり、前記第１値よりも大きい値（例えば、１）を有するｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャヘッダー内にｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄが存在しないことを示すことができる。ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１の値は、０以上６以下であってもよい。
また、ピクチャパラメータセット（ＰＰＳ）は、ｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１を含むことができる。ｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャパラメータセット（ＰＰＳ）を参照するスライスのピクチャヘッダー内に、ＴＰＭマージ候補の最大個数を導出するのに用いられるシンタックス要素（例えば、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ）が存在するか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャヘッダー内にｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄが存在することを示すことができる。これとは異なり、前記第１値よりも大きい値（例えば、１）を有するｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１は、前記ピクチャヘッダーにｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄが存在しないことを示すことができる。ｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１の値は、０以上であり、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄから１を差し引いた値以下であり得る。
ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１及びｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１は、所定のフラグ（例えば、ｃｏｎｓｔａｎｔ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｐａｒａｍｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてシグナリングされることができる。例えば、ｃｏｎｓｔａｎｔ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｐａｒａｍｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが第１値（例えば、０）を有する場合、ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１及びｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１は、シグナリングされず、第１値（例えば、０）と推論できる。これとは異なり、ｃｏｎｓｔａｎｔ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｐａｒａｍｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが第２値（例えば、１）を有する場合、ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１及びｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１がシグナリングされることができる。
図１７は、マージ候補の最大個数に関する情報を含むピクチャヘッダーの一例を示す図である。
図１７を参照すると、ピクチャヘッダーは、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かに関するシンタックス要素を含むことができる。
例えば、ピクチャヘッダーは、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇを含むことができる。ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、前記ピクチャヘッダーを参照する現在ピクチャに対してＴＭＶＰモードが利用可能であるか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、現在ピクチャに対してＴＭＶＰモードが利用可能でないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、現在ピクチャに対してＴＭＶＰモードが利用可能であることを示すことができる。
ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、シーケンスレベルでＴＭＶＰモードが利用可能である場合（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）にのみシグナリングされることができる。ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされない場合、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば、０）と推論できる。一方、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）内に現在ピクチャと同じ空間解像度（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）を有する参照ピクチャが存在しない場合、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば、０）に制限されることができる。
また、ピクチャヘッダーはｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、正規マージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）において、前記ピクチャヘッダーに関連付けられたスライス内で支援される正規マージ候補の最大個数を導出することに利用可能である。例えば、正規マージ候補の最大個数（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）は、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄの値を６から差し引くことにより導出されることができる。この場合、正規マージ候補の最大個数は、１以上６以下であり得る。
ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、ピクチャパラメータセット（ＰＰＳ）を介してシグナリングされるｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１が第１値（例えば、０）を有する場合にのみシグナリングされることができる。ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされない場合、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄの値は、ｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１の値から１を差し引いた値に推論できる。
また、ピクチャヘッダーは、ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、サブブロックベースのマージモード（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）において、前記ピクチャヘッダーに関連付けられたスライス内で支援されるサブブロックマージ候補の最大個数を導出することに利用可能である。例えば、サブブロックマージ候補の最大個数（例えば、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）は、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄの値を５から差し引くことにより導出されることができる。この場合、サブブロックマージ候補の最大個数は０以上５以下であり得る。
ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、シーケンスレベルでアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）にのみシグナリングされることができる。ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされない場合、ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、シーケンスレベルでサブブロックベースのＴＭＶＰ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）モードが利用可能であるか否かを示す第１フラグ（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）、及びピクチャレベルでＴＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）モードが利用可能であるか否かを示す第２フラグ（例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて所定の値に推論できる。例えば、ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、前記第１フラグ及び前記第２フラグの論理和（ＡＮＤ）演算結果（例えば、１又は０）を５から差し引いた値に推論できる。
また、ピクチャヘッダーは、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄを含むことができる。ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄは、三角分割モード（ＴＰＭ）において、前記ピクチャヘッダーに関連付けられたスライス内で支援されるＴＰＭマージ候補の最大個数を導出するのに利用可能である。例えば、ＴＰＭマージ候補の最大個数（例えば、ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄ）は、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄの値を正規マージ候補の最大個数（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から差し引くことにより導出されることができる。この場合、ＴＰＭマージ候補の最大個数は、２以上であり、正規マージ候補の最大個数以下であり得る。
ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄは、シーケンスレベルでＴＰＭが利用可能であり（例えば、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、正規マージ候補の最大個数が２以上であり（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ≧２）であり、ピクチャパラメータセット（ＰＰＳ）を介してシグナリングされるｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１が第１値（例えば、０）を有する場合にのみシグナリングされることができる。
ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄがシグナリングされない場合であって、シーケンスレベルでＴＰＭが利用可能であり（例えば、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、正規マージ候補の最大個数が２以上であれば（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ≧２）、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄの値は、ピクチャパラメータセット（ＰＰＳ）を介してシグナリングされるｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１の値から１を差し引く値に推論できる。又は、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄがシグナリングされない場合であって、シーケンスレベルでＴＰＭが利用可能でないか（例えば、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、或いは正規マージ候補の最大個数が２より小さければ（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ＜２）、正規マージ候補の最大個数は第１値（例えば、０）に設定されることができる。この場合、前記ピクチャヘッダーに関連付けられているスライスに対して、ＴＰＭは許容されないことができる。
また、ピクチャヘッダーは、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄは、ＩＢＣ（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）において、前記ピクチャヘッダーに関連付けられたスライス内で支援されるＩＢＣマージ候補の最大個数を導出することに利用可能である。例えば、ＩＢＣマージ候補の最大個数（例えば、ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ）は、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄの値を６から差し引くことにより導出されることができる。この場合、ＩＢＣマージ候補の最大個数は１以上６以下であってもよい。
以上、図１６及び図１７を参照して上述した例によれば、正規マージモード、サブブロックベースのマージモードなどの様々なインター予測モードにおいて、マージ候補の最大個数に関する情報がピクチャパラメータセット（ＰＰＳ）及び／又はピクチャヘッダーを介してシグナリングされることができる。しかし、実際のシステム実現環境下で、マージ候補の個数がピクチャごとに異なるケース（ｕｓｅ ｃａｓｅ）は多くない。よって、マージ候補の最大個数に関する情報をピクチャパラメータセット（ＰＰＳ）及び／又はピクチャヘッダーを介してシグナリングする場合、シグナリングオーバーヘッドが不要に増加することができる。
また、マージ候補の最大個数に関する情報は、シーケンスレベルでシグナリングされる所定の情報（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど）に基づいてピクチャパラメータセット（ＰＰＳ）及び／又はピクチャヘッダーを介してシグナリングされることができる。つまり、マージ候補の最大個数は、シーケンスレベル及びピクチャレベルで散発的にシグナリングされる複数の情報に基づいて決定されることができ、その結果、様々なインター予測モードに対するツール制御（ｔｏｏｌ ｃｏｎｔｒｏｌ）が複雑になる可能性がある。
これらの問題を解決するために、本開示の実施例によれば、マージ候補の最大個数に関する情報は、シーケンスレベル、例えば、シーケンスパラメータセット（ＳＰＳ）を介して統合的にシグナリングされることができる。これにより、シグナリングオーバーヘッドが減少することができ、様々なインター予測モードに対するツール制御がより容易になることができる。
以下、添付図面を参照して、本開示の実施例を詳細に説明する。
第１実施例
第１実施例によれば、様々なインター予測モードにおいて、マージ候補の最大個数に関する情報は、ピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内で統合的に定義されることができる。
図１８は、本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）の一例を示す図である。
図１８を参照すると、ピクチャパラメータセット（ＰＰＳ）は、図１６を参照して上述したピクチャパラメータセット（ＰＰＳ）とは異なり、マージ候補の最大個数に関する情報を含まないことができる。例えば、ピクチャパラメータセット（ＰＰＳ）は、正規マージ候補の最大個数に関するシンタックス要素であるｐｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｐｌｕｓ１、及びＴＰＭマージ候補の最大個数に関するシンタックス要素であるｐｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ＿ｐｌｕｓ１を含まないことができる。これにより、正規マージモード及びＴＰＭに対するツール制御がピクチャパラメータセット（ＰＰＳ）とは独立して行われることができる。
図１９は、本開示の一実施例によるシーケンスパラメータセット（ＳＰＳ）の一例を示す図である。
図１９を参照すると、シーケンスパラメータセット（ＳＰＳ）は、マージ候補の最大個数に関する情報を含むことができる。
例えば、シーケンスパラメータセット（ＳＰＳ）は、ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、正規マージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）において、正規マージ候補の最大個数を導出することに利用可能である。例えば、正規マージ候補の最大個数は、ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄに基づいて、下記数式３のように導出できる。
〔数式３〕
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ＝６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ
ここで、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、正規マージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄの値は１以上６以下であり得る。
また、シーケンスパラメータセット（ＳＰＳ）は、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、サブブロックベースのマージモード（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）において、サブブロックマージ候補の最大個数を導出することに利用可能である。例えば、サブブロックマージ候補の最大個数は、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄに基づいて、下記数式４の通りに導出できる。
〔数式４〕
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＝５－ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ
ここで、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックマージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は、０以上５以下であり得る。
ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、シーケンスレベルでアフィンモード（ａｆｆｉｎｅ ｍｏｄｅ）が利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）にのみシグナリングされることができる。ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされない場合、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、シーケンスレベルでサブブロックベースのＴＭＶＰモードが利用可能であるか否かを示す第１フラグ（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて所定の値と推論できる。例えば、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、前記第１フラグの値を５から差し引いた値に推論できる。
また、シーケンスパラメータセット（ＳＰＳ）は、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄを含むことができる。ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄは、三角分割モード（ＴＰＭ）において、ＴＰＭマージ候補の最大個数を導出することに利用可能である。例えば、ＴＰＭマージ候補の最大個数は、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄに基づいて、下記数式５の通りに導出できる。
〔数式５〕
ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄ
＝ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ－ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ
ここで、ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄは、ＴＰＭマージ候補の最大個数を意味し、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、正規マージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄの値は、２以上であり、正規マージ候補の最大個数（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）以下であり得る。
ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄは、シーケンスレベルでＴＰＭが利用可能であり（例えば、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、正規マージ候補の最大個数が２以上である場合（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ≧２）にのみシグナリングされることができる。ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄがシグナリングされない場合、シーケンスレベルでＴＰＭが利用可能でないか（例えば、ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、或いは正規マージ候補の最大個数が２より小さければ（例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ＜２）、ＴＰＭマージ候補の最大個数は０に設定されることができる。この場合、ＴＰＭは許容されないことができる。
また、シーケンスパラメータセット（ＳＰＳ）は、ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄは、ＩＢＣ（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）において、ＩＢＣマージ候補の最大個数を導出することに利用可能である。例えば、ＩＢＣマージ候補の最大個数は、ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄに基づいて、下記数式６のとおりに導出できる。
〔数式６〕
ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄ＝６－ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄ
ここで、ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄは、ＩＢＣマージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＩｂｃＭｅｒｇｅＣａｎｄの値は１以上６以下であり得る。
シーケンスパラメータセット（ＳＰＳ）がマージ候補の最大個数に関する情報を含むことにより、前記シーケンスパラメータセット（ＳＰＳ）を参照するピクチャヘッダーは、図１７を参照して上述したピクチャヘッダーとは異なり、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かに関するシンタックス要素（例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）及びマージ候補の最大個数に関するシンタックス要素（例えば、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ、及びｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄ）を含まないことができる。
以上、図１８及び図１９を参照して上述した第１実施例によれば、様々なインター予測モードにおいて、マージ候補の最大個数に関する情報がピクチャレベルより上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内で統合的に定義されることができる。これにより、マージ候補の最大個数に関する情報をピクチャパラメータセット（ＰＰＳ）及び／又はピクチャヘッダーを介してシグナリングする場合に比べて、シグナリングオーバーヘッドが減少することができる。また、マージ候補の最大個数に関する情報は、同じ上位レベルシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内の所定の情報（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど）に基づいてシグナリングされることができる。これにより、正規マージモード、サブブロックベースのマージモードなどの様々なインター予測モードに対するツール制御（ｔｏｏｌ ｃｏｎｔｒｏｌ）がより容易になることができる。
一方、一例において、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かを示すシンタックス要素であるｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇがピクチャヘッダーから除外されることにより、スライスヘッダー内のシグナリング条件の一部が図２０のように修正されることができる。
図２０は、本開示の一実施例によるスライスヘッダーの一例を示す図である。
図２０を参照すると、同一位置ピクチャ（ｃｏｌＰｉｃ）の識別情報（例えば、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ及びｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）は、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かに関係なく、シーケンスレベルでＴＭＶＰモードが利用可能であるか否か（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてシグナリングされることができる。
第２実施例
第２実施例によれば、マージ候補の最大個数に関する情報（例えば、ｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄなど）は、第１実施例と同様に、ピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内で統合的に定義されることができる。具体的には、図１８を参照して上述したピクチャパラメータセット（ＰＰＳ）及び図１９を参照して上述したシーケンスパラメータセット（ＳＰＳ）は、第２実施例にも適用できる。ただし、第２実施例は、一部のシンタックス要素のセマンティクス及びピクチャヘッダー構造が第１実施例とは異なり得る。以下、第１実施例との相違点を中心に、第２実施例について詳細に説明する。
図２１は、本開示の一実施例によるピクチャヘッダーの一例を示す図である。
図２１を参照すると、本開示の一実施例によるピクチャヘッダーは、マージ候補の最大個数に関するシンタックス要素を含まないことができる。具体的には、シーケンスパラメータセット（ＳＰＳ）がマージ候補の最大個数に関するシンタックス要素を含むことにより、前記シーケンスパラメータセット（ＳＰＳ）を参照するピクチャヘッダーは、図１７を参照して上述したピクチャヘッダーとは異なり、マージ候補の最大個数に関するシンタックス要素（例えば、ｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｐｉｃ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｐｉｃ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ、及びｐｉｃ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄ）を含まないことができる。
しかし、ピクチャヘッダーは、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かに関するシンタックス要素であるｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇを含むことができる。この点で、第２実施例は、第１実施例とは異なり得る。
ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、前記ピクチャヘッダーを参照する現在ピクチャに対してＴＭＶＰモードが利用可能であるか否かを示すことができる。例えば、第１値（例えば、０）を有するｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、現在ピクチャに対してＴＭＶＰモードが利用可能でないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、前記ピクチャヘッダーを参照する現在ピクチャに対してＴＭＶＰモードが利用可能であることを示すことができる。
ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、シーケンスレベルでＴＭＶＰモードが利用可能である場合（例えば、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）にのみシグナリングされることができる。ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされない場合、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば、０）と推論できる。一方、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）内に現在ピクチャと同じ空間解像度（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）を有する参照ピクチャが存在しない場合、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば、０）に制限されることができる。
ピクチャヘッダーがｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇを含むことにより、図１９を参照して上述したシーケンスパラメータセット（ＳＰＳ）内で、サブブロックベースのマージモードに関するシンタックス要素であるｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄのセマンティクスは、次のように一部修正可能である。
ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされない場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、所定の値（例えば、５）と推論できる。
一例において、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄが所定の値（例えば、５）と推論される場合、変数ＩｓＩｎｆｅｒｅｄが真（ｔｒｕｅ）に設定できる。そして、前述した数式４に基づいて導出されたサブブロックマージ候補の最大個数は、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びＩｓＩｎｆｅｒｅｄに基づいて、下記数式７の通りに更新できる。
〔数式７〕
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＝（ＩｓＩｎｆｅｒｅｄ＆＆（ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＆＆ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ））？１：ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ
ここで、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックマージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は０以上５以下であり得る。
数式７を参照すると、ＩｓＩｎｆｅｒｅｄが真（ｔｒｕｅ）であり、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果が真（ｔｒｕｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は所定の値（例えば、１）に更新されることができる。これとは異なり、ＩｓＩｎｆｅｒｅｄ及びｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果のうちの少なくとも一つが偽（ｆａｌｓｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は更新されないことができる。一方、数式７は、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのセマンティクスとしてピクチャヘッダーで定義されることもでき、或いはｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄのセマンティクスとしてシーケンスパラメータセット（ＳＰＳ）で定義されることもできる。
他の例において、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄが所定の値（例えば、５）と推論される場合、変数ＩｓＩｎｆｅｒｅｄが真（ｔｒｕｅ）に設定されることができる。そして、サブブロックマージ候補の最大個数は、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、及びＩｓＩｎｆｅｒｅｄに基づいて、下記数式８の通りに導出できる。すなわち、前述した数式４は、数式８に置き換えられることができる。
〔数式８〕
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＝５－ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ＋（ＩｓＩｎｆｅｒｅｄ＆＆（ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＆＆ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ））？１：０
ここで、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックマージ候補の最大個数を意味することができる。一例において、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は０以上５以下であり得る。
数式８を参照すると、ＩｓＩｎｆｅｒｅｄが真（ｔｒｕｅ）であり、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果が真（ｔｒｕｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は、５からｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値を差し引いた値に１を加算することにより導出できる。これとは異なり、ＩｓＩｎｆｅｒｅｄ及びｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果のうちの少なくとも１つが偽（ｆａｌｓｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は、５からｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値を差し引くことにより導出できる。一方、数式８は、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのセマンティクスとしてピクチャヘッダーで定義されることもでき、或いはｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄのセマンティクスとしてシーケンスパラメータセット（ＳＰＳ）で定義されることもできる。
別の例において、サブブロックマージ候補の最大個数を導出することに用いられる基準値は、５から４に変更されることができる。これにより、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの名称もｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄに変更されることができる。
ｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされない場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、ｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値は、シーケンスレベルでサブブロックベースのＴＭＶモードが利用可能であるか否かに関係なく、所定の値（例えば、４）と推論できる。そして、前述した数式４及び数式７は、下記数式９及び数式１０にそれぞれ置き換えられることができる。
〔数式９〕
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＝４－ｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ
〔数式１０〕
ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ＋＝（ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＆＆ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ））？１：０
ここで、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄは、サブブロックマージ候補の最大個数を意味することができる。
数式９及び数式１０を一緒に参照すると、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は、ｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値を４から差し引くことにより導出できる。そして、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果に基づいて更新されることができる。例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果が真（ｔｒｕｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は１だけ増加することができる。これに反し、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの論理積（ＡＮＤ）演算結果が偽（ｆａｌｓｅ）である場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄの値は更新されないことができる。一方、数式１０は、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのセマンティクスとしてピクチャヘッダーで定義されることもでき、或いはｓｐｓ＿ｆｏｕｒ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄのセマンティクスとしてシーケンスパラメータセット（ＳＰＳ）で定義されることもできる。
以上、図２１を参照して上述した第２実施例によれば、様々なインター予測モードにおいて、マージ候補の最大個数に関する情報がピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内で統合的に定義されることができる。これにより、マージ候補の最大個数に関する情報をピクチャパラメータセット（ＰＰＳ）及び／又はピクチャヘッダーを介してシグナリングされる場合に比べて、シグナリングオーバーヘッドが減少することができる。また、マージ候補の最大個数に関する情報は、同じ上位レベルシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内の所定の情報（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど）に基づいてシグナリングされることができる。これにより、正規マージモードやサブブロックベースのマージモードなどの様々なインター予測モードに対するツール制御（ｔｏｏｌ ｃｏｎｔｒｏｌ）がより容易になることができる。
以下、図２２及び図２３を参照して、本開示の一実施例による画像符号化／復号化方法を詳細に説明する。
図２２は、本開示の一実施例による画像符号化方法を示すフローチャートである。
図２２の画像符号化方法は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ２２１０及びステップＳ２２２０は、インター予測部１８０によって行われることができる。また、ステップＳ２２３０は、エントロピー符号化部１９０によって行われることができる。
図２２を参照すると、現在ブロックに対してインター予測モードが適用される場合、画像符号化装置は、現在ブロックの予測モードに基づいて現在ブロックに対するマージ候補リストを構成することができる（Ｓ２２１０）。
具体的には、現在ブロックの予測モードは、様々なインター予測モード（例えば、正規マージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）、サブブロックベースのマージモード（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｍｅｒｇｅ ｍｏｄｅ）、三角分割モード（Ｔｒｉａｎｇｌｅ ｐａｒｔｉｔｉｏｎ ｆｏｒ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ、ＴＰＭ）、又はＩＢＣ（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）など）のうちのいずれか一つに決定されることができる。
画像符号化装置は、現在ブロックの予測モードに基づいてマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。ここで、マージ候補は、現在ブロックの周辺ブロック、例えば空間周辺ブロック及び／又は時間周辺ブロックから誘導されることができる。マージ候補は、現在ブロックの予測モードに応じて正規マージ候補、サブブロックマージ候補、ＴＰＭマージ候補などと様々に呼ばれることができる。
画像符号化装置は、マージ候補リストに含まれるマージ候補の個数が所定の最大個数に到達するまで、追加マージ候補をマージ候補リストに挿入することができる。ここで、追加マージ候補は、例えばｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ＡＴＭＶＰ、ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅマージ候補（現在スライス／タイルグループのスライス／タイルグループタイプがＢタイプである場合）及び／又はゼロ（ｚｅｒｏ）ベクトルマージ候補のうちの少なくとも１つを含むことができる。そして、マージ候補リストに含まれるマージ候補の個数が所定の最大個数以上になる場合、画像符号化装置はマージ候補リストの構成を終了することができる。
画像符号化装置は、前記構成されたマージ候補リストに基づいて現在ブロックの動き情報を導出することができる（Ｓ２２２０）。具体的には、画像符号化装置は、ＲＤコストに基づいて、マージ候補リストに含まれているマージ候補の中から最適なマージ候補を選択し、前記選択されたマージ候補の動き情報を現在ブロックの動き情報として導出することができる。この場合、画像符号化装置は、前記導出された動き情報に基づいてインター予測を行うことにより、現在ブロックの予測ブロックを生成することができる。
画像符号化装置は、現在ブロックの動き情報及びマージ候補の最大個数情報を符号化することができる（Ｓ２２３０）。ここで、現在ブロックの動き情報は、前記選択されたマージ候補を指す候補選択情報（例えば、マージインデックス）を含むことができる。また、マージ候補の最大個数情報は、インター予測モード別の情報を含むことができ、マージ候補の最大個数を導出することに用いられることができる。
本開示の実施例によれば、マージ候補の最大個数情報は、ピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内に統合的に符号化されることができる。例えば、シーケンスパラメータセット（ＳＰＳ）は、正規マージモードのためのマージ候補の最大個数情報であるｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、サブブロックベースのマージモードのためのマージ候補の最大個数情報であるｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、三角分割モード（ＴＰＭ）のためのマージ候補の最大個数情報であるｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、ＩＢＣのためのマージ候補の最大個数情報であるｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。シーケンスパラメータセット（ＳＰＳ）の一例は、図１９を参照して前述したとおりである。一方、図１９では、マージ候補の最大個数情報がシーケンスパラメータセットにのみ含まれた場合を示すが、これは、実施例によって様々に変形可能である。例えば、上述したｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ、及びｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄのうちの一部は、図１７を参照して上述したようにピクチャヘッダーに含まれることもできる。
一方、サブブロックベースのマージモードで、マージ候補の最大個数は、現在ブロックに対してアフィンモードが利用可能であるか否かに基づいて決定されることができる。具体的には、アフィンモードが利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、マージ候補の最大個数は、上述したｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値を５から差し引いた値に決定できる。これとは異なり、アフィンモードが利用可能でない場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、マージ候補の最大個数は、現在ブロックに対してサブブロックベースのＴＭＶＰ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｒｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）モードが利用可能であるか否か（例えば、ｓｐｓ＿＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）及び現在ブロックに対してＴＭＶＰモード（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）が利用可能であるか否か（例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードのうちの少なくとも一つが利用可能でない場合、前記マージ候補の最大個数は第１値（例えば、０）と決定できる。これとは異なり、前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードが全て利用可能である場合、前記マージ候補の最大個数は第２値（例えば、１）と決定できる。このように、サブブロックベースのマージモードで、マージ候補の最大個数情報はシーケンスレベルでシグナリングされるが、マージ候補の最大個数は、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かを一緒に考慮することにより、ピクチャレベルで決定されることができる。
以上、本開示の一実施例によれば、マージ候補の最大個数情報がピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）内で統合的に符号化されることにより、シグナリングオーバーヘッドがより減少することができる。
図２３は、本開示の一実施例による画像復号化方法を示すフローチャートである。
図２３の画像復号化方法は、図３の画像復号化装置によって行われることができる。例えば、ステップＳ２３１０乃至ステップＳ２３３０は、インター予測部２６０によって行われることができる。
図２３を参照すると、現在ブロックに対してインター予測モードが適用される場合、画像復号化装置は、現在ブロックの予測モードに基づいて、現在ブロックに対するマージ候補リストを構成することができる（Ｓ２３１０）。
具体的には、画像復号化装置は、現在ブロックの予測モードに基づいてマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。ここで、マージ候補は、現在ブロックの周辺ブロック、例えば空間周辺ブロック及び／又は時間周辺ブロックから誘導されることができる。そして、マージ候補リストに含まれるマージ候補の個数が所定の最大個数以上となる場合、画像復号化装置は、マージ候補リストの構成を終了することができる。
本開示の実施例によれば、マージ候補の最大個数は、ピクチャレベルよりも上位レベルのシンタックス、例えば、シーケンスパラメータセット（ＳＰＳ）を介して取得されるマージ候補の最大個数情報に基づいて決定されることができる。例えば、シーケンスパラメータセット（ＳＰＳ）は、正規マージモードのためのマージ候補の最大個数情報であるｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、サブブロックベースのマージモードのためのマージ候補の最大個数情報であるｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、三角分割モード（ＴＰＭ）のためのマージ候補の最大個数情報であるｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄを含むことができる。また、シーケンスパラメータセット（ＳＰＳ）は、ＩＢＣのためのマージ候補の最大個数情報であるｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄを含むことができる。シーケンスパラメータセット（ＳＰＳ）の一例は、図１９を参照して上述した通りである。一方、図１９では、マージ候補の最大個数情報がシーケンスパラメータセットにのみ含まれている場合を示すが、これは、実施例に応じて様々に変形可能である。例えば、上述したｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ、ｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｔｒｉａｎｇｌｅ＿ｃａｎｄ、及びｓｐｓ＿ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｉｂｃ＿ｍｅｒｇｅ＿ｃａｎｄのうちの一部は、図１７を参照して上述したようにピクチャヘッダーに含まれてもよい。
一方、サブブロックベースのマージモードで、マージ候補の最大個数は、現在ブロックに対してアフィンモードが利用可能であるか否かに基づいて決定されることができる。具体的には、アフィンモードが利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、マージ候補の最大個数は、シーケンスパラメータセットを介して取得されるマージ候補の最大個数情報（例えば、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ）に基づいて決定されることができる。例えば、マージ候補の最大個数は、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄの値を５から差し引いた値に決定できる。これとは異なり、アフィンモードが利用可能でない場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、マージ候補の最大個数は、現在ブロックに対してサブブロックベースのＴＭＶＰモード（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）が利用可能であるか否か、及び現在ブロックに対してＴＭＶＰモード（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）が利用可能であるか否かに基づいて決定されることができる。例えば、前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードのうちの少なくとも１つが利用可能でない場合、マージ候補の最大個数は、第１値（例えば、０）と決定できる。これとは異なり、前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードが全て利用可能である場合、マージ候補の最大個数は第２値（例えば、１）と決定できる。
現在ブロックに対してサブブロックベースのＴＭＶＰモードが利用可能であるか否かは、シーケンスパラメータセットを介して取得される所定の第１フラグ（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが第１値（例えば、０）を有する場合、サブブロックベースのＴＭＶＰモードは利用可能でない。これとは異なり、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが第２値（例えば、１）を有する場合、サブブロックベースのＴＭＶＰモードは利用可能である。現在ブロックに対してＴＭＶＰモードが利用可能であるか否かは、ピクチャヘッダーを介して取得される所定の第２フラグ（例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが第１値（例えば、０）を有する場合、ＴＭＶＰモードは利用可能でない。これとは異なり、ｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値（例えば、１）を有する場合、ＴＭＶＰモードは利用可能である。このように、サブブロックベースのマージモードで、マージ候補の最大個数情報はシーケンスレベルでシグナリングされるが、マージ候補の最大個数は、ピクチャレベルでＴＭＶＰモードが利用可能であるか否かを一緒に考慮することにより、ピクチャレベルで決定できる。
一例において、サブブロックベースのマージモードでアフィンモードが利用可能である場合、マージ候補の最大個数は、サブブロックベースのＴＭＶＰモードが利用可能であるか否かに基づいて所定の範囲を有することができる。
具体的には、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、０以上、「５－ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ」以下の範囲を有することができる。よって、サブブロックベースのＴＭＶＰモードが利用可能である場合（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは、０以上４以下の範囲を有することができる。これとは異なり、サブブロックベースのＴＭＶＰモードが利用可能でない場合（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄは０以上５以下の範囲を有することができる。一方、アフィンモードが利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、マージ候補の最大個数は、「５－ｓｐｓ＿ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｃａｎｄ」であり得る。したがって、サブブロックベースのマージモードでアフィンモードが利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）であって、サブブロックベースのＴＭＶＰモードが利用可能であれば（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、マージ候補の最大個数は１以上５以下の範囲を有することができる。これとは異なり、サブブロックベースのマージモードでアフィンモードが利用可能である場合（例えば、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）であって、サブブロックベースのＴＭＶＰモードが利用可能でなければ（例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、マージ候補の最大個数は０以上５以下の範囲を有することができる。
図２３を参照すると、画像復号化装置は、前記構成されたマージ候補リストに基づいて現在ブロックの動き情報を導出することができる（Ｓ２３２０）。具体的には、画像復号化装置は、ビットストリームから取得される候補選択情報（例えば、マージインデックス）に基づいて、マージ候補リストに含まれているマージ候補の中から少なくとも１つのマージ候補を選択することができる。そして、画像復号化装置は、前記選択されたマージ候補の動き情報を現在ブロックの動き情報として導出することができる。
画像復号化装置は、前記導出された動き情報に基づいてインター予測を行うことにより、現在ブロックの予測ブロックを生成することができる（Ｓ２３３０）。前記生成された予測ブロックに基づいて現在ブロックが復元されることができるのは、前述した通りである。
以上、本開示の一実施例によれば、マージ候補の最大個数を決定するための様々な情報がピクチャレベルよりも上位レベルのシンタックス、例えばシーケンスパラメータセット（ＳＰＳ）に統合されることにより、様々なインター予測モードに対するツール制御（ｔｏｏｌ ＣＯＮＴＲＯＬ）がより容易になることができる。
本開示で説明されたシンタックス要素の名称は、当該シンタックス要素がシグナリングされる位置に関する情報を含むことができる。例えば、「ｓｐｓ＿」で始まるシンタックス要素は、当該シンタックス要素がシーケンスパラメータセット（ＳＰＳ）でシグナリングされることを意味することができる。さらに、「ｐｐｓ＿」、「ｐｈ＿」、「ｓｈ＿」などで始まるシンタックス要素は、当該シンタックス要素がピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダー、スライスヘッダーなどでそれぞれシグナリングされることを意味することができる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
図２４は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図２４に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
本開示による実施例は、画像を符号化／復号化することに利用可能である。

Claims (15)

  1. 画像復号化装置によって行われる画像復号化方法であって、
    前記画像復号化方法は、
    現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成するステップと、
    前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出するステップと、
    前記動き情報に基づいて前記現在ブロックの予測ブロックを生成するステップと、を含み、
    前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（sequence parameter set）を介して取得され、
    前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（affine mode）が利用可能であるか否かに基づいて決定される、画像復号化方法。
  2. 前記予測モードが前記サブブロックベースのマージモードであり、前記アフィンモードが利用可能である場合、
    前記マージ候補の最大個数は、前記最大個数情報に基づいて決定される、請求項１に記載の画像復号化方法。
  3. 前記予測モードが前記サブブロックベースのマージモードであり、前記アフィンモードが利用可能でない場合、
    前記マージ候補の最大個数は、前記現在ブロックに対してサブブロックベースのＴＭＶＰ（subblock-based temporal motion vector predictor）モードが利用可能であるか否か、及び前記現在ブロックに対してＴＭＶＰ（temporal motion vector predictor）モードが利用可能であるか否かに基づいて決定される、請求項１に記載の画像復号化方法。
  4. 前記サブブロックベースのＴＭＶＰモードが利用可能であるか否かは、前記シーケンスパラメータセットを介して取得される第１フラグに基づいて決定され、前記ＴＭＶＰモードが利用可能であるか否かは、ピクチャヘッダーを介して取得される第２フラグに基づいて決定される、請求項３に記載の画像復号化方法。
  5. 前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードのうちの少なくとも一つが利用可能でない場合、
    前記マージ候補の最大個数は、第１値と決定される、請求項３に記載の画像復号化方法。
  6. 前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードが全て利用可能である場合、
    前記マージ候補の最大個数は、第２値と決定される、請求項３に記載の画像復号化方法。
  7. 前記予測モードが前記サブブロックベースのマージモードであり、前記アフィンモードが利用可能である場合、
    前記マージ候補の最大個数は、前記現在ブロックに対してサブブロックベースのＴＭＶＰ（subblock-based temporal motion vector predictor）モードが利用可能であるか否かに基づいて所定の範囲を有する、請求項１に記載の画像復号化方法。
  8. 前記サブブロックベースのＴＭＶＰモードが利用可能である場合、
    前記マージ候補の最大個数は、１以上５以下の範囲を有する、請求項７に記載の画像復号化方法。
  9. 前記サブブロックベースのＴＭＶＰモードが利用可能でない場合、
    前記マージ候補の最大個数は、０以上５以下の範囲を有する、請求項７に記載の画像復号化方法。
  10. メモリ及び少なくとも１つのプロセッサを含む画像復号化装置であって、
    前記少なくとも１つのプロセッサは、
    現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成し、
    前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出し、
    前記動き情報に基づいて前記現在ブロックの予測ブロックを生成し、
    前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（sequence parameter set）を介して取得され、
    前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（affine mode）が利用可能であるか否かに基づいて決定される、画像復号化装置。
  11. 画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
    現在ブロックの予測モードに基づいて前記現在ブロックに対するマージ候補リストを構成するステップと、
    前記マージ候補リストに基づいて前記現在ブロックの動き情報を導出するステップと、
    前記動き情報及び前記マージ候補リストに含まれるマージ候補の最大個数情報を符号化するステップと、を含み、
    前記マージ候補リストに含まれるマージ候補の最大個数情報は、シーケンスパラメータセット（sequence parameter set）内に符号化され、
    前記予測モードがサブブロックベースのマージモードである場合、前記マージ候補の最大個数は、前記現在ブロックに対してアフィンモード（affine mode）が利用可能であるか否かに基づいて決定される、画像符号化方法。
  12. 前記予測モードが前記サブブロックベースのマージモードであり、前記アフィンモードが利用可能でない場合、
    前記マージ候補の最大個数は、前記現在ブロックに対してサブブロックベースのＴＶＭＰ（subblock-based temporal motion vector predictor）モードが利用可能であるか否か、及び前記現在ブロックに対してＴＭＶＰ（temporal motion vector predictor）モードが利用可能であるか否かに基づいて決定される、請求項１１に記載の画像符号化方法。
  13. 前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードのうちの少なくとも一つが利用可能でない場合、
    前記マージ候補の最大個数は、第１値と決定される、請求項１２に記載の画像符号化方法。
  14. 前記サブブロックベースのＴＭＶＰモード及び前記ＴＭＶＰモードがすべて利用可能である場合、
    前記マージ候補の最大個数は、第２値と決定される、請求項１２に記載の画像符号化方法。
  15. 請求項１１に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。
JP2022542708A 2020-01-12 2021-01-12 マージ候補の最大個数情報を含むシーケンスパラメータセットを用いた画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 Pending JP2023510846A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062960123P 2020-01-12 2020-01-12
US62/960,123 2020-01-12
PCT/KR2021/000380 WO2021141477A1 (ko) 2020-01-12 2021-01-12 머지 후보들의 최대 개수 정보를 포함하는 시퀀스 파라미터 세트를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
JP2023510846A true JP2023510846A (ja) 2023-03-15

Family

ID=76788212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022542708A Pending JP2023510846A (ja) 2020-01-12 2021-01-12 マージ候補の最大個数情報を含むシーケンスパラメータセットを用いた画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法

Country Status (6)

Country Link
US (1) US20220368891A1 (ja)
EP (1) EP4090026A4 (ja)
JP (1) JP2023510846A (ja)
KR (1) KR20220110284A (ja)
CN (1) CN115244928A (ja)
WO (1) WO2021141477A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032531A1 (ko) * 2018-08-06 2020-02-13 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2023025114A1 (en) * 2021-08-24 2023-03-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080029B2 (en) * 2013-10-24 2018-09-18 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus
WO2015180014A1 (en) * 2014-05-26 2015-12-03 Mediatek Singapore Pte. Ltd. An improved merge candidate list construction method for intra block copy
CN107079161B (zh) * 2014-09-01 2020-11-20 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
CN117221572A (zh) * 2016-10-04 2023-12-12 英迪股份有限公司 视频解码方法、图像编码方法以及发送比特流的方法
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
GB2593020B (en) * 2018-05-24 2022-12-28 Kt Corp Method and apparatus for processing video signal
CN110662057B (zh) * 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
CN111107354A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 一种视频图像预测方法及装置
CN113228671B (zh) * 2018-12-28 2022-12-02 华为技术有限公司 通过将图像划分成包括图块的条带对图像进行译码的设备和方法及计算机可读存储介质
CN114600462A (zh) * 2019-10-25 2022-06-07 夏普株式会社 用于在视频编码中发送信号通知图片信息的系统和方法
CN115280774A (zh) * 2019-12-02 2022-11-01 抖音视界有限公司 在仿射模式下与运动向量差分merge

Also Published As

Publication number Publication date
KR20220110284A (ko) 2022-08-05
CN115244928A (zh) 2022-10-25
US20220368891A1 (en) 2022-11-17
EP4090026A4 (en) 2023-12-06
EP4090026A1 (en) 2022-11-16
WO2021141477A1 (ko) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7225381B2 (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
US11516475B2 (en) Image encoding/decoding method and device for performing PROF, and method for transmitting bitstream
JP7477495B2 (ja) インター予測モードに基づいた映像処理方法及びそのための装置
KR102614946B1 (ko) 가중 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220182606A1 (en) Video encoding/decoding method and device for deriving weight index for bidirectional prediction of merge candidate, and method for transmitting bitstream
JP7462094B2 (ja) ビデオ／映像コーディングシステムにおける重複シグナリング除去方法及び装置
US20220368891A1 (en) Image encoding/decoding method and apparatus, and method of transmitting bitstream using sequence parameter set including information on maximum number of merge candidates
US20230199175A1 (en) Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream
KR102496711B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2023165944A (ja) 同一位置ピクチャに関する情報を含むピクチャヘッダーに基づく画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
US20220132137A1 (en) Image encoding/decoding method and device using symmetric motion vector difference (smvd), and method for transmitting bitstream
US11949874B2 (en) Image encoding/decoding method and device for performing prof, and method for transmitting bitstream
AU2020347025B2 (en) Image encoding/decoding method and device for performing bdof, and method for transmitting bitstream
JP7256290B2 (ja) 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング
US20220279163A1 (en) Image encoding/decoding method and device for performing prediction on basis of hmvp candidate, and method for transmitting bitstream
KR20210148367A (ko) 인터 예측에 기반한 영상 코딩 방법 및 장치
KR102634644B1 (ko) 양방향 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR102634643B1 (ko) 양방향 예측의 가중치 인덱스를 유도하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220191472A1 (en) Image encoding/decoding method and device for deriving weight index of bidirectional prediction, and method for transmitting bitstream

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240417