JP7528288B2 - ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 - Google Patents
ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 Download PDFInfo
- Publication number
- JP7528288B2 JP7528288B2 JP2023029988A JP2023029988A JP7528288B2 JP 7528288 B2 JP7528288 B2 JP 7528288B2 JP 2023029988 A JP2023029988 A JP 2023029988A JP 2023029988 A JP2023029988 A JP 2023029988A JP 7528288 B2 JP7528288 B2 JP 7528288B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- flag
- mode
- merge
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 115
- 230000011664 signaling Effects 0.000 title description 18
- 238000000638 solvent extraction Methods 0.000 claims description 78
- 238000005192 partition Methods 0.000 claims description 27
- 239000000523 sample Substances 0.000 description 156
- 239000013598 vector Substances 0.000 description 85
- 241000023320 Luma <angiosperm> Species 0.000 description 53
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 53
- 238000001914 filtration Methods 0.000 description 37
- 230000002123 temporal effect Effects 0.000 description 36
- 238000012545 processing Methods 0.000 description 21
- 238000013139 quantization Methods 0.000 description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 19
- 239000011449 brick Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000009795 derivation Methods 0.000 description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 230000009466 transformation Effects 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000013074 reference sample Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本技術は、ビデオ／映像コーディングシステムにおいてビデオ／イメージの復元に必要なシンタックス（ｓｙｎｔａｘ）をシグナリングする方法及び装置に関する。
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
これにより、前記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
本文書の技術的課題は、映像コーディング効率を高める方法及び装置を提供することにある。
本文書の他の技術的課題は、効率的にインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を行う方法及び装置を提供することにある。
本文書のまた他の技術的課題は、インター予測時に不必要なシグナリングを除去する方法及び装置を提供することにある。
本文書のまた他の技術的課題は、インター予測時に効率的にマージモード（ｍｅｒｇｅ ｍｏｄｅ）に関するシンタックスをシグナリングする方法及び装置を提供することにある。
本文書の実施形態によれば、デコーディング装置により行われるデコーディング方法は、ビットストリームからＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅｐｒｅｄｉｃｔｉｏｎ）が可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを取得するステップと、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて現在ブロックの予測モードを決定するステップと、前記予測モードに基づいて前記現在ブロックの予測サンプルを生成するステップとを含み、前記決定するステップは、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて前記ビットストリームからレギュラーマージフラグ（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｆｌａｇ）を取得するステップを含む。
本文書の他の実施形態によれば、エンコーディング装置により行われるエンコーディング方法は、現在ブロックの予測モードを決定するステップと、前記予測モードに基づいて前記現在ブロックの予測サンプルを導出するステップと、前記予測サンプルに基づいてレジデュアルサンプルを導出するステップと、前記予測モードに基づいて生成された予測モードに関する情報と前記レジデュアルサンプルに基づいて生成されたレジデュアル情報を含む映像情報をエンコーディングするステップとを含み、前記予測モードに関する情報はＣＩＩＰが可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティションモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを含み、前記映像情報は前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいてレギュラーマージフラグを含む。
本文書のまた他の実施形態によれば、コンピュータ読み取り可能なデジタル格納媒体であって、前記デジタル格納媒体は、デコーディングによりデコーディング方法を行うようにする情報を含み、前記デコーディング方法は、ビットストリームからＣＩＩＰが可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを取得するステップと、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて現在ブロックの予測モードを決定するステップと、前記予測モードに基づいて前記現在ブロックの予測サンプルを生成するステップとを含み、前記決定するステップは、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて前記ビットストリームからレギュラーマージフラグを取得するステップを含む。
本文書の一実施形態によれば、全般的な映像／ビデオ圧縮効率を向上させることができる。
本文書の一実施形態によれば、効率的にインター予測を行うことができる。
本文書の一実施形態によれば、インター予測時に不要なシンタックスのシグナリングを効率的に除去することができる。
本文書の一実施形態によれば、インター予測時に効率的にマージモード（ｍｅｒｇｅ ｍｏｄｅ）に関するシンタックスをシグナリングすることができる。
本文書の一実施形態によれば、インター予測時に効率的にマージモード（ｍｅｒｇｅ ｍｏｄｅ）に関するシンタックスをシグナリングすることができる。
本文書の開示は様々な変更を加えることができ、様々な実施形態が有することができるため、特定の実施形態を図面に例示し、詳細に説明しようとする。本文書で使用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なる意味を有しない限り、「少なくとも１つ」の表現を含む。本文書において「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在又は付加可能性を予め排除しないことと理解されるべきである。
一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書において開示された方法の本質から逸脱しない限り、本文書の開示範囲に含まれる。
本文書は、ビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準で開示される方法に適用できる。また、この文書で開示された方法／実施形態は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／映像コーディング標準（例えば、Ｈ．２６７，Ｈ．２６８など）に開示される方法に適用できる。
本文書では、ビデオ／映像コーディングに関する様々な実施形態が提示され、他に言及がない限り、前記実施形態は互いに組み合わせられて行われることもできる。
この文書においてビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味し得る。ピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）はコーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは１つ以上のスライス／タイルで構成されてもよい。１つのピクチャは１つ以上のタイルグループで構成されてもよい。１つのタイルグループは１つ以上のタイルを含んでもよい。ブリックはピクチャ内のタイル内のＣＴＵ行の四角領域を示す（a brick may represent a rectangular region of CTU rows within a tile in a picture）。タイルは多数のブリックによりパーティショニングされ、各ブリックは前記タイル内の１つ以上のＣＴＵ行で構成される（A tile may be partitioned into multiple bricks, each of which consisting of one or more CTU rows within the tile）。複数のブリックによりパーティショニングされていないタイルもブリックと呼ばれてもよい（A tile that is not partitioned into multiple bricks may be also referred to as a brick）。ブリックスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し、前記ＣＴＵはブリック内においてＣＴＵラスタスキャンで整列され、タイル内のブリックは前記タイルの前記ブリックのラスタスキャンで連続的に整列され、そして、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタスキャンで連続整列される（A brick scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a brick, bricks within a tile are ordered consecutively in a raster scan of the bricks of the tile, and tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture）。タイルは特定タイル列及び特定タイル列以内のＣＴＵの四角領域である（A tile is a rectangular region of CTUs within a particular tile column and a particular tile row in a picture）。前記タイル列はＣＴＵの四角領域であり、前記四角領域は前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示される（The tile column is a rectangular region of CTUs having a height equal to the height of the picture and a width specified by syntax elements in the picture parameter set）。前記タイル行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは前記ピクチャの高さと同一であり得る（The tile row is a rectangular region of CTUs having a height specified by syntax elements in the picture parameter set and a width equal to the width of the picture）。タイルスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し、前記ＣＴＵはタイル内のＣＴＵラスタスキャンで連続整列され、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタスキャンで連続整列される（A tile scan is a specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a tile whereas tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture）。スライスはピクチャの整数個のブリックを含み、前記整数個のブリックは１つのＮＡＬユニットに含まれる（A slice includes an integer number of bricks of a picture that may be exclusively contained in a single NAL unit）。スライスは複数の完全なタイルで構成され、または、１つのタイルの完全なブリックの連続的なシーケンスであり得る（A slice may consists of either a number of complete tiles or only a consecutive sequence of complete bricks of one tile）。この文書において、タイルグループとスライスは混用されてもよい。例えば、本文書において、ｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒはｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれてもよい。
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は、映像）を構成する最小の単位を意味し得る。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含む。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含んでもよい。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して使用されてもいる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又は、サンプルアレイ）、又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又は、アレイ）を含んでもよい。
この文書において、“／”と“、”は“及び／又は”と解釈される。例えば，“Ａ／Ｂ”は“Ａ及び／又はＢ”と解釈され，“Ａ、Ｂは“Ａ及び／又はＢ”と解釈される。追加的に、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣの少なくとも１つ”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣの少なくとも１つ”を意味する（In this document, the term "/" and "," should be interpreted to indicate "and/or." For instance, the expression "A/B" may mean "A and/or B." Further, "A, B" may mean "A and/or B." Further, "A/B/C" may mean "at least one of A, B, and/or C." Also, "A/B/C" may mean "at least one of A, B, and/or C."）。
追加的に、本文書において、“又は”は“及び／又は”と解釈される。例えば、“Ａ又はＢ”は、１）“Ａ”のみを意味し、２）“Ｂ”のみを意味するか、３）“Ａ及びＢ”を意味し得る。言い換えると、本文書の“又は”は“追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）”を意味し得る（Further, in the document, the term "or" should be interpreted to indicate "and/or." For instance, the expression "A or B" may comprise 1） only A, 2） only B, and/or 3） both A and B. In other words, the term "or" in this document should be interpreted to indicate "additionally or alternatively."）。
以下、添付した図面を参照して、本文書の実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に関して重複する説明は省略する。
図１は、本文書の実施形態が適用できるビデオ／映像コーディングシステムの例を概略的に示す。
図１に示すように、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を備えることができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を備えることができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを備えることができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に備えられることができる。受信機は、デコーディング装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を取得できる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成できる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達することができる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
本文書において、量子化／逆量子化及び／又は変換／逆変換の少なくとも１つは省略されてもよい。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は変換係数と呼ばれる。前記変換／逆変換が省略される場合、前記変換係数は係数又はレジデュアル係数と呼ばれてもよく、または表現の統一性のために変換係数と呼ばれてもよい。
本文書において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれてもよい。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含み、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は、前記変換係数（ら）に関する情報）に基づいて変換係数が導出され、前記変換係数に対する逆変換（スケーリング）によりスケーリングされた変換係数が導出される。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルを導出される。これは、本文書の他の部分でも同様に適用／表現できる。
図２は、本文書の実施形態が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含む。
図２に示すように、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成でき、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成できる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、周辺ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。
変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。
エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
図３は、本文書の実施形態が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
図３に示すように、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
ビデオ／映像情報を含むビットストリームが入力されれば、デコーディング装置３００は、図３のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図３のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報と周辺及びデコーディング対象ブロックのデコーディング情報あるいは以前ステップでデコーディングされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコーディングされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。
レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または受信部は、エントロピーデコーディング部３１０の構成要素であることもできる。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得できる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部３３０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部３３０は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。
予測部３３０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を備える）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。
本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１及びイントラ予測部２２２において説明された実施形態は、それぞれデコーディング装置３００のフィルタリング部３５０、インター予測部３３２及びイントラ予測部３３１にも同一に又は対応するように適用できる。
本文書によるビデオ／映像コーディング方法は、次のようなパーティショニング構造に基づいて行われる。具体的に、後述する予測、レジデュアル処理（（逆）変換、（逆）量子化など）、シンタックス要素コーディング、フィルタリングなどの手順は、前記パーティショニング構造に基づいて導出されたＣＴＵ、ＣＵ（及び／又はＴＵ、ＰＵ）に基づいて行われることができる。ブロックパーティショニング手順は、前述のエンコーディング装置の映像分割部２１０で行われ、パーティショニング関連情報がエントロピーエンコーディング部２４０で（エンコーディング）処理されてビットストリーム形態でデコーディング装置に伝達される。デコーディング装置のエントロピーデコーディング部３１０は、前記ビットストリームから取得した前記パーティショニング関連情報に基づいて現在ピクチャのブロックパーティショニング構造を導出し、これに基づいて映像デコーディングのための一連の手順（例えば、予測、レジデュアル処理、ブロック／ピクチャ復元、インループフィルタリングなど）を行うことができる。ＣＵサイズとＴＵサイズが同一であってもよく、又は、ＣＵ領域内に複数のＴＵが存在する可能性もある。一方、ＣＵサイズとは、一般的にルマ成分（サンプル）ＣＢ（ｃｏｄｉｎｇ ｂｌｏｃｋ）サイズを示す。ＴＵサイズとは、一般的にルマ成分（サンプル）ＴＢ（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）サイズを示す。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、ピクチャ／映像のカラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に応じて、ルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出できる。前記ＴＵサイズはｍａｘＴｂＳｉｚｅに基づいて導出される。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅより大きい場合、前記ＣＵから前記ｍａｘＴｂＳｉｚｅの複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。また、例えば、イントラ予測が適用される場合、イントラ予測モード／タイプは前記ＣＵ（又は、ＣＢ）単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順はＴＵ（又は、ＴＢ）単位で行われることができる。この場合、１つのＣＵ（又は、ＣＢ）領域内に１つ又は複数のＴＵ（又は、ＴＢ）が存在し、この場合、前記複数のＴＵ（又は、ＴＢ）は同一のイントラ予測モード／タイプを共有することができる。
また、本文書によるビデオ／イメージのコーディングにおいて、映像処理単位は階層的構造を有する。１つのピクチャは、１つ以上のタイル、ブリック、スライス及び／又はタイルグループに区分される。１つのスライスは１つ以上のブリックを含む。１つのブリックはタイル内の１つ以上のＣＴＵ行（ｒｏｗ）を含む。スライスはピクチャの整数個のブリックを含む。１つのタイルグループは１つ以上のタイルを含む。１つのタイルは１つ以上のＣＴＵを含む。前記ＣＴＵは１つ以上のＣＵに分割できる。タイルは、ピクチャ内で特定のタイル行及び特定のタイル列内のＣＴＵｓを含む四角領域である（A rectangular region of CTUs within a particular tile column and a particular tile row in a picture）。タイルグループは、ピクチャ内のタイルラスタースキャンによる整数個のタイルを含む。スライスヘッダは、当該スライス（スライス内のブロック）に適用できる情報／パラメータを運ぶことができる。エンコーディング／デコーディング装置がマルチコアプロセッサを有する場合、前記タイル、スライス、ブリック及び／又はタイルグループに対するエンコーディング／デコーディング手順は並列処理される。本文書においてスライス又はタイルグループは混用されてもよい。すなわち、タイルグループヘッダはスライスヘッダと呼ばれてもよい。ここで、スライスは、ｉｎｔｒａ（Ｉ）ｓｌｉｃｅ、ｐｒｅｄｉｃｔｉｖｅ（Ｐ）ｓｌｉｃｅ及びｂＩ－ｐｒｅｄｉｃｔｉｖｅ（Ｂ）ｓｌｉｃｅを含むスライスタイプのいずれか１つのタイプを有する。Ｉスライス内のブロックに対しては予測のためにインター予測は使われず、イントラ予測のみが使用される。もちろん、この場合にも、予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対してはイントラ予測又はインター予測が使用され、インター予測が使用される場合は単（ｕｎｉ）予測のみが使用される。一方、Ｂスライス内のブロックに対してはイントラ予測又はインター予測が使用され、インター予測が使用される場合には最大双（ｂｉ）予測まで使用されることができる。
エンコーダにおいては、ビデオ映像の特性（例えば、解像度）に応じて又はコーディングの効率又は並列処理を考慮して、タイル／タイルグループ、ブリック、スライス、最大及び最小コーディングユニットサイズを決定し、これに関する情報又はこれを誘導できる情報がビットストリームに含まれる。
デコーダにおいては、現在ピクチャのタイル／タイルグループ、ブリック、スライス、タイル内のＣＴＵが複数のコーディングユニットに分割されているかなどを示す情報を得ることができる。このような情報は特定の条件下でのみ取得するように（送信できるように）すると効率を高めることができる。
前記スライスヘッダ（スライスヘッダシンタックス）は、前記スライスに共通に適用できる情報／パラメータを含む。ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のピクチャに共通に適用できる情報／パラメータを含む。前記ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通に適用できる情報／パラメータを含む。前記ＶＰＳ（ＶＰＳシンタックス）は多重レイヤに共通に適用できる情報／パラメータを含む。前記ＤＰＳ（ＤＰＳシンタックス）はビデオ全般に共通に適用できる情報／パラメータを含む。前記ＤＰＳはＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のｃｏｎｃａｔｅｎａｔｉｏｎに関連する情報／パラメータを含む。
本文書において上位レベルシンタックスとは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、スライスヘッダシンタックスの少なくとも１つを含む。
また、例えば、前記タイル／タイルグループ／ブリック／スライスの分割及び構成などに関する情報は、前記上位レベルシンタックスを介してエンコーディング段において構成されてビットストリーム形態でデコーディング装置に伝達される。
図４は、コーディングされた映像に対する階層構造を示す図である。
コーディングされた映像は、映像のデコーディング処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング層）、符号化された情報を送信及び格納する下位システム、並びにＶＣＬと下位システムの間に存在し、ネットワーク適応機能を担うＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象層）に区分されている。
ＶＣＬにおいては、圧縮された映像データ（スライスデータ）を含むＶＣＬ データを生成するか、あるいはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は映像のデコーディング過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ) メッセージを生成することができる。
ＮＡＬにおいては、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成する。ここで、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットには、当該ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含む。
図４に示すように、ＮＡＬユニットは、ＶＣＬにおいて生成されたＲＢＳＰに応じてＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分される。ＶＣＬ ＮＡＬユニットは映像に関する情報（スライスデータ）を含んでいるＮＡＬユニットを意味し、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは映像をデコーディングするために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味し得る。
前述のＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に従ってヘッダ情報を付けてネットワークを介して送信される。例えば、ＮＡＬユニットは、Ｈ．２６６ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定規格のデータ形態に変形されて多様なネットワークを介して送信されることができる。
前述のように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定され、このようなＮＡＬユニットタイプに関する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされる。
例えば、ＮＡＬユニットが映像に関する情報（スライスデータ）を含むか否かに応じて大別してＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類される。ＶＣＬ ＮＡＬユニットタイプはＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などに応じて分類され、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプはパラメータセットの種類などに応じて分類される。
以下は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例である。
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ
前述のＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値で特定されることができる。
前記スライスヘッダ（スライスヘッダシンタックス）は、前記スライスに共通に適用できる情報／パラメータを含む。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライス又はピクチャに共通に適用できる情報／パラメータを含む。前記ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通に適用できる情報／パラメータを含む。前記ＶＰＳ（ＶＰＳシンタックス）は多重レイヤに共通に適用できる情報／パラメータを含む。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用できる情報／パラメータを含む。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のｃｏｎｃａｔｅｎａｔｉｏｎに関連する情報／パラメータを含む。本文書において上位レベルシンタックス（Ｈｉｇｈｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、スライスヘッダシンタックスの少なくとも１つを含む。
本文書において、エンコーディング装置からデコーディング装置にエンコーディングされてビットストリーム形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれた情報、前記ＡＰＳに含まれた情報、前記ＰＰＳに含まれた情報、ＳＰＳに含まれた情報、及び／又はＶＰＳに含まれた情報を含む。
一方、前述のようにビデオコーディングを行うにおいて、圧縮効率を高めるために予測が行われる。これにより、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックはエンコーディング装置及びデコーディング装置において同様に導出され、前記エンコーディング装置は原本ブロックの原本サンプル値自体ではなく、前記原本ブロックと前記予測されたブロック間のレジデュアルに関する情報（レジデュアル情報）をデコーディング装置にシグナリングすることにより映像コーディング効率を高めることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを合わせて復元サンプルを含む復元ブロックを生成し、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順により生成される。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロック間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれたレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を行って変換係数を導出し、前記変換係数に量子化手順を行って量子化された変換係数を導出して、関連するレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングする。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含んでもよい。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を行い、レジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成する。エンコーディング装置はまた、以後、ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成する。
現在ブロックにインター予測が適用される場合、エンコーディング装置／デコーディング装置の予測部はブロック単位でインター予測を行って予測サンプルを導出する。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素（例えば、サンプル値又は動き情報など）に依存的な方法で導出される予測を示す（Inter prediction can be a prediction derived in a manner that is dependent on data elements (e.g., sample values or motion information) of picture(s) other than the current picture）。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが示す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。この時、インター予測モードで送信される動き情報の量を減らすために周辺ブロックと現在ブロック間の動き情報の相関性に基づいて現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含んでもよい。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含んでもよい。インター予測が適用される場合、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋ）を含む。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャは同一であっても異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれてもよく、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれてもよい。例えば、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成され、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われることができ、例えば、スキップモードと（ノーマル）マージモードの場合、現在ブロックの動き情報は選択された周辺ブロックの動き情報と同一であり得る。スキップモードの場合、マージモードと違ってレジデュアル信号が送信されない場合がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を利用して前記現在ブロックの動きベクトルを導出することができる。
インター予測に基づくビデオ／映像エンコーディング手順は、概略的に、例えば、以下を含むことができる。
図５は、インター予測ベースのビデオ／映像エンコーディング方法の例を示す。
エンコーディング装置は、現在ブロックに対するインター予測を行う（Ｓ５００）。エンコーディング装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記ブロックの予測サンプルを生成する。ここで、インター予測モード決定、動き情報導出及び予測サンプル生成手順は同時に行われてもよく、ある１つの手順が他の手順より先に行われてもよい。例えば、エンコーディング装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含み、予測モード決定部において前記現在ブロックに対する予測モードを決定し、動き情報導出部において前記現在ブロックの動き情報を導出し、予測サンプル導出部において前記現在ブロックの予測サンプルを導出する。例えば、エンコーディング装置のインター予測部は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）により参照ピクチャの一定領域（サーチ領域）内において前記現在ブロックと類似したブロックをサーチし、前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。これに基づいて前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックの位置差に基づいて動きベクトルを導出することができる。エンコーディング装置は、様々な予測モードのうち前記現在ブロックに対して適用されるモードを決定することができる。エンコーディング装置は、前記様々な予測モードに対するＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）費用（ｃｏｓｔ）を比較し、前記現在ブロックに対する最適な予測モードを決定することができる。
例えば、エンコーディング装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補が示す参照ブロックのうち前記現在ブロックとうち前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されてデコーディング装置にシグナリングされる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報を導出することができる。
他の例として、エンコーディング装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述する（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用できる。この場合、例えば、前述の動き推定により導出された参照ブロックを示す動きベクトルが前記現在ブロックの動きベクトルとして利用され、前記ｍｖｐ候補のうち前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が前記選択されたｍｖｐ候補となり得る。前記現在ブロックの動きベクトルから前記ｍｖｐを除いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出できる。この場合、前記ＭＶＤに関する情報がデコーディング装置にシグナリングされる。また、（Ａ）ＭＶＰモードが適用される場合、前記参照ピクチャインデックスの値は参照ピクチャインデックス情報で構成されて、別途に前記デコーディング装置にシグナリングされることができる。
エンコーディング装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出する（Ｓ５１０）。エンコーディング装置は、前記現在ブロックの原本サンプルと前記予測サンプルを比較することにより前記レジデュアルサンプルを導出する。
エンコーディング装置は、予測情報及びレジデュアル情報を含む映像情報をエンコーディングする（Ｓ５２０）。エンコーディング装置は、エンコーディングされた映像情報をビットストリーム形態で出力することができる。前記予測情報は、前記予測手順に関連する情報であり、予測モード情報（例えば、ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ又はｍｏｄｅ ｉｎｄｅｘなど）及び動き情報に関する情報を含む。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）を含む。また、前記動き情報に関する情報は、前述のＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含む。また、前記動き情報に関する情報は、Ｌ０予測、Ｌ１予測、又は双（ｂｉ）予測が適用されるか否かを示す情報を含む。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含む。
出力されたビットストリームは（デジタル）格納媒体に格納されてデコーディング装置に伝達されるか、又は、ネットワークを介してデコーディング装置に伝達される。
一方、前述のように、エンコーディング装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。これは、デコーディング装置により行われるのと同一の予測結果をエンコーディング装置から導出するためであり、これによりコーディング効率を高めることができるからである。従って、エンコーディング装置は、復元ピクチャ（又は、復元サンプル、復元ブロック）をメモリに格納し、インター予測のための参照ピクチャとして活用する。前記復元ピクチャにインループフィルタリング手順などがさらに適用できることは前述の通りである。
インター予測に基づくビデオ／映像デコーディング手順は、概略的に、例えば、以下を含む。
図６は、インター予測ベースのビデオ／映像デコーディング方法の例を示す。
図６に示すように、デコーディング装置は、前記エンコーディング装置において行われた動作と対応する動作を行う。デコーディング装置は、受信された予測情報に基づいて現在ブロックに予測を行い、予測サンプルを導出する。
具体的に、デコーディング装置は、受信された予測情報に基づいて前記現在ブロックに対する予測モードを決定する（Ｓ６００）。デコーディング装置は、前記予測情報内の予測モード情報に基づいて前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。
例えば、前記ｍｅｒｇｅ ｆｌａｇに基づいて前記現在ブロックに前記マージモードが適用されるか又は（Ａ）ＭＶＰモードが決定されるかを決定することができる。または、前記ｍｏｄｅ ｉｎｄｅｘに基づいて様々なインター予測モード候補のうち１つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び／又は（Ａ）ＭＶＰモードを含み、または、後述する様々なインター予測モードを含む。
デコーディング装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出する（Ｓ６１０）。例えば、デコーディング装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれたマージ候補のいずれか１つのマージ候補を選択することができる。前記選択は、前述の選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われる。前記選択されたマージ候補の動き情報を利用して前記現在ブロックの動き情報が導出される。前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として利用されることができる。
他の例として、デコーディング装置は、前記現在ブロックに（Ａ）ＭＶＰモードが適用される場合、後述の（Ａ）ＭＶＰ候補リストを構成し、前記（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち選択されたｍｖｐ候補の動きベクトルを前記現在ブロックのｍｖｐとして利用できる。前記選択は、前述の選択情報（ｍｖｐ ｆｌａｇ又はｍｖｐ ｉｎｄｅｘ）に基づいて行われる。この場合、前記ＭＶＤに関する情報に基づいて前記現在ブロックのＭＶＤを導出することができ、前記現在ブロックのｍｖｐと前記ＭＶＤに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する参照ピクチャリスト内で前記参照ピクチャインデックスが示すピクチャが前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
一方、後述のように、候補リスト構成なしに前記現在ブロックの動き情報が導出されることができ、この場合、後述の予測モードにおいて開示された手順に従って前記現在ブロックの動き情報が導出されることができる。この場合、前述のような候補リスト構成は省略されてもよい。
デコーディング装置は、前記現在ブロックの動き情報に基づいて前記現在ブロックに対する予測サンプルを生成する（Ｓ６２０）。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを利用して前記現在ブロックの予測サンプルを導出することができる。この場合、後述のように、場合によっては、前記現在ブロックの予測サンプルのうち全部又は一部に対する予測サンプルフィルタリング手順がさらに行われてもよい。
例えば、デコーディング装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含み、予測モード決定部で受信された予測モード情報に基づいて前記現在ブロックに対する予測モードを決定し、動き情報導出部で受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックスなど）を導出し、予測サンプル導出部から前記現在ブロックの予測サンプルを導出することができる。
デコーディング装置は、受信されたレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成する（Ｓ６３０）。デコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成する（Ｓ６４０）。以後、前記復元ピクチャにインループフィルタリング手順などがさらに適用できることは前述の通りである。
前述のように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードに応じる動き情報導出ステップ、導出された動き情報に基づいた予測実行（予測サンプル生成）ステップを含む。前記インター予測手順は、前述のようにエンコーディング装置及びデコーディング装置で行われる。本文書において、コーディング装置とはエンコーディング装置及び／又はデコーディング装置を含む。
ピクチャ内の現在ブロックの予測のために様々なインター予測モードが使用される。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モード、ＨＭＶＰ（ｈｉｓｔｏｒｉｃａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードなど様々なモードが使用できる。ＤＭＶＲ（ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ）、ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）などが付随的なモードとしてさらに又は代わりに使われることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれてもよい。本文書において、一部のモード及び／又は一部のモードにより導出された動き情報候補は、他のモードの動き情報関連候補の１つとして含まれてもよい。例えば、ＨＭＶＰ候補は前記マージ／スキップモードのマージ候補として追加されてもよく、または、前記ＭＶＰモードのｍｖｐ候補として追加されてもよい。
現在ブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置にシグナリングされることができる。前記予測モード情報は、ビットストリームに含まれ、デコーディング装置に受信されることができる。前記予測モード情報は、多数の候補モードのうちの１つを指示するインデックス情報を含むことができる。或いは、フラグ情報の階層的シグナリングを通じて、インター予測モードを指示することもある。この場合、前記予測モード情報は、１つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモードの適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモードの適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモードが適用されるものと指示するか、追加的な区分のためのフラグをさらにシグナリングすることもある。アフィンモードは、独立したモードとしてシグナリングされることもあり、又はマージモード又はＭＶＰモード等に従属的なモードとしてシグナリングされることもある。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。
一方、現在ブロックに前述のｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、又は双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示す情報がシグナリングされる。前記情報は、動き予測方向情報、インター予測方向情報、又はインター予測指示情報と呼ばれ、例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の形態で構成／エンコーディング／シグナリングされることができる。すなわち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素は、前述のｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、又は双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロック（現在コーディングユニット）に使用されるか否かを示すことができる。本文書においては、説明の便宜のためにｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素が示すインター予測タイプ（Ｌ０予測、Ｌ１予測、又はＢＩ予測）は動き予測方向と表示されることができる。Ｌ０予測はｐｒｅｄ＿Ｌ０、Ｌ１予測はｐｒｅｄ＿Ｌ１、双予測はｐｒｅｄ＿ＢＩで表されることもできる。例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃシンタックス要素の値に応じて以下のような予測タイプを示すことができる。
前述したように、１つのピクチャは、１つ以上のスライス（ｓｌｉｃｅ）を含むことができる。スライスは、Ｉスライス（ｉｎｔｒａ ｓｌｉｃｅ）、Ｐスライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）及びＢスライス（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）を含むスライスタイプのうちの１つのタイプを有することができる。前記スライスタイプは、スライスタイプ情報に基づいて指示されることができる。Ｉスライス内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予測なしで原本サンプル値をコーディングしてシグナリングすることもある。Ｐスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、単（ｕｎｉ）予測のみ使用できる。一方、Ｂスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、最大の双（ｂｉ）予測まで使用できる。
Ｌ０及びＬ１は、現在ピクチャより以前にエンコーディング／デコーディングされた参照ピクチャを含む。例えば、Ｌ０はＰＯＣ順序上、現在ピクチャより以前及び／又は以後の参照ピクチャを含んでもよく、Ｌ１はＰＯＣ順序上、現在ピクチャより以後及び／又は以前の参照ピクチャを含んでもよい。この場合、Ｌ０にはＰＯＣ順序上、現在ピクチャより以前の参照ピクチャに相対的にさらに低い参照ピクチャインデックスが割り当てられ、Ｌ１にはＰＯＣ順序上、現在ピクチャより以後の参照ピクチャに相対的にさらに低い参照ピクチャインデックスが割り当てられる。Ｂ ｓｌｉｃｅの場合は双予測が適用されてもよく、この場合にも単方向双予測が適用されることも、又は、双方向双予測が適用されることもできる。双方向双予測はｔｒｕｅ双予測と呼ばれてもよい。
具体的に、例えば、現在ブロックのインター予測モードに関する情報は、ＣＵ（ＣＵシンタックス）などのレベルでコーディングされてシグナリングされるか、あるいは条件に応じて黙示的に決定される。この場合、一部のモードに対しては明示的にシグナリングされ、残りの一部のモードは黙示的に導出される。
例えば、ＣＵシンタックスは、次の表１のように（インター）予測モードに関する情報などを運ぶことができる。
ここで、ｃｕ＿ｓｋｉｐ＿ｆｌａｇは現在ブロック（ＣＵ）にスキップモードが適用されるか否かを示す。
ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇの値が０であると、現在コーディングユニットがインター予測モードでコーディングされることを示す。ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇの値が１であると、現在コーディングユニットがイントラ予測モードでコーディングされることを示す（pred_mode_flag equal to 0 specifies that the current coding unit is coded in inter prediction mode. pred_mode_flag equal to 1 specifies that the current coding unit is coded in intra prediction mode.）。
ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇの値が１であると、現在コーディングユニットがＩＢＣ予測モードでコーディングされることを示す。ｐｒｅｄ＿ｍｏｄｅ＿ｉｂｃ＿ｆｌａｇの値が０であると、現在コーディングユニットがＩＢＣ予測モードでコーディングされないことを示す（pred_mode_ibc_flag equal to 1 specifies that the current coding unit is coded in IBC prediction mode. pred_mode_ibc_flag equal to 0 specifies that the current coding unit is not coded in IBC prediction mode.）。
ｐｃｍ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、ｐｃｍ＿ｓａｍｐｌｅ（ ）構文構造が存在し、ｔｒａｎｓｆｏｒｍ＿ｔｒｅｅ（ ）構文構造が（ｘ０，ｙ０）位置のルマコーディングブロックを含むコーディング単位に存在しないことを示す。ｐｃｍ＿ｆｌａｇ［ｘ０］［ｙ０］が０であると、ｐｃｍ＿ｓａｍｐｌｅ（ ）構文構造が存在しないことを示す（pcm_flag[x0][y0] equal to 1 specifies that the pcm_sample( ) syntax structure is present and the transform_tree( ) syntax structure is not present in the coding unit including the luma coding block at the location (x0, y0). pcm_flag[x0][y0] equal to 0 specifies that pcm_sample( ) syntax structure is not present.）。すなわち、ｐｃｍ＿ｆｌａｇは現在ブロックにＰＣＭ（ｐｕｌｓｅ ｃｏｄｉｎｇ ｍｏｄｕｌａｔｉｏｎ）モードが適用されるか否かを示す。現在ブロックにＰＣＭモードが適用される場合、予測、変換、量子化などが適用されることなく、現在ブロック内の原本サンプルの値がコーディングされてシグナリングされることができる。
ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、ルマサンプルに対するイントラ予測タイプがマトリックスベースのイントラ予測（ＭＩＰ）であることを示す。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が０であると、ルマサンプルに対するイントラ予測タイプがマトリックスベースのイントラ予測ではないことを示す（intra_mip_flag[x0][y0] equal to 1 specifies that the intra prediction type for luma samples is matrix-based intra prediction (MIP). intra_mip_flag[x0][y0] equal to 0 specifies that the intra prediction type for luma samples is not matrix-based intra prediction.）。すなわち、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇは現在ブロック（のルマサンプル）にＭＩＰ予測モード（タイプ）が適用されるか否かを示す。
ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ［ｘ０］［ｙ０］は、現在ブロックにおいてクロマサンプルに対するイントラ予測モードを示す（intra_chroma_pred_mode[x0][y0] specifies the intra prediction mode for chroma samples in the current block.）。
ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］は、現在コーディングユニットに対するインター予測パラメータが隣接するインター予測されたパーティションから誘導されるか否かを示す（general_merge_flag[x0][y0] specifies whether the inter prediction parameters for the current coding unit are inferred from a neighbouring inter-predicted partition.）。すなわち、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇは一般マージが可用であることを示し、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１であると、ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ、ｍｍｖｄ ｍｏｄｅ及びｍｅｒｇｅ ｓｕｂｂｌｏｃｋ ｍｏｄｅ（ｓｕｂｂｌｏｃｋ ｍｅｒｇｅ ｍｏｄｅ）が可用である。例えば、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇの値が１であると、マージデータシンタックス（ｍｅｒｇｅ ｄａｔａ ｓｙｎｔａｘ）がエンコーディングされたビデオ／イメージ情報（又は、ビットストリーム）からパーシングされ、マージデータシンタックスは次の表２のような情報を含むように構成／コーディングされる。
ここで、ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、レギュラーマージモードを用いて現在コーディングユニットのインター予測パラメータを生成することを示す（regular_merge_flag[x0][y0] equal to 1 specifies that regular merge mode is used to generate the inter prediction parameters of the current coding unit.）。すなわち、ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇはマージモード（レギュラーマージモード）が現在ブロックに適用できるか否かを示す。
ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、動きベクトル差分を有するマージモードが現在コーディングユニットのインター予測パラメータの生成に使用されることを示す（mmvd_merge_flag[x0][y0] equal to 1 specifies that merge mode with motion vector difference is used to generate the inter prediction parameters of the current coding unit.）。すなわち、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇはＭＭＶＤが現在ブロックに適用されるか否かを示す。
ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ［ｘ０］［ｙ０］は、マージ候補リスト内の１番目（０）又は２番目（１）候補がｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］及びｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］から導出された動きベクトル差分とともに使用されるか否かを示す（mmvd_cand_flag[x0][y0] specifies whether the first (0) or the second (1) candidate in the merging candidate list is used with the motion vector difference derived from mmvd_distance_idx[x0][y0] and mmvd_direction_idx[x0][y0].）。
ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］は、ＭｍｖｄＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］の導出に使用されるインデックスを示す（mmvd_distance_idx[x0][y0] specifies the index used to derive MmvdDistance[x0][y0].）。
ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］は、ＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］の導出に使用されるインデックスを示す（mmvd_direction_idx[x0][y0] specifies index used to derive MmvdSign[x0][y0].）。
ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ［ｘ０］［ｙ０］は、現在コーディングに対するサブブロックベースのインター予測パラメータを示す（merge_subblock_flag[x0][y0] specifies whether the subblock-based inter prediction parameters for the current coding.）。すなわち、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは現在ブロックにサブブロックマージモード（又は、ａｆｆｉｎｅ ｍｅｒｇｅ ｍｏｄｅ）が適用されるか否かを示す。
ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ［ｘ０］［ｙ０］はサブブロックベースのマージ候補リストのマージ候補インデックスを示す（merge_subblock_idx[x0][y0] specifies the merging candidate index of the subblock-based merging candidate list.）。
ｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、結合されたインター－ピクチャマージ及びイントラ－ピクチャ予測が現在コーディングユニットに適用されるか否かを示す（ciip_flag[x0][y0] specifies whether the combined inter-picture merge and intra-picture prediction is applied for the current coding unit.）。
ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ０［ｘ０］［ｙ０］は、三角形ベースの動き補償候補リストの１番目のマージ候補インデックスを示す（merge_triangle_idx0[x0][y0] specifies the first merging candidate index of the triangular shape based motion compensation candidate list.）。
ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ１［ｘ０］［ｙ０］は、三角形ベースの動き補償候補リストの２番目のマージ候補インデックスを示す（merge_triangle_idx1[x0][y0] specifies the second merging candidate index of the triangular shape based motion compensation candidate list.）。
ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］は、マージ候補リストのマージ候補インデックスを示す（merge_idx[x0][y0] specifies the merging candidate index of the merging candidate list.）。
一方、再び表１のＣＵシンタックスを参照すると、ｍｖｐ＿ｌ０＿ｆｌａｇ［ｘ０］［ｙ０］はリスト０の動きベクトル予測子のインデックスを示す（mvp_l0_flag[x0][y0] specifies the motion vector predictor index of list 0.）。すなわち、ｍｖｐ＿ｌ０＿ｆｌａｇはＭＶＰモードが適用される場合、ＭＶＰ候補リスト０において前記現在ブロックのＭＶＰ導出のために選択される候補を示す。
ｍｖｐ＿ｌ１＿ｆｌａｇ［ｘ０］［ｙ０］はｍｖｐ＿ｌ０＿ｆｌａｇと同一の意味を有し、ｌ０及びリスト０はそれぞれｌ１及びリスト１に置き換えることができる（ref_idx_l1[x0][y0] has the same semantics as ref_idx_l0, with l0, L0 and list 0 replaced by l1, L1 and list 1, respectively.）。
ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ［ｘ０］［ｙ０］は現在コーディングユニットに対してリスト０、リスト１又はｂｉ－ｐｒｅｄｉｃｔｉｏｎが使用されるか否かを示す（inter_pred_idc[x0][y0] specifies whether list0, list1, or bi-prediction is used for the current coding unit.）。
ｓｙｍ＿ｍｖｄ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、構文要素ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］及びｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］を示し、１と同一のｒｅｆＬｉｓｔに対するｍｖｄ＿ｃｏｄｉｎｇ（ｘ０、ｙ０、ｒｅｆＬｉｓｔ、ｃｐＩｄｘ）構文構造が存在しないことを示す（sym_mvd_flag[x0][y0] equal to 1 specifies that the syntax elements ref_idx_l0[x0][y0] and ref_idx_l1[x0][y0], and the mvd_coding(x0, y0, refList ,cpIdx) syntax structure for refList equal to 1 are not present.）。すなわち、ｓｙｍ＿ｍｖｄ＿ｆｌａｇはｍｖｄコーディングにおいてｓｙｍｍｅｔｒｉｃ ＭＶＤが使用されるか否かを示す。
ｒｅｆ＿ｉｄｘ＿ｌ０［ｘ０］［ｙ０］は現在コーディングユニットに対するリスト０参照ピクチャインデックスを示す（ref_idx_l0[x0][y0] specifies the list 0 reference picture index for the current coding unit.）。
ｒｅｆ＿ｉｄｘ＿ｌ１［ｘ０］［ｙ０］はｒｅｆ＿ｉｄｘ＿ｌ０と同一の意味を有し、ｌ０、Ｌ０及びリスト０はそれぞれｌ１、Ｌ１及びリスト１に置き換えることができる（ref_idx_l1[x0][y0] has the same semantics as ref_idx_l0, with l0, L0 and list 0 replaced by l1, L1 and list 1, respectively.）。
ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、現在コーディングユニットに対してＰ又はＢスライスをデコーディングするとき、現在コーディングユニットの予測サンプルを生成するためにアフィンモデルベースの動き補償が使用されることを示す（inter_affine_flag[x0][y0] equal to 1 specifies that for the current coding unit, when decoding a P or B slice, affine model based motion compensation is used to generate the prediction samples of the current coding unit.）。
ｃｕ＿ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、現在コーディングユニットに対してＰ又はＢスライスをデコーディングするとき、６－パラメータアフィンモデルベースの動き補償が現在コーディングユニットの予測サンプルの生成に使用されることを示す。ｃｕ＿ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０であると、現在コーディングユニットの予測サンプルを生成するために４－パラメータアフィンモデルベースの動き補償が使用されることを示す（cu_affine_type_flag[x0][y0] equal to 1 specifies that for the current coding unit, when decoding a P or B slice, 6-parameter affine model based motion compensation is used to generate the prediction samples of the current coding unit. cu_affine_type_flag[x0][y0] equal to 0 specifies that 4-parameter affine model based motion compensation is used to generate the prediction samples of the current coding unit.）。
ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］は、動きベクトル差分の解像度を示す。アレイインデックスｘ０、ｙ０は、ピクチャの左上側ルマサンプルに対して考慮されたコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す。ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０であると、動きベクトル差分の解像度がルマサンプルの１／４であることを示す。ａｍｖｒ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、動きベクトル差分の解像度がａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］により追加で示されることを示す（amvr_flag[x0][y0] specifies the resolution of motion vector difference. The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture. amvr_flag[x0][y0] equal to 0 specifies that the resolution of the motion vector difference is 1/4 of a luma sample. amvr_flag[x0][y0] equal to 1 specifies that the resolution of the motion vector difference is further specified by amvr_precision_flag[x0][y0].）。
ａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０であると、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０である場合、動きベクトル差分の解像度が１つの整数ルマサンプルであることを示し、そうでない場合は、ルマサンプルの１／１６であることを示す。ａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇ［ｘ０］［ｙ０］ の値が０である場合、動きベクトル差分の解像度が４つのルマサンプルであることを示し、そうでない場合は、１つの整数ルマサンプルであることを示す。アレイインデックスｘ０、ｙ０は、ピクチャの左上側ルマサンプルに対して考慮されたコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（amvr_precision_flag[x0][y0] equal to 0 specifies that the resolution of the motion vector difference is one integer luma sample if inter_affine_flag[x0][y0] is equal to 0, and 1/16 of a luma sample otherwise. amvr_precision_flag[x0][y0] equal to 1 specifies that the resolution of the motion vector difference is four luma samples if inter_affine_flag[x0][y0] is equal to 0, and one integer luma sample otherwise. The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
ｂｃｗ＿ｉｄｘ［ｘ０］［ｙ０］は、ＣＵ加重値を使用する双方向予測の加重値インデックスを示す（bcw_idx[x0][y0] specifies the weight index of bi-prediction with CU weights.）。
コーディング装置は、現在ブロックの動き情報を利用してインター予測を行う。エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適な動き情報を導出することができる。例えば、エンコーディング装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを利用して相関性の高い類似の参照ブロックを参照ピクチャ内の決まった探索範囲内において分数ピクセル単位で探索し、それにより、動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（又は、現在ブロックのテンプレート）と参照ブロック（又は、参照ブロックのテンプレート）間のＳＡＤに基づいて計算される。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて様々な方法によりデコーディング装置にシグナリングされる。
コーディング装置は、前記動き情報に基づいて前記現在ブロックに対する予測サンプル（ら）を導出することができる。前記予測サンプルを含む現在ブロックは、予測されたブロックと呼ばれてもよい。
前記予測されたブロックは、前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数サンプル単位を示す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が行われ、これを介して参照ピクチャ内において分数サンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出できる。現在ブロックにアフィン（Ａｆｆｉｎｅ）インター予測が適用される場合、コーディング装置はサンプル／サブブロック単位の動きベクトル（ＭＶ）に基づいて予測サンプルを生成することができる。双予測が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルとＬ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相に応じた）加重和又は加重平均を介して導出された予測サンプルが現在ブロックの予測サンプルとして利用できる。双予測が適用される場合、Ｌ０予測に利用された参照ピクチャとＬ１予測に利用された参照ピクチャが現在ピクチャを基準に互いに異なる時間的方向に位置する場合（すなわち、双予測でありながら双方向予測に該当する場合）、これをｔｒｕｅ双予測と呼んでもよい。
導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成でき、その後、インループフィルタリングなどの手順が行われる。
図７は、マージ候補リスト構成方法を概略的に示す。
インター予測時にマージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在ブロックの動き情報が直接的に送信されず、周辺予測ブロックの動き情報を利用して前記現在ブロックの動き情報を誘導する。従って、エンコーディング装置は、マージモードを用いたことを示すフラグ情報及び周辺のどの予測ブロックを用いているかを示すマージインデックスを送信することにより、現在ブロックの動き情報を示すことができる。前記マージモードは、レギュラーマージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）と呼ばれてもよい。
コーディング装置は、マージモードを実行するために現在ブロックの動き情報を誘導するために用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチする。例えば、前記マージ候補ブロックは最大で５つまで利用できるが、本実施形態はこれに限定されない。また、前記マージ候補ブロックの最大個数に関する情報はスライスヘッダ又はタイルグループヘッダにおいて送信できるが、本実施形態はこれに限定されない。前記マージ候補ブロックを見つけた後、コーディング装置はマージ候補リストを生成し、これらのうち最も小さい費用を有するマージ候補ブロックを最終マージ候補ブロックとして選択することができる。
本文書は、前記マージ候補リストを構成するマージ候補ブロックに対する様々な実施形態を提供する。
前記マージ候補リストは、例えば、５つのマージ候補ブロックを含む。例えば、４つの空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１つの時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）が利用できる。具体例として、空間的マージ候補の場合、図６に示されたブロック（Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２）を空間的マージ候補として利用することができる。以下、前記空間的マージ候補又は後述する空間的ＭＶＰ候補はＳＭＶＰと呼ばれてもよく、前記時間的マージ候補又は後述する時間的ＭＶＰ候補はＴＭＶＰと呼ばれてもよい。
前記現在ブロックに対するマージ候補リストは、例えば、以下のような手順に基づいて構成される。
まず、コーディング装置（エンコーディング装置／デコーディング装置）は、現在ブロックの空間的周辺ブロックを探索して導出された空間的マージ候補をマージ候補リストに挿入する（Ｓ７００）。例えば、前記空間的周辺ブロックは、前記現在ブロックの左下側コーナー周辺ブロック（Ａ０）、左側周辺ブロック（Ａ１）、右上側コーナー周辺ブロック（Ｂ０）、上側周辺ブロック（Ｂ１）、及び左上側コーナー周辺ブロック（Ｂ２）を含む。ただし、これは、例示であり、前述の空間的周辺ブロック以外にも右側周辺ブロック、下側周辺ブロック、右下側周辺ブロックなどの追加的な周辺ブロックが前記空間的周辺ブロックとしてさらに使用されることができる。コーディング装置は、前記空間的周辺ブロックを優先順位に基づいて探索して可用のブロックを検出し、検出されたブロックの動き情報を前記空間的マージ候補として導出することができる。例えば、エンコーディング装置及び／又はデコーディング装置は、前記５つのブロックをＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２の順に探索し、可用の候補を順次インデックスすることにより、マージ候補リストとして構成することができる。
また、コーディング装置は、前記現在ブロックの時間的周辺ブロックを探索して導出された時間的マージ候補を前記マージ候補リストに挿入する（Ｓ７１０）。前記時間的周辺ブロックは、前記現在ブロックが位置する現在ピクチャとは異なるピクチャである参照ピクチャ上に位置することができる。前記時間的周辺ブロックが位置する参照ピクチャは同一位置（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はｃｏｌピクチャと呼ばれてもよい。前記時間的周辺ブロックは、前記ｃｏｌピクチャ上での前記現在ブロックに対する同一位置ブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側コーナー周辺ブロック及び右下側センターブロックの順に探索されることができる。
一方、コーディング装置は、現在マージ候補の個数が最大マージ候補の個数より小さいか否かを確認する（Ｓ７２０）。前記最大マージ候補の個数は予め定義されるかエンコーディング装置からデコーディング装置にシグナリングされることができる。例えば、エンコーディング装置は、前記最大マージ候補の個数に関する情報を生成し、エンコーディングしてビットストリーム形態で前記デコーディング装置に伝達する。前記最大マージ候補の個数が充填されると、以後の候補追加過程は行われなくてもよい。
前記確認の結果、前記現在マージ候補の個数が前記最大マージ候補の個数より小さい場合、コーディング装置は追加マージ候補を前記マージ候補リストに挿入する（Ｓ７３０）。前記追加マージ候補は、例えば、ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ）、ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ(ｓ)、ＡＴＭＶＰ、ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅマージ候補（現在スライス／タイル／グループのスライス／タイル／グループタイプがＢタイプである場合）及び／又は零ベクトルマージ候補の少なくとも１つを含む。
前記確認の結果、前記現在マージ候補の個数が前記最大マージ候補の個数より小さくない場合、コーディング装置は前記マージ候補リストの構成を終了する（Ｓ７４０）。この場合、エンコーディング装置はＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）費用に基づいて前記マージ候補リストを構成するマージ候補のうち最適のマージ候補を選択することができ、前記選択されたマージ候補を指す選択情報（例えば、ｍｅｒｇｅ ｉｎｄｅｘ）をデコーディング装置にシグナリングすることができる。デコーディング装置は、前記マージ候補リスト及び前記選択情報に基づいて前記最適マージ候補を選択することができる。
前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報に使用でき、前記現在ブロックの動き情報に基づいて、前記現在ブロックの予測サンプルを導出することができることは前述した通りである。エンコーディング装置は、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出することができ、前記レジデュアルサンプルに関するレジデュアル情報をデコーディング装置にシグナリングできる。デコーディング装置は、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル、及び前記予測サンプルに基づいて復元サンプルを生成することができ、これに基づいて、復元ピクチャを生成することができることは前述した通りである。
インター予測時にスキップモードが適用される場合、前述のマージモードが適用される場合と同様の方法で前記現在ブロックの動き情報を導出することができる。ただし、スキップモードが適用される場合、該当ブロックに対するレジデュアル信号が省略され、従って、予測サンプルが直ちに復元サンプルとして利用されることができる。
時間的候補（ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅ）は、前述の時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）を示す。また、時間的候補に含まれる動きベクトルは時間的ｍｖｐ候補（ｔｅｍｐｏｒａｌ ｍｖｐ ｃａｎｄｉｄａｔｅ）に対応することもできる。
このステップでは、１つの候補のみが候補リストに追加される（In this step, only one candidate is added to the candidate list.）。特に、時間的マージ候補の導出において、スケーリングされた動きベクトルは同一位置（ｃｏｌｌｏｃａｔｅｄ）参照ピクチャ（ｃｏｌＰｉｃと呼ばれてもよい）に属する同一位置ＣＵに基づいて導出される（Particularly, in the derivation of this temporal merge candidate, a scaled motion vector is derived based on co-located CU belonging to the collocated reference picture (may be referred to as colPic).）。同一位置（ｃｏ－ｌｏｃａｔｅｄ）ＣＵの導出に使用される参照ピクチャリストはスライスヘッダにおいて明示的にシグナリングされる（The reference picture list to be used for derivation of the co-located CU is explicitly signalled in the slice header.）。ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）距離、ｔｂ及びｔｄを使って同一位置ＣＵの動きベクトルからスケーリングされる時間的マージ候補に対するスケーリングされた動きベクトルは、図８において点線で示されているように得られ、ここで、ｔｂは現在ピクチャの参照ピクチャと現在ピクチャのＰＯＣの差として定義され、ｔｂは同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のＰＯＣ差として定義される（The scaled motion vector for temporal merge candidate is obtained as illustrated by the dotted line in Figure 8, which is scaled from the motion vector of the co-located CU using the POC distances, tb and td, where tb is defined to be the POC difference between the reference picture of the current picture and the current picture and td is defined to be the POC difference between the reference picture of the co-located picture and the co-located picture.）。時間マージ候補の参照ピクチャインデックスは０に設定される（The reference picture index of temporal merge candidate is set equal to zero.）。
時間的候補のＣ０とＣ１の間で選択される。Ｃ０位置のＣＵが使用できないか、Ｃ０位置のＣＵがイントラコーディングされているか又は現在ＣＴＵの行外部にある場合、Ｃ１位置が使用される（The position for the temporal candidate is selected between candidates C0 and C1. If CU at position C0 is not available, is intra coded, or is outside of the current row of CTUs, position C1 is used.）。そうでないと、Ｃ０位置は時間的マージ候補の導出に使用される（Otherwise, position C0 is used in the derivation of the temporal merge candidate.）。
内在的に（ｉｍｐｌｉｃｉｔｌｙ）導出された動き情報が現在のＣＵの予測サンプル生成のために直接的に使われるマージモードに加えて、動きベクトル差分を有するマージモード（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅｓ、ＭＭＶＤ）がＶＶＣに導入される（Inaddition to merge mode, where the implicitly derived motion information is directly used for prediction samples generation of the current CU, the merge mode with motion vector differences (MMVD) is introduced in VVC.）。スキップモード及びマージモードには類似の動き情報導出方法が用いられるため、ＭＭＶＤは前記スキップモードに適用できる（Because similar motion information derivation methods are used for the skip mode and the merge mode, MMVD may be applied to the skip mode.）。ＭＭＶＤフラグ（例えば、ｍｍｖｄ＿ｆｌａｇ）はスキップフラグ及びマージフラグを送った直後にシグナリングされてＭＭＶＤモードがＣＵに適用されるか否かを示す（A MMVD flag (ex. mmvd_flag) may be singnaled right after sending a skip flag and merge flag to specify whether MMVD mode is used for a CU.）。
ＭＭＶＤにおいては、マージ候補が選択された後、シグナリングされたＭＶＤの情報によりリファインされる（In MMVD, after a merge candidate is selected, it is further refined by the signaled MVDs information.）。ＭＭＶＤが現在プロックに適用される場合（すなわち、ｍｍｖｄ＿ｆｌａｇが１である場合）、ＭＭＶＤに関する追加情報がシグナリングされる（When MMVD is applied to the current block (i.e. when the mmvd_flag is equal to 1), further information for the MMVD may be signaled.）。
追加情報は、前記マージ候補リスト内の第１（０）又は第２（１）候補が動きベクトル差分とともに使用されるかを示すマージ候補リスト（例えば、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、動きの大きさを示すインデックス（例えば、ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、及び動き方向表示インデックス（例えば、ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）を含む（The further information includes a merge candidate flag (ex. mmvd_merge_flag) indicating whether the first (0) or the second (1) candidate in the merging candidate list is used with the motion vector difference, an index to specify motion magnitude (ex. mmvd_distance_idx), and an index for indication of motion direction (ex. mmvd_direction_idx).）。ＭＭＶＤモードでは、マージリストにおいて最初の２つの候補の１つがＭＶの基準として使用されるように選択される（In MMVD mode, one for the first two candidates in the merge list is selected to be used as MV basis.）。マージ候補フラグは、どのフラグが使われるかを示すようにシグナリングされる（The merge candidate flag is signaled to specify which one is used.)。
距離インデックスは動きの大きさ情報を示し、開始点から予め決められたオフセット（Ｏｆｆｓｅｔ）を示す（Distance index specifies motion magnitude information and indicate the pre-defined offset from the starting point.）。
オフセットは開始動きベクトルの水平成分又は垂直成分に加えられる（An offset is added to either horizontal component or vertical component of starting MV.）。距離インデックスと予め決められたオフセットの関係は、以下の表３のように示す（The relation of distance index and pre-defined offset is specified in Table 3.）。
ここで、ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であると、動きベクトル差分があるマージモードが現在スライスにおいて整数サンプル精度を使用することを示す（Here, slice_fpel_mmvd_enabled_flag equal to 1 specifies that merge mode with motion vector difference uses integer sample precision in the current slice.）。ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であると、動きベクトル差分があるマージモードが現在スライスにおいて分数サンプル精度を使用することを示す（slice_fpel_mmvd_enabled_flag equal to 0 specifies that merge mode with motion vector difference can use fractional sample precision in the current slice.）。存在しない場合、ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０として導出される（When not present, the value of slice_fpel_mmvd_enabled_flag is inferred to be 0.）。ｓｌｉｃｅ＿ｆｐｅｌ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素はスライスヘッダを介して（スライスヘッダに含まれて）シグナリングされることができる（slice_fpel_mmvd_enabled_flag syntax element may be signaled through （may be comprised in） a slice header.）。
方向インデックスは、開始点を基準にＭＶＤの方向を示す。方向インデックスは、表４に示すように、４方向を示すことができる（Direction index represents the direction of the MVD relative to the starting point.）。ＭＶＤ表示の意味は、ＭＶの開始情報に応じて変更される（The direction index can represent of the four directions as shown in Table4. It's noted that the meaning of MVD sign could be variant according to the information of starting MVs.）。開始ＭＶが予測ではないＭＶであるか又は２つのリストを有する双予測ＭＶが現在ピクチャの同一面を指す場合（例えば、２つの参照のＰＯＣは両方とも現在ピクチャのＰＯＣより大きいか、又は両方とも現在ピクチャのＰＯＣより小さい場合）、表４のサインは、前記開始ＭＶに追加されたＭＶオフセットのサインを示す（When the starting MVs is an un-prediction MV or bi-prediction MVs with both lists point to the same side of the current picture (i.e. POCs of two references are both larger than the POC of the current picture, or are both smaller than the POC of the current picture), the sign in Table 4 specifies the sign of MV offset added to the starting MV.）。開始ＭＶが現在ピクチャの他の面を指す２つのＭＶを有する双予測ＭＶである場合（すなわち、１つの参照のＰＯＣが現在ピクチャのＰＯＣより大きく他の参照のＰＯＣが現在ピクチャのＰＣＯより小さい場合）、表４のサインは開始ＭＶのｌｉｓｔ０ ＭＶ成分に追加されたＭＶオフセットのサインを示し、ｌｉｓｔ１ ＭＶのサインは逆の値を有する（When the starting MVs is bi-prediction MVs with the two MVs point to the different sides of the current picture (i.e. the POC of one reference is larger than the POC of the current picture, and the POC of the other reference is smaller than the POC of the current picture), the sign in Table 4 specifies the sign of MV offset added to the list0 MV component of starting MV and the sign for the list1 MV has opposite value.）。
マージプラスＭＶＤオフセットＭｍｖｄＯｆｆｓｅｔ［ｘ０］［ｙ０］の２つの構成要素は、以下のように導出される（Both components of the merge plus MVD offset MmvdOffset[x0][y0] are derived as follows.）。
インター予測のためにサブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ）方法が用いられる（Subblock-based temporal motion vector prediction (SbTMVP) method can be used for inter prediction.）。ＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と類似して、ＳｂＴＭＶＰは同一位置ピクチャの動きフィールドを使用して現在ピクチャのＣＵに対する動きベクトル予測及びマージモードを向上させる（Similar to the temporal motion vector prediction (TMVP), SbTMVP uses the motion field in the collocated picture to improve motion vector prediction and merge mode for CUs in the current picture.）。ＴＭＶＰにおいて使用される同一位置ピクチャが同一にＳｂＴＶＭＰに使用される（The same collocated picture used by TMVP is used for SbTVMP.）。ＳｂＴＭＶＰは、以下の２つの主要側面でＴＭＶＰと異なる（SbTMVP differs from TMVP in the following two main aspects.）。
１．ＴＭＶＰはＣＵレベルでの動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルでの動きを予測する（TMVP predicts motion at CU level but SbTMVP predicts motion at sub-CU level.）。
２．ＴＭＶＰは同一位置ピクチャ内の同一位置ブロックから時間的動きベクトルをフェッチする反面（前記同一位置ブロックは現在ＣＵを基準に右下側又はセンター（右下側センター）ブロックである）、ＳｂＴＭＶＰは前記同一位置ピクチャから時間的動き情報をフェッチする前にモーションシフト（ここで、モーションシフトは現在ＣＵの空間的周辺ブロックのうち１つからの動きベクトルから取得される）を適用する（Whereas TMVP fetches the temporal motion vectors from the collocated block in the collocated picture (the collocated block is the bottom-right or center (below-right center) block relative to the current CU), SbTMVP applies a motion shift before fetching the temporal motion information from the collocated picture, where the motion shift is obtained from the motion vector from one of the spatial neighbouring blocks of the current CU.）。
ＳｂＴＭＶＰは、現在ＣＵ内のサブＣＵの動きベクトルを２つのステップで予測する（SbTMVP predicts the motion vectors of the sub-CUs within the current CU in two steps.）。第１ステップにおいて、空間的隣接Ａ１を検査する（In the first step, the spatial neighbour A1 is examined.）。参照ピクチャが識別される時、同一位置ピクチャを参照ピクチャとして使用する動きベクトルをＡ１が有する場合、この動きベクトル（時間的ＭＶ（ｔｅｍｐＶＭ）と呼ばれてもよい）が適用されるモーションシフトとして選択される（If A1 has a motion vector that uses the collocated picture as its reference picture is identified, this motion vector (may be referred to as a temporal MV (tempVM)) is selected to be the motion shift to be applied.）。このような動きが識別されない場合、モーションシフトは（０，０）に設定される（If no such motion is identified, then the motion shift is set to (0, 0).）。
第２ステップにおいて、第１ステップで識別されたモーションシフトが適用されて（すなわち、現在ブロックの候補として追加される）、同一位置ピクチャからサブＣＵレベル動き情報（動きベクトル及び参照インデックス）を取得する（In the second step, the motion shift identified in Step 1 is applied (i.e. added to the current block's coordinates) to obtain sub-CU-level motion information (motion vectors and reference indices) from the collocated picture.）。また、それぞれのサブＣＵに対して、同一位置ピクチャ内の対応するブロック（センターサンプルをカバーする最小のモーショングリッド）の動き情報がサブＣＵに関するモーション情報の導出に使用される（Then, for each sub-CU, the motion information of its corresponding block (the smallest motion grid that covers the center sample) in the collocated picture is used to derive the motion information for the sub-CU.）。センターブロック（右下側センターサンプル）はサブブロックの長さ及び幅が偶数である場合、サブＣＵ内の４つのセンターサンプルのうち右下側サンプル該当し得る（The center sample (below right center sample) may correspond to a below-right sample among 4 central samples in the sub-CU when the sub-block has even length width and height.）
同一位置サブＣＵの動き情報が識別された後、ＴＭＶＰプロセスと類似の方式で現在のサブＣＵの動きベクトル及び参照インデックスに変換され、ここで、時間的動きスケーリングが適用されて時間的動きベクトルの参照ピクチャを現在ＣＵの参照ピクチャに配置する（After the motion information of the collocated sub-CU is identified, it is converted to the motion vectors and reference indices of the current sub-CU in a similar way as the TMVP process, where temporal motion scaling may be applied to align the reference pictures of the temporal motion vectors to those of the current CU.）。
ＳｂＴＶＭＰ候補及びアフィンマージ候補を全て含む結合されたサブブロックベースのマージリストは、アフィンマージモード（サブブロック（ベース）マージモードと称されてもよい）のシグナリングのために使用されることができる（A combined sub-block based merge list which contains both SbTVMP candidate and affine merge candidates may be used for the signalling of affine merge mode (may be referred to as sub-block (based) merge mode).）。ＳｂＴＶＭＰモードはＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）フラグにより活性化／非活性化される（The SbTVMP mode is enabled/disabled by a sequence parameter set (SPS) flag.）。ＳｂＴＭＶＰモードが活性化する場合、ＳｂＴＭＶＰ予測子はサブブロックマージ候補リストの１番目の項目として追加された後、アフィンマージ候補が追加される（If the SbTMVP mode is enabled, the SbTMVP predictor is added as the first entry of the list of sub-block merge candidates, and followed by the affine merge candidates.）。アフィンマージ候補リストの最大許容サイズは５であり得る（The maximum allowed size of the affine merge candidate list may be 5.）。
ＳｂＴＭＶＰにおいて使用されるｓｕｂ－ＣＵサイズは８×８に固定され、アフィンマージモードでのようにＳｂＴＭＶＰモードは幅と高さが両方とも８以上であるＣＵにのみ該当する（The sub-CU size used in SbTMVP may be fixed to be 8x8, and as done for affine merge mode, SbTMVP mode may be only applicable to the CU with both width and height are larger than or equal to 8.）。
追加的なＳｂＴＭＶＰマージ候補のエンコーディングロジックは他のマージ候補と同一であり、すなわち、Ｐ又はＢスライスの各ＣＵに対して、ＳｂＴＭＶＰ候補の使用可否を決定するために追加的なＲＤチェックが行われる（The encoding logic of the additional SbTMVP merge candidate is the same as for the other merge candidates, that is, for each CU in P or B slice, an additional RD check may be performed to decide whether to use the SbTMVP candidate.）。
インター予測のためにトライアングルパーティションモードが使用される（A triangle partition mode may be used for inter prediction.）。前記トライアングルパーティションモードは、８×８又はそれ以上のＣＵに対してのみ適用できる（The triangle partition mode may be only applied to CUs that are 8x8 or larger.）。前記トライアングルパーティションモードは、レギュラーマージモード、ＭＭＶＤモード、ＣＩＩＰモード及びサブブロックマージモードを含む他のマージモードとともに、マージモードの一種としてＣＵレベルフラグを用いてシグナリングされることができる（The triangle partition mode is signalled using a CU-level flag as one kind of merge mode, with other merge modes including the regular merge mode, the MMVD mode, the CIIP mode and the subblock merge mode.）。
このモードが使用される場合、ＣＵは対角線分割又は半対角線分割を使用して、２つの三角形のパーティションに均等に分割される（When this mode is used, a CU may be split evenly into two triangle-shaped partitions, using either the diagonal split or the anti-diagonal split.）。ＣＵ内の各三角形のパーティションは、自体動きを使用してインター予測され、各パーティションに対して単予測のみが許容される。すなわち、各パーティションは１つのモーションベクトルと１つの参照インデックスを有する（Each triangle partition in the CU is inter-predicted using its own motion; only uni-prediction is allowed for each partition, that is, each partition has one motion vector and one reference index.）。単方向予測動き制約は既存の双予測と同様に、各ＣＵに対して２つの動き補償予測のみが必要であるということを保障するために適用される（The uni-prediction motion constraint is applied to ensure that same as the conventional bi-prediction, only two motion compensated prediction are needed for each CU.）。
現在ＣＵに対してトライアングルパーティションモードが使用される場合、前記トライアングルパーティションの方向（対角線又は半対角線）を示すフラグと２つのマージインデックス（各パーティション毎に１つずつ）が追加でシグナリングされる（If triangle partition mode isused for the current CU, then a flag indicating the triangle partition (diagonal or anti-diagonal), and two merge indices (one for each partition) are further signalled.）。最大ＴＰＭ（ｔｒｉａｎｇｌｅ ｐａｒｔｉｔｉｏｎ ｍｏｄｅ）候補サイズの数は、スライスレベルで明示的にシグナリングされ、ＴＰＭマージインデックスに対するシンタックス二進化を示す（The number of maximum TPM candidate size is signalled explicitly at slice level and specifies syntax binarization for TMP merge indices.）。それぞれのトライアングルパーティションを予測した後、対角線又は半対角線エッジに沿うサンプル値は適応的加重値を有するブレンディングプロセスを利用して調整される（After predicting each of the triangle partitions, the sample values along the diagonal oranti-diagonal edge are adjusted using a blending processing with adaptive weights.）。これは、全体ＣＵに対する予測信号であり、変換及び量子化プロセスは他の予測モードでのように全体ＣＵに適用される（This is the prediction signal for the whole CU, and transform and quantization process will be applied to the whole CU as in other prediction modes.）。最後に、トライアングルパーティションモードを使用して予測したＣＵのモーションフィールドは、４×４単位で格納される（Finally, the motion field of a CU predicted using the triangle partition mode is stored in 4x4 units.）。トライアングルパーティションモードはＳＢＴ（ｓｕｂｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ）と一緒に使用されない。すなわち、シグナリングされたトライアングルモードの値が１であるとき、ｃｕ＿ｓｂｔ＿ｆｌａｇはシグナリングなしに０として導出される（The triangle partition mode is not used in combination with SBT, that is, when the signalled triangle mode is equal to 1, the cu_sbt_flag is inferred to be 0 without signalling.）。
単予測候補リストは前述のマージ候補リストから直接導出される（The uni-prediction candidate list is derived directly from the merge candidate list constructed as described above.）。
自体の動きを使って各トライアングルパーティションを予測した後、２つの予測信号にブレンディングが適用されて対角線又は半対角線エッジの周辺においてサンプルを導出する（After predicting each triangle partition using its own motion, blending is applied to the two prediction signals to derive samples around the diagonal or anti-diagonal edge.）。
一方、結合されたインター及びイントラの予測が現在ブロックに適用されることができる（Combined inter and intra prediction can be applied to a current block.）。ＣＩＩＰモードが現在ＣＵに適用されるか否かを示すために追加フラグ（例えば、ｃｉｉｐ＿ｆｌａｇ）がシグナリングされる（An additional flag (ex. ciip_flag) may be signalled to indicate if the combined inter/intra prediction (CIIP) mode is applied to the current CU.）。例えば、ＣＵがマージモードでコーディングされた場合、ＣＵに最小６４個のルマサンプルが含まれ（すなわち、ＣＵ幅とＣＵ高さの積が６４ルマサンプルより大きいか等しく）ＣＵ幅とＣＵ高さが全て１２８ルマサンプルより小さい場合、ＣＩＩＰモードが現在のＣＵに適用されるか否かを示すために追加フラグがシグナリングされる（For example, when a CU is coded in merge mode, if the CU contains at least 64 luma samples (that is, CU width times CU height is equal to or larger than 64), and if both CU width and CU height are less than 128 luma samples, the additional flag is signalled to indicate if the combined inter/intra prediction (CIIP) mode is applied to the current CU.）。その名称が示しているすように、ＣＩＩＰ予測はインター予測信号とイントラ予測信号を結合する（As its name indicates, the CIIP prediction combines an inter prediction signal with an intra prediction signal.）。ＣＩＩＰモードＰ＿ｉｎｔｅｒにおけるインター予測信号は、レギュラーマージモードに適用される同一のインター予測プロセスを利用して導出され、イントラ予測信号Ｐ＿ｉｎｔｒａはプラナーモードを有するレギュラーイントラ予測プロセスに従って導出される（The inter prediction signal in the CIIP mode P_inter is derived using the same inter prediction process applied to regular merge mode; and the intra prediction signal P_intra is derived following the regular intra prediction process with the planar mode.）。その後、イントラ及びインター予測信号は加重平均を使用して結合され、ここで、加重値は次のように上側及び左側周辺ブロックのコーディングモードに応じて計算される（Then, the intra and inter prediction signals are combined using weighted averaging, where the weight value is calculated depending on the coding modes of the top and left neighbouring blocks as follows.）
上側隣接が使用可能で、イントラコーディングされた場合、ｉｓＩｎｔｒａＴｏｐを１に設定し、そうでない場合、ｉｓＩｎｔｒａＴｏｐを０に設定する（If the top neighbor is available and intra coded, then set isIntraTop to 1, otherwise set isIntraTop to 0.）。
左側隣接が使用可能で、イントラコーディングされた場合、ｉｓＩｎｔｒａＬｅｆｔを１に設定し、そうでない場合、ｉｓＩｎｔｒａＬｅｆｔを０に設定する（If the left neighbor is available and intra coded, then set isIntraLeft to 1, otherwise set isIntraLeft to 0.）。
（ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＬｅｆｔ）が２である場合、加重値（ｗｔ）は３に設定される（If (isIntraLeft + isIntraLeft) is equal to 2, then wt is set to 3.）。
そうではなく（ｉｓＩｎｔｒａＬｅｆｔ＋ｉｓＩｎｔｒａＬｅｆｔ）が１であると、ｗｔは２に設定される（Otherwise, if (isIntraLeft + isIntraLeft) is equal to 1, then wt is set to 2.）。
そうでないと、ｗｔは１に設定される（Otherwise, set wt to 1.）。
ＣＩＩＰ予測は次のように形成される（The CIIP prediction is formed as follows.）。
一方、コーディング装置において予測ブロックを生成するために、前述のレギュラーマージモード、スキップモード、ＳｂＴＭＶＰモード、ＭＭＶＤモード、トライアングルパーティションモード（パーティショニングモード）及び／又はＣＩＩＰモードに基づいて動き情報を誘導することができる。各モードは、シーケンスパラメータセット（ＳＰＳ）に含まれるそれぞれのモードに対するオン／オフフラグ（ｏｎ／ｏｆｆ ｆｌａｇ）を介して活性化／非活性化（ｅｎａｂｌｅ／ｄｉｓａｂｌｅ）される。もし、特定モードのためのオン／オフフラグが非活性化（ｄｉｓａｂｌｅ）されると、エンコーディング装置はＣＵ又はＰＵ単位で当該予測モードのために明示的（ｅｘｐｌｉｃｉｔ）に送信されるシンタックス（ｓｙｎｔａｘ）をシグナリングしない。
本文書では、不要な（ｒｅｄｕｎｄａｎｔ）シンタックスのシグナリングが除去されるようにするために、マージ／スキップモードのオン／オフ及び適用方法を考慮してシンタックスをシグナリングする方法が開示される。
例えば、レギュラーマージフラグ（ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ）の場合、ＭＭＶＤ、サブブロックマージ（ｓｕｂｂｌｏｃｋ ｍｅｒｇｅ）、ＣＩＩＰマージ、及びトライアングルマージ（ｔｒｉａｎｇｌｅ ｍｅｒｇｅ）が許容されない条件では、可能な候補がレギュラーマージモード以外に存在しないため、フラグ（例えば、レギュラーマージフラグ）をシグナリングする必要がない。
また、ｍｍｖｄ関連フラグ（例えば、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）も、サブブロックマージ、ＣＩＩＰマージ及びトライアングルマージが許容されない条件ではシグナリングする必要がない。
サブブロック関連のフラグ（例えば、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）はＣＩＩＰマージ及びトライアングルマージが許容されない条件ではシグナリングする必要がない。
ＣＩＩＰ関連フラグ（例えば、 ｃｉｉｐ＿ｆｌａｇ） の場合、トライアングルマージが許容されない条件ではシグナリングする必要がない。
従って、表２のマージデータシンタックスによれば、マージ／スキップモードのための特定モードが全て非活性化（ｄｉｓａｂｌｅ）されるか、一部非活性化（ｄｉｓａｂｌｅ）されたる場合、オン／オフフラグが不要に（ｒｅｄｕｎｄａｎｔ）シグナリングされる問題が発生する。従って、本文書では、現在ブロックに適用されるマージモードを選択する過程で、同一の情報（フラグ）が重複してシグナリングされることを防止するために、次のような方法が使用される。
以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／情報の名称は例示的に提示されたものであるので、本明細書の技術的特徴が以下の図面に用いられた具体的な名称に制限されるものではない。
図８及び図９は、本文書の実施形態によるインター予測方法を含むビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。
図８において開示されたエンコーディング方法は、図２において開示されたエンコーディング装置２００により行われる。具体的に、例えば、図８のＳ８００及びＳ８１０はエンコーディング装置２００の予測部２２０により行われ、Ｓ８２０はエンコーディング装置２００のレジデュアル処理部２３０により行われ、Ｓ８３０はエンコーディング装置２００のエントロピーエンコーディング部２４０により行われる。図８において開示されたエンコーディング方法は、本文書で前述した実施形態を含む。
具体的に、図８及び図９に示すように、エンコーディング装置の予測部は現在ブロックの予測モードを決定する（Ｓ８００）。一例として、エンコーディング装置の予測部は、現在ブロックにインター予測が適用される場合、レギュラーマージモード、スキップモード、ＭＭＶＤモード、サブブロックマージモード、パーティショニングモード、ＣＩＩＰモードのいずれか１つを前記現在ブロックの予測モードとして決定することができる。
ここで、前記レギュラーマージモードは、周辺ブロックの動き情報を利用して現在ブロックの動き情報を誘導するモードと定義される。スキップモードは、予測ブロックを復元ブロックとして使用するモードと定義される。前記ＭＭＶＤモードは、前記マージモード又は前記スキップモードに適用されるものであり、動きベクトル差分を利用するマージ（又は、スキップ）モードと定義される。前記サブブロックマージモードは、サブブロックに基づくマージモードと定義される。前記パーティショニングモードは、現在ブロックを２つのパーティション（対角線又は半対角線）に分けて予測を行うモードと定義される。前記ＣＩＩＰモードは、ピクチャ間の併合（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ）とピクチャ内の予測（ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）が結合されたモードと定義される。
エンコーディング装置の予測部は、現在ブロックの予測モードに基づいて現在ブロックの予測サンプルを導出する（Ｓ８１０）。例えば、現在ブロックに対する予測モードが（レギュラー）マージモードと決定される場合、エンコーディング装置の予測部は、前記現在ブロックの空間的周辺ブロックと時間的周辺ブロックに基づいてマージ候補リスト（又は、動き情報候補リスト）を構成し、これに基づいて動き情報を生成することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含む。エンコーディング装置の予測部は、動き推定を介して参照ピクチャの一定領域（サーチ領域）内において現在ブロックと類似したブロックをサーチして前記現在ブロックとの差が最小又は一定基準以下である参照ブロックを導出し、これに基づいて前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出することができる。また、前記参照ブロックと前記現在ブロックの位置差に基づいて動きベクトルを導出することができる。
例えば、現在ブロックに対する予測モードが（レギュラー）マージモードと決定される場合、エンコーディング装置の予測部は、前記現在ブロックの空間的周辺ブロックと時間的周辺ブロックに基づいてマージ候補リスト（又は、動き情報候補リスト）を構成し、これに基づいて動き情報を生成することができる。エンコーディング装置の予測部は、現在ブロックの予測モードと現在ブロックの動き情報に基づいて現在ブロックの予測サンプル（予測ブロック）を導出することができる。また、前記予測モードに基づいて予測モードに関する情報を生成することができる。ここで、前記予測モードに関する情報は、インター／イントラ予測区分情報、インター予測モード情報などを含み、これに関する様々なシンタックス要素を含む。
エンコーディング装置のレジデュアル処理部は、前記現在ブロックに対する原本のサンプル（原本ブロック）と前記現在ブロックに対する予測サンプル（予測ブロック）に基づいてレジデュアルサンプルを生成する（Ｓ８２０）。また、前記レジデュアルサンプルに基づいてレジデュアルサンプルに関する情報を導出することができる。
エンコーディング装置のエンコーディング部は、前記レジデュアルサンプルに関する情報、前記予測モードに関する情報などを含む映像情報をエンコーディングする（Ｓ８３０）。前記映像情報は、パーティショニング関連情報、予測モードに関する情報、レジデュアル情報、インループフィルタリング関連情報などを含み、それに関する様々なシンタックス要素を含む。エンコーディング装置のエンコーディング部においてエンコーディングされた情報はビットストリーム形態で出力される。前記ビットストリームは、ネットワーク又は格納媒体を介してデコーディング装置に送信されることができる。
例えば、前記映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報を含む。また、前記映像情報は、コーディングユニットシンタックス、マージデータシンタックスなどの現在ブロックの予測モードに関する情報を含む。ここで、前記シーケンスパラメータセットはＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）可用フラグ（ｃｉｉｐ ｅｎａｂｌｅｄ ｆｌａｇ）、パーティショニングモードに対する可用フラグなどを含む。前記コーディングユニットシンタックスは、現在ブロックにスキップモードが適用されるか否かを示すＣＵスキップフラグ（ＣＵ ｓｋｉｐ ｆｌａｇ）を含む。
一実施形態によれば、一例として、エンコーディング装置は、同一シンタックスが重複送信されないようにＭＭＶＤ（ＭＭＶＤモード）が許容される条件（ＭＭＶＤＡｌｌｏｗｅｄ）、マージサブブロック（サブブロックマージモードが許容される条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、マージＣＩＩＰ（ＣＩＩＰモード）が許容される条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及び／又はマージトライアングル（パーティショニングモード）が許容される条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）に基づいてレギュラーマージフラグ（ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ）のシグナリング条件と関連セマンティクス、ＭＭＶＤマージフラグ（ＭＭＶＤ＿ｍｅｒｇｅ＿ｆｌａｇ）のシグナリング条件と関連セマンティックス、マージサブブロックフラグ（ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）のシグナリング条件と関連セマンティックス及び／又はＣＩＩＰフラグのシグナリング条件と関連セマンティックスの一部が適用されるか全てが適用されることができる。
このために、マージデータシンタックスは一例として、次の表５のように構成される。
表５において、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］は、現在コーディングユニットに対するインター予測パラメータが隣接するインター予測されたパーティションから誘導されるか否かを示す（general_merge_flag[x0][y0] specifies whether the inter prediction parameters for the current coding unit are inferred from a neighbouring inter-predicted partition.）。アレイインデックスｘ０、ｙ０はピクチャの左上側ルマサンプルに対する考慮されたコーディングブロックの左上側ルマサンプル位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、これは次のように導出される（When general_merge_flag[x0][y0] is not present, it is inferred as follows.）。
－ｃｕ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１であると、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］は１として導出される（If cu_skip_flag[x0][y0] is equal to 1, general_merge_flag[x0][y0] is inferred to be equal to 1.）。
－そうでないと、ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０として導出される（Otherwise, general_merge_flag[x0][y0] is inferred to be equal to 0.）。
表５において、ＭＭＶＤ（ＭＭＶＤ モード）が許容される条件（ＭＭＶＤＡｌｌｏｗｅｄ）、マージサブブロック（サブブロックマージモード）が許容される条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、マージＣＩＩＰ（ＣＩＩＰモード）が許容される条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）、及びマージトライアングル（パーティショニングモード）が許容される条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｏｗｅｄ）はそれぞれ次のような条件に従って誘導される。
もし、次の条件が全て真であれば、変数ＭＭＶＤＡｌｌｏｗｅｄは真に設定される（If all of the following conditions are true, the variable MMVDAllowed is set equal to true.）。
－ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１（general_merge_flag[x0][y0] is equal to 1）
－ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１（sps_mmvd_enabled_flag is equal to 1）
－現在ブロックの高さと現在ブロックの幅の積が３２より大きい（cbWidth *cbHeight is greater than 32）
もし、次の条件が全て真であれば、変数ＭＭＶＤＳｕｂｂｌｏｃｋＡｌｌｏｗｅｄは真に設定される（If all of the following conditions are true, the variable MergeSubblockAllowed is set equal to true.）。
－ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１（general_merge_flag[x0][y0] is equal to 1）
－サブブロックマージ候補の最大個数が０より大きい（MaxNumSubblockMergeCand > 0）
－ブロックの幅が８以上であり、ブロックの高さが８以上（cbWidth is greater than or equal to 8 and cbHeight is greater than orequal to 8）
もし、次の条件が全て真であれば、変数 ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄは真に設定される（If all of the following conditions are true, the variable MergeCIIPAllowed is set equal to true.）。
－ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１（general_merge_flag[x0][y0] is equal to 1）
－ｓｐｓ＿ｃｉｉｐ＿ｅｎａｂｌｅｄ＿Ｆｌａｇの値が１（sps_ciip_enabled_Flag is equal to 1）
－ｃｕ＿ｓｋｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値が０（cu_skip_flag[x0][y0] is equal to 0）
－現在ブロックの幅と高さの積が６４以上（cbWidth * cbHeight is greater than or equal to 64）
－現在ブロックの幅が１２８より小さく、現在ブロックの高さが１２８より小さい（cbWidth is smaller than 128 and cbHeight is smaller than 128）
もし、次の条件が全て真であれば、変数ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄは真に設定される（If all of the following conditions are true, MergeTriangleAllowed is set equal to true.）。
－ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１（general_merge_flag[x0][y0] is equal to 1）
－ｓｐｓ＿ｔｒｉａｎｇｌｅ＿ｅｎａｌｂｅｄ＿Ｆｌａｇの値が１であり、スライドタイプがＢ（sps_triangle_enalbed_Flag is equal to 1 and slice_type is equal to B）
－トライアングルマージ候補の最大個数が２以上（NaxNumTriangleMergeCand is greater than or equal to 2）
－現在ブロックの幅と高さの積が６４以上（cbWidth * cbHeight is greater than or equal to 64）
前記条件のうち、ＭＭＶＤＡｌｌｏｗｅｄはＭＭＶＤが許容可能である条件を意味するが、このとき、ブロックサイズに基づく条件は、現在ブロックが４×８及び８×４でない場合に可能である。しかしながら、４×８及び／又は８×４ブロックにおいて単予測（ｕｎｉ－ｐｒｅｄｉｃｔｉｏｎ）ＭＭＶＤ が許容される場合、圧縮効率が改善できるため、ＭＭＶＤＡｌｌｏｗｅｄ条件は以下のように変更できる。
もし、次の条件が全て真であれば、変数ＭＭＶＤＡｌｌｏｗｅｄは真に設定される（If all of the following conditions are true, the variable MMVDAllowed is set equal to true.）。
－ｇｅｎｅｒａｌ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値は１（general_merge_flag[x0][y0] is equal to 1）
－ｓｐｓ＿ｍｍｖｄ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は１（sps_mmvd_enabled_flag is equal to 1）
一方、レギュラーマージプラグの値１は、現在コーディングユニット（現在ブロック）のインター予測パラメータの生成にレギュラーマージモードが使用されることを示す（regular_merge_flag[x0][y0] equal to 1 specifies that regular merge mode is used to generate the inter prediction parameters of the current coding unit.）。アレイインデックスｘ０、ｙ０はピクチャの左上側ルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location （x0, y0） of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
表５を参照すると、レギュラーメジプラグはＭＭＶＤモードに基づく条件（ＭＭＶＤＡｌｌｏｗｅｄ）、サブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）のうち少なくとも１つの値は１である場合、映像情報に含まれてビットストリームの形態でシグナリングされる。
一例として、レギュラーマージプラグはＣＩＩＰが可用である場合、ビットストリームに含まれることができる。ＣＩＩＰが可用であることは、ゼネラルマージフラグ、ＣＩＩＰ可用フラグ、現在ブロックのサイズ及びＣＵスキップフラグの少なくとも１つに基づいて判断できる。例えば、前記レギュラーマージフラグは、ゼネラルマージフラグの値が１である場合、又は、ＣＩＩＰ可用フラグの値が１である場合、又は、前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上である場合、又は、前記現在ブロックの高さと前記現在ブロックの幅がそれぞれ１２８より小さい場合、又は、前記スキップフラグの値が０である場合、ビットストリームに含まれる。または、前記レギュラーマージフラグは、ゼネラルマージフラグ、ＣＩＩＰ可用フラグ、現在ブロックのサイズ及びＣＵスキップフラグに基づく条件が全て満たされる場合、ビットストリームに含まれる。
他の例として、レギュラーマージフラグは、パーティショニングモードが可用である場合、ビットストリームに含まれることができる。パーティショニングモードが可用であることは、ゼネラルマージフラグ、パーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグ、現在ブロックに関する情報の少なくとも１つに基づいて判断される。例えば、前記レギュラーマージフラグは、ゼネラルマージフラグの値が１である場合、又はパーティショニングモード可用フラグの値が１である場合、又は前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上である場合、又は前記現在ブロックのスライスタイプがＢスライスである場合、又はパーティショニングモード候補の最大個数が２以上である場合、ビットストリームに含まれる。または、前記レギュラーマージフラグは、前記条件が全て満たされる場合にビットストリームに含まれる。
マージデータシンタックスにレギュラーマージフラグが存在しない場合、これは次のように導出される（When regular_merge_flag[x0][y0] is not present in the merge data syntax, it is inferred as follows.）。
もし、次の条件が全て真である場合、レギュラーマージプラグの値は１として導出される（If all of the following conditions are true, regular_merge_flag[x0][y0] is inferred to be equal to 1.）。
－ＭＭＶＤＡｌｌｏｗｅｄの値は０（MMVDAllowed is equal to 0）
－ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄの値は０（MergeSubBlockAllowed is equal to 0）
－ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄの値は０（MergeCIIPAllowed is equal to 0）
－ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄの値は０（MergeTriangleAllowed is equal to 0）
－その他、レギュラーマージフラグの値は０として導出される（Otherwise, regular_merge_flag[x0][y0] is inferred to be equal to 0.）。
一方、ＭＭＶＤマージフラグの値１は、動きベクトル差分を有するマージモードが現在コーディングユニット（現在ブロック）のインター予測パラメータの生成に使用されることを示す（mmvd_merge_flag[x0][y0] equal to １ specifies that merge mode with motion vector difference is used to generate the inter prediction parameters of the current coding unit.）。アレイインデックスｘ０、ｙ０はピクチャの左上側のルマサンプルに対して考慮されるコーディングブロックの左上側のルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
表５を参照すると、ＭＭＶＤマージフラグはＭＭＶＤモードに基づく条件（ＭＭＶＤＡｌｌｏｗｅｄ）、サブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）のうち少なくとも１つの値が１である場合、映像情報に含まれてビットストリームの形態でシグナリングされる。
マージデータシンタックスにＭＭＶＤマージフラグが存在しない場合、これは次のように導出される（When mmvd_merge_flag[x0][y0] is not present in the merge data syntax, it is inferred as follows.）。
もし、次の条件が全て真である場合、ＭＭＶＤマージフラグの値は１として導出される（If all of the following conditions are true, mmvd_merge_flag[x0][y0] is inferred to be equal to 1.）。
－ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０（regular_merge_flag[x0][y0] is equeal to 0）
－ＭＭＶＤＡｌｌｏｗｅｄの値は１（MMVDAllowed is equal to 0）
－ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄの値は０（MergeSubBlockAllowed is equal to 0）
－ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄの値は０（MergeCIIPAllowed is equal to 0）
－ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄの値は０（MergeTriangleAllowed is equal to 0）
－以外には、ＭＭＶＤマージフラグの値が０として導出される（Otherwise, mmvd_merge_flag[x0][y0] is inferred to be equal to 0.）。
ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ［ｘ０］［ｙ０］は、マージ候補リストの１番目（０）又は２番目（１）候補がｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］及びｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］ から導出された動きベクトル差分と共に使用されるか否かを示す（mmvd_cand_flag[x0][y0] specifies whether the first (0) or the second (1) candidate in the merging candidate list is used with the motion vector difference derived from mmvd_distance_idx[x0][y0] and mmvd_direction_idx[x0][y0].）。アレイインデックスｘ０、ｙ０は、ピクチャの左上側ルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。ｍｍｖｄ＿ｃａｎｄ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、これは０として導出される（When mmvd_cand_flag[x0][y0] is not present, it is inferred to be equal to 0.）。
ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ［ｘ０］［ｙ０］は、表３に指定されたＭＭＶＤＤｉｓｔａｎｃｅ［ｘ０］［ｙ０］の導出に使用されるインデックスを示す（mmvd_distance_idx[x0][y0] specifies the index used to derive MMVDDistance[x0][y0] as specified in Table 3.）。アレイインデックスｘ０、ｙ０はピクチャの左上側のルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ［ｘ０］［ｙ０］は、表４に指定されたＭＭＶＤＳｉｇｎ［ｘ０］［ｙ０］の導出に使用されるインデックスを示す（mmvd_direction_idx[x0][y0] specifies index used to derive MMVDSign[x0][y0] as specified in Table 4.）。アレイインデックスｘ０、ｙ０はピクチャの左上側ルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
マージプラスＭＶＤオフセットＭＭＶＤＯｆｆｓｅｔ［ｘ０］［ｙ０］の２つの構成要素は、数式１のように導出される（Both components of the merge plus MVD offset MMVDOffset[x0][y0] are derived as Equation 1.）。
一方、マージサブブロックフラグは、周辺ブロックから現在コーディングユニットのためにサブブロックベースのインター予測パラメータが導出されるか否かを示す（merge_subblock_flag[x0][y0] specifies whether the subblock-based inter prediction parameters for the current coding unit are inferred from neighbouring blocks.）。アレイインデックスｘ０、ｙ０はピクチャの左上側のルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
表５を参照すると、マージサブブロックフラグは、サブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）のうち少なくとも１つの値が１である場合、映像情報に含まれてビットストリーム形態でシグナリングされる。
マージデータシンタックスにマージサブブロックフラグが存在しない場合、これは次のように導出される（When merge_subblock_flag[x0][y0] is not present in the merge data syntax, it is inferred as follow.）。
もし、次の条件が全て真である場合、マージサブブロックフラグの値は１として導出される（If all of the following conditions are true, merge_subblock_flag[x0][y0] is inferred to be equal to 1.）。
－レギュラーマージフラッグの値が０（regular_merge_flag[x0][y0] is equal to 0）
－ＭＭＶＤマージフラグの値が０（mmvd_merge_flag[x0][y0] is equal to 0）
－ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄの値は０（MergeSubBlockAllowed is equal to 0）
－ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄの値は０（MergeCIIPAllowed is equal to 0）
－ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄの値は０（MergeTriangleAllowed is equal to 0）
－以外には、マージサブブロックフラグの値が０として導出される（Otherwise, merge_subblock_flag[x0][y0] is inferred to be equal to 0.）。
ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ［ｘ０］［ｙ０］はサブブロックベースのマージ候補リストのマージ候補インデックスを示す。ここで、ｘ０、ｙ０は、ピクチャの左上側ルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す。（merge_subblock_idx[x0][y0] specifies the merging candidate index of the subblock-based merging candidate list where x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ［ｘ０］［ｙ０］が存在しない場合、これは０として導出される（When merge_subblock_idx[x0][y0] is not present, it is inferred to bequal to0.）。
一方、ｃｉｉｐ＿ｆｌａｇ［x０］［y０］は、結合されたインター－ピクチャマージ及びイントラ－ピクチャマージが現在コーディングユニットに適用されるか否かを示す（ciip_flag[x0][y0] specifies whether the combined inter-picture merge and intra-picture prediction is applied for the current coding unit.）。アレイインデックスｘ０、ｙ０はピクチャの左上側ルマサンプルに対して考慮されるコーディングブロックの左上側ルマサンプルの位置（ｘ０，ｙ０）を示す（The array indices x0, y0 specify the location (x0, y0) of the top-left luma sample of the considered coding block relative to the top-left luma sample of the picture.）。
表５を参照すると、ＣＩＩＰフラグはＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）の少なくとも１つの値が１である場合、映像情報に含まれてビットストリームの形態でシグナリングされる。
例えば、ＣＩＩＰフラグはパーティショニングモードが可用である場合、ビットストリームに含まれることができる。パーティショニングモードが可用であることは、ゼネラルマージフラグ、パーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグ、現在ブロックに関する情報の少なくとも１つに基づいて判断できる。例えば、前記ＣＩＩＰフラグは、ゼネラルマージフラグの値が１である場合、又はパーティショニングモード可用フラグの値が１である場合、又は前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上である場合、又は前記現在ブロックのスライスタイプがＢスライスである場合、又はパーティショニングモード候補の最大個数が２以上である場合、ビットストリームに含まれることができる。または、前記ＣＩＩＰフラグは、前記条件が全て満たされる場合、ビットストリームに含まれる。
マージデータシンタックスにｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、これは次のように導出される（When ciip_flag[x0][y0] is not present, it is inferred as follows.）。
もし、次の条件が全て真である場合、ＣＩＩＰフラグの値は１として導出される（If all the following conditions are true, ciip_flag[x0][y0] is set equal to 1.）。
－ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄの値は０（MergeCIIPAllowed is equal to 0）
－ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄの値は０（MergeTriangleAllowed is equal to 0）
－以外には、ＣＩＩＰフラグの値が０として導出される（Otherwise, ciip_flag[x0][y0] is set equal to 0.）
ｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値が１である場合、ｘ＝ｘＣｂ．．ｘＣｂ＋ｃｂＷｉｄｔｈ－１及びｙ＝ｙＣｂ．．ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１である変数ＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘ］［ｙ］はＩＮＴＲＡ_ＰＬＡＮＡＲとして設定される（When ciip_flag[x0][y0] is equal to 1, the variable IntraPredModeY[x][y] with x = xCb..xCb + cbWidth - 1 and y = yCb..yCb + cbHeight - 1 is set to be equal to INTRA_PLANAR.）。
変数ＭｅｒｇｅＴｒｉａｎｇｌｅＦｌａｇ［ｘ０］［ｙ０］は、トライアングルスライスベースの動き補償がＢスライスをデコーディングするときに現在コーディングユニットの予測サンプルの生成に使われるか否かを示し、次のように導出される（The variable MergeTriangleFlag[x0][y0], which specifies whether triangular shape based motion compensation is used to generate the prediction samples of the current coding unit, when decoding a B slice, is derived as follows.）。
次の条件が全て真である場合、ＭｅｒｇｅＴｒｉａｎｇｌｅＦｌａｇ［ｘ０］［ｙ０］の値は１に設定される（If all the following conditions are true, MergeTriangleFlag[x0][y0] is set equal to 1.）。
－ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄの値は１（MergeTriangleAllowed is equal to 1）
－ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０（regular_merge_flag[x0][y0] is equal to 0）
－ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０（mmvd_merge_flag[x0][y0] is equal to 0）
－ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０（merge_subblock_flag[x0][y0] is equal to 0）
－ｃｉｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０（ciip_flag[x0][y0] is equal to 0）
－以外には、ＭｅｒｇｅＴｒｉａｎｇｌｅＦｌａｇ［ｘ０］［ｙ０］の値が０に設定される。
図１０及び図１１は、本文書の実施形態によるインター予測方法を含むビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。
図１０において開示されたデコーディング方法は、図３及び図１１において開示されたデコーディング装置３００により行われる。具体的には、例えば、図１０のＳ１０００はデコーディング装置のエントロピーデコーディング部３１０により行われ、Ｓ１０１０ないしＳ１０２０はデコーディング装置３００の予測部３３０により行われる。図１０において開示されたデコーディング方法は、本文書で前述した実施形態を含む。
デコーディング装置は、ビットストリームからＣＩＩＰ可用フラグ、ＣＵスキップフラグ、パーティショニングモード可用フラグの少なくとも１つを取得する（Ｓ１０００）。また、前記ＣＩＩＰ可用フラグ、ＣＵスキップフラグ、パーティショニングモード可用フラグなどに基づいて現在ブロックの予測モードを決定する（Ｓ１０１０）。具体的に、デコーディング装置のエントロピーデコーディング部３１０は、図２のエンコーディング装置からビットストリーム形態で受信した信号からレジデュアル情報及び予測モードに関する情報を導出することができる。ここで、前記予測モードに関する情報は予測関連情報と称されてもよい。前記予測モードに関する情報は、インター／イントラ予測区分情報、インター予測モード情報などを含み、これに関する様々なシンタックス要素を含む。
前記ビットストリームには、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報を含む映像情報が含まれる。前記映像情報は、コーディングユニットシンタックス、マージデータシンタックスなどの現在ブロックの予測モードに関する情報をさらに含んでもよい。前記シーケンスパラメータセットは、ＣＩＩＰ可用フラグ、パーティショニングモードに対する可用フラグなどを含む。前記コーディングユニットシンタックスは、現在ブロックにスキップモードが適用されるか否かを示すＣＵスキップフラグを含む。
デコーディング装置の予測部３２０は、現在ブロックの予測モードに基づいて、現在ブロックの動き情報を導出する。例えば、デコーディング装置の予測部３２０は、ビットストリームから取得した予測モードに関する情報に基づいて現在ブロックに対する動き情報候補リスト（又は、マージ候補リスト）を構成することができる。また、ビットストリームから取得した候補選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて前記動き情報候補リストからマージ候補を選択し、選択されたマージ候補の候補の動き情報を利用して現在ブロックの動き情報を導出することができる。
現在ブロックの動き情報が導出されると、デコーディング装置の予測部は、前記現在ブロックの予測モード、前記現在ブロックの動き情報などに基づいて現在ブロックの予測サンプルを生成する（Ｓ１０２０）。
一方、デコーディング装置のレジデュアル処理部３２０は、ビットストリームから取得したレジデュアル情報に基づいてレジデュアルサンプルを生成することができる。
デコーディング装置の加算部３４０は、予測部３３０で生成された予測サンプルとレジデュアル処理部３２０で生成されたレジデュアルサンプルに基づいて復元サンプルを生成することができる。復元ピクチャは前記復元サンプルに基づいて生成される。以後、必要に応じて主観的／客観的画質を向上させるためにデブロッキングフィルタリング、ＳＡＯ及び／又はＡＬＦ手順などのインループフィルタリング手順が前記復元ピクチャに適用できる。
一実施形態として、現在ブロックの予測モードを決定するにおいて、デコーディング装置の予測部は、前述のＭＭＶＤモードに基づく条件（ＭＭＶＤＡｌｌｏｗｅｄ）、サブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｒａｎｇｌｅＡｌｌｏｗｅｄ）の少なくとも１つの値が１である場合、ビットストリームからレギュラーマージフラグを取得又はパーシングすることができる。
一例として、デコーディング装置は、ＣＩＩＰが可用である場合、ビットストリームからレギュラーマージプラグをパーシングすることができる。ＣＩＩＰが可用であることは、ゼネラルマージフラグ、ＣＩＩＰ可用フラグ、現在ブロックのサイズ及びＣＵスキップフラグの少なくとも１つに基づいて判断できる。例えば、前記ゼネラルマージフラグの値が１である場合、又はＣＩＩＰ可用フラグの値が１である場合、又は前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上である場合、又は前記現在ブロックの高さと前記現在ブロックの幅がそれぞれ１２８より小さい場合、又は前記スキップフラグの値が０である場合、デコーディング装置はＣＩＩＰが可用であると判断する。または、デコーディング装置は、ゼネラルマージフラグ、ＣＩＩＰ可用フラグ、現在ブロックのサイズ及びＣＵスキップフラグに基づく条件が全て満たされる場合、ＣＩＩＰが可用であると判断する。
他の例として、デコーディング装置は、パーティショニングモードが可用である場合、ビットストリームからレギュラーマージフラグをパーシングすることができる。パーティショニングモードが可用であることは、ゼネラルマージフラグ、パーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグ、現在ブロックに関する情報の少なくとも１つに基づいて判断される。例えば、前記レギュラーマージフラグは、ゼネラルマージフラグの値が１である場合、又はパーティショニングモード可用フラグの値が１である場合、又は前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上である場合、又は前記現在ブロックのスライスタイプがＢスライスである場合、又はパーティショニングモード候補の最大個数が２以上である場合、デコーディング装置は、パーティショニングモードが可用であると判断する。または、デコーディング装置は、前記条件が全て満たされる場合、パーティショニングモードが可用であると判断する。
一方、現在ブロックの予測モードを決定するにおいて、デコーディング装置の予測部は、前述のＭＭＶＤモードに基づく条件（ＭＭＶＤＡｌｌｏｗｅｄ）、サブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）、及びパーティショニングモードに基づく条件（ＭｅｒｌｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）の少なくとも１つの値が１である場合、ビットストリームからＭＭＶＤマージフラグを取得又はパーシングすることもできる。
また、現在ブロックの予測モードを決定するにおいて、デコーディング装置の予測部は、前述のサブブロックマージモードに基づく条件（ＭｅｒｇｅＳｕｂＢｌｏｃｋＡｌｌｏｗｅｄ）、ＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）、及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）の少なくとも１つの値が１である場合、ビットストリームからマージサブブロックフラグを取得又はパーシングすることができる。
また、現在ブロックの予測モードを決定するにおいて、デコーディング装置の予測部は、前述のＣＩＩＰモードに基づく条件（ＭｅｒｇｅＣＩＩＰＡｌｌｏｗｅｄ）及びパーティショニングモードに基づく条件（ＭｅｒｇｅＴｒｉａｎｇｌｅＡｌｌｏｗｅｄ）の少なくとも１つの値が１である場合、ビットストリームからＣＩＩＰフラグを取得又はパーシングすることができる。一例として、デコーディング装置は、パーティショニングモードが可用である場合、ビットストリームからＣＩＩＰフラグをパーシングすることができる。パーティショニングモードが可用であることは、ゼネラルマージフラグ、パーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグ、現在ブロックに関する情報の少なくとも１つに基づいて判断される。例えば、前記レギュラーマージフラグは、ゼネラルマージフラグの値が１である場合、又はパーティショニングモード可用フラグの値が１である場合、又は前記現在ブロックの高さと前記現在ブロックの幅の積が６４以上の場合、又は前記現在ブロックのスライスタイプがＢスライスである場合、又はパーティショニングモード候補の最大個数が２以上である場合、デコーディング装置はパーティショニングモードが可用であると判断する。または、デコーディング装置は、前記条件が全て満たされる場合、パーティショニングモードが可用であると判断する。
前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施形態は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの１つ又はそれ以上のステップが本文書の実施形態の範囲に影響を与えずに削除され得ることを理解することができる。
前述した本文書の実施形態に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
本文書で、実施形態がソフトウェアで具現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書の実施形態が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、映像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
また、本文書の実施形態（ら）が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施形態に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。
図１２は、本文書において開示された実施形態が適用できるコンテンツストリーミングシステムの例を示す。
図１２に示すように、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大別してエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含む。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。
前記ビットストリームは、本文書の実施形態が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。
前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
Claims (3)
- 映像をデコーディングするためのデコーディング装置において、
メモリと、
前記メモリに接続される少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
ビットストリームから、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）が可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを取得し、
前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて、レギュラーマージモードが前記現在ブロックに適用されることを決定し、
前記レギュラーマージモードに基づいて前記現在ブロックの予測サンプルを生成するよう構成され、
前記レギュラーマージモードは、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づいて前記ビットストリームから取得されるレギュラーマージフラグに基づいて、前記現在ブロックに適用されることが決定され、
前記レギュラーマージフラグは、前記ＣＩＩＰ可用フラグの値が１であること、又は前記パーティショニングモード可用フラグの値が１であることに基づいて、前記ビットストリームから取得され、
前記レギュラーマージフラグは、マージデータシンタックスに含まれる、デコーディング装置。 - 映像をエンコーディングするためのエンコーディング装置において、
メモリと、
前記メモリに接続される少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
レギュラーマージモードが現在ブロックに適用されることを決定し、
前記レギュラーマージモードに基づいて前記現在ブロックの予測サンプルを導出し、
ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）が可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを含む映像情報をエンコーディングするよう構成され、
前記映像情報は、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づくレギュラーマージフラグを含み、
前記レギュラーマージフラグは、前記ＣＩＩＰ可用フラグの値が１であること、又は前記パーティショニングモード可用フラグの値が１であることに基づいて、前記映像情報に含まれ、
前記レギュラーマージフラグは、マージデータシンタックスに含まれる、エンコーディング装置。 - 映像に対するデータを送信する装置において、
ビットストリームを生成するよう構成された少なくとも１つのプロセッサであって、前記ビットストリームは、レギュラーマージモードが現在ブロックに適用されることを決定し、前記レギュラーマージモードに基づいて前記現在ブロックの予測サンプルを導出し、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｍｅｒｇｅ ａｎｄ ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）が可用であるか否かを示すＣＩＩＰ可用フラグ及び現在ブロックを２つのパーティションに分けて予測を行うパーティショニングモードが可用であるか否かを示すパーティショニングモード可用フラグのうち少なくとも１つを含む映像情報をエンコーディングすることにより前記ビットストリームを生成することに基づいて生成される、少なくとも１つのプロセッサと、
前記ビットストリームを含む前記データを送信するよう構成された送信器と、を含み、
前記映像情報は、前記ＣＩＩＰ可用フラグ及び前記パーティショニングモード可用フラグのうち少なくとも１つに基づくレギュラーマージフラグを含み、
前記レギュラーマージフラグは、前記ＣＩＩＰ可用フラグの値が１であること、又は前記パーティショニングモード可用フラグの値が１であることに基づいて、前記映像情報に含まれ、
前記レギュラーマージフラグは、マージデータシンタックスに含まれる、装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962865290P | 2019-06-23 | 2019-06-23 | |
| US62/865,290 | 2019-06-23 | ||
| JP2021576084A JP7238173B2 (ja) | 2019-06-23 | 2020-06-23 | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 |
| PCT/KR2020/008153 WO2020262929A1 (ko) | 2019-06-23 | 2020-06-23 | 비디오/영상 코딩 시스템에서 신택스 시그널링 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021576084A Division JP7238173B2 (ja) | 2019-06-23 | 2020-06-23 | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023060014A JP2023060014A (ja) | 2023-04-27 |
| JP7528288B2 true JP7528288B2 (ja) | 2024-08-05 |
Family
ID=74060286
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021576084A Active JP7238173B2 (ja) | 2019-06-23 | 2020-06-23 | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 |
| JP2023029988A Active JP7528288B2 (ja) | 2019-06-23 | 2023-02-28 | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021576084A Active JP7238173B2 (ja) | 2019-06-23 | 2020-06-23 | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220239918A1 (ja) |
| EP (2) | EP4422178A3 (ja) |
| JP (2) | JP7238173B2 (ja) |
| KR (2) | KR102702835B1 (ja) |
| CN (1) | CN114073078A (ja) |
| FI (1) | FI3989582T3 (ja) |
| WO (1) | WO2020262929A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114009016A (zh) * | 2019-06-23 | 2022-02-01 | Lg 电子株式会社 | 从合并数据语法移除冗余语法的方法和装置 |
| CN114009047A (zh) | 2019-06-23 | 2022-02-01 | Lg 电子株式会社 | 视频/图像编译系统中用于合并数据语法的信令方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022535302A (ja) | 2019-06-23 | 2022-08-05 | エルジー エレクトロニクス インコーポレイティド | マージデータシンタックスにおける重複シンタックスの除去方法及び装置 |
| JP2022537255A (ja) | 2019-06-23 | 2022-08-25 | エルジー エレクトロニクス インコーポレイティド | ビデオ／映像コーディングシステムにおけるマージデータシンタックスのシグナリング方法及び装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0413988A (pt) * | 2003-08-26 | 2006-11-07 | Thomson Licensing | método e aparelho para decodificar blocos intra-inter codificador hìbridos |
| CN103229507B (zh) * | 2010-11-25 | 2017-09-08 | Lg电子株式会社 | 使用信号通知图像信息的方法和使用该方法来解码图像信息的方法 |
| EP3376764A4 (en) * | 2015-11-12 | 2019-12-04 | LG Electronics Inc. | METHOD AND DEVICE FOR COEFFICIENT-INDUCED INTRAPREDICATION IN A BILDCODING SYSTEM |
| CN109644276B (zh) * | 2016-08-01 | 2022-12-30 | 韩国电子通信研究院 | 图像编码/解码方法 |
| CN109714596A (zh) * | 2019-01-30 | 2019-05-03 | 江苏允博信息科技有限公司 | 一种基于深度学习的hevc帧内预测编码的方法 |
| US11140406B2 (en) * | 2019-02-20 | 2021-10-05 | Qualcomm Incorporated | Signalling for merge mode with motion vector differences in video coding |
| US11178414B2 (en) * | 2019-02-27 | 2021-11-16 | Mediatek Inc. | Classification for multiple merge tools |
| GB2582929A (en) * | 2019-04-08 | 2020-10-14 | Canon Kk | Residual signalling |
| US11109041B2 (en) * | 2019-05-16 | 2021-08-31 | Tencent America LLC | Method and apparatus for video coding |
-
2020
- 2020-06-23 FI FIEP20830513.6T patent/FI3989582T3/fi active
- 2020-06-23 KR KR1020217038702A patent/KR102702835B1/ko active IP Right Grant
- 2020-06-23 KR KR1020247029202A patent/KR20240135872A/ko active Application Filing
- 2020-06-23 EP EP24187291.0A patent/EP4422178A3/en active Pending
- 2020-06-23 US US17/615,702 patent/US20220239918A1/en not_active Abandoned
- 2020-06-23 EP EP20830513.6A patent/EP3989582B1/en active Active
- 2020-06-23 WO PCT/KR2020/008153 patent/WO2020262929A1/ko unknown
- 2020-06-23 CN CN202080045849.4A patent/CN114073078A/zh active Pending
- 2020-06-23 JP JP2021576084A patent/JP7238173B2/ja active Active
-
2023
- 2023-02-28 JP JP2023029988A patent/JP7528288B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022535302A (ja) | 2019-06-23 | 2022-08-05 | エルジー エレクトロニクス インコーポレイティド | マージデータシンタックスにおける重複シンタックスの除去方法及び装置 |
| JP2022537255A (ja) | 2019-06-23 | 2022-08-25 | エルジー エレクトロニクス インコーポレイティド | ビデオ／映像コーディングシステムにおけるマージデータシンタックスのシグナリング方法及び装置 |
Non-Patent Citations (3)
Also Published As
| Publication number | Publication date |
|---|---|
| EP3989582B1 (en) | 2024-08-07 |
| EP3989582A4 (en) | 2023-06-07 |
| EP4422178A2 (en) | 2024-08-28 |
| WO2020262929A1 (ko) | 2020-12-30 |
| JP2023060014A (ja) | 2023-04-27 |
| US20220239918A1 (en) | 2022-07-28 |
| KR20210150585A (ko) | 2021-12-10 |
| CN114073078A (zh) | 2022-02-18 |
| FI3989582T3 (fi) | 2024-08-30 |
| EP3989582A1 (en) | 2022-04-27 |
| KR20240135872A (ko) | 2024-09-12 |
| EP4422178A3 (en) | 2024-10-23 |
| JP2022538820A (ja) | 2022-09-06 |
| JP7238173B2 (ja) | 2023-03-13 |
| KR102702835B1 (ko) | 2024-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7477536B2 (ja) | ビデオ／映像コーディングシステムにおけるマージデータシンタックスのシグナリング方法及び装置 | |
| US11695923B2 (en) | Image decoding method and device using DPB parameter for OLS | |
| JP7521030B2 (ja) | マージデータシンタックスにおける重複シンタックスの除去方法及び装置 | |
| JP7462094B2 (ja) | ビデオ／映像コーディングシステムにおける重複シグナリング除去方法及び装置 | |
| JP7528288B2 (ja) | ビデオ／映像コーディングシステムにおけるシンタックスシグナリング方法及び装置 | |
| JP7522260B2 (ja) | インター予測に基づく 映像コーディング方法及び装置 | |
| JP2024114823A (ja) | 動き予測に基づく映像コーディング方法及び装置 | |
| US12047579B2 (en) | Image decoding method for chroma component and apparatus therefor | |
| KR20240145086A (ko) | 비디오/영상 코딩 시스템에서 중복 시그널링 제거 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240724 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7528288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |