JP7485819B2 - 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング - Google Patents

双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング Download PDF

Info

Publication number
JP7485819B2
JP7485819B2 JP2023055952A JP2023055952A JP7485819B2 JP 7485819 B2 JP7485819 B2 JP 7485819B2 JP 2023055952 A JP2023055952 A JP 2023055952A JP 2023055952 A JP2023055952 A JP 2023055952A JP 7485819 B2 JP7485819 B2 JP 7485819B2
Authority
JP
Japan
Prior art keywords
block
prediction
information
candidates
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023055952A
Other languages
English (en)
Other versions
JP2023073450A (ja
Inventor
ネリ パク
チョンハク ナム
ヒョンムン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023073450A publication Critical patent/JP2023073450A/ja
Application granted granted Critical
Publication of JP7485819B2 publication Critical patent/JP7485819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本技術は、双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディングに関する。
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
これにより、上記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
本文書の一実施例によれば、映像／ビデオコーディングの効率を高める方法及び装置を提供する。
本文書の一実施例によれば、映像コーディングの際、加重値ベースの双予測を用いる方法及び装置を提供する。
本文書の一実施例によれば、インター予測で双予測のための加重値インデックス情報を誘導する方法及び装置を提供する。
本文書の一実施例によれば、双予測の際、マージ候補リスト又はアフィンマージ候補リスト内の候補のための加重値インデックス情報を誘導する方法及び装置を提供する。
本文書の一実施例によれば、デコーディング装置により行われるビデオ／映像デコーディング方法を提供する。
本文書の一実施例によれば、ビデオ／映像デコーディングを行うデコーディング装置を提供する。
本文書の一実施例によれば、エンコーディング装置により行われるビデオ／映像エンコーディング方法を提供する。
本文書の一実施例によれば、ビデオ／映像エンコーディングを行うエンコーディング装置を提供する。
本文書の一実施例によれば、本文書の実施例の少なくとも一つに開示されたビデオ／映像エンコーディング方法によって生成されたエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施例によれば、デコーディング装置により本文書の実施例の少なくとも一つに開示されたビデオ／映像デコーディング方法を行うように引き起こすエンコーディングされた情報又はエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施例によれば、全般的な映像／ビデオ圧縮の効率を高めることができる。
本文書の一実施例によれば、インター予測の際に動きベクトルの候補を効率的に構成することができる。
本文書の一実施例によれば、効率的に加重値ベースの双予測を行うことができる。
本文書の実施例が適用できるビデオ／映像コーディングシステムの例を概略的に示す。 本文書の実施例が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書の実施例が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 インター予測でマージモードを説明するための図である。 アフィン動き予測のためのＣＰＭＶを例示的に示す。 アフィン動き予測のためのＣＰＭＶを例示的に示す。 アフィンＭＶＦがサブブロックの単位で決定される場合を例示的に示す。 インター予測でアフィンマージモードを説明するための図である。 アフィンマージモードで候補の位置を説明するための図である。 インター予測でＳｂＴＭＶＰを説明するための図である。 本文書の実施例に係るビデオ／映像エンコーディング方法、及び関連のコンポーネントの一例を概略的に示す。 本文書の実施例に係るビデオ／映像エンコーディング方法、及び関連のコンポーネントの一例を概略的に示す。 本文書の実施例に係る映像／ビデオデコーディング方法、及び関連のコンポーネントの一例を概略的に示す。 本文書の実施例に係る映像／ビデオデコーディング方法、及び関連のコンポーネントの一例を概略的に示す。 本文書で開示された実施例が適用できるコンテンツストリーミングシステムの例を示す。
本文書の開示は、様々な変更を加えることができ、様々な実施例を有することができるが、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本開示を特定の実施例に限定しようとするわけではない。本文書で使用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書における実施例の技術的思想を限定しようとする意図に使用されるものではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本文書において、「含む」又は「有する」等の用語は、文書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の異なる特徴や、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するのではない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすこともあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施例も、本文書の開示範囲に含まれる。
以下、添付図を参照として、本文書の実施例を説明しようとする。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し得、同じ構成要素に対して重複した説明は省略され得る。
図１は、本文書の実施例が適用できるビデオ／映像コーディングシステムの例を概略的に示す。
図１に示すように、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を備えることができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を備えることができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを備えることができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に備えられることができる。受信機は、デコーディング装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成、または生成過程などを介してビデオ／映像を取得できる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成できる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達することができる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書で開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／映像コーディング標準（ｅｘ．２６７又はＨ．２６８等）に開示される方法に適用されることができる。
本文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて行うこともある。
本文書で、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定のタイル列及び特定のタイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示され得る（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素によって明示される幅を有し、高さは前記ピクチャの高さと同一であり得る（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルのスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し得、前記ＣＴＵはタイル内のＣＴＵラスタースキャンに連続的に整列され得、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンに連続的に整列され得る（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは単一のＮＡＬユニットに排他的に含まれ得る、整数個の完全なタイル又はピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含み得る（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｎｓｅｃｕｔｉｖｅ ｃｏｍｐｌｅｔｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）
一方、１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る（ａｎ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として、「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。言い換えると、本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈され得る。例えば、本文書において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
本文書で使用されるスラッシュ（／）や休止符（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」を意味し得る。これによって、「Ａ／Ｂ」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味し得る。
本文書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本文書において、「少なくとも一つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
また、本文書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも一つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
また、本文書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本文書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
本文書において一つの図面内で個別的に説明される技術的特徴は、個別的に具現されてもよく、同時に具現されてもよい。
図２は、本文書の実施例が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図面である。以下、エンコーディング装置というのは、映像エンコーディング装置及び／又はビデオエンコーディング装置を含むことができる。
図２に示すように、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。上述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成でき、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成できる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、周辺ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、上述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
図３は、本文書の実施例が適用できるビデオ／映像デコーディング装置の構成を概略的に説明する図面である。以下、デコーディング装置というのは、映像デコーディング装置及び／又はビデオデコーディング装置を含むことができる。
図３に示すように、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。上述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
ビデオ／映像情報を含むビットストリームが入力されれば、デコーディング装置３００は、図３のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図３のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報と周辺及びデコーディング対象ブロックのデコーディング情報あるいは以前ステップでデコーディングされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコーディングされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または受信部は、エントロピーデコーディング部３１０の構成要素であることもできる。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得できる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成できる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定できる。
予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を備える）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。
本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施形態等は、各々デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。
インター予測が適用される場合、エンコーディング装置／デコーディング装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（ｅｘ．サンプル値、又は動き情報）に依存的な方法で導出される予測を示すことができる（Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｃａｎ ｂｅ ａ ｐｒｅｄｉｃｔｉｏｎ ｄｅｒｉｖｅｄ ｉｎ ａ ｍａｎｎｅｒ ｔｈａｔ ｉｓ ｄｅｐｅｎｄｅｎｔ ｏｎ ｄａｔａ ｅｌｅｍｅｎｔｓ（ｅｘ．ｓａｍｐｌｅ ｖａｌｕｅｓ ｏｒ ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ） ｏｆ ｐｉｃｔｕｒｅ（ｓ） ｏｔｈｅｒ ｔｈａｎ ｔｈｅ ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）。現在ブロックにインター予測が適用される場合、参照ピクチャのインデックスの指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測が適用される場合、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的周辺ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的周辺ブロックは、同じ位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同じ位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもある。例えば、現在ブロックの周辺ブロックに基づいて動き情報の候補リストが構成されることができ、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングできる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された周辺ブロックの動き情報を同一であり得る。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、前記現在ブロックの動きベクトルを導出することができる。
前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。
ピクチャ内の現在ブロックの予測のために多様なインター予測モードが使用できる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モード等の多様なモードが使用できる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ（ＢＣＷ）、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）等が付随的モードとしてさらに、又は代わりに使用できる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもある。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもある。本文書で、一部のモード及び／又は一部のモードにより導出された動き情報の候補は、他のモードの動き情報に関する候補の一つに含まれることもある。例えば、ＨＭＶＰ候補は、前記マージ／スキップモードのマージ候補として追加されることがあり、又は前記ＭＶＰモードのｍｖｐ候補として追加されることもある。前記ＨＭＶＰ候補が前記マージモード又はスキップモードの動き情報の候補として使用される場合、前記ＨＭＶＰ候補は、ＨＭＶＰマージ候補と呼ばれ得る。
現在ブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置にシグナリングされることができる。前記予測モード情報は、ビットストリームに含まれ、デコーディング装置に受信されることができる。前記予測モード情報は、多数の候補モードのうちの一つを指示するインデックス情報を含むことができる。或いは、フラグ情報の階層的シグナリングを通じて、インター予測モードを指示することもある。この場合、前記予測モード情報は、一つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモードの適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモードの適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモードが適用されるものと指示するか、追加的な区分のためのフラグをさらにシグナリングすることもある。アフィンモードは、独立したモードとしてシグナリングされることもあり、又はマージモード又はＭＶＰモード等に従属的なモードとしてシグナリングされることもある。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。
一方、現在ブロックに、前述したｌｉｓｔ０（Ｌ０）予測、ｌｉｓｔ１（Ｌ１）予測、又は双（ＢＩ）予測が現在ブロック（現在コーディングユニット）に使用されるか否かを示す情報がシグナリングできる。前記情報は、動き予測方向情報、インター予測方向情報又はインター予測指示情報と呼ばれ得、例えば、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素の形態で構成／エンコーディング／シグナリングされることができる。すなわち、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素は、前述したＬ０予測、Ｌ１予測、又は双予測が現在ブロック（現在コーディングユニット）に使用されるか否かを示すことができる。本文書では、説明の便宜のために、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素が指すインター予測タイプ（Ｌ０予測、Ｌ１予測、又はＢＩ予測）は、動き予測方向と表示されることができる。例えば、Ｌ０予測はｐｒｅｄ＿Ｌ０、Ｌ１予測はｐｒｅｄ＿Ｌ１、双予測はｐｒｅｄ＿ＢＩで表されることもある。
前述したように、１つのピクチャは、一つ以上のスライス（ｓｌｉｃｅ）を含むことができる。スライスは、Ｉスライス（ｉｎｔｒａ ｓｌｉｃｅ）、Ｐスライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）及びＢスライス（ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ）を含むスライスタイプのうちの一つのタイプを有することができる。前記スライスタイプは、スライスタイプ情報に基づいて指示されることができる。Ｉスライス内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予測なしで原本サンプル値をコーディングしてシグナリングすることもある。Ｐスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、単（ｕｎｉ）予測のみ使用できる。一方、Ｂスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、最大の双（ｂｉ）予測まで使用できる。すなわち、Ｂスライス内のブロックに対しては、インター予測が使用される場合、単予測又は双予測が使用できる。
Ｌ０及びＬ１は、現在ピクチャよりも以前にエンコーディング／デコーディングされた参照ピクチャを含むことができる。ここで、Ｌ０は、参照ピクチャリスト０を示すことができ、Ｌ１は参照ピクチャリスト１を示すことができる。例えば、Ｌ０は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序上、現在ピクチャよりも以前及び／又は以後の参照ピクチャを含むことができ、Ｌ１は、ＰＯＣ順序上、現在ピクチャよりも以後及び／又は以前の参照ピクチャを含むことができる。この場合、Ｌ０にはＰＯＣ順序上、現在ピクチャよりも以前の参照ピクチャに相対的にさらに低い参照ピクチャのインデックスが割り当てられることがあり、Ｌ１にはＰＯＣ順序上、現在ピクチャよりも以後の参照ピクチャに相対的にさらに低い参照ピクチャのインデックスが割り当てられることがある。Ｂスライスの場合、双予測が適用でき、この場合にも、単方向の双予測が適用でき、又は両方向の双予測が適用できる。両方向の双予測は、真（ｔｒｕｅ）の双予測と呼ばれ得る。
一方、現在ブロックの動き情報を用いてインター予測が行われ得る。エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手続を通じて、現在ブロックに対する最適の動き情報を導出することができる。例えば、エンコーディング装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて、相関性の高い類似する参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索することができ、これを通じて、動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（又は現在ブロックのテンプレート）と参照ブロック（又は参照ブロックのテンプレート）との間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて、様々な方法によってデコーディング装置にシグナリングされることができる。
図４は、インター予測でマージモードを説明するための図である。
マージモード（ｍｅｒｇｅ ｍｏｄｅ）が適用される場合、現在予測ブロックの動き情報が直接的に送信されず、周辺予測ブロックの動き情報を用いて、前記現在予測ブロックの動き情報を誘導することになる。従って、マージモードを用いたことを知らせるフラグ情報及び周辺のどの予測ブロックを用いたかを知らせるマージインデックスを送信することによって、現在予測ブロックの動き情報を指示することができる。前記マージモードは、レギュラーマージモード（ｒｅｇｕｌａｒ ｍｅｒｇｅ ｍｏｄｅ）と呼ばれ得る。例えば、前記マージモードは、ｒｅｇｕｌａｒ＿ｍｅｒｇｅ＿ｆｌａｇのシンタックス要素の値が１である場合に適用されることができる。
エンコーディング装置は、マージモードを行うために、現在予測ブロックの動き情報を誘導するために用いられるマージ候補ブロック（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｂｌｏｃｋ）をサーチ（ｓｅａｒｃｈ）しなければならない。例えば、前記マージ候補ブロックは、最大５個まで用いられることができるが、本文書の実施例はこれに限定されない。また、前記マージ候補ブロックの最大の個数はスライスヘッダ又はタイルグループヘッダで送信されることができ、本文書の実施例はこれに限定されない。前記マージ候補ブロックを見つけた後、エンコーディング装置はマージ候補リストを生成することができ、これらのうち最も小さい費用を有するマージ候補ブロックを最終のマージ候補ブロックとして選択することができる。
本文書は、前記マージ候補リストを構成するマージ候補ブロックに対する多様な実施例を提供することができる。
例えば、前記マージ候補リストは５個のマージ候補ブロックを用いることができる。例えば、４個の空間的マージ候補（ｓｐａｔｉａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）と１個の時間的マージ候補（ｔｅｍｐｏｒａｌ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）とを用いることができる。具体的な例として、空間的マージ候補の場合、図４に示すブロックを空間的マージ候補に用いることができる。以下、前記空間的マージ候補又は後述する空間的ＭＶＰ候補はＳＭＶＰと呼ばれ得、前記時間的マージ候補又は後述する時間的ＭＶＰ候補はＴＭＶＰと呼ばれ得る。
前記現在ブロックに対するマージ候補リストは、例えば、次のような手続に基づいて構成されることができる。
コーディング装置（エンコーディング装置／デコーディング装置）は、現在ブロックの空間的周辺ブロックを探索して、導出された空間的マージ候補をマージ候補リストに挿入できる。例えば、前記空間的周辺ブロックは、前記現在ブロックの左下側角の周辺ブロック、左側の周辺ブロック、右上側角の周辺ブロック、上側の周辺ブロック、左上側角の周辺ブロックを含むことができる。但し、これは例示であって、前述した空間的周辺ブロック以外にも、右側の周辺ブロック、下側の周辺ブロック、右下側の周辺ブロック等、追加的な周辺ブロックがさらに前記空間的周辺ブロックとして使用されることができる。コーディング装置は、前記空間的周辺ブロックを優先順位に基づいて探索し、可用なブロックを検出し、検出されたブロックの動き情報を前記空間的マージ候補として導出することができる。例えば、エンコーディング装置又はデコーディング装置は、図４に示された５個のブロックをＡ１－＞Ｂ１－＞Ｂ０－＞Ａ０－＞Ｂ２のように順序通りに探索し、可用な候補を順次にインデキシングしてマージ候補リストで構成することができる。
コーディング装置は、前記現在ブロックの時間的周辺ブロックを探索して、導出された時間的マージ候補を前記マージ候補リストに挿入できる。前記時間的周辺ブロックは、前記現在ブロックが位置する現在ピクチャと異なるピクチャである参照ピクチャ上に位置し得る。前記時間的周辺ブロックが位置する参照ピクチャは、コロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ピクチャ又はコル（ｃｏｌ）ピクチャと呼ばれ得る。前記時間的周辺ブロックは、前記コル（ｃｏｌ）ピクチャ上での前記現在ブロックに対する同じ位置ブロック（ｃｏ－ｌｏｃａｔｅｄ ｂｌｏｃｋ）の右下側角の周辺ブロック及び右下側中心のブロックの順に探索されることができる。一方、動き情報の圧縮（ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）が適用される場合、前記コル（ｃｏｌ）ピクチャに一定の格納単位毎に特定の動き情報を代表の動き情報として格納することができる。この場合、前記一定の格納単位内の全てのブロックに対する動き情報を格納する必要がなく、これを通じて、動き情報の圧縮（ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）効果が得られる。この場合、一定の格納単位は、例えば、１６ｘ１６のサンプル単位、又は８ｘ８のサンプル単位等で予め決められることもあり、又はエンコーディング装置からデコーディング装置に前記一定の格納単位に対するサイズ情報がシグナリングされることもある。前記動き情報の圧縮（ｍｏｔｉｏｎ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ）が適用される場合、前記時間的周辺ブロックの動き情報は、前記時間的周辺ブロックが位置する前記一定の格納単位の代表の動き情報に代替されることができる。すなわち、この場合、具現の側面で見ると、前記時間的周辺ブロックの座標に位置する予測ブロックではなく、前記時間的周辺ブロックの座標（左上のサンプルポジション）に基づいて、一定値だけ算術的右シフトの後、算術的左シフトした位置をカバーする予測ブロックの動き情報に基づいて前記時間的マージ候補が導出できる。例えば、前記一定の格納単位が２ｎｘ２ｎのサンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞ｎ）＜＜ｎ）、（ｙＴｎｂ＞＞ｎ）＜＜ｎ））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用できる。具体的に、例えば、前記一定の格納単位が１６ｘ１６のサンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞４）＜＜４）、（ｙＴｎｂ＞＞４）＜＜４））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用できる。或いは、例えば、前記一定の格納単位が８ｘ８のサンプル単位である場合、前記時間的周辺ブロックの座標が（ｘＴｎｂ，ｙＴｎｂ）とすれば、修正された位置である（（ｘＴｎｂ＞＞３）＜＜３）、（ｙＴｎｂ＞＞３）＜＜３））に位置する予測ブロックの動き情報が前記時間的マージ候補のために使用できる。
コーディング装置は、現在のマージ候補の個数が最大のマージ候補の個数よりも小さいか否かを確認することができる。前記最大のマージ候補の個数は、予め定義されるか、エンコーディング装置からデコーディング装置にシグナリングされることができる。例えば、エンコーディング装置は、前記最大のマージ候補の個数に関する情報を生成し、エンコーディングして、ビットストリームの形態で前記デコーダに伝達できる。前記最大のマージ候補の個数がすべて満たされると、以降の候補追加の過程は行わなくてもよい。
前記確認の結果、前記現在のマージ候補の個数が前記最大のマージ候補の個数よりも小さい場合、コーディング装置は、追加のマージ候補を前記マージ候補リストに挿入できる。例えば、前記追加のマージ候補は、後述する履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ペアワイズ平均マージ候補（ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ＡＴＭＶＰ、組み合わせられた双予測（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）マージ候補（現在スライス／タイルグループのスライス／タイルグループのタイプがＢタイプである場合）及び／又はゼロベクトルマージ候補の少なくとも一つを含むことができる。
前記確認の結果、前記現在のマージ候補の個数が前記最大のマージ候補の個数よりも小さくない場合、コーディング装置は、前記マージ候補リストの構成を終了し得る。この場合、エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）コスト（ｃｏｓｔ）に基づき、前記マージ候補リストを構成するマージ候補のうち、最適のマージ候補を選択することができ、前記選択されたマージ候補を指す選択情報（ｅｘ． ｍｅｒｇｅ ｉｎｄｅｘ）をデコーディング装置にシグナリングすることができる。デコーディング装置は、前記マージ候補リスト及び前記選択情報に基づいて、前記最適のマージ候補を選択することができる。
前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報に使用でき、前記現在ブロックの動き情報に基づいて、前記現在ブロックの予測サンプルを導出することができることは前述した通りである。エンコーディング装置は、前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを導出することができ、前記レジデュアルサンプルに関するレジデュアル情報をデコーディング装置にシグナリングできる。デコーディング装置は、前記レジデュアル情報に基づいて導出されたレジデュアルサンプル、及び前記予測サンプルに基づいて復元サンプルを生成することができ、これに基づいて、復元ピクチャを生成することができることは前述した通りである。
スキップモード（ｓｋｉｐ ｍｏｄｅ）が適用される場合、前記でマージモードが適用される場合と同じ方法で前記現在ブロックの動き情報を導出することができる。但し、スキップモードが適用される場合、該当ブロックに対するレジデュアル信号が省略され、よって、予測サンプルが直ぐに復元サンプルに用いられることができる。前記スキップモードは、例えば、ｃｕ＿ｓｋｉｐ＿ｆｌａｇのシンタックス要素の値が１である場合に適用されることができる。
一方、前記ペアワイズ平均マージ候補（ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）は、ペアワイズ平均候補又はペアワイズ候補と呼ばれ得る。ペアワイズ平均候補は、既存の（ｅｘｉｓｔｉｎｇ）マージ候補リストで予め定義された候補のペアを平均して生成されることができる。また、予め定義されたペアは、｛（０，１）、（０，２）、（１，２）、（０，３）、（１，３）、（２，３）｝のように定義できる。ここで、数字は、マージ候補リストに対するマージインデックスを示すことができる。平均化された動きベクトル（ａｖｅｒａｇｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）は、各参照リストに対して別に計算されることができる。例えば、２個の動きベクトルが１つのリスト内で利用可能な場合、前記２つの動きベクトルは、互いに異なる参照ピクチャを指しても、平均化され得る。例えば、１つの動きベクトルのみが利用可能な場合、直ちに（ｄｉｒｅｃｔｌｙ）１つが使用できる。例えば、利用可能な動きベクトルがない場合、リストを有効ではない状態で維持できる。
例えば、ペアワイズ平均マージ候補が追加された後にも、マージ候補リストが満たされていない場合、即ち、マージ候補リスト内に現在のマージ候補の個数が最大のマージ候補の個数よりも小さい場合、最大のマージ候補の番号が示されるまでゼロベクトル（ｚｅｒｏ ＭＶＰ）が最後に挿入され得る。すなわち、マージ候補リスト内の現在のマージ候補の個数が最大のマージ候補の個数になるまでゼロベクトルを挿入し得る。
一方、既存にはコーディングブロックの動きを表現するために、ただ１つの動きベクトルを使用することができた。すなわち、トランスレーション（ｔｒａｎｓｌａｔｉｏｎ）動きモデルが使用できた。但し、このような方法がブロック単位で最適の動きを表現しているかもしれないが、実際の各サンプルの最適の動きではなく、サンプル単位で最適の動きベクトルを決定することができれば、コーディングの効率を高めることができる。このため、アフィン動きモデル（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）が使用できる。アフィン動きモデルを使用してコーディングするアフィン動き予測方法は、次の通りである。
アフィン動き予測方法は、２個、３個又は４個の動きベクトルを用いて、ブロックの各サンプル単位で動きベクトルを表現することができる。例えば、アフィン動きモデルは、４つの動きを表現することができる。アフィン動きモデルが表現し得る動きのうち、３つの動き（トランスレーション（ｔｒａｎｓｌａｔｉｏｎ）、スケール（ｓｃａｌｅ）、回転（ｒｏｔａｔｅ））を表現するアフィン動きモデルは、類似（ｓｉｍｉｌａｒｉｔｙ）（又は簡素化した（ｓｉｍｐｌｉｆｉｅｄ））アフィン動きモデルと呼ばれ得、これを基準に説明するが、前述した動きモデルに限定されるわけではない。
図５ａ及び図５ｂは、アフィン動き予測のためのＣＰＭＶを例示的に示す。
アフィン動き予測は、２つ以上のコントロールポイント動きベクトル（ＣＰＭＶ：Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を用いて、ブロックが含むサンプル位置の動きベクトルを決定することができる。このとき、動きベクトルの集合をアフィン動きベクトルフィールド（ＭＶＦ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｆｉｅｌｄ）と示すことができる。
例えば、図５ａは、２つのＣＰＭＶが用いられる場合を示すことができ、これは、４－パラメータアフィンモデルと呼ばれ得る。この場合、（ｘ，ｙ）のサンプル位置での動きベクトルは、例えば、数式１のように決定されることができる。
Figure 0007485819000001
例えば、図５ｂは、３個のＣＰＭＶが用いられる場合を示すことができ、これは、６－パラメータアフィンモデルと呼ばれ得る。この場合、（ｘ，ｙ）のサンプル位置での動きベクトルは、例えば、数式２のように決定されることができる。
Figure 0007485819000002
数式１及び数式２において、｛ｖｘ，ｖｙ｝は、（ｘ，ｙ）位置での動きベクトルを示すことができる。また、｛ｖ０ｘ，ｖ０ｙ｝は、コーディングブロックの左上側角の位置のコントロールポイント（ＣＰ：Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）のＣＰＭＶを示すことができ、｛ｖ１ｘ，ｖ１ｙ｝は、右上側角の位置のＣＰのＣＰＭＶを示すことができ、｛ｖ２ｘ，ｖ２ｙ｝は、左下側角の位置のＣＰのＣＰＭＶを示すことができる。また、Ｗは、現在ブロックの幅（ｗｉｄｔｈ）を示すことができ、Ｈは、現在ブロックの高さ（ｈｉｇｈｔ）を示すことができる。
図６は、アフィンＭＶＦがサブブロック単位で決定される場合を例示的に示す。
エンコーディング／デコーディング過程で、アフィンＭＶＦはサンプル単位又は既に定義されたサブブロック単位で決定されることができる。例えば、サンプル単位で決定する場合、各サンプル値を基準に動きベクトルが得られる。或いは、例えば、サブブロック単位で決定する場合、サブブロックの中央（センターの右下側、すなわち、中央の４個のサンプルのうちの右下側サンプル）サンプル値を基準に、該当ブロックの動きベクトルが得られる。すなわち、アフィン動き予測で、現在ブロックの動きベクトルは、サンプル単位又はサブブロック単位で導出されることができる。
実施例では、アフィンＭＶＦが４ｘ４のサブブロック単位で決定される場合を仮定して説明し得るが、これは、説明の便宜のためであるので、サブブロックのサイズは多様に変形され得る。
すなわち、アフィン予測が可用な場合、現在ブロックに適用可能な動きモデルは、３つ（平行移動動きモデル（ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ ｍｏｄｅｌ）、４－パラメータアフィン動きモデル（４－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ）、６－パラメータアフィン動きモデル（６－ｐａｒａｍｅｔｅｒ ａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ））を含むことができる。ここで、トランスレーション動きモデルは、既存のブロック単位の動きベクトルが使用されるモデルを示すことができ、４－パラメータアフィン動きモデルは、２個のＣＰＭＶが使用されるモデルを示すことができ、６－パラメータアフィン動きモデルは、３個のＣＰＭＶが使用されるモデルを示すことができる。
一方、アフィン動き予測は、アフィンＭＶＰ（又はアフィンインター）モード又はアフィンマージモードを含むことができる。
図７は、インター予測でアフィンマージモードを説明するための図である。
例えば、アフィンマージモードで、ＣＰＭＶはアフィン動き予測でコーディングされた周辺ブロックのアフィン動きモデルによって決定されることができる。例えば、サーチ（ｓｅａｒｃｈ）順序上のアフィン動き予測でコーディングされた周辺ブロックがアフィンマージモードのために使用できる。すなわち、周辺ブロックの少なくとも一つがアフィン動き予測でコーディングされた場合、現在ブロックはアフィンマージモードでコーディングされることができる。ここで、アフィンマージモードは、ＡＦ＿ＭＥＲＧＥと呼ばれ得る。
アフィンマージモードが適用される場合、周辺ブロックのＣＰＭＶを用いて、現在ブロックのＣＰＭＶが導出できる。この場合、周辺ブロックのＣＰＭＶがそのまま現在ブロックのＣＰＭＶとして使用されることもあり、周辺ブロックのＣＰＭＶが前記周辺ブロックのサイズ及び前記現在ブロックのサイズ等に基づいて修正され、現在ブロックのＣＰＭＶとして使用されることもある。
一方、サブブロック単位で動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）が導出されるアフィンマージモードの場合には、サブブロックマージモードと呼ばれ得、これは、サブブロックマージフラグ（又はｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのシンタックス要素）に基づいて指示されることができる。或いは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのシンタックス要素の値が１である場合、サブブロックマージモードが適用されることが指示され得る。この場合、後述するアフィンマージ候補リストは、サブブロックのマージ候補リストと呼ばれることもある。この場合、前記サブブロックのマージ候補リストには、後述するＳｂＴＭＶＰとして導出された候補がさらに含まれ得る。この場合、前記ＳｂＴＭＶＰとして導出された候補は、前記サブブロックのマージ候補リストの０番のインデックスの候補として用いられ得る。言い換えると、前記ＳｂＴＭＶＰとして導出された候補は、前記サブブロックのマージ候補リスト内で、後述する承継されたアフィン候補（ｉｎｈｅｒｉｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）又は構成されたアフィン候補（ｃｏｎｓｔｒｕｃｔｅｄ ａｆｆｉｎｅ ｃａｎｄｉｄａｔｅ）より前に位置し得る。
アフィンマージモードが適用される場合、現在ブロックに対するＣＰＭＶの導出のためにアフィンマージ候補リストが構成できる。例えば、アフィンマージ候補リストは、次の候補の少なくとも一つを含むことができる。１）承継された（ｉｎｈｅｒｉｔｅｄ）アフィンマージ候補。２）構成された（ｃｏｎｓｔｒｕｃｔｅｄ）アフィンマージ候補。３）ゼロ動きベクトル候補（又はゼロベクトル）。ここで、前記承継されたアフィンマージ候補は、周辺ブロックがアフィンモードでコーディングされた場合、周辺ブロックのＣＰＭＶｓに基づいて導出される候補であり、前記構成されたアフィンマージ候補は、各ＣＰＭＶ単位で該当ＣＰの周辺ブロックのＭＶに基づいてＣＰＭＶｓを構成して導出された候補であり、ゼロ動きベクトル候補は、その値が０であるＣＰＭＶで構成された候補を示すことができる。
前記アフィンマージ候補リストは、例えば、次のように構成されることができる。
最大２個の承継されたアフィン候補があり得、承継されたアフィン候補は、周辺ブロックのアフィン動きモデルから導出されることができる。周辺ブロックは一つの左側の周辺ブロックと上側の周辺ブロックとを含むことができる。候補ブロックは、図４のように位置し得る。左側予測子（ｌｅｆｔ ｐｒｅｄｉｃｔｏｒ）のためのスキャン順序はＡ１－＞Ａ０であり得、上側予測子（ａｂｏｖｅ ｐｒｅｄｉｃｔｏｒ）のためのスキャン順序は、Ｂ１－＞Ｂ０－＞Ｂ２であり得る。左側及び上側それぞれから一つの承継された候補のみが選択できる。二つの承継された候補間にはプルーニングチェック（ｐｒｕｎｉｎｇ ｃｈｅｃｋ）が行われないことがある。
周辺アフィンブロックが確認される場合、確認したブロックのコントロールポイント動きベクトルが現在ブロックのアフィンマージリスト内のＣＰＭＶＰ候補を導出するために使用されることができる。ここで、周辺のアフィンブロックは、現在ブロックの周辺ブロックのうち、アフィン予測モードでコーディングされたブロックを示すことができる。例えば、図７を参照すると、左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）の周辺ブロックＡがアフィン予測モードでコーディングされた場合、周辺ブロックＡの左上側（ｔｏｐ－ｌｅｆｔ）角、右上側（ｔｏｐ－ｒｉｇｈｔ）角及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）角の動きベクトルｖ２、ｖ３及びｖ４が獲得できる。周辺ブロックＡが４－パラメータアフィン動きモデルでコーディングされた場合、現在ブロックの２個のＣＰＭＶがｖ２及びｖ３によって算出できる。周辺ブロックＡが６－パラメータアフィン動きモデルでコーディングされた場合、現在ブロックの３個のＣＰＭＶがｖ２、ｖ３及びｖ４によって算出されることができる。
図８は、アフィンマージモードで候補の位置を説明するための図である。
構成された（ｃｏｎｓｔｒｕｃｔｅｄ）アフィン候補は、各コントロールポイントの周辺の平行移動（ｔｒａｎｓｌａｔｉｏｎａｌ）動き情報を組み合わせて構成される候補を意味し得る。コントロールポイントの動き情報は、特定された空間的周辺及び時間的周辺から導出されることができる。ＣＰＭＶｋ（ｋ＝１、２、３、４）は、ｋ番目のコントロールポイントを示すことができる。
図８を参照すると、ＣＰＭＶ１のためにＢ２－＞Ｂ３－＞Ａ２の順によってブロックがチェックでき、一番目に利用可能なブロックの動きベクトルが使用できる。ＣＰＭＶ２のために、Ｂ１－＞Ｂ０の順によってブロックがチェックでき、ＣＰＭＶ３のために、Ａ１－＞Ａ０の順によってブロックがチェックできる。ＴＭＶＰ（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）は、利用可能な場合、ＣＰＭＶ４として使用されることができる。
４個のコントロールポイントの動きベクトルが獲得された後、アフィンマージ候補は獲得した動き情報に基づいて構成されることができる。コントロールポイント動きベクトルの組み合わせは、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ３｝、｛ＣＰＭＶ１，ＣＰＭＶ２，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ２，ＣＰＭＶ３，ＣＰＭＶ４｝、｛ＣＰＭＶ１，ＣＰＭＶ２｝及び｛ＣＰＭＶ１，ＣＰＭＶ３｝のように構成されることができ、羅列した順序によって構成されることができる。
３個のＣＰＭＶの組み合わせは、６－パラメータアフィンマージ候補を構成することができ、２個のＣＰＭＶの組み合わせは、４－パラメータアフィンマージ候補を構成することができる。動きのスケーリング過程を回避するために、コントロールポイントの参照インデックスが互いに異なる場合、コントロールポイント動きベクトルの関連した組み合わせは捨てられ得る。
図９は、インター予測でＳｂＴＭＶＰを説明するための図である。
一方、ＳｂＴＭＶＰ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）方法が用いられることもある。例えば、ＳｂＴＭＶＰは、ＡＴＭＶＰ（ａｄｖａｎｃｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもある。ＳｂＴＭＶＰは、動きベクトル予測及び現在ピクチャ内のＣＵに対するマージモードを向上するために、コロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）内の動きフィールドを用いることができる。ここで、コロケーテッドピクチャは、コル（ｃｏｌ）ピクチャと呼ばれることもある。
例えば、ＳｂＴＭＶＰは、サブブロック（又はサブＣＵ）レベルで動きを予測することができる。また、ＳｂＴＭＶＰは、コルピクチャから時間的動き情報をフェッチング（ｆｅｔｃｈｉｎｇ）する前に動きシフト（ｓｈｉｆｔ）を適用することができる。ここで、動きシフトは、現在ブロックの空間的周辺ブロックのうちの一つの動きベクトルから獲得されることができる。
ＳｂＴＭＶＰは、二つのステップによって、現在ブロック（又はＣＵ）内のサブブロック（又はサブＣＵ）の動きベクトルを予測することができる。
第１ステップで、空間的周辺ブロックは、図４のＡ１、Ｂ１、Ｂ０及びＡ０の順によって試験され得る。コル（ｃｏｌ）ピクチャを自分の参照ピクチャとして使用する動きベクトルを有する一番目の空間的周辺ブロックが確認でき、動きベクトルは、適用される動きシフトとして選択されることができる。空間的周辺ブロックからこのような動きが確認されない場合、動きシフトは（０，０）に設定されることができる。
第２ステップでは、第１ステップで確認された動きシフトがｃｏｌピクチャからサブブロックレベルの動き情報（動きベクトル及び参照インデックス）を獲得するために適用されることができる。例えば、動きシフトが現在ブロックの座標に追加できる。例えば、動きシフトが図４のＡ１の動きに設定されることができる。この場合、各サブブロックに対して、ｃｏｌピクチャ内の対応ブロックの動き情報は、サブブロックの動き情報を導出するために使用されることができる。時間的動きのスケーリングは、時間的動きベクトルの参照ピクチャと現在ブロックの参照ピクチャとを整列するために適用されることができる。
ＳｂＴＶＭＰ候補及びアフィンマージ候補をすべて含む組み合わせられたサブブロックベースのマージリストは、アフィンマージモードのシグナリングに使用されることができる。ここで、アフィンマージモードは、サブブロックベースのマージモードと呼ばれ得る。ＳｂＴＶＭＰモードは、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）に含まれたフラグにより利用可能、又は利用可能ではないことがある。ＳｂＴＭＶＰモードが利用可能な場合、ＳｂＴＭＶＰ予測子は、サブブロックベースのマージ候補のリストの第１エントリーに追加されることがあり、アフィンマージ候補が次についてくることがある。アフィンマージ候補リストの最大に許容されるサイズは５個であり得る。
ＳｂＴＭＶＰで使用されるサブＣＵ（又はサブブロック）のサイズは８ｘ８に固定され得、アフィンマージモードと同様にＳｂＴＭＶＰモードは幅及び高さが全て８以上のブロックにのみ適用され得る。追加的なＳｂＴＭＶＰマージ候補のエンコーディングのロジックは、他のマージ候補と同一であり得る。すなわち、Ｐ又はＢスライス内の各ＣＵに対して、追加的なＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）コストを用いるＲＤチェックがＳｂＴＭＶＰ候補を用いるかを決定するために行われ得る。
一方、予測モードによって導出された動き情報に基づいて、現在ブロックに対する予測されたブロックを導出することができる。前記予測されたブロックは、前記現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトルが分数のサンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手続が行われ得、これを通じて、参照ピクチャ内で分数のサンプル単位の参照サンプルに基づいて前記現在ブロックの予測サンプルが導出できる。現在ブロックにアフィンインター予測（アフィン予測モード）が適用される場合、サンプル／サブブロック単位のＭＶに基づいて予測サンプルを生成することができる。双（Ｂｉ）予測が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を用いた予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を用いた予測）に基づいて導出された予測サンプルの（位相による）加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）、又は加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）を通じて導出された予測サンプルが現在ブロックの予測サンプルに用いられることができる。ここで、Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。双（Ｂｉ）予測が適用される場合、Ｌ０予測に用いられた参照ピクチャとＬ１予測に用いられた参照ピクチャとが、現在ピクチャを基準に互いに異なる時間的方向に位置する場合（すなわち、双予測であるとともに両方向予測に該当する場合）、これを真（ｔｒｕｅ）の双予測と呼ばれ得る。
また、導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成でき、以降のインループフィルタリング等の手続が行われ得ることは前述した通りである。
一方、現在ブロックに双予測が適用される場合、加重平均に基づいて予測サンプルを導出することができる。例えば、加重平均を用いた双予測は、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）、ＢＷＡ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）又は加重平均双予測（ｗｉｇｈｔｅｄ ａｖｅｒａｇｉｎｇ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）と呼ばれ得る。
既存に双予測信号（すなわち、双予測サンプル）は、Ｌ０予測信号（Ｌ０予測サンプル）とＬ１予測信号（Ｌ１予測サンプル）の単純平均を通じて導出されることができた。すなわち、双予測のサンプルは、Ｌ０参照ピクチャ及びＭＶＬ０に基づいたＬ０予測サンプルとＬ１参照ピクチャ及びＭＶＬ１に基づいたＬ１予測サンプルの平均として導出された。但し、双予測が適用される場合、次のようにＬ０予測信号とＬ１予測信号の加重平均を通じて、双予測信号（双予測サンプル）を導出することもある。例えば、双予測信号（双予測サンプル）は、数式３のように導出されることができる。
Figure 0007485819000003
数式３において、Ｐｂｉ－ｐｒｅｄは、双予測信号の値、すなわち、双予測が適用されて導出された予測サンプル値を示すことができ、ｗは、加重値を示すことができる。また、Ｐ０は、Ｌ０予測信号の値、すなわち、Ｌ０予測が適用されて導出された予測サンプル値を示すことができ、Ｐ１は、Ｌ１予測信号の値、すなわち、Ｌ１予測が適用されて導出された予測サンプル値を示すことができる。
例えば、加重平均の双予測では、５個の加重値が許容され得る。例えば、前記５個の加重値（ｗ）は、－２、３、４、５、又は１０を含むことができる。すなわち、加重値（ｗ）は、－２、３、４、５、又は１０を含む加重値の候補のうち一つで決定されることができる。双予測が適用される各ＣＵに対して、加重値ｗは２つの方法のうち一つにより決定されることができる。第一の方法は、併合されないＣＵに対して、加重値インデックスが動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）後にシグナリングされることができる。第二の方法は、併合されたＣＵに対して、加重値インデックスがマージ候補インデックスに基づいて周辺ブロックから推論されることができる。
例えば、加重平均の双予測は、２５６個以上のルマサンプルを有するＣＵに適用されることができる。すなわち、ＣＵの幅及び高さの積が２５６よりも大きいか等しい場合に、加重平均の双予測が適用され得る。低遅延（ｌｏｗ－ｄｅｌａｙ）ピクチャの場合、５個の加重値が使用され得、低遅延ではない（ｎｏｎ－ｌｏｗ－ｄｅｌａｙ）ピクチャの場合、３個の加重値が使用され得る。例えば、前記３個の加重値は、３、４又は５を含むことができる。
例えば、エンコーディング装置で、早いサーチアルゴリズムは、エンコーディング装置の複雑性（ｃｏｍｐｌｅｘｉｔｙ）を大きく増加させないながら、加重値インデックスを見つけるために適用されることができる。このようなアルゴリズムは、次のように要約できる。例えば、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）と組み合わせられるとき（インター予測モードとしてＡＭＶＲが用いられるとき）、現在ピクチャが低遅延のピクチャである場合、同一ではない加重値は、１－ｐｅｌ及び４－ｐｅｌの動きベクトルの精密度に対して条件部としてチェックされることができる。例えば、アフィン（ａｆｆｉｎｅ）と組み合わされるとき（インター予測モードとしてアフィン予測モードが用いられるとき）、アフィン予測モードが現在のベストモード（ｂｅｓｔ ｍｏｄｅ）として選択された場合、アフィンＭＥ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）は同一ではない加重値に対して行われ得る。例えば、双予測の２個の参照ピクチャが同一である場合、同一ではない加重値が条件部としてチェックされることができる。例えば、現在ピクチャと参照ピクチャとの間のＰＯＣ距離、コーディングＱＰ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）及び時間的レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）に依存して特定の条件が満たされる場合、同一ではない加重値がサーチされないことがある。
例えば、ＢＣＷ加重値インデックス（又は加重値インデックス）は、一つのコンテキストコーディングされたビン（ｃｏｎｔｅｘｔ ｃｏｄｅｄ ｂｉｎ）及び続くバイパスコーディングされたビン（ｂｙｐａｓｓ ｃｏｄｅｄ ｂｉｎ）を用いてコーディングされることができる。一番目のコンテキストコーディングされたビンは、同一の加重値が使用されるか否かを示すことができる。一番目のコンテキストコーディングされたビンに基づいて、同一ではない加重値が使用される場合、使用される同一ではない加重値を指示するために、バイパスコーディングを使用して追加的なビンがシグナリングできる。
一方、本文書の一実施例によれば、マージモードのための動きベクトルの候補の構成時、時間的動きベクトルの候補が双予測を使用するときに加重平均のための加重値インデックスを誘導又は導出できる。すなわち、インター予測タイプが双（ｂｉ）予測である場合、マージ候補リスト内の時間的マージ候補（又は時間的動きベクトル候補）のための加重値インデックス情報を誘導又は導出できる。
例えば、時間的動きベクトルの候補に対して、加重平均のための加重値インデックスは常時０として導出されることができる。ここで、加重値インデックスが０であることは、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを意味し得る。例えば、この場合、マージモードのためのルマ成分の動きベクトルを導出する手続は、次の表の通りである。
Figure 0007485819000004
Figure 0007485819000005
Figure 0007485819000006
前記表１乃至表３は、一つの手続を示し得、表の順序に沿って前記手続が連続して行われ得る。前記手続は、マージモードのためのルマ成分の動きベクトルを導出する手続（８．４．２．２）を含むことができる。
前記表１乃至表３を参照すると、ｇｂｉＩｄｘは、双予測加重値インデックスを示すことができ、ｇｂｉＩｄｘＣｏｌは、時間的マージ候補（例えば、マージ候補リスト内の時間的動きベクトルの候補）のための双予測加重値インデックスを示すことができ、前記マージモードのためのルマ成分の動きベクトルを導出する手続（８．４．２．２で第３ステップ）で、前記ｇｂｉＩｄｘＣｏｌは０として導出されることができる。すなわち、時間的動きベクトルの候補の加重値インデックスは０として導出されることができる。
或いは、例えば、時間的動きベクトルの候補に対する加重平均のための加重値インデックスは、コロケーテッド（ｃｏｌｌｏｃａｔｅｄ）ブロックの加重値インデックスとして導出されることができる。ここで、コロケーテッドブロックは、コル（ｃｏｌ）ブロック、同じ位置ブロック又は同じ位置参照ブロックと呼ばれ得、コルブロックは参照ピクチャ上で現在ブロックと同じ位置のブロックを示すことができる。例えば、この場合、マージモードのためのルマ成分の動きベクトルを導出する手続は、次の表の通りである。
Figure 0007485819000007
Figure 0007485819000008
Figure 0007485819000009
前記表４乃至表６は、一つの手続を示し得、表の順序に沿って前記手続が連続して行われ得る。前記手続は、マージモードのためのルマ成分の動きベクトルを導出する手続（８．４．２．２）を含むことができる。
前記表４乃至表６を参照すると、ｇｂｉＩｄｘは、双予測加重値インデックスを示すことができ、ｇｂｉＩｄｘＣｏｌは、時間的マージ候補（例えば、マージ候補リスト内の時間的動きベクトルの候補）のための双予測加重値インデックスを示すことができ、前記マージモードのためのルマ成分の動きベクトルを導出する手続（８．４．２．２で第３ステップ）で、前記ｇｂｉＩｄｘＣｏｌは０として導出されることができるが、スライスのタイプ又はタイルグループのタイプがＢである場合（８．４．２．２で第４ステップ）には、前記ｇｂｉＩｄｘＣｏｌがｇｂｉＩｄｘＣｏｌとして導出されることができる。すなわち、時間的動きベクトルの候補の加重値インデックスは、コル（ｃｏｌ）ブロックの加重値インデックスとして導出されることができる。
一方、本文書の別の実施例によれば、サブブロック単位のマージモードのための動きベクトルの候補の構成時、時間的動きベクトルの候補が双予測を使用するとき、加重平均のための加重値インデックスを誘導又は導出できる。ここで、サブブロック単位のマージモードは、（サブブロック単位の）アフィンマージモードと呼ばれ得、時間的動きベクトルの候補は、サブブロックベースの時間的動きベクトルの候補を示すことができ、ＳｂＴＭＶＰ候補と呼ばれることもある。すなわち、インター予測タイプが双（ｂｉ）予測である場合、アフィンマージ候補リスト又はサブブロックのマージ候補リスト内のＳｂＴＭＶＰ候補（又はサブブロックベースの時間的動きベクトルの候補）のための加重値インデックス情報を誘導又は導出できる。
例えば、サブブロックベースの時間的動きベクトルの候補に対する加重平均のための加重値インデックスは、常時０として導出されることができる。ここで、加重値インデックスが０であることは、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを意味し得る。例えば、この場合、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続又はサブブロックベースの時間的マージ候補を導出する手続は、次の表の通りである。
Figure 0007485819000010
Figure 0007485819000011
Figure 0007485819000012
Figure 0007485819000013
Figure 0007485819000014
前記表７乃至表１１は、２つの手続を示し得、表の順序に沿って前記手続がそれぞれ連続して行われ得る。前記手続は、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続（８．４．４．２）又はサブブロックベースの時間的マージ候補を導出する手続（８．４．４．３）を含むことができる。
前記表７乃至表１１を参照すると、ｇｂｉＩｄｘは、双予測加重値インデックスを示すことができ、ｇｂｉＩｄｘＳｂＣｏｌは、サブブロックベースの時間的マージ候補（例えば、サブブロックベースのマージ候補リスト内の時間的動きベクトルの候補）のための双予測加重値インデックスを示すことができ、前記サブブロックベースの時間的マージ候補を導出する手続（８．４．４．３）で、前記ｇｂｉＩｄｘＳｂＣｏｌは０として導出されることができる。すなわち、サブブロックベースの時間的動きベクトルの候補の加重値インデックスは０として導出されることができる。
或いは、例えば、サブブロックベースの時間的動きベクトルの候補に対する加重平均のための加重値インデックスは、時間的センター（ｃｅｎｔｅｒ）ブロックの加重値インデックスとして導出されることができる。例えば、前記時間的センターブロックは、コル（ｃｏｌ）ブロック又はコル（ｃｏｌ）ブロックのセンターに位置したサブブロック又はサンプルを示すことができ、具体的には、コルブロックの中央４個のサブブロック又はサンプルのうち右下側に位置したサブブロック又はサンプルを示すことができる。例えば、この場合、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続、サブブロックベースの時間的マージ候補を導出する手続又はサブブロックベースの時間的マージのためのベース動き情報を導出する手続は、次の表の通りである。
Figure 0007485819000015
Figure 0007485819000016
Figure 0007485819000017
Figure 0007485819000018
Figure 0007485819000019
Figure 0007485819000020
Figure 0007485819000021
Figure 0007485819000022
Figure 0007485819000023
前記表１２乃至表２０は、３つの手続を示し得、表の順序に沿って前記手続がそれぞれ連続して行われ得る。前記手続は、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続（８．４．４．２）、サブブロックベースの時間的マージ候補を導出する手続（８．４．４．３）又はサブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．４）を含むことができる。
前記表１２乃至表２０を参照すると、ｇｂｉＩｄｘは、双予測加重値インデックスを示すことができ、ｇｂｉＩｄｘＳｂＣｏｌは、サブブロックベースの時間的マージ候補（例えば、サブブロックベースのマージ候補リスト内の時間的動きベクトル候補）のための双予測加重値インデックスを示すことができ、サブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．４）で、前記ｇｂｉＩｄｘＳｂＣｏｌは、ｇｂｉＩｄｘｃｏｌＣｂとして導出されることができる。すなわち、サブブロックベースの時間的動きベクトル候補の加重値インデックスは、時間的センターブロックとして導出されることができる。例えば、前記時間的センターブロックは、コル（ｃｏｌ）ブロック又はコル（ｃｏｌ）ブロックのセンターに位置したサブブロック又はサンプルを示すことができ、具体的には、コルブロックの中央４個のサブブロック又はサンプルのうち右下側に位置したサブブロック又はサンプルを示すことができる。
或いは、例えば、サブブロックベースの時間的動きベクトルの候補に対する加重平均のための加重値インデックスは、それぞれのサブブロック単位の加重値インデックスとして導出されることができ、サブブロックが利用可能ではない場合、時間的センター（ｃｅｎｔｅｒ）ブロックの加重値インデックスとして導出されることができる。例えば、前記時間的センターブロックは、コル（ｃｏｌ）ブロック又はコル（ｃｏｌ）ブロックのセンターに位置したサブブロック又はサンプルを示すことができ、具体的には、コルブロックの中央４個のサブブロック又はサンプルのうち右下側に位置したサブブロック又はサンプルを示すことができる。例えば、この場合、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続、サブブロックベースの時間的マージ候補を導出する手続又はサブブロックベースの時間的マージのためのベース動き情報を導出する手続は、次の表の通りである。
Figure 0007485819000024
Figure 0007485819000025
Figure 0007485819000026
Figure 0007485819000027
Figure 0007485819000028
Figure 0007485819000029
Figure 0007485819000030
Figure 0007485819000031
Figure 0007485819000032
前記表２１乃至表２９は、３つの手続を示し得、表の順序に沿って前記手続がそれぞれ連続して行われ得る。前記手続は、サブブロックマージモード内の動きベクトル及び参照インデックスを導出する手続（８．４．４．２）、サブブロックベースの時間的マージ候補を導出する手続（８．４．４．３）又はサブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．４）を含むことができる。
前記表２１乃至表２９を参照すると、ｇｂｉＩｄｘは、双予測加重値インデックスを示すことができ、ｇｂｉＩｄｘＳｂＣｏｌは、サブブロックベースの時間的マージ候補（例えば、サブブロックベースのマージ候補リスト内の時間的動きベクトル候補）のための双予測加重値インデックスを示すことができ、サブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．３）で、前記ｇｂｉＩｄｘＳｂＣｏｌは、ｇｂｉＩｄｘｃｏｌＣｂとして導出されることができる。或いは、条件（例えば、ａｖａｉｌａｂｌｅＦｌａｇＬ０ＳｂＣｏｌ及びａｖａｉｌａｂｌｅＦｌａｇＬ１ＳｂＣｏｌが全て０である場合）によって、サブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．３）で、前記ｇｂｉＩｄｘＳｂＣｏｌは、ｃｔｒｇｂｉＩｄｘとして導出されることができ、サブブロックベースの時間的マージのためのベース動き情報を導出する手続（８．４．４．４）で、前記ｃｔｒｇｂｉＩｄｘは、ｇｂｉＩｄｘＳｂＣｏｌとして導出されることができる。すなわち、サブブロックベースの時間的動きベクトルの候補の加重値インデックスは、それぞれのサブブロック単位の加重値インデックスとして導出されることができ、サブブロックが利用可能ではない場合、時間的センターブロックとして導出されることができる。例えば、前記時間的センターブロックは、コル（ｃｏｌ）ブロック又はコル（ｃｏｌ）ブロックのセンターに位置したサブブロック又はサンプルを示すことができ、具体的には、コルブロックの中央４個のサブブロック又はサンプルのうち右下側に位置したサブブロック又はサンプルを示すことができる。
一方、本文書のまた別の実施例によれば、マージモードのための動きベクトルの候補の構成時、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補の加重値インデックスを誘導又は導出することができる。言い換えると、マージ候補リストにペアワイズ候補が含まれ得、この場合、前記ペアワイズ候補の加重平均のための加重値インデックスが導出できる。例えば、前記ペアワイズ候補は、前記マージ候補リスト内の他のマージ候補に基づいて導出されることができ、前記ペアワイズ候補が双予測を使用する場合、加重平均のための加重値インデックスを導出することができる。すなわち、インター予測タイプが双（ｂｉ）予測である場合、マージ候補リスト内のペアワイズ候補のための加重値インデックス情報を誘導又は導出することができる。
例えば、前記ペアワイズ候補が前記マージ候補リスト内の２個のマージ候補（例えば、ｃａｎｄ０及びｃａｎｄ１）に基づいて導出されることができ、前記ペアワイズ候補が双予測を使用する場合、前記ペアワイズ候補の加重値インデックスは、前記マージ候補ｃａｎｄ０及び／又はマージ候補ｃａｎｄ１の加重値インデックスに基づいて導出されることができる。言い換えると、前記ペアワイズ候補の加重値インデックスは、前記ペアワイズ候補を導出するのに用いられたマージ候補のいずれかのマージ候補（例えば、マージ候補ｃａｎｄ０又はマージ候補ｃａｎｄ１）の加重値インデックスとして導出されることができる。或いは、例えば、前記ペアワイズ候補の加重値インデックスは、前記ペアワイズ候補を導出するのに用いられたマージ候補（例えば、マージ候補ｃａｎｄ０及びマージ候補ｃａｎｄ１）の加重値インデックスの特定の割合で導出されることができる。ここで、特定の割合は１：１であり得るが、異なる割合によって導出されることもある。例えば、特定の割合は、デフォルト（ｄｅｆａｕｌｔ）割合又はデフォルト値で決定されることができるが、これに限定されるわけではなく、デフォルト割合は１：１の割合で定義されることもあるが、異なる割合で定義されることもある。或いは、例えば、マージ候補の加重値インデックスの特定の割合に基づいてペアワイズ候補の加重値インデックスを導出する場合、特定の割合によって、前述したように、前記ペアワイズ候補の加重値インデックスがマージ候補のいずれかのマージ候補の加重値インデックスとして導出されることと同じ結果が導出されることもある。
一方、本文書のまた別の実施例によれば、サブブロック単位のマージモードのための動きベクトルの候補の構成時、（代表）動きベクトルの候補が双予測を使用するとき、加重平均のための加重値インデックスを誘導又は導出することができる。すなわち、インター予測タイプが双（ｂｉ）予測である場合、アフィンマージ候補リスト又はサブブロックのマージ候補リスト内の候補（又はアフィンマージ候補）のための加重値インデックス情報を誘導又は導出することができる。
例えば、アフィンマージ候補のうち、構成された（ｃｏｎｓｔｒｕｃｔｅｄ）アフィンマージ候補は、現在ブロックの空間的（ｓｐａｔｉａｌ）に隣接したブロック（又は空間的周辺ブロック）又は時間的（ｔｅｍｐｏｒａｌ）に隣接したブロック（又は時間的周辺ブロック）の動き情報に基づいて、ＣＰ０、ＣＰ１、ＣＰ２又はＲＢ候補を導出し、アフィンモデルとしてＭＶＦを導出する候補を示すことができる。例えば、ＣＰ０は、現在ブロックの左上側サンプルポジションで位置するコントロールポイントを示すことができ、ＣＰ１は、現在ブロックの右上側サンプルポジションに位置するコントロールポイントを示すことができ、ＣＰ２は、現在ブロックの左下側サンプルポジションに位置するコントロールポイントを示すことができる。また、ＲＢは、現在ブロックの右下側サンプルポジションに位置するコントロールポイントを示すことができる。
例えば、（代表）動きベクトルの候補が構成されたアフィンマージ候補（又は（現在）アフィンマージ候補）である場合、（現在）アフィンマージ候補の加重値インデックスは、ＣＰ０候補ブロックのうち、ＣＰ０での動きベクトルで決定されたブロックの加重値インデックスとして導出されることができる。或いは、（現在）アフィンマージ候補の加重値インデックスは、ＣＰ１候補ブロックのうち、ＣＰ１での動きベクトルで決定されたブロックの加重値インデックスとして導出されることができる。或いは、（現在）アフィンマージ候補の加重値インデックスは、ＣＰ２候補ブロックのうち、ＣＰ２での動きベクトルで決定されたブロックの加重値インデックスとして導出されることができる。或いは、（現在）アフィンマージ候補の加重値インデックスは、ＲＢ候補ブロックのうち、ＲＢでの動きベクトルで決定されたブロックの加重値インデックスとして導出されることができる。或いは、（現在）アフィンマージ候補の加重値インデックスは、ＣＰ０での動きベクトルで決定されたブロックの加重値インデックス、ＣＰ１での動きベクトルで決定されたブロックの加重値インデックス、ＣＰ２での動きベクトルで決定されたブロックの加重値インデックス、又はＲＢでの動きベクトルで決定されたブロックの加重値インデックスの少なくとも一つに基づいて導出されることもある。例えば、複数の加重値インデックスに基づいて、前記（現在）アフィンマージ候補の加重値インデックスを導出する場合、前記複数の加重値インデックスに対する特定の割合が用いられることもある。ここで、特定の割合は、１：１、１：１：１又は１：１：１：１であり得るが、別の割合によって導出されることもある。例えば、特定の割合は、デフォルト（ｄｅｆａｕｌｔ）割合又はデフォルト値で決定されることができるが、これに限定されるわけではなく、デフォルト割合は１：１の割合で定義され得るが、別の割合で定義されることもある。
或いは、例えば、前記（現在）アフィンマージ候補の加重値インデックスは、各候補の加重値インデックスのうち、発生頻度が高い候補の加重値インデックスとして導出されることができる。例えば、ＣＰ０候補ブロックのうち、ＣＰ０での動きベクトルで決定された候補ブロックの加重値インデックス、ＣＰ１候補ブロックのうち、ＣＰ１での動きベクトルで決定された候補ブロックの加重値インデックス、ＣＰ２候補ブロックのうち、ＣＰ２での動きベクトルで決定された候補ブロックの加重値インデックス及び／又はＲＢ候補ブロックのうち、ＲＢでの動きベクトルで決定された候補ブロックの加重値インデックスのうち、最も多く重複する加重値インデックスを前記（現在）アフィンマージ候補の加重値インデックスとして導出することができる。
例えば、前記コントロールポイントとしてＣＰ０及びＣＰ１が用いられてもよく、ＣＰ０、ＣＰ１及びＣＰ２が用いられてもよく、ＲＢは用いられなくてもよい。但し、例えば、アフィンブロック（アフィン予測モードでコーディングされるブロック）のＲＢ候補を活用しようとする際には、前述した実施例で説明した時間的候補ブロックでの加重値インデックスを誘導又は導出する方法が活用できる。例えば、ＣＰ０、ＣＰ１、又はＣＰ２は、現在ブロックの空間的周辺ブロックに基づいて候補を導出し、候補の中からＣＰ０、ＣＰ１又はＣＰ２での動きベクトル（すなわち、ＣＰＭＶ１、ＣＰＭＶ２又はＣＰＭＶ３）として用いるブロックを決定することができる。或いは、例えば、ＲＢは、現在ブロックの時間的周辺ブロックに基づいて候補を導出し、候補の中からＲＢでの動きベクトルとして用いるブロックを決定することができる。
或いは、例えば、（代表）動きベクトルの候補がＳｂＴＭＶＰ（又はＡＴＭＶＰ）候補である場合、前記ＳｂＴＭＶＰ候補の加重値インデックスは、現在ブロックの左側の周辺ブロックの加重値インデックスとして導出されることができる。すなわち、ＳｂＴＭＶＰ（又はＡＴＭＶＰ）に誘導された候補が双予測を使用する場合、現在ブロックの左側の周辺ブロックの加重値インデックスをサブブロックベースのマージモードのための加重値インデックスとして導出できる。すなわち、インター予測タイプが双（ｂｉ）予測である場合、アフィンマージ候補リスト又はサブブロックのマージ候補リスト内のＳｂＴＭＶＰ候補のための加重値インデックス情報を誘導又は導出することができる。
例えば、ＳｂＴＭＶＰ候補は、現在ブロックの空間的に隣接した左側ブロック（又は左側の周辺ブロック）を基準にコル（ｃｏｌ）ブロックを導出することができるので、前記左側の周辺ブロックの加重値インデックスは信頼を受けることができると見ることができる。これによって、前記ＳｂＴＭＶＰ候補の加重値インデックスは、左側の周辺ブロックの加重値インデックスとして導出されることができる。
図１０及び１１は、本文書の実施例に係るビデオ／映像エンコーディング方法及び関連のコンポーネントの一例を概略的に示す。
図１０で開示された方法は、図２又は図１１で開示されたエンコーディング装置によって行われ得る。具体的に、例えば、図１０のＳ１０００乃至Ｓ１０３０は、図１１の前記エンコーディング装置２００の予測部２２０によって行われ得、図１０のＳ１０４０は、図１１の前記エンコーディング装置２００のエントロピーエンコーディング部２４０によって行われ得る。また、図１０で示していないが、図１１で前記エンコーディング装置２００の予測部２２０により予測サンプル又は予測関連の情報を導出することができ、前記エンコーディング装置２００のレジデュアル処理部２３０により原本サンプル又は予測サンプルからレジデュアル情報が導出でき、前記エンコーディング装置２００のエントロピーエンコーディング部２４０により、レジデュアル情報又は予測関連の情報からビットストリームが生成できる。図１０で開示された方法は、本文書で前述した実施例を含むことができる。
図１０を参照すると、エンコーディング装置は、現在ブロックのインター予測モードを決定し、インター予測モードを示すインター予測モード情報を生成することができる（Ｓ１０００）。例えば、エンコーディング装置は、現在ブロックに適用するインター予測モードとして、マージモード、アフィン（マージ）モード又はサブブロックマージモードを決定することができ、これを示すインター予測モード情報を生成することができる。
エンコーディング装置は、インター予測モードに基づいて現在ブロックのマージ候補リストを生成することができる（Ｓ１０１０）。例えば、エンコーディング装置は、決定したインター予測モードによってマージ候補リストを生成することができる。ここで、決定したインター予測モードがアフィンマージモード又はサブブロックマージモードである場合、前記マージ候補リストは、アフィンマージ候補リスト又はサブブロックのマージ候補リスト等のように呼ばれ得るが、簡略にマージ候補リストと呼ばれることもある。
例えば、前記マージ候補リスト内の候補の数が最大の候補数になるまでマージ候補リストに候補が挿入できる。ここで、候補は、現在ブロックの動き情報（又は動きベクトル）を導出するための候補又は候補ブロックを示すことができる。例えば、候補ブロックは、現在ブロックの周辺ブロックに対する探索を通じて導出されることができる。例えば、周辺ブロックは、現在ブロックの空間的周辺ブロック及び／又は時間的周辺ブロックを含むことができ、空間的周辺ブロックが優先的に探索され、（空間的マージ）候補が導出でき、その後、時間的周辺ブロックが探索され、（時間的マージ）候補として導出されることができ、導出された候補は、前記マージ候補リストに挿入できる。例えば、前記マージ候補リストは、前記候補を挿入した後にも、前記マージ候補リスト内の候補の数が最大の候補数よりも少ない場合、追加の候補を挿入することができる。例えば、追加の候補は、履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ペアワイズ平均マージ候補（ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ＡＴＭＶＰ、組み合わせられた双予測（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）マージ候補（現在スライス／タイルグループのスライス／タイルグループのタイプがＢタイプである場合）及び／又はゼロベクトルマージ候補の少なくとも一つを含むことができる。
或いは、例えば、アフィンマージ候補リスト内の候補の数が最大の候補数になるまでアフィンマージ候補リストに候補が挿入できる。ここで、候補は、現在ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含むことができる。又は、前記候補は、前記ＣＰＭＶを導出するための候補又は候補ブロックを示すこともできる。前記ＣＰＭＶは、現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）での動きベクトルを示すことができる。例えば、ＣＰは、２個、３個又は４個であり得、現在ブロックの左上側（又は左上側角）、右上側（又は右上側角）、左下側（又は左下側角）又は右下側（又は右下側角）の少なくとも一部に位置し得、（各）位置毎に一つのＣＰのみが存在し得る。
例えば、候補は、現在ブロックの周辺ブロック（又は現在ブロックのＣＰの周辺ブロック）に対する探索を通じて導出されることができる。例えば、アフィンマージ候補リストは、承継された（ｉｎｈｅｒｉｔｅｄ）アフィンマージの候補、構成された（ｃｏｎｓｔｒｕｃｔｅｄ）アフィンマージの候補又はゼロ（ｚｅｒｏ）動きベクトルの候補の少なくとも一つを含むことができる。例えば、アフィンマージ候補リストは、とりあえず前記承継されたアフィンマージ候補を挿入することができ、以降、構成されたアフィンマージ候補を挿入することができる。また、アフィンマージ候補リストに構成されたアフィンマージ候補まで挿入したが、前記アフィンマージ候補リスト内の候補の数が最大の候補数よりも小さい場合、残りはゼロ動きベクトルの候補で満たされることができる。ここで、ゼロ動きベクトルの候補は、ゼロベクトルと呼ばれることもある。例えば、アフィンマージ候補リストは、サンプル単位で動きベクトルが導出されるアフィンマージモードによるリストであってもよいが、サブブロック単位で動きベクトルが導出されるアフィンマージモードによるリストであってもよい。この場合、アフィンマージ候補リストは、サブブロックのマージ候補リストと呼ばれることもあり、サブブロックのマージ候補リストは、ＳｂＴＭＶＰとして導出された候補（又はＳｂＴＭＶＰ候補）も含まれ得る。例えば、ＳｂＴＭＶＰ候補がサブブロックのマージ候補リストに含まれる場合、サブブロックのマージ候補リスト内で承継されたアフィンマージ候補及び構成されたアフィンマージ候補より前に位置し得る。
エンコーディング装置は、マージ候補リストに含まれた候補のうちの一つの候補を選択し、選択された候補を示す選択情報を生成することができる（Ｓ１０２０）。例えば、マージ候補リストは、空間的マージ候補、時間的マージ候補、ペアワイズ候補又はゼロベクトル候補の少なくとも一部を含むことができ、現在ブロックのインター予測のためにこのような候補のうちの一つの候補を選択することができる。或いは、例えば、サブブロックのマージ候補リストは、承継されたアフィンマージ候補、構成されたアフィンマージ候補、ＳｂＴＭＶＰ候補又はゼロベクトル候補の少なくとも一部を含むことができ、現在ブロックのインター予測のために、このような候補のうちの一つの候補を選択することができる。
例えば、前記選択情報は、前記マージ候補リスト内の選択された候補を示すインデックス情報を含むことができる。例えば、前記選択情報は、マージインデックス情報又はサブブロックマージインデックス情報と呼ばれることもある。
エンコーディング装置は、現在ブロックのインター予測タイプを双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）で示すインター予測タイプ情報を生成することができる（Ｓ１０３０）。例えば、前記現在ブロックのインター予測タイプは、Ｌ０予測、Ｌ１予測又は双（ｂｉ）予測のうち、双予測で決定されることができ、これを示すインター予測タイプ情報を生成することができる。ここで、Ｌ０予測は、参照ピクチャリスト０ベースの予測を示すことができ、Ｌ１予測は、参照ピクチャリスト１ベースの予測を示すことができ、双予測は、参照ピクチャリスト０及び参照ピクチャリスト１ベースの予測を示すことができる。例えば、エンコーディング装置は、前記インター予測タイプに基づいてインター予測タイプ情報を生成することができる。例えば、前記インター予測タイプ情報は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素を含むことができる。
エンコーディング装置は、インター予測モード情報、選択情報及びインター予測タイプ情報を含む映像情報をエンコーディングすることができる（Ｓ１０４０）。例えば、前記映像情報は、ビデオ情報と呼ばれることもある。前記映像情報は、本文書の前述した実施例に係る多様な情報を含むことができる。例えば、映像情報は、予測関連の情報又はレジデュアル関連の情報の少なくとも一部を含むことができる。例えば、前記予測関連の情報は、前記インター予測モード情報、選択情報及びインター予測タイプ情報の少なくとも一部を含むことができる。例えば、エンコーディング装置は、前述した情報（又はシンタックス要素）の全部または一部を含む映像情報をエンコーディングし、ビットストリーム又はエンコーディングされた情報を生成することができる。或いは、ビットストリームの形態で出力することができる。また、前記ビットストリーム又はエンコーディングされた情報は、ネットワーク又は格納媒体を介してデコーディング装置に送信されることができる。
図１０に示していないが、例えば、エンコーディング装置は、現在ブロックの予測サンプルを生成することができる。或いは、例えば、エンコーディング装置は、選択された候補に基づいて、現在ブロックの予測サンプルを生成することができる。或いは、例えば、エンコーディング装置は、選択された候補に基づいて動き情報を導出することができ、動き情報に基づいて現在ブロックの予測サンプルを生成することができる。例えば、エンコーディング装置は、双予測によってＬ０予測サンプル及びＬ１予測サンプルを生成することができ、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルに基づいて、現在ブロックの予測サンプルを生成することができる。この場合、双予測のための加重値インデックス情報（又は加重値情報）を用いて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルから現在ブロックの予測サンプルを生成することができる。ここで、加重値情報は、前記加重値インデックス情報に基づいて示されることができる。
言い換えると、例えば、エンコーディング装置は、選択された候補に基づいて、現在ブロックのＬ０予測サンプル及びＬ１予測サンプルを生成することができる。例えば、現在ブロックのインター予測タイプが双予測と決定された場合、現在ブロックの予測のために、参照ピクチャリスト０及び参照ピクチャリスト１が用いられることができる。例えば、前記Ｌ０予測サンプルは、前記参照ピクチャリスト０に基づいて導出された現在ブロックの予測サンプルを示すことができ、前記Ｌ１予測サンプルは、前記参照ピクチャリスト１に基づいて導出された現在ブロックの予測サンプルを示すことができる。
例えば、前記候補は、空間的マージ候補を含むことができる。例えば、前記選択された候補が前記空間的マージ候補である場合、前記空間的マージ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。
例えば、前記候補は、時間的マージ候補を含むことができる。例えば、前記選択された候補が前記時間的マージ候補である場合、前記時間的マージ候補に基づいてＬ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。
例えば、前記候補は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補を含むことができる。例えば、前記選択された候補がペアワイズ候補である場合、前記ペアワイズ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記ペアワイズ候補は、前記マージ候補リストに含まれた候補のうち、他の２個の候補に基づいて導出されることができる。
或いは、例えば、前記マージ候補リストは、サブブロックのマージ候補リストであり得、アフィンマージ候補、サブブロックのマージ候補又はＳｂＴＭＶＰ候補が選択されることもある。ここで、サブブロック単位のアフィンマージ候補は、サブブロックのマージ候補と呼ばれることもある。
例えば、前記候補は、サブブロックのマージ候補を含むことができる。例えば、前記選択された候補が前記サブブロックのマージ候補である場合、前記サブブロックのマージ候補に基づいてＬ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記サブブロックのマージ候補は、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含むことができ、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルは、前記ＣＰＭＶに基づいてサブブロック単位で予測が行われて生成できる。
ここで、ＣＰＭＶは、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックのうちの一つのブロックに基づいて示されることができる。例えば、ＣＰは、２個、３個又は４個であり得、現在ブロックの左上側（又は左上側角）、右上側（又は右上側角）、左下側（又は左下側角）又は右下側（又は右下側角）の少なくとも一部に位置し得、（各）位置毎に一つのＣＰのみが存在し得る。
例えば、前記ＣＰが前記現在ブロックの左上側に位置するＣＰ０であり得る。この場合、前記周辺ブロックは、前記現在ブロックの左上側角の周辺ブロック、前記左上側角の周辺ブロックの下側に隣接した左側の周辺ブロック及び前記左上側角の周辺ブロックの右側に隣接した上側の周辺ブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ａ２ブロック、Ｂ２ブロック又はＢ３ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右上側に位置するＣＰ１であり得る。この場合、前記周辺ブロックは、前記現在ブロックの右上側角の周辺ブロック及び前記右上側角の周辺ブロックの左側に隣接した上側の周辺ブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ｂ０ブロック又はＢ１ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの左下側に位置するＣＰ２であり得る。この場合、前記周辺ブロックは、前記現在ブロックの左下側角の周辺ブロック及び前記左下側角の周辺ブロックの上側に隣接した左側の周辺ブロックを含むことができる。若しくは、前記周辺ブロックは、図８で、Ａ０ブロック又はＡ１ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右下側に位置するＣＰ３であり得る。ここで、ＣＰ３はＲＢと呼ばれることもある。この場合、前記周辺ブロックは、前記現在ブロックのコル（ｃｏｌ）ブロック又は前記コルブロックの右下側角の周辺ブロックを含むことができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ｔブロックを含むことができる。
或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができる。例えば、前記選択された候補が前記ＳｂＴＭＶＰ候補である場合、前記現在ブロックの左側の周辺ブロックに基づいてＬ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルは、サブブロック単位で予測が行われて生成されることができる。
例えば、Ｌ０動き情報は、Ｌ０参照ピクチャのインデックス及びＬ０動きベクトル等を含むことができ、Ｌ１動き情報は、Ｌ１参照ピクチャのインデックス及びＬ１動きベクトル等を含むことができる。Ｌ０参照ピクチャのインデックスは、参照ピクチャリスト０で参照ピクチャを示す情報を含むことができ、Ｌ１参照ピクチャのインデックスは、参照ピクチャリスト１で参照ピクチャを示す情報を含むことができる。
例えば、エンコーディング装置は、Ｌ０予測サンプル、Ｌ１予測サンプル及び加重値情報に基づいて、現在ブロックの予測サンプルを生成することができる。例えば、前記加重値情報は、加重値インデックス情報に基づいて示されることができる。前記加重値インデックス情報は、双予測のための加重値インデックス情報を示すことができる。例えば、前記加重値情報は、Ｌ０予測サンプル又はＬ１予測サンプルの加重平均のための情報を含むことができる。すなわち、前記加重値インデックス情報は、前記加重平均に用いられた加重値に対するインデックス情報を示すことができ、前記加重平均に基づいて予測サンプルを生成する手続で、加重値インデックス情報を生成することもできる。例えば、加重値インデックス情報は、３個又は５個の加重値のいずれかの加重値を示す情報を含むことができる。例えば、前記加重平均は、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）又はＢＷＡ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）での加重平均を示すことができる。
例えば、前記候補は、時間的マージ候補を含むことができ、前記加重値インデックス情報は０で示されることができる。すなわち、時間的マージ候補のための加重値インデックス情報は０で示されることができる。ここで、０である加重値インデックス情報は、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを示すことができる。或いは、例えば、前記候補は、時間的マージ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロックの加重値インデックス情報に基づいて示されることができる。すなわち、時間的マージ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロックの加重値インデックス情報に基づいて示されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。
或いは、例えば、前記候補は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補を含むことができ、前記加重値インデックス情報は、前記ペアワイズ候補を導出するのに用いられたマージ候補リスト内の他の２個の候補のうちの一つの加重値インデックス情報で示されることができる。すなわち、前記ペアワイズ候補のための加重値インデックス情報は、前記ペアワイズ候補を導出するのに用いられたマージ候補リスト内の他の２個の候補のうちの一つの加重値インデックス情報で示されることができる。或いは、例えば、前記加重値インデックス情報は、前記２個の候補の加重値インデックス情報に基づいて示されることもできる。
或いは、例えば、前記マージ候補リストは、サブブロックのマージ候補リストであり得、アフィンマージ候補、サブブロックのマージ候補又はＳｂＴＭＶＰ候補が選択されることもある。ここで、サブブロック単位のアフィンマージ候補は、サブブロックのマージ候補と呼ばれることもある。
例えば、前記候補は、サブブロックのマージ候補を含むことができ、前記加重値インデックス情報は、現在ブロックのＣＰの周辺ブロックのうち、特定のブロックの加重値インデックス情報に基づいて示されることができる。すなわち、前記サブブロックのマージ候補のための加重値インデックス情報は、現在ブロックのＣＰの周辺ブロックのうち、特定のブロックの加重値インデックス情報に基づいて示されることができる。ここで、前記特定のブロックは、前記ＣＰに対するＣＰＭＶの導出のために使用されるブロックであり得る。或いは、現在ブロックのＣＰの周辺ブロックのうち、ＣＰＭＶとして用いられるＭＶを有するブロックであり得る。
例えば、前記ＣＰが前記現在ブロックの左上側に位置するＣＰ０であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの左上側角の周辺ブロックの加重値インデックス情報、前記左上側角の周辺ブロックの下側に隣接した左側の周辺ブロックの加重値インデックス情報、又は前記左上側角の周辺ブロックの右側に隣接した上側の周辺ブロックの加重値インデックス情報に基づいて示されることができる。或いは、前記加重値インデックス情報は、図８で、Ａ２ブロックの加重値インデックス情報、Ｂ２ブロックの加重値インデックス情報又はＢ３ブロックの加重値インデックス情報に基づいて示されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右上側に位置するＣＰ１であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの右上側角の周辺ブロックの加重値インデックス情報、又は前記右上側角の周辺ブロックの左側に隣接した上側の周辺ブロックの加重値インデックス情報に基づいて示されることができる。或いは、前記加重値インデックス情報は、図８で、Ｂ０ブロックの加重値インデックス情報、又はＢ１ブロックの加重値インデックス情報に基づいて示されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの左下側に位置するＣＰ２であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの左下側角の周辺ブロックの加重値インデックス情報、又は前記左下側角の周辺ブロックの上側に隣接した左側の周辺ブロックの加重値インデックス情報に基づいて示されることができる。或いは、前記加重値インデックス情報は、図８で、Ａ０ブロックの加重値インデックス情報、又はＡ１ブロックの加重値インデックス情報に基づいて示されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右下側に位置するＣＰ３であり得る。ここで、ＣＰ３はＲＢと呼ばれることもある。この場合、前記加重値インデックス情報は、前記現在ブロックのコル（ｃｏｌ）ブロックの加重値インデックス情報、又は前記コルブロックの右下側角の周辺ブロックの加重値インデックス情報に基づいて示されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。或いは、前記加重値インデックス情報は、図８で、Ｔブロックの加重値インデックス情報に基づいて示されることができる。
或いは、例えば、前記ＣＰは、複数のＣＰを含むことができる。例えば、複数のＣＰは、ＣＰ０、ＣＰ１、ＣＰ２又はＲＢの少なくとも二つを含むことができる。この場合、前記加重値インデックス情報は、前記ＣＰＭＶそれぞれの導出のために使用された特定のブロックの加重値インデックス情報のうち、最も多く重複する加重値インデックス情報に基づいて示されることができる。或いは、前記加重値インデックス情報は、前記特定のブロックの加重値インデックス情報のうち、発生頻度が最も高い加重値インデックス情報に基づいて示されることができる。すなわち、前記加重値インデックス情報は、複数のＣＰそれぞれに対するＣＰＭＶを導出するために使用された特定のブロックの加重値インデックス情報に基づいて示されることができる。
或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、前記現在ブロックの左側の周辺ブロックの加重値インデックス情報に基づいて示されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、前記左側の周辺ブロックの加重値インデックス情報に基づいて示されることができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、０で示されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、０で示されることができる。ここで、０である加重値インデックス情報は、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを示すことができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロック内のセンターブロックの加重値インデックス情報に基づいて示されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロック内のセンターブロックの加重値インデックス情報に基づいて示されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができ、前記センターブロックは、前記コルブロックの中央に位置する４個のサブブロックのうち、右下側のサブブロックを含むことができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロックのサブブロックそれぞれの加重値インデックス情報に基づいて示されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロックのサブブロックそれぞれの加重値インデックス情報に基づいて示されることができる。
或いは、図１０に示していないが、例えば、エンコーディング装置は、前記予測サンプルと原本サンプルとに基づいて、レジデュアルサンプルを導出することができる。この場合、前記レジデュアルサンプルに基づいて、レジデュアル関連の情報が導出できる。前記レジデュアル関連の情報に基づいて、レジデュアルサンプルが導出できる。前記レジデュアルサンプル及び前記予測サンプルに基づいて、復元サンプルが生成できる。前記復元サンプルに基づいて、復元ブロック及び復元ピクチャが導出できる。或いは、例えば、エンコーディング装置は、レジデュアル関連の情報又は予測関連の情報を含む映像情報をエンコーディングすることができる。
例えば、エンコーディング装置は、前述した情報（又はシンタックス要素）の全部又は一部を含む映像情報をエンコーディングし、ビットストリーム又はエンコーディングされた情報を生成することができる。或いは、ビットストリームの形態で出力できる。また、前記ビットストリーム又はエンコーディングされた情報は、ネットワーク又は格納媒体を介してデコーディング装置に送信されることができる。或いは、前記ビットストリーム又はエンコーディングされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前記ビットストリーム又は前記エンコーディングされた情報は、前述した映像エンコーディング方法により生成できる。
図１２及び図１３は、本文書の実施例に係るビデオ／映像デコーディング方法及び関連のコンポーネントの一例を概略的に示す。
図１２で開示された方法は、図３又は図１３で開示されたデコーディング装置によって行われ得る。具体的に、例えば、図１２のＳ１２００は、図１３で前記デコーディング装置３００のエントロピーデコーディング部３１０によって行われ得、図１２のＳ１２１０乃至Ｓ１２６０は、図１３で前記デコーディング装置３００の予測部３３０によって行われ得る。また、図１２で示していないが、図１３で前記デコーディング装置３００のエントロピーデコーディング部３１０によりビットストリームから予測関連の情報又はレジデュアル情報が導出でき、前記デコーディング装置３００のレジデュアル処理部３２０によりレジデュアル情報からレジデュアルサンプルが導出でき、前記デコーディング装置３００の予測部３３０により予測関連の情報から予測サンプルが導出でき、前記デコーディング装置３００の加算部３４０によりレジデュアルサンプル又は予測サンプルから復元ブロック又は復元ピクチャが導出できる。図１２で開示された方法は、本文書で前述した実施例を含むことができる。
図１２を参照すると、デコーディング装置は、ビットストリームを介してインター予測モード情報及びインター予測タイプ情報を含む映像情報を受信することができる（Ｓ１２００）。例えば、前記映像情報は、ビデオ情報と呼ばれることもある。前記映像情報は、本文書の前述した実施例に係る多様な情報を含むことができる。例えば、映像情報は、予測関連の情報又はレジデュアル関連の情報の少なくとも一部を含むことができる。
例えば、前記予測関連の情報は、インター予測モード情報又はインター予測タイプ情報を含むことができる。例えば、前記インター予測モード情報は、多様なインター予測モードの少なくとも一部を示す情報を含むことができる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、サブブロックマージモード又はＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モード等の多様なモードが使用され得る。また、ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ）又はＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）等が付随的モードとして、さらに又は代わりに使用され得る。例えば、前記インター予測タイプ情報は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素を含むことができる。或いは、前記インター予測タイプ情報は、Ｌ０予測、Ｌ１予測又は双（ｂｉ）予測のいずれかを示す情報を含むことができる。
デコーディング装置は、インター予測モード情報に基づいて、現在ブロックのマージ候補リストを生成することができる（Ｓ１２１０）。例えば、デコーディング装置は、前記インター予測モード情報に基づいて、現在ブロックのインター予測モードをマージモード、アフィン（マージ）モード又はサブブロックマージモードと決定することができ、決定したインター予測モードによってマージ候補リストを生成することができる。ここで、インター予測モードがアフィンマージモード又はサブブロックマージモードと決定された場合、前記マージ候補リストは、アフィンマージ候補リスト又はサブブロックのマージ候補リスト等のように呼ばれ得るが、簡略にマージ候補リストと呼ばれることもある。
例えば、前記マージ候補リスト内の候補の数が最大の候補数になるまでマージ候補リストに候補が挿入できる。ここで、候補は、現在ブロックの動き情報（又は動きベクトル）を導出するための候補又は候補ブロックを示すことができる。例えば、候補ブロックは、現在ブロックの周辺ブロックに対する探索を通じて導出できる。例えば、周辺ブロックは、現在ブロックの空間的周辺ブロック及び／又は時間的周辺ブロックを含むことができ、空間的周辺ブロックが優先的に探索され、（空間的マージ）候補が導出でき、以降、時間的周辺ブロックが探索され、（時間的マージ）候補として導出でき、導出された候補は、前記マージ候補リストに挿入されることができる。例えば、前記マージ候補リストは、前記候補を挿入した後にも前記マージ候補リスト内の候補の数が最大の候補数よりも少ない場合、追加の候補を挿入することができる。例えば、追加の候補は、履歴ベースマージ候補（ｈｉｓｔｏｒｙ ｂａｓｅｄ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ペアワイズ平均マージ候補（ｐａｉｒ－ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ（ｓ））、ＡＴＭＶＰ、組み合わせられた双予測（ｃｏｍｂｉｎｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｖｅ）マージ候補（現在スライス／タイルグループのスライス／タイルグループのタイプがＢタイプである場合）及び／又はゼロベクトルマージ候補の少なくとも一つを含むことができる。
或いは、例えば、アフィンマージ候補リスト内の候補の数が最大の候補数になるまでアフィンマージ候補リストに候補が挿入できる。ここで、候補は、現在ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含むことができる。或いは、前記候補は、前記ＣＰＭＶを導出するための候補又は候補ブロックを示すこともできる。前記ＣＰＭＶは、現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）での動きベクトルを示すことができる。例えば、ＣＰは、２個、３個又は４個であり得、現在ブロックの左上側（又は左上側角）、右上側（又は右上側角）、左下側（又は左下側角）又は右下側（又は右下側角）の少なくとも一部に位置し得、（各）位置毎に一つのＣＰのみが存在し得る。
例えば、候補ブロックは、現在ブロックの周辺ブロック（又は現在ブロックのＣＰの周辺ブロック）に対する探索を通じて導出できる。例えば、アフィンマージ候補リストは、承継された（ｉｎｈｅｒｉｔｅｄ）アフィンマージ候補、構成された（ｃｏｎｓｔｒｕｃｔｅｄ）アフィンマージ候補又はゼロ（ｚｅｒｏ）動きベクトル候補の少なくとも一つを含むことができる。例えば、アフィンマージ候補リストは、とりあえず前記承継されたアフィンマージ候補を挿入することができ、以降、構成されたアフィンマージ候補を挿入することができる。また、アフィンマージ候補リストに構成されたアフィンマージ候補まで挿入したが、前記アフィンマージ候補リスト内の候補の数が最大の候補数よりも小さい場合、残りはゼロ動きベクトルの候補で満たされることができる。ここで、ゼロ動きベクトルの候補は、ゼロベクトルと呼ばれることもある。例えば、アフィンマージ候補リストは、サンプル単位で動きベクトルが導出されるアフィンマージモードによるリストであり得るが、サブブロック単位で動きベクトルが導出されるアフィンマージモードによるリストであり得る。この場合、アフィンマージ候補リストは、サブブロックのマージ候補リストと呼ばれることもあり、サブブロックのマージ候補リストは、ＳｂＴＭＶＰとして導出された候補（又はＳｂＴＭＶＰ候補）も含まれ得る。例えば、ＳｂＴＭＶＰ候補がサブブロックのマージ候補リストに含まれる場合、サブブロックのマージ候補リスト内で承継されたアフィンマージ候補及び構成されたアフィンマージ候補よりも前に位置し得る。
デコーディング装置は、マージ候補リストに含まれた候補のうちの一つの候補を選択することができる（Ｓ１２２０）。例えば、マージ候補リストは、空間的マージ候補、時間的マージ候補、ペアワイズ候補又はゼロベクトル候補の少なくとも一部を含むことができ、現在ブロックのインター予測のために、このような候補のうちの一つの候補を選択することができる。或いは、例えば、サブブロックのマージ候補リストは、承継されたアフィンマージ候補、構成されたアフィンマージ候補、ＳｂＴＭＶＰ候補又はゼロベクトル候補の少なくとも一部を含むことができ、現在ブロックのインター予測のために、このような候補のうちの一つの候補を選択することができる。例えば、前記選択された候補は、選択情報に基づいて、前記マージ候補リストから選択されることができる。例えば、前記選択情報は、前記前記マージ候補リスト内の選択された候補を示すインデックス情報を含むことができる。例えば、前記選択情報は、マージインデックス情報又はサブブロックマージインデックス情報と呼ばれることもある。例えば、前記選択情報は、前記映像情報に含まれ得る。或いは、前記選択情報は、前記インター予測モード情報に含まれることもある。
デコーディング装置は、インター予測タイプ情報に基づいて、現在ブロックのインター予測タイプを双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）として導出できる（Ｓ１２３０）。例えば、前記現在ブロックのインター予測タイプは、前記インター予測タイプ情報に基づいて、Ｌ０予測、Ｌ１予測又は双（ｂｉ）予測のうち、双予測として導出されることができる。ここで、Ｌ０予測は、参照ピクチャリスト０ベースの予測を示すことができ、Ｌ１予測は、参照ピクチャリスト１ベースの予測を示すことができ、双予測は、参照ピクチャリスト０及び参照ピクチャリスト１ベースの予測を示すことができる。例えば、前記インター予測タイプ情報は、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃのシンタックス要素を含むことができる。
デコーディング装置は、選択された候補に基づいて、現在ブロックの動き情報を導出することができる（Ｓ１２４０）。例えば、デコーディング装置は、インター予測タイプが双予測として導出されることによって、選択された候補に基づいて、Ｌ０動き情報及びＬ１動き情報を導出することができる。例えば、Ｌ０動き情報は、Ｌ０参照ピクチャのインデックス及びＬ０動きベクトル等を含むことができ、Ｌ１動き情報は、Ｌ１参照ピクチャのインデックス及びＬ１動きベクトル等を含むことができる。Ｌ０参照ピクチャのインデックスは、参照ピクチャリスト０で参照ピクチャを示す情報を含むことができ、Ｌ１参照ピクチャインデックスは、参照ピクチャリスト１で参照ピクチャを示す情報を含むことができる。
デコーディング装置は、動き情報に基づいて、現在ブロックのＬ０予測サンプル及びＬ１予測サンプルを生成することができる（Ｓ１２５０）。例えば、現在ブロックのインター予測タイプが双予測として導出された場合、現在ブロックの予測のために、参照ピクチャリスト０及び参照ピクチャリスト１が用いられ得る。例えば、前記Ｌ０予測サンプルは、前記参照ピクチャリスト０に基づいて導出された現在ブロックの予測サンプルを示すことができ、前記Ｌ１予測サンプルは、前記参照ピクチャリスト１に基づいて導出された現在ブロックの予測サンプルを示すことができる。
例えば、前記候補は、空間的マージ候補を含むことができる。例えば、前記選択された候補が前記空間的マージ候補である場合、前記空間的マージ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。
例えば、前記候補は、時間的マージ候補を含むことができる。例えば、前記選択された候補が前記時間的マージ候補である場合、前記時間的マージ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。
例えば、前記候補は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補を含むことができる。例えば、前記選択された候補がペアワイズ候補である場合、前記ペアワイズ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記ペアワイズ候補は、前記マージ候補リストに含まれた候補のうち、他の２個の候補に基づいて導出されることができる。
或いは、例えば、前記マージ候補リストは、サブブロックのマージ候補リストであり得、アフィンマージ候補、サブブロックのマージ候補又はＳｂＴＭＶＰ候補が選択されることもある。ここで、サブブロック単位のアフィンマージ候補は、サブブロックのマージ候補と呼ばれることもある。
例えば、前記候補は、サブブロックのマージ候補を含むことができる。例えば、前記選択された候補が前記サブブロックのマージ候補である場合、前記サブブロックのマージ候補に基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記サブブロックのマージ候補は、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含むことができ、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルは、前記ＣＰＭＶに基づいてサブブロック単位で予測が行われて生成されることができる。
ここで、ＣＰＭＶは、前記現在ブロックのＣＰ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）の周辺ブロックのうちの一つのブロックに基づいて導出されることができる。例えば、ＣＰは、２個、３個又は４個であり得、現在ブロックの左上側（又は左上側角）、右上側（又は右上側角）、左下側（又は左下側角）又は右下側（又は右下側角）の少なくとも一部に位置し得、（各）位置毎に一つのＣＰのみが存在し得る。
例えば、前記ＣＰが前記現在ブロックの左上側に位置するＣＰ０であり得る。この場合、前記周辺ブロックは、前記現在ブロックの左上側角の周辺ブロック、前記左上側角の周辺ブロックの下側に隣接した左側の周辺ブロック及び前記左上側角の周辺ブロックの右側に隣接した上側の周辺ブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ａ２ブロック、Ｂ２ブロック又はＢ３ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右上側に位置するＣＰ１であり得る。この場合、前記周辺ブロックは、前記現在ブロックの右上側角の周辺ブロック及び前記右上側角の周辺ブロックの左側に隣接した上側の周辺ブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ｂ０ブロック又はＢ１ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの左下側に位置するＣＰ２であり得る。この場合、前記周辺ブロックは、前記現在ブロックの左下側角の周辺ブロック及び前記左下側角の周辺ブロックの上側に隣接した左側の周辺ブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ａ０ブロック又はＡ１ブロックを含むことができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右下側に位置するＣＰ３であり得る。ここで、ＣＰ３はＲＢと呼ばれることもある。この場合、前記周辺ブロックは、前記現在ブロックのコル（ｃｏｌ）ブロック又は前記コルブロックの右下側角の周辺ブロックを含むことができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。或いは、前記周辺ブロックは、図８で、Ｔブロックを含むことができる。
或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができる。例えば、前記選択された候補が前記ＳｂＴＭＶＰ候補である場合、前記現在ブロックの左側の周辺ブロックに基づいて、Ｌ０動き情報及びＬ１動き情報が導出でき、これに基づいて、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルが生成できる。例えば、前記Ｌ０予測サンプル及び前記Ｌ１予測サンプルは、サブブロック単位で予測が行われて生成されることができる。
デコーディング装置は、Ｌ０予測サンプル、Ｌ１予測サンプル及び加重値情報に基づいて、現在ブロックの予測サンプルを生成することができる（Ｓ１２６０）。例えば、前記加重値情報は、加重値インデックス情報に基づいて導出されることができる。例えば、前記加重値情報は、Ｌ０予測サンプル又はＬ１予測サンプルの加重平均のための情報を含むことができる。すなわち、前記加重値インデックス情報は、前記加重平均に用いられた加重値に対するインデックス情報を示すことができ、前記加重平均は、加重値インデックス情報に基づいて行われ得る。例えば、加重値インデックス情報は、３個又は５個の加重値のいずれかの加重値を示す情報を含むことができる。例えば、前記加重平均は、ＢＣＷ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ Ｗｅｉｇｈｔ）又はＢＷＡ（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ Ｗｅｉｇｈｔｅｄ Ａｖｅｒａｇｅ）での加重平均を示すことができる。
例えば、前記候補は、時間的マージ候補を含むことができ、前記加重値インデックス情報は、０として導出されることができる。すなわち、時間的マージ候補のための加重値インデックス情報は、０として導出されることができる。ここで、０である加重値インデックス情報は、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを示すことができる。或いは、例えば、前記候補は、時間的マージ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロックの加重値インデックス情報に基づいて導出されることができる。すなわち、時間的マージ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロックの加重値インデックス情報に基づいて導出されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。
或いは、例えば、前記候補は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補を含むことができ、前記加重値インデックス情報は、前記ペアワイズ候補を導出するのに用いられたマージ候補リスト内の他の２個の候補のうちの一つの加重値インデックス情報として導出されることができる。すなわち、前記ペアワイズ候補のための加重値インデックス情報は、前記ペアワイズ候補を導出するのに用いられたマージ候補リスト内の他の２個の候補のうちの一つの加重値インデックス情報として導出されることができる。或いは、例えば、前記加重値インデックス情報は、前記２個の候補の加重値インデックス情報に基づいて、導出されることもある。
或いは、例えば、前記マージ候補リストは、サブブロックのマージ候補リストであり得、アフィンマージ候補、サブブロックのマージ候補又はＳｂＴＭＶＰ候補が選択されることもある。ここで、サブブロック単位のアフィンマージ候補は、サブブロックのマージ候補と呼ばれることもある。
例えば、前記候補は、サブブロックのマージ候補を含むことができ、前記加重値インデックス情報は、現在ブロックのＣＰの周辺ブロックのうち、特定のブロックの加重値インデックス情報に基づいて導出されることができる。すなわち、前記サブブロックのマージ候補のための加重値インデックス情報は、現在ブロックのＣＰの周辺ブロックのうち、特定のブロックの加重値インデックス情報に基づいて導出されることができる。ここで、前記特定のブロックは、前記ＣＰに対するＣＰＭＶの導出のために使用されるブロックであり得る。或いは、現在ブロックのＣＰの周辺ブロックのうち、ＣＰＭＶとして用いられるＭＶを有するブロックであり得る。
例えば、前記ＣＰが前記現在ブロックの左上側に位置するＣＰ０であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの左上側角の周辺ブロックの加重値インデックス情報、前記左上側角の周辺ブロックの下側に隣接した左側の周辺ブロックの加重値インデックス情報又は前記左上側角の周辺ブロックの右側に隣接した上側の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。或いは、前記加重値インデックス情報は、図８で、Ａ２ブロックの加重値インデックス情報、Ｂ２ブロックの加重値インデックス情報又はＢ３ブロックの加重値インデックス情報に基づいて導出されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右上側に位置するＣＰ１であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの右上側角の周辺ブロックの加重値インデックス情報又は前記右上側角の周辺ブロックの下側に隣接した上側の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。或いは、前記加重値インデックス情報は、図８で、Ｂ０ブロックの加重値インデックス情報又はＢ１ブロックの加重値インデックス情報に基づいて導出されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの左下側に位置するＣＰ２であり得る。この場合、前記加重値インデックス情報は、前記現在ブロックの左下側角の周辺ブロックの加重値インデックス情報又は前記左下側角の周辺ブロックの上側に隣接した左側の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。或いは、前記加重値インデックス情報は、図８で、Ａ０ブロックの加重値インデックス情報又はＡ１ブロックの加重値インデックス情報に基づいて導出されることができる。
或いは、例えば、前記ＣＰが前記現在ブロックの右下側に位置するＣＰ３であり得る。ここで、ＣＰ３はＲＢと呼ばれることもある。この場合、前記加重値インデックス情報は、前記現在ブロックのコル（ｃｏｌ）ブロックの加重値インデックス情報又は前記コルブロックの右下側角の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができる。或いは、前記加重値インデックス情報は、図８で、Ｔブロックの加重値インデックス情報に基づいて導出されることができる。
或いは、例えば、前記ＣＰは、複数のＣＰを含むことができる。例えば、複数のＣＰは、ＣＰ０、ＣＰ１、ＣＰ２又はＲＢの少なくとも二つを含むことができる。この場合、前記加重値インデックス情報は、前記ＣＰＭＶそれぞれの導出のために使用された特定のブロックの加重値インデックス情報のうち最も多く重複する加重値インデックス情報に基づいて導出されることができる。或いは、前記加重値インデックス情報は、前記特定のブロックの加重値インデックス情報のうち、発生頻度が最も高い加重値インデックス情報に基づいて導出されることができる。すなわち、前記加重値インデックス情報は、複数のＣＰそれぞれに対するＣＰＭＶを導出するために使用された特定のブロックの加重値インデックス情報に基づいて導出されることができる。
或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、前記現在ブロックの左側の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、前記左側の周辺ブロックの加重値インデックス情報に基づいて導出されることができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、０として導出されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、０として導出されることができる。ここで、０である加重値インデックス情報は、各参照方向（すなわち、双予測でＬ０予測方向及びＬ１予測方向）の加重値が同一であることを示すことができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロック内のセンターブロックの加重値インデックス情報に基づいて導出されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロック内のセンターブロックの加重値インデックス情報に基づいて導出されることができる。ここで、前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含むことができ、前記センターブロックは、前記コルブロックの中央に位置する４個のサブブロックのうち、右下側のサブブロックを含むことができる。或いは、例えば、前記候補は、ＳｂＴＭＶＰ候補を含むことができ、前記加重値インデックス情報は、コル（ｃｏｌ）ブロックのサブブロックそれぞれの加重値インデックス情報に基づいて導出されることができる。すなわち、ＳｂＴＭＶＰ候補のための加重値インデックス情報は、コル（ｃｏｌ）ブロックのサブブロックそれぞれの加重値インデックス情報に基づいて導出されることができる。
図１２に示していないが、例えば、デコーディング装置は、前記映像情報に含まれたレジデュアル関連の情報に基づいて、レジデュアルサンプルを導出することができる。また、デコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて、復元サンプルを生成することができる。前記復元サンプルに基づいて、復元ブロック及び復元ピクチャが導出できる。
例えば、デコーディング装置は、ビットストリーム又はエンコーディングされた情報をデコーディングし、前述した情報（又はシンタックス要素）の全部又は一部を含む映像情報を獲得することができる。また、前記ビットストリーム又はエンコーディングされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前述したデコーディング方法が行われるように引き起こすことができる。
前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施例は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の実施例の範囲に影響を与えずに削除され得ることを理解することができる。
前述した本文書の実施例に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
本文書で、実施例がソフトウェアで具現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書の実施例が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、映像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
また、本文書の実施例が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施例に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。
また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。
図１４は、本文書で開示された実施例が適用できるコンテンツストリーミングシステムの例を示す。
図１４を参照すると、本文書の実施例が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。
前記ビットストリームは、本文書の実施例が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。
前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。

Claims (9)

  1. デコーディング装置によって行われる映像デコーディング方法において、
    ビットストリームを介してインター予測モード情報を含む映像情報を受信するステップと、
    前記インター予測モード情報に基づいて、現在ブロックのマージ候補リストを生成するステップと、
    前記マージ候補リストに含まれた候補のうちの一つの候補を選択するステップと、
    前記選択された候補に基づいて、前記現在ブロックの動き情報を導出するステップと、
    前記導出された動き情報に基づいて、Ｌ０予測サンプル及びＬ１予測サンプルを生成するステップと、
    前記Ｌ０予測サンプル、前記Ｌ１予測サンプル、及び加重値情報に基づいて前記現在ブロックの予測サンプルを生成し、前記加重値情報は、前記選択された候補に対する加重値インデックス情報に基づいて導出される、ステップと、を含み、
    前記候補は、承継されたアフィンマージ候補と構成されたアフィンマージ候補を含み、
    前記承継されたアフィンマージ候補は、前記現在ブロックの周辺ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）に基づいて導出され、
    前記構成されたアフィンマージ候補は制御ポイント（ＣＰ）の複数のＣＰＭＶを含み、
    前記構成されたアフィンマージ候補がＣＰ０（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ ０）に対するＣＰＭＶを含むこと、及び双予測が前記現在ブロックに適用されることに基づいて、前記構成されたアフィンマージ候補に対する加重インデックス情報は、前記現在ブロックの前記ＣＰ０の周辺ブロックのうち、特定のブロックの加重値インデックス情報に等しいように固定され、前記ＣＰ０は前記現在ブロックの左上側角に関連し、
    前記特定のブロックは、前記ＣＰ０に対する前記ＣＰＭＶの導出のために使用されるブロックであり、
    前記構成されたアフィンマージ候補は、前記マージ候補リストの中で前記承継されたアフィンマージ候補の後に挿入される、映像デコーディング方法。
  2. 前記周辺ブロックは、前記現在ブロックの左上側角の周辺ブロック、前記左上側角の周辺ブロックの下側に隣接した左側の周辺ブロック、及び前記左上側角の周辺ブロックの右側に隣接した上側の周辺ブロックを含む、請求項１に記載の映像デコーディング方法。
  3. 前記候補は、ペアワイズ（ｐａｉｒ－ｗｉｓｅ）候補を含み、
    前記ペアワイズ候補は、前記候補のうち異なる２個の候補に基づいて導出され、
    前記ペアワイズ候補に対する加重値インデックス情報は、前記２個の候補のうちの一つの加重値インデックス情報に基づいて導出される、請求項１に記載の映像デコーディング方法。
  4. 前記候補は、サブブロックベーステンポラルマージ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｅｒｇｅ）候補を含み、
    前記サブブロックベーステンポラルマージ候補に対する加重値インデックス情報は、前記現在ブロックの左側の周辺ブロックの加重値インデックス情報に基づいて導出される、請求項１に記載の映像デコーディング方法。
  5. 前記候補は、サブブロックベーステンポラルマージ候補を含み、
    前記サブブロックベーステンポラルマージ候補に対する加重値インデックス情報は、０として導出される、請求項１に記載の映像デコーディング方法。
  6. 前記候補は、サブブロックベーステンポラルマージ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｅｒｇｅ）候補を含み、
    前記サブブロックベーステンポラルマージ候補に対する加重値インデックス情報は、コル（ｃｏｌ）ブロック内のセンターブロックの加重値インデックス情報に基づいて導出され、
    前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含み、
    前記センターブロックは、前記コルブロックの中央に位置する４個のサブブロックのうち右下側のサブブロックである、請求項１に記載の映像デコーディング方法。
  7. 前記候補は、サブブロックベーステンポラルマージ（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｅｒｇｅ）候補を含み、
    前記サブブロックベーステンポラルマージ候補に対する加重値インデックス情報は、コル（ｃｏｌ）ブロックのサブブロックそれぞれの加重値インデックス情報に基づいて導出され、
    前記コルブロックは、前記現在ブロックが位置する現在ピクチャと異なる参照ピクチャ内に前記現在ブロックと同じ位置のブロックを含む、請求項１に記載の映像デコーディング方法。
  8. エンコーディング装置によって行われる映像エンコーディング方法において、
    現在ブロックのインター予測モードを決定し、前記インター予測モードを示すインター予測モード情報を生成するステップと、
    前記インター予測モードに基づいて、前記現在ブロックのマージ候補リストを生成するステップと、
    前記マージ候補リストに含まれた候補のうちの一つの候補を選択し、前記選択された候補を示す選択情報を生成するステップと、
    前記インター予測モード情報及び前記選択情報を含む映像情報をエンコーディングするステップと、を含み、
    前記候補は、承継されたアフィンマージ候補と構成されたアフィンマージ候補を含み、前記構成されたアフィンマージ候補は、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含み、
    前記承継されたアフィンマージ候補は、前記現在ブロックの周辺ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）に基づいて導出され、
    前記構成されたアフィンマージ候補は制御ポイント（ＣＰ）の複数のＣＰＭＶを含み、
    前記構成されたアフィンマージ候補がＣＰ０（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ ０）に対するＣＰＭＶを含むこと、及び双予測が前記現在ブロックに適用されることに基づいて、前記構成されたアフィンマージ候補に対する加重インデックス情報は、前記現在ブロックのＣＰ０（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ ０）の周辺ブロックのうち、特定のブロックの加重値インデックス情報に等しいように固定され、前記ＣＰ０は前記現在ブロックの左上側角に関連し、
    前記特定のブロックは、前記ＣＰ０に対するＣＰＭＶの導出のために使用されるブロックであり、
    前記構成されたアフィンマージ候補は、前記マージ候補リストの中で前記承継されたアフィンマージ候補の後に挿入される、映像エンコーディング方法。
  9. 映像データに対する送信方法であって、
    送信装置が、エンコードされた映像情報を取得するステップであって、前記エンコードされた映像情報は、現在ブロックのインター予測モードを決定し、前記インター予測モードを示すインター予測モード情報を生成し、前記インター予測モードに基づいて前記現在ブロックのマージ候補リストを生成し、前記マージ候補リストに含まれる候補の一つを選択し、前記選択された候補を示す選択情報を生成し、前記インター予測モード情報と前記選択情報を含む映像情報をエンコーディングすることを実行することにより生成される、ステップと、
    前記送信装置が、前記エンコードされた映像情報に対する前記映像データを送信するステップを含み、
    前記候補は、承継されたアフィンマージ候補と構成されたアフィンマージ候補を含み、前記構成されたアフィンマージ候補は、ＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を含み、
    前記承継されたアフィンマージ候補は、前記現在ブロックの周辺ブロックのＣＰＭＶ（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）に基づいて導出され、
    前記構成されたアフィンマージ候補は制御ポイント（ＣＰ）の複数のＣＰＭＶを含み、
    前記承継されたアフィンマージ候補がＣＰ０（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ ０）に対するＣＰＭＶを含むこと、及び双予測が前記現在ブロックに適用されることに基づいて、前記構成されたアフィンマージ候補に対する加重インデックス情報は、前記現在ブロックのＣＰ０（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ ０）の周辺ブロックのうち、特定ブロックの加重値インデックス情報に等しいように固定され、前記ＣＰ０は前記現在ブロックの左上側角に関連し、
    前記特定ブロックは、前記ＣＰ０に対するＣＰＭＶの導出のために使用されるブロックであり、
    前記構成されたアフィンマージ候補は、前記マージ候補リストの中で前記承継されたアフィンマージ候補の後に挿入される、映像データに対する送信方法。
JP2023055952A 2019-03-12 2023-03-30 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング Active JP7485819B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962817513P 2019-03-12 2019-03-12
US62/817,513 2019-03-12
JP2021554683A JP7256290B2 (ja) 2019-03-12 2020-03-10 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング
PCT/KR2020/003323 WO2020184953A1 (ko) 2019-03-12 2020-03-10 쌍 예측을 위한 가중치 인덱스 정보를 유도하는 비디오 또는 영상 코딩

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021554683A Division JP7256290B2 (ja) 2019-03-12 2020-03-10 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング

Publications (2)

Publication Number Publication Date
JP2023073450A JP2023073450A (ja) 2023-05-25
JP7485819B2 true JP7485819B2 (ja) 2024-05-16

Family

ID=72427507

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021554683A Active JP7256290B2 (ja) 2019-03-12 2020-03-10 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング
JP2023055952A Active JP7485819B2 (ja) 2019-03-12 2023-03-30 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021554683A Active JP7256290B2 (ja) 2019-03-12 2020-03-10 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング

Country Status (7)

Country Link
US (3) US11595640B2 (ja)
EP (1) EP3923583A4 (ja)
JP (2) JP7256290B2 (ja)
KR (1) KR20210118952A (ja)
CN (5) CN117692659A (ja)
MX (1) MX2021010942A (ja)
WO (1) WO2020184953A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262901A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디코딩 방법 및 그 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2738329C (en) * 2001-11-21 2012-09-18 General Instrument Corporation Picture level adaptive frame/field coding for digital video content
CN101610413B (zh) * 2009-07-29 2011-04-27 清华大学 一种视频的编码/解码方法及装置
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
CN106231339B (zh) 2011-01-07 2019-07-09 Lg电子株式会社 视频编码和解码的装置
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
WO2014083492A2 (en) * 2012-11-27 2014-06-05 Squid Design Systems Pvt Ltd System and method of performing motion estimation in multiple reference frame
WO2014083491A2 (en) * 2012-11-27 2014-06-05 Squid Design Systems Pvt Ltd System and method of mapping multiple reference frame motion estimation on multi-core dsp architecture
US10785501B2 (en) * 2012-11-27 2020-09-22 Squid Design Systems Pvt Ltd System and method of performing motion estimation in multiple reference frame
CN109274974B (zh) * 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
CN109804626B (zh) 2016-10-04 2023-10-10 英迪股份有限公司 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019002215A1 (en) * 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
US11202089B2 (en) * 2019-01-28 2021-12-14 Tencent America LLC Method and apparatus for determining an inherited affine parameter from an affine model
KR20210129721A (ko) * 2019-03-11 2021-10-28 알리바바 그룹 홀딩 리미티드 병합 모드를 위한 예측 가중치를 결정하는 방법, 디바이스, 및 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Huanbang Chen, Haitao Yang, and Jianle Chen，CE4: Common base for affine merge mode (Test 4.2.1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0366-v1，12th Meeting: Macao, CN，2018年09月，pp.1-3
Jianle Chen Yan Ye Seung Hwan Kim，Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L1002-v1，12th Meeting: Macao, CN，2018年12月，pp.1-5,18-30
Naeri Park, et al.，Non-CE4 : Simplifications on BCW index derivation process，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0366-r1，15th Meeting: Gothenburg, SE，2019年07月，pp.1-5
Yu-Chi Su, et al.，CE4-related: Generalized bi-prediction improvements combined from JVET-L0197 and JVET-L0296，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0646-v5，12th Meeting: Macao, CN，2018年10月，pp.1-6

Also Published As

Publication number Publication date
US20220007008A1 (en) 2022-01-06
EP3923583A4 (en) 2022-04-27
JP2022524432A (ja) 2022-05-02
CN113678455A (zh) 2021-11-19
US20230164307A1 (en) 2023-05-25
US11876960B2 (en) 2024-01-16
CN117692658A (zh) 2024-03-12
US11595640B2 (en) 2023-02-28
WO2020184953A1 (ko) 2020-09-17
KR20210118952A (ko) 2021-10-01
US20240121382A1 (en) 2024-04-11
MX2021010942A (es) 2021-12-10
CN117793374A (zh) 2024-03-29
EP3923583A1 (en) 2021-12-15
CN113678455B (zh) 2024-01-16
JP7256290B2 (ja) 2023-04-11
JP2023073450A (ja) 2023-05-25
CN117692660A (zh) 2024-03-12
CN117692659A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
JP7477536B2 (ja) ビデオ／映像コーディングシステムにおけるマージデータシンタックスのシグナリング方法及び装置
US11843771B2 (en) Image decoding method and device for deriving weight index information for generation of prediction sample
US11973938B2 (en) Image decoding method for deriving weight index information for biprediction, and device for same
JP7462094B2 (ja) ビデオ／映像コーディングシステムにおける重複シグナリング除去方法及び装置
US20230199175A1 (en) Method and device for subpicture-based image encoding/decoding, and method for transmitting bitstream
US20230353725A1 (en) Video decoding method using bi-prediction and device therefor
AU2023214332A1 (en) Intra block coding-based video or image coding
US20240080438A1 (en) Image decoding method for deriving predicted sample by using merge candidate and device therefor
JP7485819B2 (ja) 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング
JP7469335B2 (ja) 動きベクトル予測基盤映像／ビデオコーディング方法及び装置
US11917131B2 (en) Image decoding method and device therefor
KR20210090715A (ko) Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
JP7460664B2 (ja) 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240502

R150 Certificate of patent or registration of utility model

Ref document number: 7485819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150