JP7400072B2 - サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置 - Google Patents

サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP7400072B2
JP7400072B2 JP2022212171A JP2022212171A JP7400072B2 JP 7400072 B2 JP7400072 B2 JP 7400072B2 JP 2022212171 A JP2022212171 A JP 2022212171A JP 2022212171 A JP2022212171 A JP 2022212171A JP 7400072 B2 JP7400072 B2 JP 7400072B2
Authority
JP
Japan
Prior art keywords
motion vector
current block
block
flag
mmvd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022212171A
Other languages
English (en)
Other versions
JP2023036907A (ja
Inventor
ゴンジュン・コ
ドンチョル・キム
ジュヒョン・ソン
ジェホン・ジュン
ジンサム・クァク
Original Assignee
ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド filed Critical ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド
Publication of JP2023036907A publication Critical patent/JP2023036907A/ja
Priority to JP2023203318A priority Critical patent/JP7551179B2/ja
Application granted granted Critical
Publication of JP7400072B2 publication Critical patent/JP7400072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオ信号の処理方法及び装置に関し、より詳細には、サブブロックベースのモーション補償を用いてビデオ信号をエンコード又はデコードするビデオ信号処理方法及び装置に関する。
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送するか、貯蔵媒体に適合した形態に貯蔵するための一連の信号処理技術を意味する。圧縮符号化の対象としては音声、映像、文字などの対象が存在するが、特に映像を対象とする圧縮符号化を行う技術をビデオ圧縮と称する。ビデオ信号に対する圧縮符号化は、空間的な相関関係、時間的な相関関係、確率的な相関関係などを考慮して剰余情報を除去することで行われる。しかし、最近の多様なメディア及びデータ伝送媒体の発展によって、より高効率のビデオ信号処理方法及び装置が求められている。
本発明の目的は、ビデオ信号のコーディング効率を上げることにある。本発明の目的は、サブブロックベースのモーション補償を効率的に行う方法を提供することにある。また、モーションベクトル差分を用いるマージモード（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ＭＶＤ）に基づくモーション補償方法を提供することにある。
前記のような課題を解決するために、本発明は以下のようなビデオ信号処理装置及びビデオ信号処理方法を提供する。
本発明の一実施例によれば、ビデオ信号処理方法であって、現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を取得する段階；前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を取得する段階；前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を取得する段階；前記モーションベクトル差分に関連した情報を取得する段階；前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導する段階；及び前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する段階を含む、ビデオ信号処理方法が提供される。
実施例として、前記第３シンタックス要素は、前記現在ブロックのマージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示すことができる。
実施例として、前記第３シンタックス要素は、マージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記マージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
実施例として、前記モーションベクトル差分に関連した情報を取得する段階は、前記モーションベクトル差分の距離を示す第４シンタックス要素を取得する段階；及び前記モーションベクトル差分の方向を示す第５シンタックス要素を取得することができる。
実施例として、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのサブブロックマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第６シンタックス要素を取得する段階をさらに含み、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのモーションベクトルは、前記第６シンタックス要素によって示される候補のモーションベクトルに基づいて、前記現在ブロックに含まれた少なくとも一つのサブブロック単位で誘導されることができる。
実施例として、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素は０と推論されてよい。
実施例として、前記第６シンタックス要素は、サブブロックマージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記サブブロックマージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
本発明の一実施例によれば、ビデオ信号処理装置であって、プロセッサを含み、前記プロセッサは、現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を取得し、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を取得し、前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を取得し、前記モーションベクトル差分に関連した情報を取得し、前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導し、前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する、ビデオ信号処理装置が提供される。
実施例として、前記第３シンタックス要素は、前記現在ブロックのマージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示すことができる。
実施例として、前記第３シンタックス要素は、マージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記マージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
実施例として、前記プロセッサは、前記モーションベクトル差分の距離を示す第４シンタックス要素を取得し、前記モーションベクトル差分の方向を示す第５シンタックス要素を取得することができる。
実施例として、前記プロセッサは、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのサブブロックマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第６シンタックス要素を取得し、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのモーションベクトルは、前記第６シンタックス要素によって示される候補のモーションベクトルに基づいて、前記現在ブロックに含まれた少なくとも一つのサブブロック単位で誘導されてよい。
実施例として、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素は０と推論されてよい。
実施例として、前記第６シンタックス要素は、サブブロックマージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記サブブロックマージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
本発明の一実施例によれば、ビデオ信号処理方法であって、現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を符号化する段階；前記現在ブロックにサブブロックベースのマージモードが適用されない場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を符号化する段階；前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用される場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を符号化する段階；前記モーションベクトル差分に関連した情報を符号化する段階；前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導する段階；及び前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する段階を含む、ビデオ信号処理方法が提供される。
本発明の実施例によれば、ビデオ信号のコーディング効率を上げることができる。特に、本発明の一実施例によれば、シンタックスパーシング順序を調節することによってシグナリングオーバーヘッドを減らし、圧縮効率を上げることができる。
本発明の一実施例に係るビデオ信号エンコーディング装置の概略的なブロック図である。 本発明の一実施例に係るビデオ信号デコーディング装置の概略的なブロック図である。 ピクチャ内でコーディングツリーユニットがコーディングユニットに分割される実施例を示す図である。 クアッドツリー及びマルチ－タイプツリーの分割をシグナリングする方法の一実施例を示す図である。 本発明の実施例に係るインター予測を示す図である。 本発明の一実施例に係るモーションベクトルシグナリング方法を例示する図である。 本発明の一実施例に係る適応的なモーションベクトル解像度（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）情報のシグナリング方法を例示する図である。 本発明の一実施例に係るアフィンモーション補償を示す図である。 ４－パラメータアフィンモーション補償方法の一実施例を示す図である。 本発明の一実施例に係るアフィンモーション予測方法を説明するための図である。 サブブロックベースのアフィンモーション補償方法の一実施例を示す図である。 現在ブロックの予測のためのコントロールポイントモーションベクトルセットを取得する本発明の実施例を示す図である。 現在ブロックの予測のためのコントロールポイントモーションベクトルセットを取得する本発明の実施例を示す図である。 本発明の一実施例に係るアフィンモーション補償方法を説明するための図である。 本発明の一実施例に係るアフィンモーション補償方法を説明するための図である。 本発明の一実施例に係るサブブロックベースの時間（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ）ＭＶＰ（ＳｂＴＭＶＰ）を示す図である。 本発明の一実施例に係るプレーナＭＶＰを例示する図である。 本発明の一実施例に係る臨時モーションベクトルの決定方法を示す図である。 本発明の一実施例に係るＳｂＴＭＶＰ使用の有無を例示する図である。 本発明の一実施例に係るＳｂＴＭＶＰ誘導方法を例示する図である。 本発明の一実施例に係るＭＭＶＤ適用方法を例示する図である。 本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。 本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。 本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。 本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。 本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。 本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。 本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。 本発明の一実施例に係るコーディングユニットシンタックス構造を例示する図である。 本発明の一実施例に係るマージデータシンタックス構造を例示する図である。 本発明の一実施例に係るマージデータシンタックス構造を例示する図である。 本発明の一実施例に係るマージデータシンタックス構造を例示する図である。 本発明が適用される一実施例に係るビデオ信号処理方法を例示する図である。
本明細書で使用される用語は本発明における機能を考慮しながらできるだけ現在広く使用されている一般的な用語を選択したが、これは当分野に携わる技術者の意図、慣例または新たな技術の出現などによって異なり得る。また、特定の場合は出願人が任意に選定した用語もあるが、この場合、該当する発明を実施する形態の部分にその意味を記載する。よって、本明細書で使用される用語は、単なる用語の名称ではなく、その用語の有する実質的な意味と本明細書全般にわたる内容に基づいて解釈すべきであることを明らかにする。
本明細書において、一部の用語は以下のように解釈される。コーディングは、場合によってはエンコーディングまたはでコーディングと解釈される。本明細書において、ビデオ信号のエンコーディング（符号化）を行ってビデオ信号のビットストリームを生成する装置はエンコーディング装置またはエンコーダと称され、ビデオ信号ビットストリームのデコーディング（復号化）を行ってビデオ信号を復元する装置はデコーディング装置またはデコーダと称される。また、本明細書において、ビデオ信号処理装置はエンコーダ及びデコーダをいずれも含む概念の用語として使用される。情報（ｉｎｆｏｒｍａｔｉｏｎ）は値（ｖａｌｕｅｓ）、パラメータ（ｐａｒａｍｅｔｅｒ）、係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）、成分（ｅｌｅｍｅｎｔｓ）などをいずれも含む用語であって、場合によっては意味が異なるように解釈されることがあるため、本発明はこれに限らない。「ユニット」は映像処理の基本単位またはピクチャの特定位置を指す意味で移用され、ルマ（ｌｕｍａ）成分とクロマ（ｃｈｒｏｍａ）成分をいずれも含むイメージ領域を指す。また、「ブロック」はルマ成分及びクロマ成分（つまり、Ｃｂ及びＣｒ）のうち特定成分を含むイメージ領域を指す。但し、実施例によって「ユニット」、「ブロック」、「パーティション」、及び「領域」などの用語は互いに混合して使用されてもよい。また、本明細書において、ユニットはコーディングユニット、予測ユニット、変換ユニットをいずれも含む概念として使用される。ピクチャはフィールドまたはフレームを指し、実施例よっては前記用語は互いに混用して使用される。
図１は、本発明の一実施例によるビデオ信号エンコーディング装置の概略的なブロック図である。図１を参照すると、本明細書のエンコーディング装置１００は、変換部１１０、量子化部１１５、逆量子化部１２０、逆変換部１２５、フィルタリング部１３０、予測部１５０、及びエントロピーコーディング部１６０を含む。
変換部１１０は、入力されたビデオ信号と予測部１５０で生成された予測信号の差であるレジデュアル信号を変換して変換係数値を獲得する。例えば、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）、またはウェーブレット変換（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）などが使用される。離散コサイン変換及び離散サイン変換は、入力されたピクチャ信号をブロックの形態に分けて変換を行うようになる。変換において、変換領域内の分布と特性によってコーディング効率が異なり得る。量子化部１１５は、変換部１１０で出力された変換係数の値を量子化する。
コーディング効率を上げるために、ピクチャ信号をそのままコーディングするのではなく、予測部１５０を介して予めコーディングされた領域を利用してピクチャを予測し、予測されたピクチャに原本ピクチャと予測ピクチャ間のレジデュアル値を足して復元ピクチャを獲得する方法が使用される。エンコーダとデコーダでミスマッチが発生しないように、エンコーダで予測を行う際にはデコーダでも使用可能な情報を使用すべきである。そのために、エンコーダでは符号化した現在ブロックを更に復元する過程を行う。逆量子化部１２０では変換係数値を逆量子化し、逆変換部１２５では逆量子化された変換係数値を利用してレジデュアル値を復元する。一方、フィルタリング部１３０は、復元されたピクチャの品質改善及び符号化効率の向上のためのフィルタリング演算を行う。例えば、デブロッキングフィルタ、サンプル適応的オフセット（Ｓａｍｐｌｅ Ａｄｐａｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）、及び適応的ループフィルタなどが含まれる。フィルタリングを経たピクチャは、出力されるか参照ピクチャとして利用するために複合ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、ＤＰＢ）１５６に貯蔵される。
コーディング効率を上げるために、ピクチャ信号をそのままコードせず、予測部１５０で既にコードされた領域を用いてピクチャを予測し、予測されたピクチャに原ピクチャと予測ピクチャ間のレジデュアル値を足して復元ピクチャを取得する方法が用いられる。イントラ予測部１５２では、現在ピクチャ内で画面内予測を行い、インター予測部１５４では、復号ピクチャバッファ１５６に保存された参照ピクチャを用いて現在ピクチャを予測する。イントラ予測部１５２は、現在ピクチャ内の復元された領域から画面内予測を行い、画面内符号化情報をエントロピーコーディング部１６０に伝達する。インター予測部１５４はさらに、モーション推定部１５４ａ及びモーション補償部１５４ｂを含んで構成されてよい。モーション推定部１５４ａでは、復元された特定領域を参照して現在領域のモーションベクトル値を取得する。モーション推定部１５４ａでは、参照領域の位置情報（参照フレーム、モーションベクトルなど）などをエントロピーコーディング部１６０に伝達してビットストリームに含まれ得るようにする。モーション推定部１５４ａから伝達されたモーションベクトル値を用いて、モーション補償部１５４ｂでは画面間モーション補償を行う。
予測部１５０は、イントラ予測部１５２とインター予測部１５４を含む。イントラ予測部１５２は現在ピクチャ内でイントラ（ｉｎｔｒａ）予測を行い、インター予測部１５４は復号ピクチャバッファ１５６に貯蔵された参照バッファを利用して現在ピクチャを予測するインター（ｉｎｔｅｒ）予測を行う。イントラ予測部１５２は、現在ピクチャ内の復元されたサンプルからイントラ予測を行い、イントラ符号化情報をエントロピーコーディング部１６０に伝達する。イントラ符号化情報は、イントラ予測モード、ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）フラッグ、ＭＰＭインデックスのうち少なくとも一つを含む。 イントラ符号化情報は、参照サンプルに関する情報を含むことができる。 イントラ符号化情報は参照サンプルに関する情報を含む。インター予測部１５４は、モーション推定部１５４ａ及びモーション補償部１５４ｂを含んで構成される。モーション推定部１５４ａは、復元された参照信号ピクチャの特定領域を参照して現在領域のモーションベクトル値を獲得する。モーション推定部１５４ａは、参照領域に対するモーション情報セット（参照ピクチャインデックス、モーションベクトル情報）をエントロピーコーディング部１６０に伝達する。モーション補償部１５４ｂは、モーション補償部１５４ａから伝達されたモーションベクトル値を利用してモーション補償を行う。 インター予測部１５４は、参照領域に対するモーション情報を含むインター符号化情報をエントロピーコーディング部１６０に伝達する。
更なる実施例によって、予測部１５０はイントラブロックコピー（ｂｌｏｃｋ ｃｏｐｙ、ＢＣ）予測部（図示せず）を含む。イントラＢＣ予測部は、現在ピクチャ内の復元されたサンプルからイントラＢＣ予測を行い、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ予測部は、現在ピクチャ内の特定領域を参照して現在領域の予測に利用される参照領域を示すブロックベクトル値を獲得する。イントラＢＣ予測部は、獲得されたブロックベクトル値を利用してイントラＢＣ予測を行う。イントラＢＣ予測部は、イントラＢＣ符号化情報をエントロピーコーディング部１６０に伝達する。イントラＢＣ予測部はブロックベクトル情報を含む。
上述したピクチャ予測が行われれば、変換部１１０は原本ピクチャと予測ピクチャの間のレジデュアル値を変換して変換係数値を獲得する。この際、変換はピクチャ内で特定ブロック単位で行われるが、特定ブロックのサイズは予め設定された範囲内で可変する。量子化部１１５は、変換部１１０で生成された変換係数の値を量子化してエントロピーコーディング部１６０に伝達する。
エントロピーコーディング部１６０は、量子化された変換係数を示す情報、イントラ符号化情報、及びインター符号化情報などをエントロピーコーディングしてビデオ信号ビットストリームを生成する。エントロピーコーディング部１６０では、可変長コーディング（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅｉｎｇ、ＶＬＣ）方式と算術コーディング（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）方式などが使用される。可変長コーディング（ＶＬＣ）方式は入力されるシンボルを連続したコードワードに変換するが、コードワードの長さは可変的である。例えば、よく発生するシンボルは短いコードワードで、よく発生しないシンボルは長いコードワードで表現する。可変長コーディング方式として、コンテキスト基盤適応型可変長コーディング（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ、ＣＡＶＬＣ）方式が使用される。算術コーディングは連続したデータシンボルを一つの素数に変換するが、算術コーディングは各シンボルを表現するために必要な最適の素数ビットを得る。算術コーディングとして、コンテキスト基盤適合型算術符号化（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）方式が使用される。例えば、エントロピーコーディング部１６０は、量子化された変換係数を示す情報を二進化することができる。また、エントロピーコーディング部１６０は、二進化された情報を算術コーディングしてビットストリームを生成することができる。
前記生成されたビットストリームは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットを基本単位にカプセル化される。ＮＡＬユニットは、符号化された整数個のコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含む。ビデオデコーダでビットストリームを復号化するためには、まずビットストリームをＮＡＬユニット単位に分離した後、分離されたそれぞれのＮＡＬユニットを復号化すべきである。一方、ビデオ信号ビットストリームの復号化のために必要な情報は、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）などのような上位レベルセットのＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）を介して伝送される。
一方、図１のブロック図は本発明の一実施例によるエンコーディング装置１００を示し、分離して示したブロックはエンコーディング装置１００のエレメントを論理的に区別して示している。よって、上述したエンコーディング装置１００のエレメントは、ディバイスの設計に応じて一つのチップまたは複数のチップに取り付けられる。一実施例によると、上述したエンコーディング装置１００の各エレメントの動作はプロセッサ（図示せず）によって行われる。
図２は、本発明の実施例によるビデオ信号デコーディング装置の２００概略的なブロック図である。図２を参照すると、本明細書のデコーディング装置２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０、及び予測部２５０を含む。
エントロピーデコーディング部２１０は、ビデオ信号ビットストリームをエントロピーデコードし、各領域に対する変換係数情報、イントラ符号化情報、インター符号化情報などを抽出する。例えば、エントロピーデコーディング部２１０は、ビデオ信号ビットストリームから特定領域の変換係数情報に対する二進化コードを取得することができる。また、エントロピーデコーディング部２１０は二進化コードを逆二進化し、量子化された変換係数を取得する。逆量子化部２２０は量子化された変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いてレジデュアル値を復元する。ビデオ信号処理装置２００は、逆変換部２２５から取得したレジデュアル値を、予測部２５０から取得した予測値と合算して、元来の画素値を復元する。
一方、フィルタリング部２３０は、ピクチャに対するフィルタリングを行って画質を向上させる。ここには、ブロック歪曲現象を減少させるためのデブロッキングフィルタ及び／またはピクチャ全体の歪曲を除去するための適応的ループフィルタなどが含まれる。フィルタリングを経たピクチャは出力されるか、次のピクチャに対する参照ピクチャとして利用するために復号ピクチャバッファ（ＤＰＢ）２５６に貯蔵される。
予測部２５０は、イントラ予測部２５２及びインター予測部２５４を含む。予測部２５０は、前述したエントロピーデコーディング部２１０を通じて復号化された符号化タイプ、各領域に対する変換係数、イントラ／インター符号化情報などを活用して予測ピクチャを生成する。復号化が遂行される現在ブロックを復元するために、現在ブロックが含まれた現在ピクチャまたは他のピクチャの復号化された領域が利用できる。 復元に現在ピクチャだけを用いる、すなわち、イントラ予測又はイントラＢＣ予測を行うピクチャ（又は、タイル／スライス）をイントラピクチャ又はＩピクチャ（又は、タイル／スライス）、イントラ予測、インター予測及びイントラＢＣ予測を全て行うことができるピクチャ（又は、タイル／スライス）を、インターピクチャ（又は、タイル／スライス）という。インターピクチャ（又は、タイル／スライス）のうち、各ブロックのサンプル値を予測するために、最大で１つのモーションベクトル及び参照ピクチャインデックスを用いるピクチャ（又は、タイル／スライス）を、予測ピクチャ（ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＰピクチャ（又は、タイル／スライス）といい、最大で２つのモーションベクトル及び参照ピクチャインデックスを用いるピクチャ（又は、タイル／スライス）を、双予測ピクチャ（Ｂｉ－ｐｒｅｄｉｃｔｉｖｅ ｐｉｃｔｕｒｅ）又はＢピクチャ（又は、タイル／スライス）という。言い換えると、Ｐピクチャ（または、タイル／スライス）は各ブロックを予測するために最大１つの動き情報セットを用いて、Ｂピクチャ（または、タイル／スライス）は各ブロックを予測するために最大２つの動き情報セットを用いる。ここで、動き情報セットは１つ以上の動きベクトルと１つの参照ピクチャインデックスを含む。
イントラ予測部２５２は、イントラ符号化情報及び現在ピクチャ内の復元されたサンプルを利用して予測ブロックを生成する。上述したように、イントラ符号化情報は、イントラ予測モード、ＭＰＭ（ＭＯＳＴ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）フラッグ、ＭＰＭインデックスのうち少なくとも一つを含む。イントラ予測部２５２は、現在ブロックの左側及び／または上側に位置する復元されたサンプルを参照サンプルとして利用して、現在ブロックのサンプル値を予測する。本開示において、復元されたサンプル、参照サンプル、及び現在ブロックのサンプルはピクセルを示す。また、サンプル値（ｓａｍｐｌｅ ｖａｌｕｅ）はピクセル値を示す。
一実施例において、参照サンプルは現在ブロックの周辺ブロックに含まれたサンプルである。例えば、参照サンプルは現在ブロックの左側境界に隣接したサンプル及び／または上側境界に隣接したサンプルである。また、参照サンプルは現在ブロックの周辺ブロックのサンプルのうち、現在ブロックの左側境界から予め設定された距離以内のライン上に位置するサンプル及び／または現在ブロックの上側境界から予め設定された距離以内のライン上に位置するサンプルである。この際、現在ブロックの周辺ブロックは、現在ブロックに隣接した左側（Ｌ）ブロック、上側（Ａ）ブロック、下左側（Ｂｅｌｏｗ Ｌｅｆｔ、ＢＬ）ブロック、右上側（Ａｂｏｖｅ Ｒｉｇｈｔ、ＡＲ）ブロック、または左上側（Ａｂｏｖｅ Ｌｅｆｔ、ＡＬ）ブロックのうち少なくとも一つを含む。
インター予測部２５４は、復号ピクチャバッファ２５６に貯蔵された参照ピクチャ及びインター符号化情報を利用して予測ブロックを生成する。インター符号化情報は、参照ブロックに対する現在ブロックのモーション情報セット（参照ピクチャインデックス、モーションベクトルなど）を含む。インター予測には、Ｌ０予測、Ｌ１予測、及び双予測（Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）がある。Ｌ０予測はＬ０ピクチャリストに含まれた一つの参照ピクチャを利用した予測であり、Ｌ１予測はＬ１ピクチャリストに含まれた一つの参照ピクチャを利用した予測を意味する。そのためには、１セットのモーション情報（例えば、モーションベクトル及び参照ピクチャインデックス）が必要である。双予測方式では最大２つの参照領域を利用するが、この２つの参照領域は同じ参照ピクチャに存在してもよく、互いに異なるピクチャにそれぞれ存在してもよい。つまり、双予測方式では最大２セットのモーション情報（例えば、モーションベクトル及び参照ピクチャインデックス）が利用されるが、２つのモーションベクトルが同じ参照ピクチャインデックスに対応してもよく、互いに異なる参照ピクチャインデックスに対応してもよい。この際、参照ピクチャは時間的に現在ピクチャの以前や以降のいずれにも表示（または出力）される。一実施例によって、双予測方式では、使用される２個の参照領域は、Ｌ０ピクチャリスト及びＬ１ピクチャリストのそれぞれから選択された領域であってよい。
インター予測部２５４は、モーションベクトル及び参照ピクチャインデックスを利用して現在の参照ブロックを獲得する。前記参照ブロックは、参照ピクチャインデックスに対応する参照ピクチャ内に存在する。また、モーションベクトルによって特定されたブロックのサンプル値またはこれの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）された値が現在ブロックの予測子（ｐｒｅｄｉｃｔｏｒ）として利用される。サブペル（ｓｕｂ－ｐｅｌ）単位のピクセル正確度を有するモーション予測のために、例えば、輝度信号に対して８－タブ補間フィルタが、色差信号に対して４－タブ補間フィルタが使用される。但し、サブペル単位のモーション予測のための補間フィルタはこれに限らない。このように、インター予測部２５４は、以前復元されたピクチャから現在ユニットのテクスチャを予測するモーション補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。この際、インター予測部はモーション情報セットを利用する。
更なる実施例によって、予測部２５０は、イントラＢＣ予測部（図示せず）を含むことができる。イントラＢＣ予測部は、現在ピクチャ内の復元されたサンプルを含む特定領域を参照して現在領域を復元することができる。イントラＢＣ予測部は、エントロピーデコーディング部２１０から、現在領域に対するイントラＢＣ符号化情報を取得する。イントラＢＣ予測部は、現在ピクチャ内の特定領域を指示する現在領域のブロックベクトル値を取得する。イントラＢＣ予測部は、取得されたブロックベクトル値を用いてイントラＢＣ予測を行うことができる。イントラＢＣ符号化情報は、ブロックベクトル情報を含むことができる。
更なる実施例によって、予測部２５０は、イントラＢＣ予測部（図示せず）を含むことができる。イントラＢＣ予測部は、現在ピクチャ内の復元されたサンプルを含む特定領域を参照して現在領域を復元することができる。イントラＢＣ予測部は、エントロピーデコーディング部２１０から、現在領域に対するイントラＢＣ符号化情報を取得する。イントラＢＣ予測部は、現在ピクチャ内の特定領域を指示する現在領域のブロックベクトル値を取得する。イントラＢＣ予測部は、取得されたブロックベクトル値を用いてイントラＢＣ予測を行うことができる。イントラＢＣ符号化情報は、ブロックベクトル情報を含むことができる。
一方、図２のブロック図は本発明の一実施例によるデコーディング装置２００を示し、分離して示したブロックはデコーディング装置２００のエレメントを論理的に区別して示している。よって、上述したデコーディング装置２００のエレメントは、ディバイスの設計に応じて一つのチップまたは複数のチップに取り付けられる。一実施例によると、上述したデコーディング装置２００の各エレメントの動作はプロセッサ（図示せず）によって行われる。
図３は、ピクチャ内でコーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）がコーディングユニット（Ｃｏｄｉｎｇ Ｕｎｉｔｓ、ＣＵｓ）に分割される実施例を示している。ビデオ信号のコーディング過程において、ピクチャはコーディングツリーユニット（ＣＴＵ）のシーケンスに分割される。コーディングツリーユニットは、輝度サンプルのＮＸＮブロックと、それに対応する色差サンプルの２つのブロックからなる。コーディングツリーユニットは、複数のコーディングユニットに分割される。コーディングツリーユニットは分割されずにリーフノードになってもよい。この場合、コーディングツリーユニット自体がコーディングユニットになり得る。コーディングユニットは上述したビデオ信号の処理過程、つまり、イントラ／インター予測、変換、量子化及び／またはエントロピーコーディングなどの過程でピクチャを処理するための基本単位を指す。一つのピクチャ内において、コーディングユニットのサイズ及び模様は一定ではない。コーディングユニットは正方形または長方形の模様を有する。長方形コーディングユニット（または、長方形ブロック）は垂直コーディングユニット（または、垂直ブロック）と水平コーディングユニット（または、水平ブロック）を含む。本明細書において、垂直ブロックは高さが幅より大きいブロックであり、水平ブロックは幅が高さより大きいブロックである。また、本明細書において、正方形ではない（ｎｏｎ－ｓｑｕａｒｅ）ブロックは長方形ブロックを指すが、本発明はこれに限らない。
図３を参照すると、コーディングツリーユニットは、まずクォードツリー（Ｑｕａｄ Ｔｒｅｅ、ＱＴ）構造に分割される。つまり、クォードツリー構造において、２Ｎ×２Ｎのサイズを有する一つのノードはＮ×Ｎのサイズを有する４つのノードに分割される。本明細書において、クォードツリーは４進（ｑｕａｔｅｒｎａｒｙ）ツリーとも称される。クォードツリー分割は再帰的に行われ、全てのノードが同じ深さに分割される必要はない。
一方、上述したクォードツリーのリーフノード（ｌｅａｆ ｎｏｄｅ）は、マルチ－タイプツリー（Ｍｕｌｔｉ－Ｔｙｐｅ Ｔｒｅｅ、ＭＴＴ）構造に更に分割される。本発明の実施例によると、マルチタイプツリー構造では一つのノードが水平または垂直分割の２進（ｂｉｎａｒｙ、バイナリー）または３進（ｔｅｒｎａｒｙ、ターナリー）ツリー構造に分割される。つまり、マルチ－タイプツリー構造には、垂直バイナリー分割、水平バイナリー分割、垂直ターナリー分割、及び水平ターナリー分割の４つの分割構造が存在する。本発明の実施例によると、前記各ツリー構造において、ノードの幅及び高さはいずれも２の累乗値を有する。例えば、バイナリーツリー（ｂｉｎａｒｙ Ｔｒｅｅ、ＢＴ）構造において、２Ｎ×２Ｎのサイズのノードは垂直バイナリー分割によって２つのＮ×２Ｎノードに分割され、水平バイナリー分割によって２つの２Ｎ×Ｎノードに分割される。また、ターナリーツリー（Ｔｅｒｎａｒｙ Ｔｒｅｅ、ＴＴ）構造において、２Ｎ×２Ｎのサイズのノードは垂直ターナリー分割によって（Ｎ／２）×２Ｎ、Ｎ×２Ｎ及び（Ｎ／２）×２Ｎのノードに分割され、水平ターナリー分割によって２Ｎ×（Ｎ／２）、２Ｎ×Ｎ及び２Ｎ×（Ｎ／２）のノードに分割される。このようなマルチ－タイプツリー分割は再帰的に行われる。
マルチ－タイプツリーのリーフノードはコーディングユニットできる。コーディングユニットに対する分割が指示されないか、またはコーディングユニットが最大変換長さに比べて大きくない場合、該当コーディングユニットはこれ以上の分割無しで予測及び変換の単位に使われる。一方、上述したクォードツリー及びマルチ－タイプツリーにおいて、次のパラメータのうち少なくとも一つが事前に定義されるか、ＰＰＳ、ＳＰＳ、ＶＰＳなどのような上位レベルセットのＲＢＳＰを介して伝送される。１）ＣＴＵサイズ：クォードツリーのルートノード（ｒｏｏｔ ｎｏｄｅ）のサイズ、２）最小ＱＴサイズ（ＭｉｎＱｔＳｉｚｅ）：許容された最小ＱＴリーフノードのサイズ、３）最大ＢＴサイズ（ＭａｘＢｔＳｉｚｅ）：許容された最大ＢＴルートノードのサイズ、４）最大ＴＴサイズ（ＭａｘＴｔＳｉｚｅ）：許容された最大ＴＴルートノードのサイズ、５）最大ＭＴＴ深さ（ＭａｘＭｔｔＤｅｐｔｈ）：ＱＴのリーフノードからのＭＴＴ分割の最大許容深さ、６）最小ＢＴサイズ（ＭｉｎＢｔＳｉｚｅ）：許容された最小ＢＴリーフノードのサイズ、７）最小ＴＴサイズ：許容された最小ＴＴリーフノードのサイズ。
図４は、クワッドツリー及びマルチ－タイプツリーの分割をシグナリングする方法の一実施形態を図示する。前述したクワッドツリー及びマルチ－タイプツリーの分割をシグナリングするために既設定されたフラグが使われることができる。図４を参照すると、クワッドツリーノードの分割するか否かを指示するフラグ‘qt_split_flag’、マルチ－タイプツリーノードの分割するか否かを指示するフラグ‘mtt_split_flag’、マルチ－タイプツリーノードの分割方向を指示するフラグ‘mtt_split_vertical_flag’またはマルチ－タイプツリーノードの分割形態を指示するフラグ‘mtt_split_binary_flag’のうち、少なくとも１つが使われることができる。
本発明の実施形態によれば、コーディングツリーユニットはクワッドツリーのルートノードであり、クワッドツリー構造に先に分割できる。クワッドツリー構造では各々のノード‘QT_node’別に‘qt_split_flag’がシグナリングされる。‘qt_split_flag’の値が１の場合、該当ノードは４個の正四角形ノードに分割され、‘qt_split_flag’の値が０の場合、該当ノードはクワッドツリーのリーフノード‘QT_leaf_node’となる。
各々のクワッドツリーリーフノード‘QT_leaf_node’はマルチ－タイプツリー構造にさらに分割できる。マルチ－タイプツリー構造では、各々のノード‘MTT_node’別に‘mtt_split_flag’がシグナリングされる。‘mtt_split_flag’の値が１の場合、該当ノードは複数の矩形ノードに分割され、‘mtt_split_flag’の値が０の場合、該当ノードはマルチ－タイプツリーのリーフノード‘MTT_leaf_node’となる。マルチ－タイプツリーノード‘MTT_node’が複数の矩形ノードに分割される場合（即ち、‘mtt_split_flag’の値が１の場合）、ノード‘MTT_node’のための‘mtt_split_vertical_flag’及び‘mtt_split_binary_flag’が追加でシグナリングできる。‘mtt_split_vertical_flag’の値が１の場合、ノード‘MTT_node’の垂直分割が指示され、‘mtt_split_vertical_flag’の値が０の場合、ノード‘MTT_node’の水平分割が指示される。また、‘mtt_split_binary_flag’の値が１の場合、ノード‘MTT_node’は２つの矩形ノードに分割され、‘mtt_split_binary_flag’の値が０の場合、ノード‘MTT_node’は３個の矩形ノードに分割される。
コーティングのためのピクチャ予測（モーション補償）はそれ以上分けられないコーディングユニット（つまり、コーディングユニットツリーのリーフノード）を対象に行われる。このような予測を行う基本単位を、以下では予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）または予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ）という。
以下、本明細書で使用されるユニットという用語は、予測を行う基本単位である前記予測ユニットを代替する用語として使用される。但し、本発明はこれに限らず、より広い意味では、前記コーディングユニットを含む概念として理解される。
図５には、本発明の実施例に係るインター予測を図示する。前述したように、デコーダは、復号化された他のピクチャの復元されたサンプルを参照して現在ブロックを予測する。図５を参照すると、デコーダは、現在ブロック３２のモーション情報に基づいて参照ピクチャ内の参照ブロック４２を取得する。この時、モーション情報は、参照ピクチャインデックス及びモーションベクトル５０を含むことができる。参照ピクチャインデックスは、参照ピクチャリストにおいて現在ブロックの参照ピクチャを指示する。また、モーションベクトル５０は、現在ピクチャ内における現在ブロック３２の座標値と参照ピクチャ内における参照ブロック４２の座標値間のオフセットを表す。デコーダは、参照ブロック４２のサンプル値に基づいて現在ブロック３２の予測子を取得し、前記予測子を用いて現在ブロック３２を復元する。
一方、本発明の実施例によれば、サブブロックベースのモーション補償が用いられてよい。すなわち、現在ブロック３２は複数のサブブロックに分割され、各サブブロック別に独立したモーションベクトルが用いられてよい。したがって、現在ブロック３２内で各サブブロックは異なる参照ブロックを用いて予測されてよい。一実施例によれば、サブブロックは、４Ｘ４又は８Ｘ８のように既に設定されたサイズを有することができる。デコーダは、各サブブロックのモーションベクトルを用いて現在ブロック３２の各サブブロックの予測子を取得する。各サブブロックの予測子を組み合わせて現在ブロック３２の予測子が取得でき、デコーダは、このように取得された現在ブロック３２の予測子を用いて現在ブロック３２を復元することができる。
本発明の実施例によれば、様々な方法のサブブロックベースのモーション補償が行われてよい。サブブロックベースのモーション補償は、アフィン（ａｆｆｉｎｅ）モデルベースのモーション補償（以下、アフィンモーション補償又はアフィンモーション予測）と、サブブロックベースの時間的モーションベクトル予測（Ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ，ＳｂＴＭＶＰ）を含むことができる。以下、各図を参照して、アフィンモーション補償とＳｂＴＭＶＰの様々な実施例について述べる。
図６は、本発明の一実施例に係るモーションベクトルシグナリング方法を例示する図である。本発明の一実施例によれば、モーションベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ，ＭＶ）は、モーションベクトル予測（又は、予測子）（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ（ｏｒ ｐｒｅｄｉｃｔｏｒ）、ＭＶＰ）に基づいて生成されてよい。一例として、次の数学式１のように、ＭＶはＭＶＰと決定されてよい。言い換えると、ＭＶはＭＶＰと同じ値に決定（又は、設定、誘導）されてよい。
他の例として、次の数学式２のように、ＭＶは、ＭＶＰ及びモーションベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ，ＭＶＤ）に基づいて決定されてもよい。エンコーダは、より正確なＭＶを表すためにＭＶＤ情報をデコーダにシグナルすることができ、デコーダは、取得したＭＶＤをＭＶＰに加算することによってＭＶを誘導することができる。
本発明の一実施例によれば、エンコーダは、決定されたモーション情報をデコーダに伝送し、デコーダは、受信したモーション情報からＭＶを生成（又は、誘導）し、これに基づいて予測ブロックを生成することができる。例えば、前記モーション情報は、ＭＶＰ情報、ＭＶＤ情報を含むことができる。このとき、インター予測モードによって前記モーション情報の構成要素が異なってよい。一例として、マージモードにおいて、前記モーション情報はＭＶＰ情報を含み、ＭＶＤ情報を含まなくてもよい。他の例として、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードにおいて、前記モーション情報はＭＶＰ情報及びＭＶＤ情報を含むことができる。
ＭＶＰに関する情報を決定、送信、受信するために、エンコーダとデコーダは同一の方法でＭＶＰ候補（又は、ＭＶＰ候補リスト）を生成することができる。例えば、エンコーダとデコーダは、同一の順序で同一のＭＶＰ候補を生成することができる。そして、エンコーダは、生成されたＭＶＰ候補の中から決定された（又は、選択された）ＭＶＰを示す（又は、指示する）インデックスをデコーダに伝送し、デコーダは、受信したインデックスに基づいて、決定されたＭＶＰ及び／又はＭＶを誘導することができる。
本発明の一実施例によれば、ＭＶＰ候補は空間候補（ｓｐａｔｉａｌ ｃａｎｄｉｄａｔｅ）、時間候補（ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅ）などを含むことができる。前記ＭＶＰ候補は、マージモードが適用される場合、マージ候補と呼ぶことができ、ＡＭＶＰモードが適用される場合、ＡＭＶＰ候補と呼ぶことができる。空間候補は、現在ブロックを基準に特定位置にあるブロックに対するＭＶ（又は、モーション情報）であってよい。例えば、前記空間候補は、現在ブロックと隣接したり又は隣接していない位置のブロックのＭＶであってよい。時間候補は、現在ピクチャと異なるピクチャ内のブロックに該当するＭＶであってよい。また、例えば、ＭＶＰ候補は、アフィン（ａｆｆｉｎｅ）ＭＶ、ＡＴＭＶＰ、ＳＴＭＶＰ、前述したＭＶ（又は、候補）の組合せ、前述したＭＶ（又は、候補）の平均ＭＶ、ゼロＭＶなどを含むことができる。
一実施例において、エンコーダは、参照ピクチャを示す情報をデコーダにシグナルすることができる。実施例として、ＭＶＰ候補の参照ピクチャと現在ブロック（又は、現在処理ブロック）の参照ピクチャとが異なる場合、エンコーダ／デコーダは、ＭＶＰ候補のＭＶスケーリング（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｓｃａｌｉｎｇ）を行うことができる。この時、ＭＶスケーリングは、現在ピクチャのピクチャ順序カウント（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ，ＰＯＣ）、現在ブロックの参照ピクチャのＰＯＣ、ＭＶＰ候補の参照ピクチャのＰＯＣに基づいて行われてよい。
以下に、ＭＶＤシグナリング方法に関する具体的な実施例を説明する。下表１には、ＭＶＤシグナリングのためのシンタックス構造を例示する。
表１を参照すると、本発明の一実施例によれば、ＭＶＤは、ＭＶＤの符号（ｓｉｇｎ）及び絶対値（ａｂｓｏｌｕｔｅ ｖａｌｕｅ）が分けられてコードされてよい。すなわち、ＭＶＤの符号及び絶対値はそれぞれ異なるシンタックス（又は、シンタックスエレメント）であってよい。また、ＭＶＤの絶対値は、その値が直接コードされてもよく、表１のように、絶対値がＮよりも大きいか否かを示すフラグに基づいて段階的にコードされてもよい。仮に、絶対値がＮよりも大きい場合、（絶対値－Ｎ）の値が共にシグナルされてよい。具体的に、表１の例示において絶対値が０よりも大きいか否かを示すａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇが伝送されてよい。仮に、絶対値が０よりも大きくないことをａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇが示す（又は、指示する）場合、ＭＶＤの絶対値は０と決定されてよい。また、仮に絶対値が０よりも大きいことをａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇが示す場合、追加シンタックス（又は、シンタックスエレメント）が存在してよい。
例えば、絶対値が１よりも大きいか否かを示すａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが伝送されてよい。仮に、絶対値が１よりも大きくないことをａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが示す（又は、指示する）場合、ＭＶＤの絶対値は１と決定されてよい。仮に、絶対値が１よりも大きいことをａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇが示す場合、追加シンタックスが存在してよい。例えば、ａｂｓ＿ｍｖｄ＿ｍｉｎｕｓ２が存在してよい。ａｂｓ＿ｍｖｄ＿ｍｉｎｕｓ２は、（絶対値－２）の値であってよい。ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ０＿ｆｌａｇ、ａｂｓ＿ｍｖｄ＿ｇｒｅａｔｅｒ１＿ｆｌａｇ値によって絶対値が１よりも大きい（すなわち、２以上である）と決定されたので、（絶対値－２）値がシグナルされてよい。このように、絶対値に関する情報を階層的にシンタックスシグナルすることによって、絶対値をそのまま二進化（ｂｉｎａｒｉｚａｔｉｏｎ）してシグナリングする場合に比べてより少ないビットが用いられて済む。
一実施例において、上述した絶対値に関連したシンタックスは、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ－Ｇｏｌｏｍｂ）、切削型単項（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）、切削型ライス（ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）などの変数長（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ）である二進化方法を適用してコードされてよい。また、ＭＶＤの符号を示すフラグは、ｍｖｄ＿ｓｉｇｎ＿ｆｌａｇでシグナルされてよい。
上述した実施例において、ＭＶＤに対するコーディング方法を説明したが、ＭＶＤ以外の情報も符号及び絶対値を分けてシグナリングすることができる。そして、絶対値は、前記絶対値があらかじめ定義された特定値よりも大きいか否かを示すフラグ及び絶対値から前記特定値を引いた値にコードされてよい。前記表１において、［０］と［１］は、コンポーネントインデックス（ｃｏｍｐｏｎｅｎｔ ｉｎｄｅｘ）を表すことができる。例えば、ｘ－コンポーネント（すなわち、水平成分）、ｙ－コンポーネント（すなわち、垂直成分）を表すことができる。
図７は、本発明の一実施例に係る適応的なモーションベクトル解像度（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）情報のシグナリング方法を例示する図である。本発明の一実施例によれば、ＭＶ又はＭＶＤを示すための解像度は多様であり得る。例えば、解像度は、ピクセル（ｐｉｘｅｌ）（又は、ペル（ｐｅｌ））に基づいて表現されてよい。例えば、ＭＶ又はＭＶＤは、１／４（ｑｕａｒｔｅｒ）、１／２（ｈａｌｆ）、１（ｉｎｔｅｇｅｒ）、２、４ピクセルなどの単位でシグナルされてよい。そして、エンコーダは、ＭＶ又はＭＶＤの解像度情報をデコーダにシグナリングすることができる。また、例えば、１６は、１／４単位のとき、６４にコードされ（１／４＊６４＝１６）、１単位のとき、１６にコードされ（１＊１６＝１６）、４単位のとき、４にコードされてよい（４＊．４＝１６）。すなわち、ＭＶ又はＭＶＤ値は、次の数学式３によって決定されてよい。
数学式３において、ｖａｌｕｅＤｅｔｅｒｍｉｎｅｄは、ＭＶ又はＭＶＤ値を表す。また、ｖａｌｕｅＰｅｒＲｅｓｏｌｕｔｉｏｎは、決定された解像度に基づいてシグナリングされる値を表す。このとき、ＭＶ又はＭＶＤでシグナリングする値が決定された解像度で割り切れない場合、ラウンディング（ｒｏｕｎｄｉｎｇ）プロセスなどが適用されてよい。高い解像度を使用すれば正確度が向上し得るが、コードされる値が大きいため多くのビットが使用されることがあり、低い解像度を使用すれば正確度が低くなることがあるが、コードされる値が小さいため少ないビットが使用されて済む。一実施例として、上述した解像度は、シーケンス、ピクチャ、スライス、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ，ＣＴＵ）、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ）などの単位で個別に設定されてよい。すなわち、エンコーダ／デコーダは、上述した単位のうち、あらかじめ定義された単位によって適応的に解像度を決定／適用することができる。
本明細書の一実施例によれば、上述した解像度情報は、エンコーダからデコーダにシグナリングされてよい。この時、解像度に関する情報は、前述した変数長に基づいて二進化してシグナルされてよい。このような場合、最小の値（すなわち、最も前にある値）に該当するインデックスに基づいてシグナリングされる場合、シグナリングオーバーヘッドが減ることができる。一実施例として、高い解像度から低い解像度の順にシグナリングインデックスにマップされてもよい。
本明細書の一実施例によれば、図７は、様々な複数の解像度のうち、３つの解像度が用いられる場合を仮定してシグナリング方法を示す。この場合、３つのシグナリングビットは、０、１０、１１でよく、前記３つのシグナリングインデックスはそれぞれ、第１解像度、第２解像度、第３解像度を表すことができる。第１解像度をシグナリングするために１ビットが要求され、残りの解像度をシグナルするために２ビットが要求されるため、第１解像度をシグナルする場合、シグナリングオーバーヘッドを相対的に減らすことができる。図７の例示において、第１解像度、第２解像度、第３解像度はそれぞれ、１／４、１、４ピクセル解像度と定義されてよい。以下の実施例において、ＭＶ解像度はＭＶＤの解像度を意味できる。
図８には、本発明の一実施例に係るアフィンモーション補償を示す。既存のインター予測方法によれば、現在ブロックに対するＬ０予測及びＬ１予測別に単一のモーションベクトルを用いてインター予測が行われるので、並進運動（ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ）の予測に最適化されている。しかし、ズームイン／アウト、回転及びその他不規則的な運動に対するモーション補償を効率的に行うためには、様々な形状とサイズの参照ブロック４４が用いられる必要がある。
図８を参照すると、アフィンモーション補償では、現在ブロック３４と異なるサイズ、形状及び／又は方向を有する参照ブロック４４を用いて現在ブロック３４の予測が行われてよい。すなわち、参照ブロック４４は、非－長方形の形態を有することができ、現在ブロック３４に比べてサイズが大きいか小さくてよい。参照ブロック４４は、現在ブロック３４にアフィン変換を行って取得できる。アフィン変換は、３個のコントロールポイントモーションベクトル（Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ，ＣＰＭＶ）を用いる６－パラメータアフィン変換と、２個のコントロールポイントモーションベクトルを用いる４－パラメータアフィン変換を含むことができる。これに関する具体的な実施例は後述する。
図９には、４－パラメータアフィンモーション補償方法の一実施例を示す。アフィン変換の演算量及びシグナリングオーバーヘッドを減らすために、既に設定された個数のコントロールポイントモーションベクトル（ＣＰＭＶ）を用いてアフィンモーション予測を行うことができる。コントロールポイントモーションベクトル（ＣＰＭＶ）は、現在ブロックの特定コントロールポイント（又は、サンプル位置）に対応するモーションベクトルである。特定コントロールポイントは、現在ブロックの頂点のうち少なくとも一つを含むことができる。本発明の実施例では、現在ブロックの上左頂点に対応するＣＰＭＶをｖ０（又は、第１ＣＰＭＶ）と、現在ブロックの上右頂点に対応するＣＰＭＶをｖ１（又は、第２ＣＰＭＶ）と、現在ブロックの下左頂点に対応するＣＰＭＶをｖ２（又は、第３ＣＰＭＶ）とそれぞれ呼ぶ。アフィンモーション予測のために、少なくとも２個のＣＰＭＶを含むＣＰＭＶセットを用いることができる。
図９の実施例によれば、ｖ０とｖ１を用いて４－パラメータアフィンモーション予測を行うことができる。実線で表示された現在ブロック３６は、点線で表示された位置の参照ブロック４６を用いて予測することができる。現在ブロック３６の各サンプルは、アフィン変換によってそれぞれ異なる参照サンプルにマッピングされてよい。より具体的に、現在ブロック３６のサンプル位置（ｘ，ｙ）におけるモーションベクトル（ｖｘ，ｖｙ）は下記の数学式４によって誘導されてよい。
ここで、（ｖ０ｘ，ｖ０ｙ）は、現在ブロック３６の上左頂点に対応する第１ＣＰＭＶであり、（ｖ１ｘ，ｖ１ｙ）は、現在ブロックの上右頂点に対応する第２ＣＰＭＶである。また、ｗは現在ブロック３６の幅である。
図１０は、本発明の一実施例に係るアフィンモーション予測方法を説明するための図である。本発明の一実施例によれば、アフィンモーションは、多数のＣＰＭＶ又は多数のパラメータ（ｐａｒａｍｅｔｅｒ）を用いて表すことができる。
図１０を参照すると、エンコーダ／デコーダは、ｖ０、ｖ１、ｖ２のＣＰＭＶを用いてアフィンモーション予測を行うことができる。６個のパラメータが用いられる場合、ｖ０、ｖ１、ｖ２の３個のコントロールポイントモーションベクトル（ＣＰＭＶ）がアフィンモーション予測に用いられてよい。前記ｖ０、ｖ１、ｖ２の３個のベクトル又は前記６個のパラメータに基づいて、現在ブロック３６がいかなる形状の参照ブロックから予測するかを示すことができる。図１０を参照すると、実線で表した現在ブロック３６は、参照ピクチャにおいて図１０の点線で表した参照ブロック４６から予測されてよい。すなわち、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）によって現在ブロック３６の各コントロールポイント（又は、当該位置のピクセル）が他のポイント（又は、ピクセル）にマッブされてよい。次の数学式５は、本発明の一実施例に係るモーションベクトルフィールド（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｅｌｄ）を表す式である。
数学式５において、図１０における左上端（ｔｏｐ－ｌｅｆｔ）コーナーコントロールポイントのモーションベクトルを表すＣＰＭＶ ｖ０は、（ｍｖ＿０＾ｘ，ｍｖ＿０＾ｙ）と表現されてよい。右上端（ｔｏｐ－ｒｉｇｈｔ）コーナーコントロールポイントのモーションベクトルを表すＣＰＭＶ ｖ１は、（ｍｖ＿１＾ｘ，ｍｖ＿１＾ｙ）と表現されてよい。左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）コーナーコントロールポイントのモーションベクトルを表すＣＰＭＶ ｖ２が（ｍｖ＿２＾ｘ，ｍｖ＿２＾ｙ）と表現されてよい。このとき、（ｘ，ｙ）位置のモーションベクトル（ｍｖ＾ｘ，ｍｖ＾ｙ）は、数学式５を用いて誘導（又は、計算）することができる。したがって、各ピクセルの位置又は特定位置に対するモーションベクトルは、コントロールポイントモーションベクトルｖ０、ｖ１、ｖ２に基づいて数学式５によって誘導されてよい。
また、数学式５において（ｘ，ｙ）は、ブロック内における相対的座標であってよい。例えば、（ｘ，ｙ）は、ブロックの左上端位置が（０，０）である場合、前記左上端位置を基準とする位置であってよい。したがって、仮にｖ０の位置を（ｘ０，ｙ０）、ｖ１の位置を（ｘ１，ｙ１）、ｖ２の位置を（ｘ２，ｙ２）と仮定し、（ｘ，ｙ）をｖ０、ｖ１、ｖ２の位置と同じ座標を使用すれば、数学式５においてｘとｙはそれぞれ、（ｘ－ｘ０）、（ｙ－ｙ０）と示すことができる。また、この場合、ブロックの幅を表すｗは（ｘ１－ｘ０）であり、ブロックの高さを表すｈは（ｙ２－ｙ０）であってよい。
図１１には、サブブロックベースのアフィンモーション補償方法の一実施例を示す。前述したように、アフィンモーション変換を用いると、現在ブロックの各サンプル位置におけるモーションベクトル（すなわち、モーションベクトルフィールド）を誘導することができる。しかし、演算量を減らすために、本発明の実施例によれば、サブブロックベースのアフィンモーション補償を行うことができる。図８に示すように、現在ブロックは複数のサブブロックを含むことができ、各サブブロックの代表モーションベクトルがＣＰＭＶセットに基づいて取得される。一実施例によれば、各サブブロックの代表モーションベクトルは、当該サブブロックの中央のサンプル位置に対応するモーションベクトルであってよい。追加の実施例によれば、サブブロックのモーションベクトルには、一般のモーションベクトルに比べて正確度が高いモーションベクトルが用いられてもよい。このために、モーション補償補間フィルターが適用されてよい。
アフィンモーション補償が行われるサブブロックのサイズは、様々な方法で設定されてよい。本発明の一実施例によれば、サブブロックは４Ｘ４又は８Ｘ８のように既に設定されたサイズを有することができる。本発明の他の実施例によれば、サブブロックのサイズＭＸＮは、下記の数学式６によって決定されてよい。
ここで、ｗは現在ブロックの幅であり、ＭｖＰｒｅは、モーションベクトルの分数単位正確度である。（ｖ２ｘ，ｖ２ｙ）は、現在ブロックの下左頂点に対応する第３ＣＰＭＶであり、一実施例によれば、数学式５によって計算されてよい。ｍａｘ（ａ，ｂ）は、ａとｂのうち、相対的に大きい値を返還する関数であり、ａｂｓ（ｘ）は、ｘの絶対値を返還する関数である。また、ｃｌｉｐ３（ｘ，ｙ，ｚ）は、ｚ＜ｘの場合にｘを返還し、ｚ＞ｙの場合にｙを返還し、その他の場合にｚを返還する関数である。
デコーダはＣＰＭＶセットのＣＰＭＶを用いて現在ブロックにおける各サブブロックのモーションベクトルを取得する。また、デコーダは、各サブブロックのモーションベクトルを用いて各サブブロックの予測子を取得し、各サブブロックの予測子を組み合わせて現在ブロックの予測子を取得する。デコーダは、このように取得された現在ブロックの予測子を用いて現在ブロックを復元することができる。
図１２及び図１３は、現在ブロックの予測のためのコントロールポイントモーションベクトルセットを取得する本発明の実施例を示す。本発明の実施例によれば、現在ブロックの予測のためのＣＰＭＶセットは様々な方法で取得されてよい。より具体的に、現在ブロックの予測のためのＣＰＭＶセットは、一つ以上の周辺ブロックのモーションベクトル情報セットを参照して取得されてよい。本発明の実施例において、モーションベクトル情報は、該当のブロックのモーションベクトルを表すか、或いは該当のブロックのＣＰＭＶを表すことができる。また、モーションベクトル情報セットは、一つ以上のブロックのモーションベクトル情報の集合を表す。周辺ブロックは、現在ブロックの既に設定された周辺位置を含むブロックを表すことができる。このとき、周辺ブロックは、既に設定された周辺位置を含むコーディングユニットであるか、前記周辺位置を含む既に設定された単位（例えば、４Ｘ４、８Ｘ８）の領域であってよい。
現在ブロックのＣＰＭＶを誘導するために参照可能な複数の候補が存在してよい。したがって、現在ブロックのＣＰＭＶを誘導するために参照する周辺ブロックに関する情報が別個にシグナルされてよい。本発明の一実施例によれば、現在ブロックにおける各サブブロックのモーションベクトルを誘導するために参照するモーションベクトル情報セットを示す指示子がシグナルされてよい。前記指示子は、現在ブロックにおける各サブブロックのモーションベクトルを誘導するために参照する周辺ブロックのモーションベクトル情報セットを示すことができる。デコーダは、前記指示子を取得し、指示子が示す周辺ブロックのモーションベクトル情報セットを参照して現在ブロックのためのＣＰＭＶセットの各ＣＰＭＶを取得することができる。より具体的な実施例によれば、デコーダは、一つ以上のモーションベクトル情報セット候補で構成された候補リストを生成することができる。候補リストを構成するそれぞれのモーションベクトル情報セット候補は、現在ブロックのモーションベクトル情報を誘導するために使用可能な周辺ブロックのモーションベクトルセットである。このとき、指示子は、候補リスト中のいずれか一つのモーションベクトル情報セットを示すインデックスであってよい。現在ブロックのＣＰＭＶは、候補リストの中から前記指示子（すなわち、インデックス）に基づいて選択されたモーションベクトル情報セットを参照して取得することができる。以下、現在ブロックのモーションベクトル情報（又は、ＣＰＭＶセット）誘導のための候補リストに含み得るモーションベクトル情報セット候補の様々な実施例について述べる。
図１２には、現在ブロックのＣＰＭＶセットを取得する一実施例を示す。図１２の実施例では、現在ブロックのＣＰＭＶセットが２個のＣＰＭＶ、すなわち、ｖ０とｖ１を含むと仮定する。本発明の一実施例によれば、現在ブロックのＣＰＭＶは、該当のポイントに隣接した周辺ブロックのモーションベクトルから誘導されてよい。図１２を参照すると、ｖ０は、該当のポイントに隣接した周辺ブロックＡ、Ｂ及びＣのいずれか一つのモーションベクトルから誘導されてよく、ｖ１は、該当のポイントに隣接した周辺ブロックＤ及びＥのいずれか一つのモーションベクトルから誘導されてよい。周辺ブロックＡ、Ｂ、Ｃ、Ｄ及びＥのモーションベクトルをそれぞれｖＡ、ｖＢ、ｖＣ、ｖＤ及びｖＥとするとき、候補リストに含み得るモーションベクトル情報セットは、次の数学式７のように誘導されてよい。
すなわち、ｖＡ、ｖＢ、ｖＣの中から選択されたｖ０と、ｖＤ、ｖＥの中から選択されたｖ１で構成された（ｖ０，ｖ１）対が取得されてよい。このとき、ｖ０は、現在ブロックの上左頂点に隣接したブロックのモーションベクトルから誘導され、ｖ１は、現在ブロックの上右頂点に隣接したブロックのモーションベクトルから誘導される。追加の実施例によれば、現在ブロックのＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）、周辺ブロックの参照ピクチャのＰＯＣ、及び現在ブロックの参照ピクチャのＰＯＣに基づいてモーションベクトルスケーリングが行われてよい。
このように取得されたモーションベクトル情報セット候補を含む候補リストが生成されてよく、候補リストにおけるいずれか一つのモーションベクトル情報セットを示す指示子がシグナルされてよい。本発明の追加の実施例によれば、候補リストには、他の方式のインター予測のためのモーションベクトル情報セット候補が含まれてもよい。例えば、候補リストは、サブブロックベースの時間的モーションベクトル予測（ＳｂＴＭＶＰ）のためのモーションベクトル情報セット候補を含むことができる。
デコーダは、候補リストから取得されたモーションベクトル情報セットに基づいて現在ブロックのＣＰＭＶを誘導することができる。一実施例によれば、デコーダは、候補リストから取得されたモーションベクトル情報セットのモーションベクトルを、別個のモーションベクトル差分値無しで現在ブロックのＣＰＭＶとして用いることによって、アフィン併合予測を行うことができる。他の実施例によれば、デコーダは、現在ブロックのＣＰＭＶのための別個のモーションベクトル差分値を取得することができる。デコーダは、候補リストから取得されたモーションベクトル情報セットのモーションベクトルを前記モーションベクトル差分値と合算して現在ブロックのＣＰＭＶを取得することができる。デコーダが現在ブロックのアフィンモーション補償のために別個のモーションベクトル差分値を使用するか否かを示すフラグ又はインデックスが別個にシグナルされてよい。
図１３には、現在ブロックのＣＰＭＶセットを取得する他の実施例を示す。本発明の他の実施例によれば、現在ブロックのＣＰＭＶは、アフィンモーション補償が行われた周辺ブロックのモーションベクトル情報、すなわち、周辺ブロックのＣＰＭＶ又はモーションベクトルから誘導されてよい。このとき、周辺ブロックは、現在ブロックの左側周辺ブロックと現在ブロックの上側周辺ブロックを含むことができる。図１３（ａ）を参照すると、左側周辺ブロックは現在ブロックの下左頂点に隣接したブロック、すなわち、左側ブロックＡ及び下左側ブロックＤを含む。また、上側周辺ブロックは、現在ブロックの上左頂点に隣接したブロック、すなわち、上左側ブロックＥと、現在ブロックの上右頂点に隣接したブロック、すなわち、上側ブロックＢ及び上右側ブロックＣを含む。デコーダは、既に設定された順に周辺ブロックがアフィンモーション補償されるか否か確認する。アフィンモーション補償が行われた周辺ブロックが発見されると、デコーダは、当該周辺ブロックのＣＰＭＶセット（又は、モーションベクトル）を用いて現在ブロックのＣＰＭＶセットを取得する。図１３（ｂ）の実施例を参照すると、左側ブロックＡのＣＰＭＶセットが現在ブロックのＣＰＭＶセットを誘導するのに用いられてよい。すなわち、左側ブロックＡのＣＰＭＶセット（ｖ２，ｖ３，ｖ４）に基づいて現在ブロックのＣＰＭＶセット（ｖ０，ｖ１）が取得されてよい。
本発明の実施例によれば、現在ブロックのＣＰＭＶを誘導するために参照する周辺ブロックに関する情報が別個にシグナルされてよい。このとき、現在ブロックの周辺ブロックのＣＰＭＶセットは、既に設定された順序に従って前述の候補リストを構成するモーションベクトル情報セット候補になってよい。より具体的に、モーションベクトル情報セット候補は、現在ブロックの左側周辺ブロックのＣＰＭＶ（又は、モーションベクトル）から誘導された第１候補と、現在ブロックの上側周辺ブロックのＣＰＭＶ（又は、モーションベクトル）から誘導された第２候補を含むことができる。このとき、左側周辺ブロックは、現在ブロックの下左頂点に隣接したブロックであり、上側周辺ブロックは、現在ブロックの上左頂点に隣接したブロック又は現在ブロックの上右頂点に隣接したブロックである。このように取得されたモーションベクトル情報セット候補を含む候補リストが生成されてよく、候補リストにおけるいずれか一つのモーションベクトル情報セットを示す指示子がシグナルされてよい。一実施例によれば、前記指示子は、現在ブロックにおける各サブブロックのモーションベクトルを誘導するために参照される周辺ブロックの位置情報を示すことができる。デコーダは、指示子が示す周辺ブロックのＣＰＭＶセット（又は、モーションベクトル）を参照して現在ブロックのＣＰＭＶセットを取得することができる。
本発明の追加の実施例によれば、現在ブロックのＣＰＭＶは、該当のポイントから近い周辺ブロックのＣＰＭＶに基づいて誘導されてよい。例えば、ｖ０は左側周辺ブロックのＣＰＭＶを参照して取得され、ｖ１は上側周辺ブロックのＣＰＭＶを参照して取得されてよい。又は、ｖ０は周辺ブロックＡ、Ｄ又はＥのＣＰＭＶを参照して取得され、ｖ１は周辺ブロックＢ又はＣのＣＰＭＶを参照して取得されてよい。
図１４は、本発明の一実施例に係るアフィンモーション補償方法を説明するための図である。本発明の一実施例によれば、アフィンモーション予測のためにＣＰＭＶが必要でよく、前記ＣＰＭＶに基づいてモーションベクトルフィールド、すなわち、サブブロック又はある位置（又は、ピクセル）に対するモーションベクトルが計算されてよい。本明細書において、前記ＣＰＭＶは、シードベクトル（ｓｅｅｄ ｖｅｃｔｏｒ）と呼ぶことができる。このとき、ＣＰＭＶは予測子に基づいて誘導されてよい。例えば、予測子がＣＰＭＶと決定されてよい。他の例として、予測子及び差分（ｄｉｆｆｅｒｅｎｃｅ）に基づいてＣＰＭＶが計算されてもよい。具体的に、予測子に差分を足したり引くことによってＣＰＭＶを計算することができる。
本発明の一実施例によれば、ＣＰＭＶの予測子は、周辺のアフィンモーション補償（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ（ＭＣ））ブロック（すなわち、アフィンモードと符号化された周辺ブロック）のＣＰＭＶ又はＭＶから誘導されてよい。例えば、既に設定された位置のブロックがアフィンモーション予測された場合、エンコーダ／デコーダは、当該ブロックのＣＰＭＶ又はＭＶから現在ブロックのアフィンモーション補償のための予測子が誘導できる。一実施例において、既に設定された位置は、図１４に示すＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２位置であってよい。又は、既に設定された位置は、現在ブロックに隣接した位置及び／又は隣接していない位置を含むことができる。また、エンコーダ／デコーダは、空間的に隣り合う既に設定された位置のＣＰＭＶ又はＭＶを参照することもでき、時間的に隣り合う既に設定された位置のＣＰＭＶ又はＭＶを参照することもできる。本明細書において、上述したアフィンＭＣブロックに基づく候補は、相続候補（ｉｎｈｅｒｉｔｅｄ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。又は、上述したアフィンＭＣブロックに基づく候補は、マージ候補と呼ぶことができる。また、一実施例において、エンコーダ／デコーダは、既に設定された位置を参照するとき、既に設定された順序に従って参照することができる。
図１５は、本発明の一実施例に係るアフィンモーション補償方法を説明するための図である。アフィンモーション予測のためにＣＰＭＶが必要でよく、前記ＣＰＭＶに基づいてモーションベクトルフィールド、すなわち、サブブロック又はある位置に対するモーションベクトルが計算されてよい。本明細書において、前記ＣＰＭＶは、シードベクトル（ｓｅｅｄ ｖｅｃｔｏｒ）と呼ぶことができる。このとき、ＣＰＭＶは、予測子に基づいて誘導されてよい。例えば、予測子がＣＰＭＶと決定されてよい。さらに他の例として、予測子及び差分（ｄｉｆｆｅｒｅｎｃｅ）に基づいてＣＰＭＶが計算されてもよい。具体的に、予測子に差分を足したり引くことによってＣＰＭＶを計算することができる。
本発明の一実施例によれば、エンコーダ／デコーダは、周辺ブロックのＭＶを用いてＣＰＭＶの予測子を誘導することができる。この時、周辺ブロックのＭＶは、アフィンＭＣされたブロックのＭＶでない場合のＭＶも含むことができる。例えば、エンコーダ／デコーダは、現在ブロックの各ＣＰＭＶを誘導するとき、各ＣＰＭＶに対して既に設定された位置のＭＶをＣＰＭＶの予測子として使用することができる。例えば、既に設定された位置は、その部分と隣接したブロックに含まれた部分であってよい。
図１５を参照すると、エンコーダ／デコーダは、ＣＰＭＶ ｍｖ０、ｍｖ１、ｍｖ２を決定することができる。ここで、ｍｖ０は左上側ＣＰＭＶを表し、ｍｖ１は右上側ＣＰＭＶを表し、ｍｖ２は左下側ＣＰＭＶを表す。本発明の一実施例によれば、エンコーダ／デコーダは、既に設定された位置Ａ、Ｂ、Ｃに該当するＭＶを、ｍｖ０に対する予測子として使用することができる。また、エンコーダ／デコーダは、既に設定された位置Ｄ、Ｅに該当するＭＶを、ｍｖ１に対する予測子として使用することができる。また、エンコーダ／デコーダは、既に設定された位置Ｆ、Ｇに該当するＭＶを、ｍｖ２に対する予測子として使用することができる。
図１５の一実施例によってＣＰＭＶ ｍｖ０、ｍｖ１、ｍｖ２の各予測子を決定するとき、各コントロールポイント位置に対する既に設定された位置を参照する順序があらかじめ定義されてよい。一例として、ＣＰＭＶの予測子として参照する既に設定された位置が各コントロールポイント位置に対して多数存在してよく、可能な既に設定された位置の組合せがあらかじめ定義されてよい。図１５の実施例のような方法によって、アフィンＭＣのための候補（又は、予測子）を誘導でき、このような候補は、構成された候補（ｃｏｎｓｔｒｕｃｔｅｄ ｃａｎｄｉｄａｔｅ）と呼ぶことができる。又は、このような候補は、インター候補又は仮想候補（ｖｉｒｔｕａｌ ｃａｎｄｉｄａｔｅ）と呼ぶこともできる。また、図１５の方法において、エンコーダ／デコーダは、既に設定された位置を参照するとき、既に設定された順序に従って参照することができる。
本発明の一実施例によれば、エンコーダ／デコーダは、図１２～図１５で説明した実施例又はそれらの組合せでアフィンＭＣの候補リスト又はアフィンＭＣのＣＰＭＶ候補リストを生成することができる。次の数学式８は、本発明の一実施例に係るアフィンモーション予測子誘導方法を例示する。
前述したように、周辺のアフィンモーション予測されたブロックから現在ブロックのアフィンモーション予測のためのＣＰＭＶを誘導することができる。このとき、前記数学式８が用いられてよい。数学式８において、周辺のアフィンモーション予測されたブロックの左上端（ｔｏｐ－ｌｅｆｔ）、右上端（ｔｏｐ－ｒｉｇｈｔ）、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）のコントロールポイントのＭＶはそれぞれ、（ｖ＿Ｅ０ｘ，ｖ＿Ｅ０ｙ）、（ｖ＿Ｅ１ｘ，ｖ＿Ｅ１ｙ）、（ｖ＿Ｅ２ｘ，ｖ＿Ｅ２ｙ）と表現されてよい。また、周辺のアフィンモーション予測されたブロックの左上端（ｔｏｐ－ｌｅｆｔ）、右上端（ｔｏｐ－ｒｉｇｈｔ）、左下端（ｂｏｔｔｏｍ－ｌｅｆｔ）の座標はそれぞれ、（ｘ＿Ｅ０，ｙ＿Ｅ０）、（ｘ＿Ｅ１，ｙ＿Ｅ１）、（ｘ＿Ｅ２，ｙ＿Ｅ２）と表現されてよい。このとき、エンコーダ／デコーダは、数学式８によって現在ブロックのＣＰＭＶの予測子又はＣＰＭＶである（ｖ＿０ｘ，ｖ＿０ｙ）、（ｖ＿１ｘ，ｖ＿１ｙ）を計算することができる。下の数学式９及び１０は、本発明の一実施例に係るアフィンモーション予測子誘導方法を例示する。
前述したように、アフィンモーション補償のために多数のＣＰＭＶ又は多数のＣＰＭＶ予測子が用いられてよい。このとき、エンコーダ／デコーダは、あるＣＰＭＶ又はＣＰＭＶ予測子から他のＣＰＭＶ又はＣＰＭＶ予測子を誘導することができる。例えば、エンコーダ／デコーダは、前述した方法によって２個のＣＰＭＶ又は２個のＣＰＭＶ予測子を誘導（又は、生成）し、これに基づいて他のＣＰＭＶ又は他のＣＰＭＶ予測子を誘導することができる。
本発明の一実施例によれば、エンコーダ／デコーダは、数学式９及び１０を用いて左上端、右上端、左下端のＣＰＭＶ予測子又はＣＰＭＶであるｍｖ０、ｍｖ１、ｍｖ２を誘導（又は、生成）することができる。数学式９及び１０で、ｘ、ｙはそれぞれ、ｘ－コンポーネント（ｃｏｍｐｏｎｅｎｔ）、ｙ－コンポーネントを表し、現在ブロックのサイズはｗ＊ｈであってよい。エンコーダ／デコーダは、現在ブロックをアフィンＭＣするためにＣＰＭＶに対する予測子を作り、これに差分を足してＣＰＭＶを決定することができる。一実施例によれば、図１４及び図１５で説明した方法によってＣＰＭＶの予測子が生成でき、ＣＰＭＶの差分はエンコーダからデコーダにシグナルされてよい。
また、一実施例において、各ＣＰＭＶに対する差分が存在してよい。また、各ＣＰＭＶに対する差分がそれぞれシグナルされてよい。４－パラメータモデルにおいて２個のＣＰＭＶが用いられてよく、各ＣＰＭＶのＭＶは、各ＣＭＰＶの予測子にｍｖｄ０、ｍｖｄ１をそれぞれ足すことによって誘導されてよい。６－パラメータモデルの場合、３個のＣＰＭＶが用いられてよく、各ＣＰＭＶのＭＶは、各ＣＭＰＶの予測子にｍｖｄ０、ｍｖｄ１、ｍｖｄ２を足すことによってそれぞれ誘導されてよい。
本発明の一実施例によれば、エンコーダ／デコーダは、次の数学式１１に基づいてモーションベクトル差分を決定することができる。
数学式１１において、仮に参照リストが０であれば、ＭｖｄＬ０［ｘ０］［ｙ０］［ｃｏｍｐＩｄｘ］は、ｌＭｖｄ［ｃｏｍｐＩｄｘ］に設定されてよい。このとき、ｃｏｍｐＩｄｘはコンポーネントインデックスを表し、０、１の値を有することができる。仮に参照リストが１であれば、ＭｖｄＬ１［ｘ０］［ｙ０］［ｃｏｍｐＩｄｘ］は、ｌＭｖｄ［ｃｏｍｐＩｄｘ］に設定されてよい。
一実施例において、上記の表１で説明した方法によってモーションベクトル差分がシグナルされてよく、前記モーションベクトル差分は、前記数学式１１のｌＭｖｄであってよい。前述したように、エンコーダ／デコーダは、シグナルされたｍｖｄをＣＰＭＶの予測子に対する差分と決定でき、前記決定された差分は、数学式１１のＭｖｄＬ０及びＭｖｄＬ１であってよい。数学式１１において、Ｌ０は参照リスト０を、Ｌ１は参照リスト１を表す。
また、本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロックに対するアフィンＭＣを行うために、ＣＰＭＶに対する予測子を誘導し、これに差分を足してＣＰＭＶを決定することができる。一実施例として、エンコーダ／デコーダは、図１４及び図１５で説明した方法によってＣＰＭＶの予測子を生成することができる。前記ＣＰＭＶの差分はエンコーダからデコーダにシグナルされてよい。一実施例において、エンコーダ／デコーダは、次の数学式１２及び１３に基づいてＣＰＭＶを誘導することができる。
数学式１２及び１３を参照すると、各ＣＰＭＶに対する差分に対する予測子が存在してよい。一実施例において、あるＣＰＭＶの差分に基づいて他のＣＰＭＶの差分が決定されてよい。これは、ＣＰＭＶに対する差分間の類似性に基づくものでよい。すなわち、ＣＰＭＶに対する差分同士が類似するので、一つのＣＰＭＶに対する予測子を決定すれば、相対的に少ない情報を用いてＣＰＭＶに対する予測子を決定することができる。一例として、ＣＰＭＶに対する差分予測子がシグナルされ、ＣＰＭＶに対する差分予測子との差分がエンコーダからデコーダにシグナルされてよい。数学式１２は、４－パラメータモデルが用いられる場合を仮定し、数学式１３は、６－パラメータモデルが用いられる場合を仮定する。
数学式１２及び１３を参照すると、エンコーダ／デコーダは、ＣＰＭＶ ０であるｍｖ０の差分（ｍｖｄ０）に基づいて各ＣＰＭＶに対する差分及びＣＰＭＶを決定することができる。数学式１２及び１３のｍｖｄ０、ｍｖｄ１、ｍｖｄ２は、エンコーダからデコーダにシグナルされてよい。上の図１５で説明した方法と比較すれば、数学式１２及び１３の方法は、上の図１５で説明した方法と同じ予測子を使用するにもかかわらず、シグナルされるｍｖｄ１とｍｖｄ２の値が異なってよい。ＣＰＭＶ ｍｖ０、ｍｖ１、ｍｖ２の予測子との差分が類似していると、数学式１２及び１３の方法を用いる場合、上の図１５で説明した方法を用いた場合に比べてｍｖｄ１及びｍｖｄ２の絶対値が少ない可能性があり、これによってｍｖｄ１とｍｖｄ２のシグナリングオーバーヘッドを効果的に減らすことができる。エンコーダ／デコーダは、ｍｖ１の予測子との差分を（ｍｖｄ１＋ｍｖｄ０）と決定し、ｍｖ２の予測子との差分を（ｍｖｄ２＋ｍｖｄ０）と決定できる。数学式１２及び１３において、上にバー（ｂａｒ）で表示された文字は、ＣＰＭＶの予測子を表す。
本発明の一実施例によれば、エンコーダ／デコーダは、次の数学式１４に基づいてモーションベクトル差分を決定することができる。このとき、上述した数学式１２及び１３が適用されてよい。
一実施例において、前述した表１又は後述する表２によってモーションベクトル差分がシグナルされてよい。そして、前記シグナルされるモーションベクトル差分は、数学式１４のｌＭｖｄであってよい。また、数学式１２及び１３でシグナルされるｍｖｄ、すなわち、ｍｖｄ０、ｍｖｄ１、ｍｖｄ２は、数学式１４のｌＭｖｄであってよい。数学式１４において、ＭｖｄＬＸは、各ＣＰＭＶの予測子との差を表してよい。すなわち、（ｍｖ－ｍｖｐ）であってよい。このとき、数学式１２及び１３で説明したように、ＣＰＭＶ ０に対しては、シグナルされたモーションベクトル差分をＣＰＭＶに対する差分（ＭｖｄＬＸ）として直接使用することができ、他のＣＰＭＶに対しては、シグナルされたモーションベクトル差分（数学式１２及び１３においてｍｖｄ１、ｍｖｄ２）とＣＰＭＶ ０に対してシグナルされたモーションベクトル差分（数学式１２及び１３においてｍｖｄ０）に基づいて、ＣＰＭＶの差分であるＭｖｄＬＸとして使用することができる。
数学式１４において、ＬＸは参照リストＸを表すことができる。ｃｏｍｐＩｄｘはコンポーネントインデックスを表し、ｘ、ｙコンポーネントを示すことができる。ｃｐＩｄｘは、コントロールポイントインデックスを表すことができる。ｃｐＩｄｘは、数学式１２及び１３で表す０、１又は０、１、２を意味できる。一実施例において、前述した表１、数学式１４、表２において、エンコーダ／デコーダは、モーションベクトル差分の解像度（ｒｅｓｏｌｕｔｉｏｎ）を考慮することができる。例えば、解像度がＲであるとき、数学式１４のｌＭｖｄとしてｌＭｖｄ＊Ｒの値が用いられてよい。次の表２に、本発明の一実施例に係るモーションベクトル差分シンタックス構造を例示する。
表２を参照すると、上記の表１で説明したのと実質的に同じ方法でモーションベクトル差分がコードされてよい。このとき、ｃｐＩｄｘ及び／又はコントロールポイントインデックスによってそれぞれ個別にモーションベクトル差分に対するコーディングが行われてよい。
図１６は、本発明の一実施例に係るサブブロックベースの時間（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ）ＭＶＰ（ＳｂＴＭＶＰ）を示す図である。本発明の一実施例によれば、エンコーダ／デコーダは、時間（ｔｅｍｐｏｒａｌ）隣ブロックのモーションベクトルをサブブロック単位で取り入れる（又は、誘導する）ことができる。例えば、エンコーダ／デコーダは、現在ブロックのサブブロックに該当するモーションベクトルを、他のピクチャから取り入れることができる。ここで、ブロックはＣＵ、サブブロックはｓｕｂ－ＣＵであってよい。また、他のピクチャはコロケーテッドピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）であってよい。本発明において、前記ＳｂＴＭＶＰは、サブブロックベースの時間マージ候補、ＡＴＭＶＰ（ａｌｔｅｒｎａｔｉｖｅ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれてもよい。
本発明の一実施例によれば、ＳｂＴＭＶＰモードが適用される場合、エンコーダ／デコーダは、現在ブロックに対応するブロック（対応ブロック、参照ブロックと呼ぶことができる。）を他のピクチャから探索できる。このとき、前記対応ブロックは、コロケーテッドブロック（ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）と呼ぶことができる。一実施例として、コロケーテッドブロックは、現在ブロックの右下端又は中央位置などの既に設定された位置に該当する他のピクチャのブロックと決定されてよい。ＳｂＴＭＶＰにおいてコロケーテッドブロックは、モーション補償されたブロックであってよい。例えば、エンコーダ／デコーダは、現在ブロック周辺のモーションベクトルを参照してコロケーテッドブロックを探すことができる。
図１６を参照すると、コロケーテッドブロックは、現在ブロックの周辺ブロックのうちＡ１位置のモーションベクトル分だけ他のピクチャ内で現在ブロック位置から移動した位置のブロックがコロケーテッドブロックとして決定（又は、誘導）されてよい。一実施例として、このとき、コロケーテッドブロックを指示する（又は、向かう）モーションベクトルは、現在ブロック周辺の既に設定された位置を既に設定された順序に従ってスキャンし、探索した候補のモーションベクトルに基づいて誘導されてよい。さらに他の実施例として、コロケーテッドブロックを指示するモーションベクトルは、マージ候補リストの一部に基づいて決定されてよい。例えば、エンコーダ／デコーダは、マージ候補リストにおける最初のマージ候補を用いてコロケーテッドブロックを決定することができる。
また、本発明の一実施例によれば、エンコーダ／デコーダは、コロケーテッドブロックのサブブロックのモーション情報から現在ブロックのサブブロックのモーション情報を決定（又は、誘導）することができる。本明細書において、モーションベクトルは、その表現にもかかわらず、モーションベクトル、参照インデックス、参照リストの用いられるか否かの情報などを含むモーション情報を意味できる。また、現在ブロックのサブブロックのモーション情報のベースとなるコロケーテッドブロックのサブブロックは、互いに、ブロック（ＣＵ）内における相対的な位置が同一であってよい。すなわち、両サブブロックはブロック内で同じ相対位置を有することができる。
また、本発明の一実施例によれば、ＳｂＴＭＶＰが用いられる場合、サブブロックサイズは、あらかじめ定義されたサイズと固定されてよい。例えば、８×８サイズと固定されてよい。他の実施例として、サブブロックサイズは可変的であってもよい。このとき、可変的なサブブロックサイズを決定するために、シーケンス、ピクチャ、スライス、ＣＴＵ又はＣＵ単位シグナリングが存在してよい。例えば、サブブロックサイズは、４×４又は８×８サイズと可変的に決定されてよい。
図１７は、本発明の一実施例に係るプレーナＭＶＰを例示する図である。本発明の一実施例によれば、エンコーダ／デコーダは、プレーナＭＶＰ方法を用いて現在ブロックのサブブロック単位のモーションベクトルフィールドを生成することができる。また、エンコーダ／デコーダは、プレーナＭＶＰ方法を用いて周辺のモーションベクトルを参照することができる。また、プレーナＭＶＰ方法において、エンコーダ／デコーダは、一つ以上の周辺モーションベクトルを用いて線形加重和（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｓｕｍｍａｔｉｏｎ）に基づいてサブブロックモーションベクトルを決定することができる。このとき、周辺モーションベクトルは、隣接したブロックのモーションベクトルから外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）したモーション情報を含むことができる。例えば、エンコーダ／デコーダは、現在ブロックの下側又は右側位置のモーションベクトルを、隣接したブロックのモーションベクトルを用いて外挿プロセスを行うことができる。
図１７を参照すると、現在ブロックのサブブロックに該当するモーションベクトルＰ（ｘ，ｙ）は、Ｐ＿ｈ（ｘ，ｙ）又はＰ＿ｖ（ｘ，ｙ）に基づいて決定されてよい。図１７において、Ｗ、Ｈはそれぞれ、現在ブロックの幅、高さを表す。このとき、Ｐ＿ｈ（ｘ，ｙ）は、Ｌ（－１，ｙ）又はＲ（Ｗ，ｙ）に基づいて決定されてよい。Ｌ（－１，ｙ）は、現在サブブロックの左側における現在ブロックに隣接した位置のサブブロックに該当するモーションベクトルであってよい。また、Ｒ（Ｗ，ｙ）は、現在ブロックの右上側の位置に該当するモーションベクトルと現在ブロックの右下側の位置に該当する時間モーションベクトルに基づく値であってよい。Ｐ＿ｖ（ｘ，ｙ）は、Ａ（ｘ，－１）又はＢ（ｘ，Ｈ）に基づいて決定されてよい。Ａ（ｘ，－１）は、現在サブブロックの上側における現在ブロックと隣接したサブブロックに該当するモーションベクトルであってよい。また、Ｂ（ｘ，Ｈ）は、現在ブロックの左下端の位置に該当するモーションベクトルと現在ブロックの右下端の位置に該当する右上側モーションベクトルに基づいて加重和された値であってよい。
次の表３に、本発明の一実施例に係るインター予測関連シンタックス構造を例示する。
本発明の一実施例によれば、インター予測方法は、スキップモード、マージモード、インターモードなどを含むことができる。一実施例として、スキップモードでは残差信号が伝送されなくてもよい。また、スキップモードでマージモードと同じＭＶ決定方法が適用されてよい。一例として、スキップモード使用の有無はスキップフラグ（ｓｋｉｐ ｆｌａｇ）（又は、シンタックス要素）によって決定されてよい。表３を参照すると、ｃｕ＿ｓｋｉｐ＿ｆｌａｇ値によってスキップモードの使用されるか否かが決定されてよい。前記ｃｕ＿ｓｋｉｐ＿ｆｌａｇは、現在ＣＵにスキップモードが適用されるか否かを示す。
一実施例において、マージモードが適用される場合、モーションベクトル差分を使用しなくてもよい。このとき、エンコーダ／デコーダは、モーション候補インデックス（Ｍｏｔｉｏｎ ｃａｎｄｉｄａｔｅ ｉｎｄｅｘ）に基づいてモーションベクトルを決定することができる。一例として、マージモード使用の有無は、マージフラグ（ｍｅｒｇｅ ｆｌａｇ）（又は、シンタックス要素）によって決定されてよい。表３を参照すると、マージフラグ（すなわち、ｍｅｒｇｅ＿ｆｌａｇ）値によって、マージモードの適用されるか否かが決定されてよい。また、スキップモードを使用しない場合にマージモードが用いられてよい。
本発明の一実施例によれば、エンコーダ／デコーダは、スキップモード又はマージモードにおいて、一つ以上の候補リストセット中のいずれかを選択的に使用することができる。例えば、前記候補リストセットは、マージ候補を用いた候補リスト及び／又はサブブロックベースのマージ候補を用いた候補リストを含むことができる。また、マージ候補は、空間隣候補（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｃａｎｄｉｄａｔｅ）、時間隣候補（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｃａｎｄｉｄａｔｅ）などを含むことができる。また、マージ候補は、現在ブロック（ＣＵ）全体に対するモーションベクトルを使用する候補を含むことができる。すなわち、現在ブロックに属する各サブブロックのモーションベクトルが同一である候補を含むことができる。また、サブブロックマージ候補は、サブブロックベースの時間モーションベクトル（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ＭＶ）、アフィンマージ候補などを含むことができる。また、一実施例において、サブブロックマージ候補は、現在ブロック（ＣＵ）のサブブロック別に異なるモーションベクトルを使用する候補を含むことができる。一実施例において、アフィンマージ候補は、モーションベクトル差分無しでアフィンモーション予測のＣＰＭＶを決定するマージ候補を表すことができる。また、サブブロックマージ候補は、現在ブロックにおいてサブブロック単位でモーションベクトルを決定する方法を含むことができる。例えば、サブブロックマージ候補は、先に言及したサブブロックベースの時間ＭＶとアフィンマージ候補の他にも、プレーナＭＶ、回帰ベースの（ｒｅｇｒｅｓｓｉｏｎ ｂａｓｅｄ）ＭＶ、ＳＴＭＶＰなどを含むことができる。
本発明の一実施例によれば、インターモードにおいて、エンコーダ／デコーダはモーションベクトル差分を用いることができる。モーション候補インデックスに基づいてモーションベクトル予測子を決定し、前記モーションベクトル予測子とモーションベクトル差分に基づいてモーションベクトルを決定することができる。インターモード使用の有無は、他のモードの使用の有無によって決定されてよい。さらに他の実施例として、インターモード使用の有無は、フラグ（又は、シンタックス要素）によって決定されてよい。表３では、他のモードであるスキップモードとマージモードを使用しない場合にインターモードを使用する例を仮定する。一実施例において、インターモードは、ＡＭＶＰモード、アフィンインターモードなどを含むことができる。インターモードは、モーションベクトル予測子とモーションベクトル差分に基づいてモーションベクトルを決定するモードでよい。アフィンインターモードにおいて、エンコーダ／デコーダは、アフィンモーション予測のＣＰＭＶを決定するとき、モーションベクトル差分を用いることができる。
表３を参照すると、エンコーダ／デコーダは、スキップモード又はマージモードと決定した後、サブブロックマージ候補を使用するか又はマージ候補を使用するかを決定することができる。例えば、デコーダは、特定条件を満たす場合、サブブロックマージ候補を使用するか否かを示すｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。このとき、前記特定条件はブロックサイズと関連した条件であってよい。例えば、幅、高さ、領域などに関する条件であってよく、これらの条件が組み合わせられた条件であってもよい。
表３を参照すると、例えば、前記特定条件は、現在ブロック（ＣＵ）の幅及び高さが特定値以上であるか否かであってよい。ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースしない場合、エンコーダ／デコーダはその値を０と推論（ｉｎｆｅｒ）できる。エンコーダ／デコーダは、仮にｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが１である場合、サブブロックマージ候補を使用し、０である場合、マージ候補を使用することができる。サブブロックマージ候補を使用する場合、候補リスト（サブブロックマージ候補リスト）内の特定候補を示すインデックス（又は、シンタックス要素）を表すｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘをパースすることができ、マージ候補を使用する場合に、候補リスト（マージ候補リスト）内の特定候補を示すインデックスを表すマージインデックスをパースすることができる。エンコーダ／デコーダは、この時、候補リストの最大個数が１である場合にはパースしなくてもよい。すなわち、エンコーダ／デコーダは、候補リストの最大個数が１よりも大きい場合にインデックスをパースすることができる。ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘ又はマージインデックスをパースしない場合には、エンコーダ／デコーダは、その値を０と推論することができる。
上述の表３は、コーディングユニット関数を例示し、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）関連内容は省略されたものであってよい。表３は、インター予測が適用されると決定された場合の例示であってよい。
以下に、本発明の一実施例に係るサブブロックマージ候補リスト構成方法を説明する。上述の表３でサブブロックマージ候補について説明しており、以下ではサブブロックマージ候補リスト構成方法を説明する。本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロックのサイズ又はサブブロックサイズを考慮して、候補を候補リストに追加するか否かを決定することができる。上述したサイズは、ブロック又はサブブロックの幅又は高さ又は領域などに基づいて定義されてよい。
一実施例において、サブブロックマージ候補に属し得る多数の候補があり、前記多数の候補のサブブロックサイズが異なる場合、現在ブロックのサイズを考慮して候補リストに追加されるか否かを決定することができる。また、ある候補に対して現在ブロックのサイズを考慮する条件は、前記ある候補のサブブロックサイズに基づくことができる。ここで（候補リスト追加前の）候補は、いずれかのＭＶＰ方法、モードなどを表すことができ、ＭＶＰ又はＭＶを作る方法のいずれをも含むことが可能であり、候補リストに追加される候補は、現在ブロックに対して使用可能な候補、ＭＶＰ方法、モードなどを表すことができる。
本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロックのブロックサイズ条件によって、ある候補を候補リストに追加するか否かを決定することができる。例えば、エンコーダ／デコーダは、現在ブロックのサイズがあるブロックサイズの臨界値（ｔｈｒｅｓｈｏｌｄ）以上であるか否かによって、候補を候補リストに追加するか否かを決定することができる。また、前記ブロックサイズ条件又は臨界値は、前記ある候補のサブブロックサイズによって決定されてよい。これは、サブブロックベースの予測方法は、サブブロックサイズよりも大きいか、サブブロックサイズよりも十分に大きいブロックにおいてサブブロックベースの予測を用いて圧縮効率を上げることができるためである。例えば、サブブロックサイズと同一であるか或いはサブブロックサイズよりも小さいブロックの場合、サブブロックベースの予測を適用するとしてもサブブロック単位のモーション情報が取得できず、結果的に圧縮効率に寄与できないことがある。
一実施例において、現在ブロックのサイズが既に設定されたサイズであるか又は既に設定されたサイズ未満であるとき、エンコーダ／デコーダは第１候補リストを構成し、現在ブロックが前記既に設定されたサイズ以上のとき、第２候補リストを構成することができる。また、候補リスト２に属する候補種類は、候補リスト１に属する候補種類を含むことができる。例えば、第１モードのサブブロックサイズは第１サブブロックサイズに設定され、第２モードのサブブロックサイズは第２サブブロックサイズに設定された場合、エンコーダ／デコーダは、現在ブロックが既に設定されたサイズであるとき、第２モードだけを候補リストに追加でき、現在ブロックが既に設定されたサイズよりも大きいとき、第１モードと第２モードの両方を候補リストに追加することができる。例えば、前記第１サブブロックサイズは８×８であり、前記第２サブブロックサイズは４×４であってよい。また、前記既に設定されたサイズは８×８であってよい。又は、前記既に設定されたサイズは、幅（又は、高さ）が８であってよい。また、一例として、前記第１モードはＳｂＴＭＶＰであり、第２モードはアフィンマージモードであってよい。
一実施例において、サブブロックベースのマージ候補リストは、下記のような方法で構成（又は、生成）されてよい。以下において、まず、ｉ＝０に設定されてよい。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌ ＆＆ ｂｌｏｃｋＳｉｚｅＣｏｎｄｉｔｉｏｎ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、ＳｂＣｏｌに設定される。すなわち、ＳｂＣｏｌが候補リストに追加されてよい。ここで、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、サブブロックマージ候補リスト内でｉ＋＋番目のサブブロックマージ候補を表し、ＳｂＣｏｌは、サブブロックベースの時間マージ候補（又は、ＳｂＴＭＶＰ）を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＡ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ａに設定される。すなわち、Ａ候補（又は、Ａ位置の候補）が次の候補として追加されてよい。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＢ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｂに設定される。すなわち、Ｂ候補が次の候補として追加されてよい。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ１ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ１に設定される。すなわち、Ｃｏｎｓｔ１候補が次の候補として追加されてよい。Ｃｏｎｓｔ１は、前述した構成された候補のうち一番目の候補を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ２ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ２に設定される。すなわち、Ｃｏｎｓｔ２候補が次の候補として追加されてよい。Ｃｏｎｓｔ２は、前述した構成された候補のうち二番目の候補を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ３ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ３に設定される。すなわち、Ｃｏｎｓｔ３候補が次の候補として追加されてよい。Ｃｏｎｓｔ３は、前述した構成された候補のうち三番目の候補を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ４ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ４に設定される。すなわち、Ｃｏｎｓｔ４候補が次の候補として追加されてよい。Ｃｏｎｓｔ４は、前述した構成された候補のうち四番目の候補を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ５ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ５に設定される。すなわち、Ｃｏｎｓｔ５候補が次の候補として追加されてよい。Ｃｏｎｓｔ５は、前述した構成された候補のうち五番目の候補を表す。
－ 仮に、（ａｖａｉｌａｂｌｅＦｌａｇＣｏｎｓｔ６ ＆＆ ｉ＜ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄ）値が真であれば、ｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔ［ｉ＋＋］は、Ｃｏｎｓｔ６に設定される。すなわち、Ｃｏｎｓｔ６候補が次の候補として追加されてよい。Ｃｏｎｓｔ６は、前述した構成された候補のうち六番目の候補を表す。
本発明の一実施例によれば、エンコーダ／デコーダは、あらかじめ定義されたブロックサイズ条件を満たす場合にのみ、ＳｂＣｏｌ候補を、候補リストであるｓｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄＬｉｓｔに追加している。一実施例において、ＳｂＴＭＶＰを候補リストに追加するか否かを決定するブロックサイズ条件は、ＳｂＴＭＶＰのサブブロックサイズによって決定されてよい。例えば、具体的に、ブロックサイズ条件は、（ｃｂＷｉｄｔｈ＞＝１６ ＆＆ ｃｂＨｅｉｇｈｔ＞＝１６）であってよい。ここで、ｃｂＷｉｄｔｈは現在コーディングブロックの幅、ｃｂＨｅｉｇｈｔは現在コーディングブロックの高さを表す。また、Ａ、Ｂ、Ｃｏｎｓｔ１、Ｃｏｎｓｔ２、Ｃｏｎｓｔ３、Ｃｏｎｓｔ４、Ｃｏｎｓｔ５、Ｃｏｎｓｔ６は、アフィンマージ候補であってよい。Ａ、Ｂは、アフィン相続候補であり、ＣｏｎｓｔＸ（Ｘは１～６のいずれか一つ）は、アフィン構成された候補であってよい。
他の実施例において、エンコーダ／デコーダは、現在ブロックのブロックサイズ条件によって、候補インデックスをパースするか否かを決定することができる。例えば、多数の候補が存在するとき、前記多数の候補のうち１個を除いて全ての候補がブロックサイズ条件及び他の条件によって候補リストに追加されない場合、エンコーダ／デコーダは、候補インデックスをパースしなくてもよい。例えば、候補リストに追加できる候補が２個である場合、エンコーダ／デコーダは、ブロックサイズ条件によって候補インデックスをパースするか否かを決定することができる。例えば、候補リストに追加できる候補２個のうちの１個がブロックサイズ条件を満たさない場合、エンコーダ／デコーダは、候補インデックスをパースしなくてもよい。
次の表４には、本発明の一実施例に係るインター予測関連シンタックスを例示する。
本発明の一実施例によれば、現在ブロックのサイズがサブブロックサイズよりも大きい場合にサブブロックモードを使用することができる。例えば、サブブロックマージ候補リストに追加できる候補が多数あり、その多数の候補のサブブロックサイズが等しいとき、現在ブロックのサイズがサブブロックサイズよりも大きいとサブブロックマージモードを使用することができる。具体的な例として、サブブロックサイズが８×８であり、時現在ブロックサイズが１６×１６以上である場合（又は、幅又は高さが１６以上である場合）、サブブロックモードを使用することができる。サブブロックモードを使用することは、サブブロックモードに該当するモードの使用有無を示すフラグパーシングの有無を示すことができる。また、サブブロックモードに該当するモードの使用有無を示すフラグは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ、ｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇなどであってよい。表４で、上記の表３と重複する説明は省略する。
本発明の一実施例によれば、表４を参照すると、デコーダは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ及びｉｎｔｅｒ＿ａｆｆｉｎｅ＿ｆｌａｇを、ｃｂＷｉｄｔｈ＞＝１６、ｃｂＨｅｉｇｈｔ＞＝１６を満たす場合にのみパースすることができる。他の実施例として、エンコーダ／デコーダは、現在ブロックサイズがサブブロックサイズよりも大きい場合の他、サブブロックサイズと等しい場合にも、サブブロックモードを使用することができる。これは、サブブロックモードのモーション補償方法がサブブロック以外のモードとは異なることがあるためである。本明細書において、サブブロックベースのマージモードは、サブブロックモードと呼ぶことができる。
次の表５には、本発明の一実施例に係るインター予測関連シンタックスを例示する。
本発明の一実施例によれば、現在ブロックの幅が特定条件を満たすか或いは現在ブロックの高さが特定条件を満たす場合に、サブブロックモードを使用することができる。例えば、現在ブロックの幅又は高さが、サブブロックサイズの一辺のサイズと等しくても、等しくない幅や高さがサブブロックサイズの一辺のサイズ（又は、他の一辺のサイズ）よりも大きければ、現在ブロック内に多数のサブブロックが存在し得るためである。したがって、現在ブロックの幅がサブブロックの幅よりも大きいか、或いは現在ブロックの高さがサブブロックの高さよりも大きい場合に、サブブロックモードを使用することができる。又は、現在ブロックの幅がサブブロックの幅よりも大きいか等しい場合、又は現在ブロックの高さがサブブロックの高さよりも大きいか等しい場合に、サブブロックモードを使用することができる。表５において、上記の表３及び表４と重複する説明は省略する。表５を参照すると、現在ブロックの幅が８以上であるか、或いは現在ブロックの高さが８以上である場合、エンコーダ／デコーダは、サブブロックマージモードを使用することができる。また、現在ブロックの幅が１６以上であるか、或いは現在ブロックの高さが１６以上であるとき、デコーダはアフィンインターモードを使用することができる。
次の表６及び表７には、本発明の一実施例に係るサブブロックマージ関連シンタックスを例示する。
本発明の一実施例によれば、第１単位において特定モードの使用されるか否かがシグナルされてよい。また、使用されると前記シグナリングが指示した場合、エンコーダは、第１単位に属する第２単位において前記どのモードを実際に使用するかをデコーダにシグナルすることができる。この場合、第１単位におけるシグナリング値によって、第２単位においてシンタックス要素に対するパーシングの有無が決定されてよい。例えば、前記第１単位は、シーケンス、ピクチャ、スライス、タイルなどでよく、前記第２単位は、ＣＴＵ、ＣＵなどでよい。一実施例において、前記特定モードは、サブブロックモードであってよい。また、第１単位は上位単位と、第２単位は下位単位と呼ぶことができる。
表６は、サブブロックモードに属するモードのサブブロックサイズがいずれも同一であるか或いはサブブロックサイズの差異を考慮しない場合の、サブブロックモード使用の有無に対するシグナリングパーシングプロセスを表す。本発明の一実施例によれば、サブブロックモードに属するモードが多数存在し、サブブロックモードに該当するモードの上位単位の使用可否シグナリングも多数存在する場合、前記多数の上位単位の使用可否シグナリングのうち少なくとも一つが、使用可能であると指示すると、下位単位においてサブブロックモードを使用することができる。また、上位単位の使用可否シグナリングは、多数のモードに該当し得る。例えば、参照する隣ブロックの位置によって異なるモードが存在するとき、これらのモードの多数に対する上位単位の使用可能か否かがシグナルされてよい。また、このとき、ブロックサイズ条件などの条件と組み合わせて適用されてよい。本明細書において、サブブロックモードが使用可能であることは、サブブロックモード使用の有無を示すシグナリングをパースすることを意味でき、これについては、上の実施例を参照できる。
表６を参照すると、デコーダは、サブブロックマージモードに属するアフィンマージモードとＳｂＴＭＶＰの使用可能か否かを示すｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのうち少なくとも一つが１である場合にのみ、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。
表７を参照すると、サブブロックモードに属するモードのサブブロックサイズがそれぞれ異なってもよい場合、デコーダは、それを考慮して、サブブロックモードの使用されるか否かを示すシンタックス要素をパースすることができる。本発明の一実施例によれば、サブブロックモードに属するあるモードの上位単位の使用可否シグナリングと前記モードのブロックサイズ条件を全て満たす場合、エンコーダ／デコーダはサブブロックモードを使用することができる。例えば、サブブロックモードに属する第１モード及び第２モードが存在し、第１モードに該当する上位単位の使用可能か否かを示す第１シグナリング及び第２モードに該当する上位単位の使用可能か否かを示す第２シグナリングが使用され、第１モードの第１ブロックサイズ条件と第２モードの第２ブロックサイズ条件があるとき、上位単位の使用可能か否かを示す第１シグナリングが、使用可能であることを指示し、第１ブロックサイズ条件を満たすと、エンコーダ／デコーダは、サブブロックモードを使用することができる。そして、上位単位の使用可能か否かを示す第２シグナリングが、使用可能であることを指示し、第２ブロックサイズ条件を満たすと、エンコーダ／デコーダはサブブロックモードを使用することができる。
一実施例として、表７を参照すると、サブブロックマージモードに含まれるアフィンマージモード及びＳｂＴＭＶＰの使用可能か否かをそれぞれ示すシンタックス要素であるｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、エンコーダからデコーダにシグナルされてよい。この時、デコーダは、次の数学式１５の条件を満たす場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースするようになっている。同様に、エンコーダは、次の数学式１５を満たす場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをシンタックスシグナルすることができる。
また、表７では、アフィンマージモードのブロックサイズ条件が（ｃｂＷｉｄｔｈ＞＝８ ＆＆ ｃｂＨｅｉｇｈｔ＞＝８）であり、ＳｂＴＭＶＰのブロックサイズ条件が（ｃｂＷｉｄｔｈ＞＝１６ ＆＆ ｃｂＨｅｉｇｈｔ＞＝１６）である場合を例示する。
次の表８は、表７の条件が用いられる他の例を表すシンタックスである。
サブブロックモードに属する第１モード及び第２モードがあり、第１モードに該当する上位単位の使用可能か否かを示す第１シグナリングと第２モードに該当する上位単位の使用可能か否か示す第２シグナリングがあり、第１モードの第１ブロックサイズ条件１と第２モードのブロックサイズ条件２があるとき、仮に第１ブロックサイズ条件が第２ブロックサイズ条件に含まれる場合（すなわち、第１ブロックサイズ条件を満たすと第２ブロックサイズ条件を満たす場合）、次の数学式１６のように、エンコーダ／デコーダはサブブロックモードを使用することができる。
他の実施例において、全てのサブブロックモードに該当する上位単位使用可否シグナリングが存在してよい。又は、全てのサブブロックマージモードに該当する上位単位使用可否シグナリングが存在してもよい。この場合、デコーダは、上位単位使用可否シグナリングが、使用可能であると指示する場合にのみ、下位単位シグナリングをパースすることができる。本発明の一実施例によれば、エンコーダ／デコーダは、サブブロックサイズによってサブブロックモードを使用するブロックサイズ条件を設定することができる。このとき、仮にサブブロックサイズが可変的である場合、エンコーダ／デコーダは、可能なサブブロックサイズのうち、大きいサイズに基づいてブロックサイズ条件を設定することができる。
次の表９及び表１０には、本発明の一実施例に係るサブブロックマージ関連シンタックスを示す。
本発明の一実施例によれば、第１単位において特定モードの使用可能か否かがシグナルされてよい。また、前記シグナリングによって使用可能であると指示した場合、エンコーダは、第１単位に属する第２単位において前記どのモードを実際に使用するかをデコーダにシグナルすることができる。この場合、第１単位におけるシグナリング値によって第２単位においてシンタックス要素に対するパーシングの有無が決定されてよい。例えば、前記第１単位は、シーケンス、ピクチャ、スライス、タイルなどでよく、前記第２単位は、ＣＴＵ、ＣＵなどでよい。一実施例において、前記特定モードは、サブブロックモードであってよい。また、第１単位は上位単位と、第２単位は下位単位と呼ぶことができる。また、上位単位使用可否シグナリングは、モード多数に該当し得る。例えば、参照する隣ブロック位置によってそれぞれ異なるモードが存在するとき、これらのモードの多数に対する上位単位使用可否シグナリングが存在してよい。
本発明の一実施例によれば、上位単位使用可否シグナリングを参照して、候補インデックスパーシングの有無を決定することができる。例えば、多数の上位単位使用可否シグナリングのうち一つ以上が、使用可能であると指示する場合、候補インデックスをパースすることができる。一実施例として、多数のモード（このとき、前記モードは、候補リスト内の候補として含まれる単位を表すことができる。）に該当する上位単位使用可否シグナリングが存在してよい。本明細書において、前記多数のモードに該当する上位単位使用可否シグナリングは、第１フラグ、第２フラグ、第３フラグなどで示すことができる。また、一つのモード（候補；候補リストの一つの位置を占め得る単位）に該当する上位単位使用可否シグナリングが存在してよい。本明細書において、前記一つのモードに該当する上位単位使用可否シグナリングをＡフラグ、Ｂフラグ、Ｃフラグと呼ぶことができる。
本発明の一実施例によれば、多数のモードに該当する上位単位使用可否シグナリングのうち少なくとも一つが、使用可能であると指示する場合、エンコーダ／デコーダは、候補インデックスをパースすることができる。すなわち（第１フラグ｜｜第２フラグ｜｜第３フラグ、…）のとき（すなわち、フラグ値１が、使用可能を示す場合）、エンコーダ／デコーダは、候補インデックスをパースすることができる。
また、仮に一つのモードに該当する上位単位使用可否シグナリングが０個又は１個存在する場合、又は上位単位使用可否シグナリングがないモードが０個又は１個存在する場合に、多数のモードに該当する上位単位使用可否シグナリングのうち少なくとも一つが、使用可能であると指示すると、エンコーダ／デコーダは、候補インデックスをパースすることができる。すなわち、（第１フラグ｜｜第２フラグ｜｜第３フラグ、…）のとき（フラグ値１が、使用可能を示す場合）、エンコーダ／デコーダは候補インデックスをパースすることができる。
仮に、一つのモードに該当する上位単位使用可否シグナリングが１個存在し、上位単位使用可否シグナリングがないモードが１個存在する場合には、前記一つのモードに該当する上位単位使用可否シグナリングが、使用可能であることを指示すると、エンコーダ／デコーダは、候補インデックスをパースすることができる。この時、多数のモードに該当する上位単位使用可否シグナリングの値と関係しなくてよい。したがって、このような場合、多数のモードに該当する上位単位使用可否シグナリングの多数と一つのモードに該当する上位単位使用可否シグナリングのうち少なくとも一方が、使用可能であることを指示すると、エンコーダ／デコーダは、候補インデックスをパースすることができる。すなわち、（第１フラグ｜｜第２フラグ｜｜第３フラグ、…｜｜Ａフラグ）のとき（フラグ値１が使用可能を示す場合）、エンコーダ／デコーダは候補インデックスをパースすることができる。
仮に候補インデックスをパースしない場合、エンコーダ／デコーダは、候補リストの唯一の候補を使用することができる。又は、候補インデックスをパースしない場合、エンコーダ／デコーダは、候補インデックスを０と推論することができる。
表９を参照すると、アフィンマージモードとＳｂＴＭＶＰがサブブロックマージモードに該当してよく、アフィンマージモードはこの方法から多数の候補として構成されてよい。また、アフィンマージモードに該当する上位単位の使用可能か否かは、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素によってシグナルされてよい。このような場合、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、使用可能であると指示する場合、エンコーダ／デコーダは、候補インデックスであるｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘをパースすることができる。
本発明の一実施例によれば、仮に一つのモードに該当する上位単位使用可否シグナリングが２個以上存在する場合、一つのモードに該当する上位単位使用可否シグナリングの多数のうち少なくとも２個が、使用可能であると指示すると、エンコーダ／デコーダは、候補インデックスをパースすることができる。すなわち（Ａフラグ＋Ｂフラグ＋Ｃフラグ＋…＞＝２）のとき（フラグ値１が使用可能を指示する場合）、エンコーダ／デコーダは候補インデックスをパースすることができる。この場合、上位単位使用可否シグナリングがないモードが存在しなくてもよい。
仮に、一つのモードに該当する上位単位使用可否シグナリングが２個以上存在し、多数のモードに該当する上位単位使用可否シグナリングが存在する場合、一つのモードに該当する上位単位使用可否シグナリングの多数のうち少なくとも２個が、使用可能であると指示するか、或いは多数のモードに該当する上位単位使用可否シグナリングの多数のうち少なくとも１個が使用可能であると指示すると、エンコーダ／デコーダは候補インデックスをパースすることができる。すなわち（（第１フラグ｜｜第２フラグ｜｜第３フラグ…）｜｜（Ａフラグ＋Ｂフラグ＋Ｃフラグ＋…＞＝２））のとき（フラグ値１が使用可能を示す場合）、エンコーダ／デコーダは候補インデックスをパースすることができる。この場合、上位単位使用可否シグナリングがないモードが存在しなくてもよい。
上位単位使用可否シグナリングがないモードが１個存在する場合、上記において、一つのモードに該当する上位単位使用可否シグナリングの多数のうち少なくとも２個が使用可能であることを指示するときではなく、少なくとも１個が使用可能であることを指示するとき、候補インデックスをパースすることができる。すなわち（Ａフラグ＋Ｂフラグ＋Ｃフラグ＋…＞＝２））ではなく（Ａフラグ｜｜Ｂフラグ｜｜Ｃフラグ＋…）のとき、エンコーダ／デコーダは候補インデックスをパースすることができる。
表１０を参照すると、サブブロックマージモードは、アフィンマージモードとＳｂＴＭＶＰ、プレーナＭＶＰを含むことができる。アフィンマージモードは多数の候補として構成されてよい。ＳｂＴＭＶＰは、１個の候補として構成されてよい。プレーナＭＶＰは、１個の候補として構成されてよい。また、それぞれ、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を用いて、アフィンマージモード、ＳｂＴＭＶＰ、プレーナＭＶＰに該当する上位単位の使用可能か否かがシグナルされてよい。この場合、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが使用可能であると指示したり、或いはｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が使用可能である（又は、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇのうち２個以上が使用可能である）と指示する場合、エンコーダ／デコーダは、候補インデックスであるｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｉｄｘをパースすることができる。本発明において、ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇとｓｐｓ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇがいずれも使用可能を示すことは、（ｓｐｓ＿ｓｂｔｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＋ｓｐｓ＿ｐｌａｎａｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＞＝２）と表現されてもよい。
本発明の一実施例に係るＳｂＴＭＶＰ使用可能条件は、次のような方法によって誘導されてよい。以下、ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌは、ＳｂＴＭＶＰの使用可能か否かを示すパラメータ（又は、フラグ）を表す。
－ 仮に、一つ以上の次の条件が真であれば、ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌは０に設定されてよい。
１）ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇが０の場合。
２）ｓｐｓ＿ｓｂｔｍｖｐ＿ｆｌａｇが０の場合。
３）ｃｂＷｉｄｔｈが８よりも小さい場合。
４）ｃｂＨｅｉｇｈｔが８よりも小さい場合。
本発明の一実施例によれば、ＳｂＴＭＶＰが使用可能か否かは、利用可能性フラグ（ａｖａｉｌａｂｉｌｉｔｙ ｆｌａｇ）によって表現されてよい。ＳｂＴＭＶＰが使用可能か否かを示す利用可能性フラグは、ａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌであってよい。また、ＳｂＴＭＶＰは、ＳｂＣｏｌと呼ぶこともできる。また、利用可能性フラグが１である場合、使用可能であることを指示し、利用可能性フラグが０である場合、使用できないことを指示する。
本発明の一実施例によれば、ＳｂＴＭＶＰを使用できない条件が存在してよい。一実施例として、前述した上位単位シグナリングに基づいてＳｂＴＭＶＰを使用不可能であってもよい。現在ブロック又はＣＵ又はＰＵに対する上位単位は、スライス、タイル、タイルグループ、シーケンス、ピクチャ、ＣＴＵなどであってよい。前記上位単位シグナリングは、ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇを含むことができる。例えば、ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇは、時間モーションベクトル（又は、時間モーションベクトルｐｒｅｄｉｃｔｉｏｎ）が使用可能か否かを示すフラグを表す。ＳｂＴＭＶＰは、時間モーションベクトルを使用する技術であり得るので、時間ＭＶ使用が使用可能として設定されていないと、ＳｂＴＭＶＰが使用不可能であってもよい。また、上位単位シグナリングは、ｓｐｓ＿ｓｂｔｍｖｐ＿ｆｌａｇを含むことができる。例えば、ｓｐｓ＿ｓｂｔｍｖｐ＿ｆｌａｇは、ＳｂＴＭＶＰを使用できるか否かを示すフラグであってよい。
他の実施例において、ブロックサイズに基づいてＳｂＴＭＶＰが使用不可能であってもよい。前記ブロックサイズは、ブロックの幅、ブロックの高さ、又はブロックの幅や高さに基づく値などを含むことができる。また、ブロックの幅又は高さに基づく値は、ブロックの領域などを含むことができる。ブロックの幅又は高さが臨界値よりも小さい場合、ＳｂＴＭＶＰが使用不可能であってもよい。一実施例として、前記臨界値はサブブロックの幅又は高さであってよい。例えば、前記臨界値は８に設定されてよい。
前述したＳｂＴＭＶＰを使用できない条件を満たすと、エンコーダ／デコーダは、ＳｂＴＭＶＰに該当する利用可能性フラグを０に設定できる。また、そうでない場合、追加の動作を行って利用可能性フラグを決定することができる。
図１８は、本発明の一実施例に係る臨時モーションベクトルの決定方法を示す図である。本明細書において、前述したコロケーテッドブロックを表すモーションベクトルを臨時モーションベクトルと呼ぶ。前記臨時モーションベクトルは、その名称に制限されず、初期モーションベクトル、時間モーションベクトル、サブブロックベースのマージベースモーションベクトル（ｓｕｂｂｌｏｃｋ－ｂａｓｅｄ ｔｅｍｐｏｒａｌ ｍｅｒｇｉｎｇ ｂａｓｅ ＭＶ）又はベースモーションベクトルと呼ぶことができる。すなわち、エンコーダ／デコーダは、初期モーションベクトル、時間モーションベクトル、サブブロックベースのマージベースモーションベクトル又はベースモーションベクトルに基づいて前述したコロケーテッドブロックを特定するモーションベクトルを決定することができる。
本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロック周辺の位置のモーション情報に基づいて臨時モーションベクトルを決定することができる。また、前記現在ブロック周辺の位置は、既に設定された位置であってよい。また、前記現在ブロック周辺の位置は、マージ候補の空間候補位置を含むことができる。又は、前記現在ブロック周辺の位置は、ＡＭＶＰ候補の空間候補位置を含むことができる。
図１８を参照すると、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２に該当する位置は、既に設定されていてよい。また、ここでの位置は、輝度位置を意味できる。現在ブロックの左上端位置を（ｘＣｂ，ｙＣｂ）とするとき、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２はそれぞれ、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ）、（ｘＣｂ－１，ｙＣｂ＋ｃｂＨｅｉｇｈｔ－１）、（ｘＣｂ＋ｃｂＷｉｄｔｈ，ｙＣｂ－１）、（ｘＣｂ＋ｃｂＷｉｄｔｈ－１，ｙＣｂ－１）、（ｘＣｂ－１，ｙＣｂ－１）でよい。このとき、ｃｂＷｉｄｔｈ、ｃｂＨｅｉｇｈｔはそれぞれ、現在ブロックの幅と高さであってよい。また（ｘＣｂ，ｙＣｂ）は、共有マージリスト領域の左上端位置であってよい。多数のブロックが同一のマージ候補リストを使用するとき、その多数のブロック領域が共有マージリスト領域であってよい。また、既に設定された位置に該当する既に設定された参照順序が存在してよい。次の表１１に、前記既に設定された参照順序を例示する。
表１１を参照すると、既に設定された位置は、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ１、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ２、．．．、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎＮなどであってよい。また、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ１、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ２、．．．、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎＮの順に参照順序が既に設定されていてよい。前記参照順序は、マージ候補リストコンストラクション（ｃｏｎｓｔｒｕｃｔｉｏｎ）の参照順序の順方向又は逆方向であってよい。又は、前記参照順序は、ＡＭＶＰ候補リストコンストラクションの参照順序の順方向又は逆方向であってよい。例えば、参照位置及び参照順序は、Ａ１、Ｂ１、Ｂ０、Ａ０であってよい。又は、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ１、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎ２、．．．、ｐｒｅｄｅｆｉｎｅｄＰｏｓｉｔｉｏｎＮは、既に設定された位置に該当するモーション情報を表すものでよい。
表１１で、臨時モーションベクトルはゼロモーションベクトルに設定されてよい。また、仮に既に設定された位置のモーション情報を使用できない場合、エンコーダ／デコーダは、臨時モーションベクトルをゼロモーションベクトルに設定できる。また、既に設定された位置のモーション情報が使用可能である場合、前記既に設定された位置のモーション情報を臨時モーションベクトルに設定できる。また、使用可能であるとの意味は、該当の位置がイントラ予測でない場合を含むことができる。又は、使用可能であるとの意味は、該当の位置がインター予測である場合を含むことができる。又は、使用可能であるとの意味は、該当の位置のモーション情報の参照ピクチャが現在ブロックに該当するコロケーテッドピクチャと同一であることを含むことができる。又は、使用可能であるとの意味は、該当の位置のモーション情報の参照ピクチャが現在ブロックに該当する参照ピクチャと同一であることを含むことができる。
表１１で、既に設定された位置のうち、第１使用可能条件１を満たす一番目の該当の位置のモーション情報に対して第２使用可能条件を満たすか否か確認し、第２使用可能条件を満たす場合、エンコーダ／デコーダは、該当の位置のモーション情報を臨時モーションベクトルに設定できる。その他の場合は、エンコーダ／デコーダは、臨時モーションベクトルをゼロモーションベクトルに設定できる。これを、擬似コード（ｐｓｅｕｄｏ ｃｏｄｅ）で表すると、次の表１２の通りでよい。
前記実施例において、第１使用可能条件を満たす既に設定された位置のうち一番目の位置だけを臨時モーションベクトルとして使用可能にするためには、上の表１２でｅｌｓｅ ｉｆ構文が用いられてよい。また、第１使用可能条件、第２使用可能条件は、上述した使用可能であることの意味であってよい。例えば、第１使用可能条件は、該当の位置がインター予測を使用したことを意味できる。また、第２使用可能条件は、該当の位置のモーション情報の参照ピクチャが現在ブロックに該当するコロケーテッドピクチャと同一であることを意味できる。前記実施例では、仮にある位置が第１使用可能条件を満たし、第２使用可能条件を満たさない場合、前記ある位置よりも後に参照する位置を確認しなくてもよい。
他の実施例において、エンコーダ／デコーダは、既に設定された位置のうち、第１使用可能条件と第２使用可能条件をいずれも満たす一番目の該当の位置のモーション情報を臨時モーションベクトルに設定できる。それ以外の場合、エンコーダ／デコーダは、臨時モーションベクトルをゼロモーションベクトルに設定できる。これを、擬似コードで表すと、次の表１３の通りでよい。
表１３において、仮に、ある位置が第１使用可能条件を満たし、第２使用可能条件を満たさない場合、エンコーダ／デコーダは、前記ある位置よりも後に参照する位置も確認することができる。
また、本発明の一実施例によれば、既に設定された位置は、一つのみ存在してよい。このような場合を擬似コードで表すと、次の表１４の通りでよい。
すなわち、エンコーダ／デコーダは、一つの既に設定された位置に該当するモーション情報が使用可能である場合、臨時モーションベクトルを当該モーション情報に設定し、そうでない場合、臨時モーションベクトルをゼロモーションベクトルに設定できる。一実施例として、前記一つの既に設定された位置は、現在ブロックの左側位置でよい。すなわち、前記一つの既に設定された位置のｘ座標は、現在ブロック内部の左側座標よりも小さくてよい。例えば、前記一つの既に設定された位置は、Ａ１位置であってよい。
上述した実施例では、使用可能条件を第１使用可能条件及び第２使用可能条件の２種類を使用する例を示したが、本発明はこれに限定されず、より多くの使用可能条件が存在する場合を含むことができる。また、モーション情報は、モーションベクトル（ｍｖＬＸ）、参照インデックス（ｒｅｆＩｄｘＬＸ）、予測使用フラグ（ｐｒｅｄｉｃｔｉｏｎ ｕｔｉｌｉｚａｔｉｏｎ ｆｌａｇ）（ｐｒｅｄＦｌａｇＬＸ）などを含むことができる。
また、一実施例において、第２使用可能条件を確認し、臨時モーションベクトルを設定する過程は、次のように行われてよい。すなわち、ａｖａｉｌａｂｌｅＦｌａｇＮが真であれば、次のようなプロセスが適用されてよい。
Ａ．仮に、下の全ての条件が真であれば、臨時モーションベクトルはｍｖＬ１Ｎに設定されてよい。
ａ．ｐｒｅｄＦｌａｇＬ１Ｎが１の場合
ｂ．ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＣｏｌＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１Ｎ］）が０の場合
ｃ．ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ａＰｉｃ，ｃｕｒｒＰｉｃ）が０よりも小さいか等しい場合、ａＰｉｃはスライス（又は、タイルグループ）の全参照ピクチャリスト内の全ピクチャを表す
ｄ．ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｙｐｅがＢと等しい場合
ｅ．ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇが０と等しい場合
Ｂ．そうでない場合、次の条件がいずれも真であれば、臨時モーションベクトルはｍｖＬ０Ｎに設定されてよい。
ａ．ｐｒｅｄＦｌａｇＬ０Ｎが１の場合
ｂ．ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＣｏｌＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０Ｎ］）が０の場合
ここで、ａｖａｉｌａｂｌｅＦｌａｇＮが真であることは、第１使用可能条件を満たすことを示すことができる。仮に、上に説明した一つの既に設定された位置だけを使用する実施例では、ａｖａｉｌａｂｌｅＦｌａｇＮになり得るパラメータが、前記既に設定された位置に該当するａｖａｉｌａｂｌｅＦｌａｇであってよい。例えば、Ａ１位置だけを使用する場合、ａｖａｉｌａｂｌｅＦｌａｇＮはａｖａｉｌａｂｌｅＦｌａｇＡ１であってよく、これは、Ａ１位置のモーション情報を使用可能か否かを示す値であってよい。
図１９は、本発明の一実施例に係るＳｂＴＭＶＰ使用の有無を例示する図である。本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロック１９０１の位置に基づいて特定モードを使用するか否かを決定することができる。本発明のさらに他の実施例によれば、エンコーダ／デコーダは、現在ブロック１９０１の属したマージリスト共有領域の位置に基づいて、特定モードを使用するか否かを決定することができる。
本発明の一実施例によれば、エンコーダ／デコーダは、現在ブロック１９０１の位置に基づいて、ＳｂＴＭＶＰを使用するか否かを決定することができる。本発明のさらに他の実施例によれば、現在ブロック１９０１の属したマージリスト共有領域の位置に基づいて、ＳｂＴＭＶＰを使用するか否かを決定することができる。一実施例として、現在ブロック１９０１の位置又は現在ブロックの属したマージリスト共有領域の位置は、左上端座標であるか、左上端座標を基準に表現されてよい。また、現在ブロック１９０１の位置又は現在ブロック１９０１の属したマージリスト共有領域の位置は、上位グループ内における相対的な位置であってよい。上位グループは、ピクチャ、タイル、タイルグループ、ＣＴＵ、スライスなどを含むことができる。また、上位グループは、現在ブロックの属したグループであってもよい。すなわち、例えば、エンコーダ／デコーダは、現在ブロック１９０１のピクチャ１９０２内における位置に基づいて、ＳｂＴＭＶＰを使用するか否かを決定することができる。本明細書において、現在ブロック又は現在ブロックのマージリスト共有領域を現在領域と呼ぶことができる。
本発明の一実施例によれば、エンコーダ／デコーダは、現在領域が上位グループの境界に接したか否かに基づいて、ＳｂＴＭＶＰを使用するか否かを決定することができる。例えば、現在領域が上位グループの境界に接した場合、ＳｂＴＭＶＰを使用しないと判断、決定することができる。又は、図１９で説明した現在領域に該当する臨時モーションベクトルを決定するために参照する既に設定された位置が上位グループを外れるかどうかに基づいて、ＳｂＴＭＶＰを使用するか否かを決定することができる。例えば、現在領域に該当する臨時モーションベクトルを決定するために参照する既に設定された位置がいずれも上位グループを外れた場合、エンコーダ／デコーダは、ＳｂＴＭＶＰを使用しないと判断、決定することができる。また、現在領域に該当する臨時モーションベクトルを決定するために参照する既に設定された位置がいずれも上位グループを外れるかどうかは、現在領域の座標に基づいて決定されてよい。これは、前述した実施例によれば、現在領域に該当する臨時モーションベクトルを決定するために参照する既に設定された位置がいずれも上位グループを外れる場合には、臨時モーションベクトルとしてゼロモーションベクトルが使用され、このため、ＳｂＴＭＶＰの予測性能が低下することがあるためである。また、一実施例において、この場合、ＳｂＴＭＶＰを使用できないと決定することによって、ＳｂＴＭＶＰと同じシンタックス要素でシグナリングする他のモードを、より少ないビット数を用いてシグナルすることができる。例えば、前述したように、ＳｂＴＭＶＰとアフィンマージモードは、サブブロックマージモードに含まれてよく、ＳｂＴＭＶＰを使用できないと決める場合、アフィンマージモードをより少ないインデックスを用いてシグナルすることができる。したがって、このような場合、インデックス０は常にアフィンマージモードを示すことができる。
図１９を参照すると、前述したように、現在領域の臨時モーションベクトルを決定するためにＡ１位置１９０３だけを参照することができる。仮に、Ａ１位置１９０３のモーション情報が使用できない場合、ゼロモーションベクトルを臨時モーションベクトルとして使用することができる。仮に、現在領域がピクチャ１９０２の左側境界に接した場合、臨時モーションベクトルは常にゼロモーションベクトルであってよい。したがって、現在領域がピクチャ１９０２の左側境界に接した場合、ＳｂＴＭＶＰを使用しないものとすることができる。また、ピクチャ１９０２の左側境界の他、並列処理可能な単位の左側境界にも接した場合、ＳｂＴＭＶＰを使用しないものとすることができる。並列処理可能な単位は、タイル、タイルグループ、スライスなどがあり得る。したがって、現在領域の左上端座標が（ｘＣｂ，ｙＣｂ）である場合、ｘＣｂが０であれば、エンコーダ／デコーダは、ピクチャ１９０２の左側境界に接したものでよく、この場合、ＳｂＴＭＶＰを使用しないと決定できる。又は、（ｘＣｂ－（並列処理可能な単位の左側座標））が０である場合、ＳｂＴＭＶＰを使用しないとすることができる。
また、一実施例において、仮に、現在領域の臨時モーションベクトルを決定するために現在領域の上端だけを参照する場合、現在領域がピクチャ１９０２又は並列処理可能な単位の上側境界に接したとき、エンコーダ／デコーダは、ＳｂＴＭＶＰを使用しないと設定することができる。
他の追加の実施例において、ＳｂＴＭＶＰを使用しないと決定、判断する条件を説明したが、この条件に加えて、ブロックサイズと関連した条件を満たす場合にのみ、ＳｂＴＭＶＰを使用しないとしてもよい。すなわち、例えば、現在領域の座標が既に設定された条件を満たし、ブロックサイズと関連した条件を満たす場合に、ＳｂＴＭＶＰを使用しないとすることができる。一実施例として、前記ブロックサイズと関連した条件は、現在ブロックのブロックサイズがサブブロックサイズ以下である場合であってよい。現在ブロックサイズがサブブロックサイズ以下である場合、現在ブロックのサブブロックは１個だけであり、この場合、ＳｂＴＭＶＰの長所及び性能が減ることがあるためである。例えば、サブブロックサイズは８×８であってよい。したがって、説明した実施例において、次のような実施例が導かれてよい。仮に、現在領域がピクチャの左側境界に接しており、現在ブロックが８×８以下である場合、エンコーダ／デコーダは、ＳｂＴＭＶＰを使用しないと決定、判断することができる。ところが、サブブロックマージモードを８×８以上のブロックでのみ使用可能な実施例が存在し得る。この場合、現在領域がピクチャ１９０２の左側境界に接しており、現在ブロック１９０１が８×８である場合、ＳｂＴＭＶＰを使用しないと決定、判断することができる。
また、本発明の他の実施例において、ＳｂＴＭＶＰ使用可能条件を示す利用可能性フラグは、前述した条件の他にも、ｘＣｂが０であり、現在ブロックの幅及び高さが８であるか否か、が含まれてよい。すなわち、ｘＣｂが０であり、現在ブロックの幅及び高さが８である場合、利用可能性フラグは０に設定されてよい。前記条件及び前述した条件をいずれも満たす場合、又はいずれか一つ以上を満たす場合、エンコーダ／デコーダは、利用可能性フラグを０に設定できる。前述したように、ＳｂＴＭＶＰが使用可能か否かが、利用可能性フラグによって示されてよい。また、ある条件を満たすとき、ＳｂＴＭＶＰが利用不可能であると示すことができる。すなわち、ある条件を満たすとき、エンコーダ／デコーダは、ａｖｉｌａｂｌｅＦｌａｇＳｂＣｏｌを０に設定できる。したがって、図１９で説明した実施例によれば、現在領域の位置に基づいて、エンコーダ／デコーダはａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌを設定することができる。すなわち、エンコーダ／デコーダは、現在領域を表す座標（ｘＣｂ，ｙＣｂ）に基づいてａｖａｉｌａｂｌｅＦｌａｇＳｂＣｏｌを設定することができる。例えば、（ｘＣｂ，ｙＣｂ）は現在領域の左上端座標であってよい。
図１９で説明したように、現在領域又は現在ブロックがピクチャの左側境界に接している場合、ＳｂＴＭＶＰが利用不可能であってよい。したがって、仮にｘＣｂが０の場合、エンコーダ／デコーダは、ａｖｉｌａｂｌｅＦｌａｇＳｂＣｏｌを０に設定できる。例えば、仮に、現在領域又は現在ブロックがピクチャの左側境界に接しており、現在ブロックが８×８である場合、ＳｂＴＭＶＰが利用不可能であってよい。したがって、仮に、ｘＣｂが０であり、現在ブロックの幅と高さがいずれも８である場合、エンコーダ／デコーダは、ａｖｉｌａｂｌｅＦｌａｇＳｂＣｏｌを０に設定できる。
次の表１５に、本発明の一実施例に係るサブブロックマージモードシンタックス構造を例示する。
前述したように、サブブロックマージモード（又は、サブブロックベースのマージモード）は、ＳｂＴＭＶＰ及び／又はアフィンマージモードを含むことができる。また、アフィンモードが使用可能か否かを示すシンタックス要素（又は、フラグ）ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、上位レベルのシンタックスを用いてエンコーダからデコーダにシグナルされてよい。一実施例として、前記上位レベルは、シーケンス、ピクチャ、スライス又はＣＴＵレベルのうち少なくとも一つであってよい。また、一実施例において、上の図１９で説明したように、ＳｂＴＭＶＰが使用（又は、適用）不可能条件があらかじめ定義されてよい。
本発明の一実施例によれば、ＳｂＴＭＶＰ使用不可能条件を満たし、アフィンモードが使用可能でない場合、エンコーダ／デコーダは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースしなくてもよい。例えば、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇは、サブブロックマージモードを使用することを示すシグナリングであってよい。仮に、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが存在しない場合、エンコーダ／デコーダは、その値を０と推論することができる。アフィンモードが使用可能でない場合は、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合であってよい。したがって、ＳｂＴＭＶＰを使用可能な場合又はアフィンモードが使用可能な場合にｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。また、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースする条件は、上述した条件の他に、更なる条件を含むことができる。例えば、表１５を参照すると、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのパーシングを決定するために、サブブロックマージ候補の最大個数を示すＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄと関連した条件、ブロックサイズと関連した条件が共に考慮されてよい。
表１５を参照すると、現在ブロックの左上端座標のｘ値であるｘ０が０であり、アフィンモードが使用可能か否かを示すｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースしなくてもよい。また、ｘ０が０でないか、ｓｐｓ＿ａｆｆｉｎｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。
また、上述した実施例において、サブブロックマージモードにＳｂＴＭＶＰ及びアフィンマージモードが含まれる場合を仮定して説明したが、本発明はこれに限定されず、サブブロックマージモードにさらに他のモードが含まれてもよい。例えば、サブブロックマージモードは、ＳｂＴＭＶＰに加えて第１モード、第２モードを含むことができる。また、第１モード、第２モードがそれぞれ使用可能か否かを示すシンタックス要素ｓｐｓ＿ｍｏｄｅ１＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｍｏｄｅ２＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナルされてよい。この場合、ＳｂＴＭＶＰ使用不可能条件を満たしながら、第１モード及び第２モードがいずれも使用可能でない場合、エンコーダ／デコーダは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースしなくてもよい。この場合、エンコーダ／デコーダは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇを０と推論することができる。一実施例として、仮に、ＳｂＴＭＶＰ使用不可能条件を満たさないか、第１モードが使用可能であるか、又は第２モードが使用可能である場合、エンコーダ／デコーダは、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースすることができる。また、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇをパースする条件は、上述した条件に加え、他の条件を含むことができる。表１５を参照すると、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇのパーシングを決定するために、サブブロックマージ候補の最大個数を示すＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄと関連した条件、ブロックサイズと関連した条件が共に考慮されてもよい。
また、本発明の一実施例によれば、アフィンモードが使用可能なように設定されていない場合、エンコーダ／デコーダは、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄを１に設定できる。又は、エンコーダ／デコーダは、アフィンモードが使用可能なように設定されておらず、ＳｂＴＭＶＰが使用可能なように設定されている場合、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄを１に設定できる。また、アフィンモードが使用可能なように設定されておらず、ＳｂＴＭＶＰが使用可能なように設定されていない場合、エンコーダ／デコーダは、ＭａｘＮｕｍＳｕｂｂｌｏｃｋＭｅｒｇｅＣａｎｄを０に設定できる。
図２０は、本発明の一実施例に係るＳｂＴＭＶＰ誘導方法を例示する図である。本発明の一実施例によれば、臨時モーションベクトルを決定するために参照する既に設定された位置は、可変的であってよい。又は、特定ブロックに対する臨時モーションベクトルを決定するために参照する既に設定された位置は、一つに設定されてよく、その位置は可変的であってよい。
一実施例において、現在ブロック２００１又は現在領域の位置に基づいて臨時モーションベクトルを決定するための参照位置は可変的に決定されてよい。前記現在領域は、上の図１９で説明した領域を表す。例えば、現在領域がピクチャ２００２の境界に接しているか、並列処理可能な単位の境界に接している場合、特定位置のモーション情報は常に利用不可能であってよい。したがって、エンコーダ／デコーダは、常に利用不可能な位置以外の位置を、臨時モーションベクトルを決定するために参照する既に設定された位置として設定できる。すなわち、臨時モーションベクトルを決定するために参照する既に設定された位置は、現在領域の位置に基づいて、常に利用不可能でない位置に設定されてよい。前記常に利用不可能な位置は、ピクチャ２００２又は並列処理が可能な範囲を外れる位置であってよい。
上の図１８で説明した実施例によれば、臨時モーションベクトルを決定するために参照する既に設定された位置は、現在ブロック２００１又は現在領域の左側位置と定義されてよい。この場合、上の図１９で説明したように、現在ブロック２００１又は現在領域が特定位置にある場合、前記既に設定された位置のモーション情報は利用不可能なため、このような既に設定された位置は、左側位置以外の位置に設定（又は、決定）できる。例えば、既に設定された位置は、現在ブロック２００１又は現在領域の上側位置２００３に設定されてよい。例えば、既に設定された位置は、図１８（ａ）のＢ１位置であってよい。
また、一実施例において、図２０を参照すると、現在ブロック２００１又は現在領域がピクチャ２００２の左側境界に接しているか、並列処理可能な単位の左側境界に接している場合、臨時モーションベクトルを決定するために参照する既に設定された位置は、現在ブロック２００１又は現在領域の上側位置と決定されてよい。現在領域の上側位置は、現在領域のｙ座標（すなわち、垂直方向座標）よりもｙ座標が相対的に小さい位置を意味できる。例えば、現在ブロック２００１又は現在領域がピクチャ２００２の左側境界に接しているか、並列処理可能な単位の左側境界に接している場合、臨時モーションベクトルを決定するために参照する既に設定された位置は、図１８（ａ）のＢ１位置であってよい。
又は、一実施例において、現在ブロック２００１又は現在領域がピクチャ２００２の上側境界に接しているか、並列処理可能な単位の上側境界に接している場合、臨時モーションベクトルを決定するために参照する既に設定された位置は、現在ブロック２００１又は現在領域の左側位置と決定されてよい。現在領域の左側位置は、現在領域のｘ座標（すなわち、水平方向座標）よりもｘ座標が相対的に小さい位置を意味できる。例えば、現在ブロック２００１又は現在領域がピクチャ２００２の上側境界に接しているか、並列処理可能な単位の上側境界に接している場合、臨時モーションベクトルを決定するために参照する既に設定された位置は、図１８（ａ）のＡ１位置であってよい。
以上では、サブブロックベースのモーション補償方法を説明した。以下では、モーションベクトル差分を用いるマージモード（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ＭＶＤ，ＭＭＶＤ）（又は、マージＭＶＤ）に基づくモーション補償方法及び上述したサブブロックベースのモーション補償に関する実施例との組合せ適用方法を説明する。
図２１は、本発明の一実施例に係るＭＭＶＤ適用方法を例示する図である。本発明の一実施例によれば、エンコーダ／デコーダは、モーションベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ，ＭＶＰ）及びモーションベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ，ＭＶＤ）に基づいてモーションベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ，ＭＶ）を決定することができる。本明細書において、前記ＭＶＰは、ベースモーションベクトル（ｂａｓｅＭＶ）と呼ぶことができる。すなわち、エンコーダ／デコーダは、ベースモーションベクトルにモーションベクトル差分を合算することによってモーションベクトル（すなわち、最終モーションベクトル）を誘導することができる。ただし、本発明がこのような名称に制限されるものではなく、前記ＭＶＰは、ベースモーションベクトル、臨時モーションベクトル、初期モーションベクトル、ＭＭＶＤ候補モーションベクトルなどと呼ぶこともできる。前記ＭＶＤは、ＭＶＰを改善（ｒｅｆｉｎｅ）する値と表現でき、改善モーションベクトル（ｒｅｆｉｎｅＭＶ）、マージモーションベクトル差分と呼ぶことができる。
本発明の一実施例によれば、ＭＭＶＤが適用される場合、すなわち、ＭＭＶＤモードにおいて、ＭＶはベースモーションベクトル、距離（ｄｉｓｔａｎｃｅ）パラメータ（又は、変数）、方向（ｄｉｒｅｃｔｉｏｎ）パラメータ（又は、変数）に基づいて決定されてよい。また、本発明の一実施例によれば、ベースモーションベクトルは候補リストから決定されてよい。例えば、ベースモーションベクトルはマージ候補リストから決定されてよい。また、エンコーダ／デコーダは、他の候補リストの一部からベースモーションベクトルを決定することができる。また、前記候補リストの一部は、前記候補リストの前部の一部（インデックスが小さい方）であってよい。例えば、エンコーダ／デコーダは、マージ候補リストの候補のうち、一番目及び二番目の候補を用いてベースモーションベクトルを決定することができる。そのために、前記２個の候補のうち特定候補を指示する候補インデックスがエンコーダからデコーダにシグナルされてよい。図２１を参照すると、ベースモーションベクトルをシグナリングするインデックスであるベース候補インデックスが定義されてよい。エンコーダ／デコーダは、前記ベース候補インデックスによって、候補リストの候補の中から現在ブロックに適用される候補を決定し、決定された候補のモーションベクトルをベースモーションベクトルと決定できる。本発明において、前記ベース候補インデックスはその名称に制限されず、前記ベース候補インデックスは、ベース候補フラグ、候補インデックス、候補フラグ、ＭＭＶＤインデックス、ＭＭＶＤ候補インデックス、ＭＭＶＤ候補フラグなどと呼ぶことができる。
また、本発明の一実施例によれば、図６及び図７で説明したＭＶＤと異なるＭＶＤが存在してよい。例えば、ＭＭＶＤにおけるＭＶＤは、図６及び図７で説明したＭＶＤと異なるように定義されてよい。本明細書において、ＭＭＶＤは、モーションベクトル差分を用いるマージモード（すなわち、モーション補償モード、方法）を表してもよく、ＭＭＶＤが適用される場合のモーションベクトル差分を表してもよい。例えば、エンコーダ／デコーダは、ＭＭＶＤ適用の有無（又は、使用の有無）を決定することができる。仮に、ＭＭＶＤが適用される場合、エンコーダ／デコーダは、マージ候補リストから現在ブロックのインター予測に用いられるマージ候補を誘導し、ＭＭＶＤを誘導して前記マージ候補のモーションベクトルに適用（又は、加算）することによって現在ブロックのモーションベクトルを決定することができる。
一実施例において、前記他のＭＶＤは、簡略化されたＭＶＤ、他の（又は、小さい）解像度を有するＭＶＤ、利用可能な数が少ないＭＶＤ、シグナリング方法が異なるＭＶＤなどを意味できる。例えば、図６及び図７で説明した既存ＡＭＶＰ、アフィンインターモードなどで使用するＭＶＤは、特定シグナリング単位（例えば、ｘ－ペル（ｐｅｌ））に対してｘ、ｙ軸（すなわち、水平、垂直方向）における全ての領域、例えば、ピクチャに基づく領域（例えば、ピクチャ領域又はピクチャと周辺領域を含む領域）を均等な間隔で全て表すことができるのに対し、ＭＭＶＤは、特定シグナリング単位を表現する単位が相対的に制限されてよい。また、ＭＭＶＤをシグナリングする領域（又は、単位）が均等な間隔を持たなくてもよい。また、ＭＭＶＤは、特定シグナリング単位に対して特定方向だけを示すことができる。
また、本発明の一実施例によれば、ＭＭＶＤは、距離と方向に基づいて決定されてよい。図２１を参照すると、ＭＭＶＤの距離を示す距離インデックス及びＭＭＶＤの方向を示す方向インデックスによるＭＭＶＤの距離及び方向が既に設定されてよい。一実施例において、距離は、特定画素単位のＭＭＶＤサイズ（例えば、絶対値）を示すことができ、方向は、ＭＭＶＤの方向を示すことができる。また、エンコーダ／デコーダは、相対的に小さい距離を相対的に小さいインデックスでシグナルすることができる。すなわち、固定長（ｆｉｘｅｄ ｌｅｎｇｔｈ）二進化を用いるシグナリングでない場合、エンコーダ／デコーダは、相対的に小さい距離を相対的に少ないビットでシグナルすることができる。
また、本発明の一実施例によれば、ＭＶＤは、シグナルされたＭＶ又はシグナルされたＭＶに基づくＭＶを使用することができる。例えば、前記シグナルされたＭＶに基づくＭＶは、前記シグナルされたＭＶの符号を反対にしたものでよい。例えば、ＭＶＤシグナリングが、ある参照リストに該当する値に基づいてなり、前記ある参照リストと異なる参照リストに該当する値は、前記ある参照リストに該当する値（すなわち、シグナルされたＭＶＤ）をそのまま用いたり或いは符号を変えて用いることができる。そのまま用いるか或いは符号を変えて用いるかは、現在ピクチャとある参照リストにおける参照ピクチャ間のピクチャ順序カウント（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ，ＰＯＣ）関係、及び現在ピクチャと前記ある参照リストと異なる参照リストにおける参照ピクチャ間のＰＯＣ関係によって決定されてよい。より具体的に、参照リストＬ０とＬ１を全て使用する場合にもＭＶＤは１個だけシグナルされてよい。例えば、Ｌ０に該当するＭＶＤがシグナルされてよい。そして、Ｌ１に該当するＭＶＤは、Ｌ０に該当するＭＶＤに基づいて決定されてよい。
例えば、Ｌ１に該当するＭＶＤは、Ｌ０に該当するＭＶＤのままであるか、或いはＬ０に該当するＭＶＤの符号を変えた値であってよい。また、これは、現在ピクチャとＬ０参照ピクチャ間のＰＯＣ関係及び現在ピクチャとＬ１参照ピクチャ間のＰＯＣ関係によって決定されてよい。例えば、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬＮ０］，ｃｕｒｒＰｉｃ）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬＮ１］）値が０よりも大きいか小さいかによって、Ｌ０に該当するＭＶＤをＬ１にそのまま用いるか或いは変形して用いるかを決定できる。また、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬＮ０］，ｃｕｒｒＰｉｃ）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬＮ１］）が０よりも大きいということは、Ｌ０参照ピクチャとＬ１参照ピクチャがいずれも現在ピクチャよりも時間的に前にあるか或いはいずれも現在ピクチャよりも時間的に後にある意味でよい。
したがって、この場合、Ｌ０ＭＶＤとＬ１ＭＶＤの符号が同一でよい。また、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬＮ０］、ｃｕｒｒＰｉｃ）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ，ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬＮ１］）が０よりも小さいということは、Ｌ０参照ピクチャとＬ１参照ピクチャのうち一つは、現在ピクチャよりも時間的に前にあり、残りの一つは現在ピクチャよりも時間的に後にある意味でよい。したがって、この場合、Ｌ０ＭＶＤとＬ１ＭＶＤの符号が異なってよい。また、時間的に前にあることはＰＯＣが小さいこと、時間的に後にあることはＰＯＣが大きいこと、でよい。また、上に説明した実施例において、ＭＶスケーリングプロセスが追加されてよい。すなわち、シグナルされたＭＶ又はシグナルされたＭＶを変形したＭＶ（例えば、符号を反対にしたＭＶ）をＭＶスケーリングする過程が追加されてよい。
次の表１６は、本発明の一実施例に係るＭＭＶＤシンタックス構造を例示する。
本発明の一実施例によれば、上の図２１で説明したＭＭＶＤ使用の有無（又は、適用の有無）を示すシグナリングが存在してよい。表１６を参照すると、ＭＭＶＤフラグ（すなわち、ｍｍｖｄ＿ｆｌａｇ）は、ＭＭＶＤ使用の有無を示すシンタックス要素を表す。一例として、ＭＭＶＤは、スキップモード又はマージモードに適用されてよい。一実施例において、ＭＭＶＤを使用する場合に、デコーダは、ＭＭＶＤ関連シンタックスをパースすることができる。ＭＭＶＤを使用する場合、ＭＭＶＤ関連情報はＭＭＶＤインデックスコーディング（すなわち、ｍｍｖｄ＿ｉｄｘ＿ｃｏｄｉｎｇ）シンタックスからさらにパースされてよい。
一実施例として、ＭＭＶＤを使用しない場合、デコーダはマージインデックスをパースすることができる。表１６を参照すると、マージインデックス（すなわち、ｍｅｒｇｅ＿ｉｄｘ）は、マージ候補リストで特定マージ候補を指示するシンタックス要素を表す。また、スキップモード以外のマージモードである場合、マージフラグ（すなわち、マージフラグ）をパースした後に、マージフラグが１である場合、ＭＭＶＤフラグをパースすることができる。マージフラグは、マージモード又はサブブロックマージモードの使用の有無（又は、適用の有無）を指示することができる。また、マージフラグは、ＡＭＶＰ、インターモード、アフィンインターモードなどを使用しないことを指示することができる。本実施例において、マージインデックスは、上の図２１で説明したベース候補インデックスと異なるインデックスであってよい。
また、本発明の一実施例によれば、マージ候補の最大個数を示すシグナリングが存在してよい。また、前記マージ候補の最大個数を示すシグナリングは、ＣＵ、予測ユニットよりも大きい単位において行われてよい。例えば、スライス又はタイル単位において前記マージ候補の最大個数を示すシグナリングがあってよい。また、マージ候補の最大個数を示すシグナリングに基づく条件を満たす場合、デコーダは、マージインデックスをパースすることができる。一実施例として、マージ候補の最大個数を示すシンタックス要素の値が、マージ候補の最大個数が１であることを示す場合、エンコーダ／デコーダは、マージインデックスを０と推論することができる。すなわち、マージ候補の最大個数を示すシグナリングが、マージ候補の最大個数が１であると示す場合、マージインデックスのパーシング無しで候補が決定されてよい。
また、表１６を参照すると、マージ候補の最大個数を表すシグナリングに基づく値（変数、パラメータ）であるＭａｘＮｕｍＭｅｒｇｅＣａｎｄが定義されてよい。ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、マージ候補の最大個数を意味することができる。ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、１以上の値を有することができる。また、支援可能なマージ候補の最大個数とマージ候補の最大個数を示すシグナリングに基づいて、前記マージ候補の最大個数を示すシグナリング単位に対するマージ候補の最大個数を決定することができる。例えば、支援可能なマージ候補の最大個数からマージ候補の最大個数を示すシグナリング値を減算することによって、エンコーダ／デコーダは、前記マージ候補の最大個数を示すシグナリング単位に対するマージ候補の最大個数を決定することができる。また、マージ候補の最大個数を説明したが、実質的に同一に、サブブロックマージ候補の最大個数及び最大個数シグナリングが存在してよい。
また、一実施例において、マージインデックスは、スキップモード又はマージモードを使用する場合にパースされてよい。デコーダは、スキップモード又はマージモードを使用する条件を満たす場合にマージインデックスをパースすることができる。例えば、サブブロックマージモードを使用しない場合、エンコーダ／デコーダは、スキップモード又はマージモードを使用することができる。上記の表１６で、ＭＭＶＤフラグパーシング後に、マージインデックスがパースされてよい。これは、ＭＭＶＤを既存のスキップモード又はマージモードよりも優先的に考慮することであり得る。また、サブブロックマージモードを使用するか否かを示すサブブロックマージフラグ（すなわち、ｓｕｂｂｌｏｃｋ＿ｍｅｒｇｅ＿ｆｌａｇ）（又は、マージサブブロックフラグ（すなわち、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）シンタックス要素がシグナルされてよい。
図２２は、本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。上記の表１６で説明した実施例が図２２にも同一に適用されてよく、関連して重複する説明は省略する。図２２に示すシンタックスは、表１６に加えて、サブブロックマージに関連したプロセスをさらに含む。図２２及び以下に後述する図面（すなわち、図２３～図３１）において、イントラ予測プロセス、インター予測のうちインターモード、ＡＭＶＰモード、アフィンインターモードなどに関する部分が省略されてよい。図２２では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
本発明の一実施例によれば、デコーダは、サブブロックマージフラグをＭＭＶＤフラグ及び／又はマージインデックスよりも前にパースすることができる。これは、サブブロックマージモードをスキップモード、マージモード及び／又はＭＭＶＤのうち少なくとも一つよりも優先的に考慮するための目的である。デコーダは、サブブロックマージモードを使用しない場合に、ＭＭＶＤフラグ及び／又はマージインデックスなどをパースすることができる。一例として、デコーダは、サブブロックマージフラグをＭＭＶＤフラグよりも前にパースすることができ、サブブロックマージモードが適用されない場合、ＭＭＶＤフラグをパースすることができる。サブブロックマージモードは、相対的にサイズの小さいサブブロック単位でモーション補償が行われるため、モーション予測の正確度が高くなり得、サブブロックに基づくモーション補償の特性のため、一つのＭＶＤを用いたＭＶの改善は効果的でないことがある。したがって、本発明の実施例によれば、サブブロックマージモードが適用されない場合に限ってＭＭＶＤ適用の有無を確認することによって圧縮効率を上げることができ、シンタックス（又は、シンタックス要素）のパーシング順序を設定することによって（すなわち、サブブロックマージフラグをＭＭＶＤフラグよりも前にパースすることによって）、このような目的を達成することができる。
図２３は、本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。図２３に示すシンタックス（又は、関数）は、前述した表１６、図２２、及び以下に後述するＭＭＶＤ関連シンタックスで示すＭＭＶＤ情報をパースするシンタックスを表すことができる。上の図２１で説明したように、ＭＭＶＤは、ベースモーションベクトル、距離、方向に基づいて決定されてよい。そして、このような情報をシグナリングするインデックス（又は、シンタックス要素）が定義されてよい。図２３を参照すると、ベースモーションベクトル、距離、方向をシグナリングするためのシンタックス要素が、ｂａｓｅ＿ｍｖ＿ｉｄｘ、ｄｉｓｔａｎｃｅ＿ｉｄｘ、ｄｉｒｅｃｔｉｏｎ＿ｉｄｘと定義されてよい。表１６、図２２で説明したように、ＭＭＶＤを使用すると決定された場合、具体的なＭＭＶＤ値を示す図２３のシンタックス要素がエンコーダからデコーダにシグナルされてよい。図２３では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
図２４は、本発明の一実施例に係るＭＭＶＤ関連シンタックス構造を例示する図である。図２４に示すシンタックス（又は、関数）は、前述した表１６、図２２、及び以下に後述するＭＭＶＤ関連シンタックスで示すＭＭＶＤ情報をパースするシンタックスを表すことができる。本発明の一実施例によれば、ＭＭＶＤ関連シンタックスのうち一部シンタックスは、あらかじめ定義された特定条件を満たす場合にパースすることができる。例えば、ＭＭＶＤを使用すると決定された後に、前記あらかじめ定義された特定条件を満たす場合、デコーダはＭＭＶＤ関連シンタックスのうちの一部をパースすることができる。一実施例において、前記ＭＭＶＤ関連シンタックスのうちの一部は、ベースモーションベクトル関連シグナリングであってよい。ＭＭＶＤを使用すると決定されることは、ＭＭＶＤフラグ値によることでよい。ＭＭＶＤフラグをパーシングするか或いはＭＭＶＤフラグが推論されて特定値（例えば、１）を示す場合、ＭＭＶＤを使用すると決定されてよい。図２４では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
また、本発明の一実施例によれば、前記特定条件は、ベースモーションベクトル候補として可能な最大個数に関するものであってよい。例えば、デコーダは、ベースモーションベクトル候補として可能な最大個数が２以上である場合、ベースモーションベクトル関連シンタックスをパースし、ベースモーションベクトル候補として可能な最大個数が１である場合に、ベースモーションベクトル関連シンタックスをパースしなくてもよい。ベースモーションベクトル関連シンタックスが存在しないとき、デコーダはその値を推論することができる。このとき、ベースモーションベクトル関連シンタックスは０と推論されてよい。仮にベースモーションベクトル候補がマージ候補である場合、デコーダは、マージ候補として可能な最大個数に基づく条件によって、ベースモーションベクトル関連シンタックスをパースするか否かを決定することができる。
前述したように、ベースモーションベクトル候補として可能な最大個数は、表１６で説明したマージ候補の最大個数を示すシグナリングが指示する値でよく、その値は、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄと表現されてよい。
図２４を参照すると、デコーダは、マージ候補の最大個数を表すＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１よりも大きい場合に限ってベースモーションベクトルインデックスをパースすることができる。仮に、ベースモーションベクトルインデックスが存在しない場合、例えば、パースしていないため存在しない場合、デコーダは、その値を０と推論することができる。可能な最大候補の個数が１である場合、インデックスをシグナリングしなくても決定できるわけである。
図２５は、本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。図２２で説明したシンタックス構造の場合、ＭＭＶＤを使用せず、スキップモード又はマージモードを使用する場合にも、常にＭＭＶＤフラグがパースされる。また、ＭＭＶＤを使用する場合及び使用しない場合の両方とも、ベースモーションベクトルインデックス又はマージインデックスがパースされる。一方、図２５の実施例では、ＭＭＶＤを使用せず、スキップモード又はマージモードを使用する場合にも、ＭＭＶＤフラグをパースしない場合があり得る。図２５では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
本発明の一実施例によれば、ベースモーションベクトル関連シンタックスとマージインデックスは同一の値と定義されてよい。例えば、ベースモーションベクトルインデックスとマージインデックスは同一でよい。すなわち、一つのシンタックス要素で該当の候補を指示するためのシグナリングが行われてよい。また、本発明の一実施例によれば、デコーダは、ベースモーションベクトル関連シンタックスパーシングをし、条件によってＭＭＶＤフラグをパースすることができる。そして、ＭＭＶＤフラグがＭＭＶＤ使用を指示する場合に、ベースモーションベクトル関連シンタックス以外のＭＭＶＤ関連シンタックスをパースすることができる。
例えば、マージインデックスをパースした後に、該当する候補がＭＭＶＤに利用可能な候補か否かを区別することができる。そして、ＭＭＶＤに利用可能な候補である場合、ＭＭＶＤフラグをパースし、ＭＭＶＤに利用不可能な候補である場合、ＭＭＶＤフラグをパースしなくてもよい。また、ＭＭＶＤフラグが存在しない場合、ＭＭＶＤを使用しないと推論されてよい。例えば、ＭＭＶＤのベースモーションベクトルがマージ候補リストの前側（インデックスの小さい方）のｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄ個までに該当し得るとき、パースしたインデックスがｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄよりも小さいとＭＭＶＤフラグをパースし、そうでないと、ＭＭＶＤフラグをパーシングせず、ＭＭＶＤを使用しないと決定できる。この場合、ｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄ以上の候補インデックスを使用する場合、ＭＭＶＤフラグに対するビットを節約できるという長所がある。
図２５を参照すると、マージインデックスをパースした後、マージインデックスがｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄよりも小さい場合、ＭＭＶＤフラグをパースしている。ｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄは、ＭＭＶＤのベースモーションベクトルとして可能な候補の個数であってよい。また、ＭＭＶＤのベースモーションベクトルインデックスは、マージインデックスに基づいて決定されてよい。
図２６は、本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。図２６を参照すると、シンタックス構造上、ＭＭＶＤフラグはマージフラグよりも上位にあってよい。例えば、デコーダは、ＭＭＶＤフラグに基づいて、マージフラグをパースするか否かを決定することができる。一例として、これは、スキップモードでない場合に適用できる。図２６では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
本発明の一実施例によれば、ＭＭＶＤフラグがＭＭＶＤを使用すると指示する場合、マージフラグをパースしなくてもよい。例えば、ＭＭＶＤのベースモーションベクトル候補がマージ候補の中から決められ、ＭＭＶＤフラグがＭＭＶＤを使用すると指示する場合、デコーダはマージフラグをパースしなくてもよい。ＭＭＶＤを使用する場合（ＭＭＶＤフラグが１である場合）、マージフラグをマージモードを使用するものと推論できる。図２６を参照すると、スキップモードを使用する場合、すなわち、ｃｕ＿ｓｋｉｐ＿ｆｌａｇが１である場合、デコーダは、ＭＭＶＤ使用の有無に関係なく、マージフラグを１と推論することができる。また、マージフラグが存在せず、スキップモードを使用しないと、ＭＭＶＤを使用する場合、マージフラグを１と推論し、ＭＭＶＤを使用しない場合、マージフラグを０と推論することができる。又は、一実施例において、デコーダは、マージフラグが存在せず、スキップモードを使用しないと、マージフラグを１と推論することができる。また、図２６を参照すると、スキップモードでない場合、デコーダは、ＭＭＶＤフラグが１であれば、ＭＭＶＤ関連シンタックスをパースし、ＭＭＶＤフラグが０でなければ、マージフラグをパースしている。
本発明の一実施例によれば、サブブロックマージフラグがマージフラグよりも上位にある場合、サブブロックマージフラグが１である場合、マージフラグをパースしなくてもよく、マージフラグを１と推論することができる。また、サブブロックマージフラグがＭＭＶＤフラグよりも上位にある場合、サブブロックマージフラグが１であれば、ＭＭＶＤフラグをパースしなくてもよく、ＭＭＶＤフラグを０と推論することができる。また、本明細書において、ｍｏｄｅＸ＿ｆｌａｇが１であることは、ｍｏｄｅＸを使用することを意味し、ｍｏｄｅＸ＿ｆｌａｇが０であることは、ｍｏｄｅＸを使用しないことを意味できる。
図２７は、本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。本発明の一実施例によれば、ＭＭＶＤのベースモーションベクトル候補として使用する候補リストにおいて、一部の候補に対して常にＭＭＶＤを使用することができる。例えば、ＭＭＶＤのベースモーションベクトル候補がマージ候補リストから定められるとき、マージ候補リストの一部に対して常にＭＭＶＤを使用することができる。例えば、定められた候補インデックスに対して常にＭＭＶＤを使用することができる。例えば、候補インデックスが既に設定された値よりも小さいとき、常にＭＭＶＤを使用することができる。この場合、候補インデックスからＭＭＶＤ使用の有無を決定することができる。また、ＭＭＶＤフラグパーシングが存在しなくてもよい。
例えば、マージインデックスをパースした後、マージインデックスがＭＭＶＤを使用するものと定められた値に該当する場合、ＭＭＶＤを使用すると決定できる。また、このような場合、ＭＭＶＤ関連シンタックス（例えば、距離、方向シグナリングなど）をパースすることができる。図２７では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。図２７を参照すると、マージ候補リストの前側のｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄ個までに該当するまでは常にＭＭＶＤを使用することができる。このような場合、候補インデックスがｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄよりも小さいと、ＭＭＶＤを使用すると決定でき、ＭＭＶＤ関連シンタックスをパースすることができる。
図２８は、本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。本発明の一実施例によれば、デコーダは、ＭＭＶＤのベースモーションベクトル候補として使用する候補リストにおいて一部の候補に対して常にＭＭＶＤを使用することができる。例えば、ＭＭＶＤのベースモーションベクトル候補がマージ候補リストから定められるとき、デコーダは、マージ候補リストの一部に対して常にＭＭＶＤを使用することができる。例えば、デコーダは、定められた候補インデックスに対して常にＭＭＶＤを使用することができる。例えば、候補インデックスが既に設定された値よりも小さいとき、常にＭＭＶＤを使用することができる。図２７では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
本発明の一実施例によれば、シンタックス構造上（又は、シンタックスパーシング順序上）、ＭＭＶＤフラグがマージフラグよりも上位にあってよい。この場合、デコーダは、ＭＭＶＤフラグが１である場合、ＭＭＶＤ関連シンタックスをパースすることができる。また、ＭＭＶＤフラグが１である場合、マージフラグを１と推論することができる。またＭＭＶＤフラグが０である場合、デコーダはマージフラグをパースすることができる。デコーダは、マージフラグが１である場合、マージインデックスをパースすることができる。このとき、マージインデックスをパースするための追加条件が存在してよい。このとき、一実施例として、デコーダは、実際に使用するマージインデックスは、パースしたマージインデックスに基づいて変形して決定することができる。例えば、実際に使用するマージインデックスは、パースしたマージインデックスに、パースしたマージインデックスよりも小さい値のうち、ＭＭＶＤを常に使用するように定められた候補の個数を加算したものと決定できる。例えば、候補リストの前側のｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄ個に対してＭＭＶＤを常に使用するように定められた場合、パースしたマージインデックスにｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄを加算した値をマージインデックスとして使用することができる。ＭＭＶＤフラグがマージフラグよりも前にある場合、ＭＭＶＤフラグが０であれば、ＭＭＶＤを使用する候補を候補リストから除外させることができるわけである。
図２７を参照すると、ＭＭＶＤフラグがマージフラグよりも前に存在する。また、ＭＭＶＤフラグが１である場合、デコーダは、ＭＭＶＤ関連シンタックスをパースすることができる。また、ＭＭＶＤフラグが０である場合、デコーダは、マージフラグをパースすることができる。また、ＭＭＶＤフラグが０であり、マージフラグが１である場合、デコーダはマージインデックスをパースすることができる。この時、マージインデックスをパースするための追加条件が存在してよい。また、ＭＭＶＤのベースモーションベクトルとして使用可能な候補個数であるｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄを、パースしたマージインデックスに加算し、実際に使用するマージインデックスを決定することができる。
図２８は、本発明の一実施例に係るＭＭＶＤシンタックスを例示する図である。本発明の一実施例によれば、候補インデックスが、モード使用の有無を示すフラグよりも前に存在してよい。例えば、候補インデックスがＭＭＶＤフラグ又はマージフラグよりも前に存在してよい。このような場合、候補インデックスをパースした後に、パースしたインデックスがＭＭＶＤを使用できる候補か否かによって、ＭＭＶＤフラグをパースするか否かを決定することができる。例えば、パースした候補インデックスがＭＭＶＤを使用できる候補である場合、ＭＭＶＤフラグをパースし、ＭＭＶＤを使用できない候補である場合、ＭＭＶＤフラグをパースせず、０と推論することができる。また、ＭＭＶＤフラグが０である場合、マージフラグをパースすることができる。マージフラグによって、マージモード又はサブブロックマージモードが用いられるか、インターモード又はＡＭＶＰモード又はアフィンインターモードが用いられるかを決定できる。図２８では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
例えば、第１モードとして可能な候補個数がｎｕｍ１であり、第２モードとして可能な候補個数がｎｕｍ２であり、ｎｕｍ１＜ｎｕｍ２である場合、候補インデックスをパースしたとき、パースしたインデックスがｎｕｍ１以上であれば、第１モード及び第２モードの中から決定するシンタックス（例えば、第１モードを使用するか否かを示すシンタックス）をパースしなくてもよく、第１モードを使用しないと推論できる。そして、パースしたインデックスがｎｕｍ１よりも小さい場合、第１モード及び第２モードの中から決定するシンタックスをパースすることができる。
図２８を参照すると、マージインデックスをパースした後、マージインデックスがＭＭＶＤを使用可能な候補個数であるｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄよりも小さい場合、ＭＭＶＤフラグをパースすることができる。また、マージインデックスがｎｕｍ＿ｍｍｖｄ＿ｂａｓｅＣａｎｄ以上である場合、ＭＭＶＤフラグをパースしなくてもよく、この時、ＭＭＶＤフラグを０と推論することができる。また、ＭＭＶＤフラグが１である場合、ＭＭＶＤ関連シンタックス要素を表す距離インデックス（ｄｉｓｔａｎｃｅ＿ｉｄｘ）、方向インデックス（ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースすることができる。また、ＭＭＶＤフラグが０である場合、マージフラグをパースし、これによって、マージモード又はサブブロックマージモードであるか、それともインターモード又はＡＭＶＰモード又はアフィンモードであるか区分できる。
図２９は、本発明の一実施例に係るコーディングユニットシンタックス構造を例示する図である。図２９に示すように、マージフラグが１である場合、マージデータ（すなわち、ｍｅｒｇｅ＿ｄａｔａ）パーシングプロセスを行うことができる。図２９では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。一実施例において、マージデータはマージ関連シンタックスの一部を含むことができる。また、マージデータは、マージデータシンタックスと呼ぶことができる。例えば、マージデータは、前述した図２１～図２８においてマージフラグが１のときに行うシンタックスパーシングプロセスを含むことができる。また、マージフラグが１であることは、マージモードを使用することを意味できる。また、マージフラグが１であることは、上の図６及び表１に表したｍｖｄ＿ｃｏｄｉｎｇを使用しないインター予測を使用することを意味できる。
図３０は、本発明の一実施例に係るマージデータシンタックス構造を例示する図である。図２９で説明したように、マージフラグが１である場合、デコーダはマージデータシンタックスをパース（又は、呼び出し）することができる。図３０では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。また、前述したように、マージモード又はスキップモードを使用する場合、マージフラグは１に設定されてよい。
図３０を参照すると、マージデータシンタックスにおいて、シンタックス要素のうちＭＭＶＤフラグが最初にパースされてよい。ＭＭＶＤフラグは、マージフラグが１であることを確認した後、最初にパースできるシンタックスであってよい。また、ＭＭＶＤフラグが、マージフラグを１に設定する他の予測モードの使用有無を示すシグナリングよりも前にパースされてよい。また、ＭＭＶＤフラグは、ＭＭＶＤを使用するか否かを示すシグナリングであってよい。また、表１６、図２２～図２９で説明した実施例と同じ方法が適用されてよい。図３０に示すように、マージデータシンタックスは、サブブロックマージモード、多重仮定予測（ｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ）（又は、イントラ及びインター組合せ予測（ｉｎｔｒａ ａｎｄ ｉｎｔｅｒ ｃｏｍｂｉｎｅｄ ｐｒｅｄｉｃｔｉｏｎ））、トライアングル予測などに対するデコーディングプロセスを含むことができる。
本発明の一実施例によれば、多重仮定予測は、予測ブロックを生成するとき、２つ以上の予測ブロックを生成して結合する方法であってよい。又は、多重仮定予測は、予測ブロックを生成するとき、インター予測とイントラ予測を全て使用する方法であってよい。またインター予測とイントラ予測はそれぞれ、予測を行う際、現在ブロックが含まれたピクチャと同じピクチャ、異なるピクチャを使用する方法であってよい。図３０を参照すると、多重仮定予測フラグは、多重仮定予測を使用するか否かを示すシンタックス要素を表す。
また、本発明の一実施例によれば、サブブロックマージモードは、現在ブロック（例えば、コーディングユニット又は予測ユニット）を予測するとき、サブブロック単位でモーション補償を行う（すなわち、サブブロック単位でモーションベクトルが決定される）方法であってよい。一実施例において、サブブロックマージモードは、サブブロックベースの時間ＭＶＰ、アフィンモーション予測などの方法を含むことができる。図３０を参照すると、マージサブブロックフラグは、サブブロックマージモードを使用するか否かを示すシンタックス要素を表す。
また、本発明の一実施例によれば、トライアングル予測は、現在ブロック内で四角形以外の領域に対してモーション補償をする方法を表す。すなわち、トライアングル予測において、現在ブロック内でモーションベクトルが同一である単位が四角形でなくてもよい。図３０を参照すると、トライアングル予測フラグ（すなわち、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｆｌａｇ）は、トライアングル予測を使用するか否かを示すシンタックス要素を表す。
また、本発明の一実施例によれば、ＭＭＶＤフラグは、ＭＭＶＤでない他のマージモードを使用することを示すシグナリング（又は、シンタックス要素）よりも前にパースされてよい。前記ＭＭＶＤ以外のあるマージモードを使用することを示すシグナリングは、多重仮定予測フラグ、マージサブブロックフラグ、マージトライアングルフラグなどを含むことができる。
図３０を参照すると、ＭＭＶＤマージインデックス（すなわち、ｍｍｖｄ＿ｍｅｒｇｅ＿ｉｄｘ）（又は、ＭＭＶＤインデックス）は、ＭＭＶＤのベースモーションベクトルとしていずれのものを使用するかを示すシンタックス要素を表す。仮に、ＭＭＶＤを使用する場合、マージインデックスは、ＭＭＶＤマージフラグ（すなわち、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）（又は、ＭＭＶＤフラグ）と推論されてよい。
図３１は、本発明の一実施例に係るマージデータシンタックス構造を例示する図である。図３１の実施例は、図２９でマージフラグが１の場合に行われるマージデータシンタックスの一部であってよい。図３１では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。本発明の一実施例によれば、ＭＭＶＤフラグはマージインデックスよりも後にパースされてよい。例えば、ＭＭＶＤフラグは、マージインデックスの直後にパースされてよい。例えば、ＭＭＶＤフラグは、マージデータシンタックスにおいて最前方以外の位置でパースされなくてもよい。すなわち、マージフラグが１であることを確認した後、ＭＭＶＤフラグではなく他のシンタックスをパースした後にＭＭＶＤフラグをパースすることができる。
また、本発明の一実施例によれば、図２１で説明したように、ＭＭＶＤのベースモーションベクトルは他の候補リストから決定されてよく、一実施例として、前記他の候補リストの一部からベースモーションベクトルが決定されてよい。したがって、図２５で説明したように、本実施例をよれば、ＭＭＶＤのベースモーションベクトルとして使用可能な他の候補リストと関連したインデックスに基づいて、ＭＭＶＤフラグをパースするか否かを決定することができる。例えば、ＭＭＶＤのベースモーションベクトルとして使用可能な他の候補リストと関連したインデックスを、ＭＭＶＤフラグよりも前にパースすることができる。そして、前記他の候補リストと関連したインデックスがＭＭＶＤのベースモーションベクトルとして使用可能であることを示す場合にＭＭＶＤフラグをパースし、そうでない場合、ＭＭＶＤフラグをパースしないことが可能である。
図３１を参照すると、ＭＭＶＤのベースモーションベクトルはマージ候補から決定されてよい。したがって、一実施例として、マージインデックスがＭＭＶＤのベースモーションベクトルとして使用可能であることを示す場合にＭＭＶＤフラグをパースし、そうでない場合、ＭＭＶＤフラグをパースしなくてもよい。又は、ＭＭＶＤのベースモーションベクトルがマージ候補リストの前部のｎ個の中から選択されてよい場合に、マージインデックスがｎよりも小さい場合（マージインデックスは０から始まってよい。）、ＭＭＶＤフラグをパースし、マージインデックスがｎよりも小さくない場合、ＭＭＶＤフラグをパースしなくてもよい。より具体的に、ＭＭＶＤのベースモーションベクトルは、マージ候補リストの一番目又は二番目の候補であることが可能であり、図３１を参照すると、マージインデックスが２よりも小さい場合、すなわち、０又は１である場合、ＭＭＶＤフラグをパースすることができる。マージインデックスは、マージ候補インデックスを表すことができる。これによって、マージモードであるが、マージインデックスがＭＭＶＤを使用できないことを示す場合、ＭＭＶＤフラグをパースしなくてもよく、これによって、コーディング効率を向上させることができる。
また、ＭＭＶＤのベースモーションベクトルは、あるモードの候補リストから決定されてよい。したがって、本発明の一実施例によれば、各種モードの使用の有無を示すシグナリングが多数存在するとき、前記あるモードを使用すると決定された後にＭＭＶＤフラグをパースすることができる。例えば、第１モード、第２モード、第３モードが存在すると仮定し、ＭＭＶＤは第３モードに基づいて決定される場合、又はＭＭＶＤのベースモーションベクトルが第３モードの候補から決定される場合、第３モードを使用すると決定された後にＭＭＶＤフラグをパースすることができる。例えば、第３モードを使用するか否かを示すシグナリングによって第３モードを使用すると決定されてよい。又は、例えば、第３モード以外に可能なモード、例えば、第１モード及び第２モードが使用されないと決定された場合、第３モードを使用すると決定されてよい。例えば、サブブロックマージモード、多重仮定予測、トライアングル予測、コンベンショナル（ｃｏｎｖｅｎｔｉｏｎａｌ）マージモードなどが存在するとき、またＭＭＶＤをコンベンショナルマージモードに適用できる場合、列挙したモードのうちコンベンショナルマージモード又はＭＭＶＤを使用すると決定された後にＭＭＶＤフラグをパースすることができる。前記コンベンショナルマージモードは、周辺イントラコードされたブロックのモーション情報を用いてインター予測を行うモードであり、従来の映像圧縮技術（例えば、ＨＥＶＣ（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｉｎｇ））のマージモードを意味できる。
また、ＭＭＶＤのベースモーションベクトルとして使用可能な他の候補リストと関連したインデックスに基づいてＭＭＶＤフラグをパースする場合、ＭＭＶＤのベースモーションベクトルを示すシグナリングが別に存在する必要がない。例えば、図２３又は図２４などでは、ベースモーションベクトルインデックスのようなシグナリングがマージインデックスと別に存在している。また、図３０を参照すると、ＭＭＶＤマージフラグは、ＭＭＶＤのベースモーションベクトルを示すシグナリングであってよい。本発明の一実施例によれば、図３１に示すように、ＭＭＶＤマージフラグが存在しなくてもよい。例えば、ＭＭＶＤ関連シンタックスは、ＭＭＶＤフラグ、ＭＭＶＤ距離を示すシグナリング（図３０及び図３１においてｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、ＭＭＶＤ方向を示すシグナリング（図３０及び図３１においてｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）だけを含むことができる。また、ＭＭＶＤのベースモーションベクトルは、マージインデックスによって決定されてよい。これによって、図３０のＭＭＶＤのベースモーションベクトルを示すシグナリング及びそのコンテクストモデルが図３１の実施例では存在しなくてもよい。
また、本発明の一実施例によれば、ＭＭＶＤフラグは、前述したＭＭＶＤ以外のあるマージモードを使用することを示すシグナリングよりも後にパースされてよい。。図３１を参照すると、ＭＭＶＤフラグは、マージサブブロックフラグ、多重仮定予測フラグ（すなわち、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇ）、マージトライアングルフラグ（すなわち、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｆｌａｇ）よりも後にパースされてよい。また、特定マージモードは、ＭＭＶＤと共に使用されなくてもよい。その場合、前記あるマージモードを使用するか否かを示すフラグが、使用しないことを示す場合、ＭＭＶＤフラグをパースすることができる。図３１を参照すると、ＭＭＶＤは、トライアングル予測と共に使用不可能であってよく、マージトライアングルフラグが０である場合にＭＭＶＤフラグがパースされてよい。又は、ＭＭＶＤはＭＨ ｉｎｔｒａと共に使用不可能であってよく、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇが０である場合にＭＭＶＤフラグがパースされてよい。又は、ＭＭＶＤは、サブブロックマージモードと共に使用不可能であってよく、マージサブブロックフラグが０である場合にＭＭＶＤフラグがパースされてよい。
図３２は、本発明の一実施例に係るマージデータシンタックス構造を例示する図である。図３２の実施例は、図２９でマージフラグが１である場合に行われるマージデータシンタックスの一部であってよい。図３２では説明の便宜のためにデコーダを中心に説明するが、本実施例に係るコーディングプロセスは、エンコーダにも実質的に同じ方法で適用されてよい。
本発明の一実施例によれば、ＭＭＶＤフラグは、他のモードを使用するか否かを示すシグナリングよりも後にパースされてよい。又は、ＭＭＶＤフラグは、マージフラグが１に設定されるＭＭＶＤ以外の他のモードを使用するか否かを示すシグナリングよりも後にパースされてよい。例えば、ＭＭＶＤフラグは、マージサブブロックフラグ、多重仮定予測フラグ（すなわち、ｍｈ＿ｉｎｔｒａ＿ｆｌａｇ）、マージトライアングルフラグ（すなわち、ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｆｌａｇ）よりも後にパースされてよい。
また、一実施例において、ＭＭＶＤフラグは、ＭＭＶＤ以外の他のモードを使用しない場合にパースされてよい。例えば、マージサブブロックフラグが０である場合、ＭＭＶＤフラグがパースされてよい。また、多重仮定予測フラグが０である場合、ＭＭＶＤフラグがパースされてよい。また、マージトライアングルフラグが０である場合、ＭＭＶＤフラグがパースされてよい。あるモードを使用するか否かを示すフラグが０であることは、前記あるモードを使用しないということを示すことができる。また、ＭＭＶＤをコンベンショナルマージモードに適用できる場合、ＭＭＶＤフラグをコンベンショナルマージモード又はＭＭＶＤが用いられると決定された後にパースすることができる。
また、一実施例において、ＭＭＶＤを使用する場合、ＭＭＶＤ関連シンタックスをパースし、ＭＭＶＤを使用しない場合、マージインデックスをパースすることができる。又は、ＭＭＶＤを使用する場合、デコーダは、ＭＭＶＤマージフラグ（すなわち、ｍｍｖｄ＿ｍｅｒｇｅ＿ｆｌａｇ）、ＭＭＶＤ距離インデックス（ｍｍｖｄ＿ｄｉｓｔａｎｃｅ＿ｉｄｘ）、ＭＭＶＤ方向インデックス（ｍｍｖｄ＿ｄｉｒｅｃｔｉｏｎ＿ｉｄｘ）をパースし、ＭＭＶＤを使用しない場合、マージインデックスをパースすることができる。また、図３２に示すように、ＭＭＶＤフラグを、他のモードを使用するか否かを示すフラグよりも後にパースする場合、ＭＭＶＤのベースモーションベクトルを示すシグナリングがマージインデックスとは別個のシンタックス要素として存在してよい。図３２を参照すると、ＭＭＶＤのベースモーションベクトルを示すシグナリングは、ＭＭＶＤマージフラグであってよい。例えば、コンベンショナルマージモード又はＭＭＶＤを使用すると決定された後にＭＭＶＤフラグをパースすることができる。
本発明の一実施例によれば、ＭＭＶＤのベースモーションベクトルが、ある候補リストから決定され、前記ある候補リストの最大候補個数は可変的であってよい。例えば、上位レベルシンタックスから最大候補個数が決定されてよい。上位レベルシンタックスは、現在コーディングユニットよりも上位レベルのシンタックスであってよい。例えば、上位レベルシンタックスは、シーケンス、ピクチャ、スライス、タイルレベルのシンタックスであってよい。一実施例をよれば、このような場合、ＭＭＶＤのベースモーションベクトルの最大候補個数は、ＭＭＶＤのベースモーションベクトルになり得る候補リストの最大候補個数に追従してよい。したがって、ＭＭＶＤのベースモーションベクトルになり得る候補リストの最大候補個数が減る場合、ＭＭＶＤのベースモーションベクトルになり得る候補の最大候補個数も減り得る。
一実施例において、ＭＭＶＤのベースモーションベクトルがマージ候補リストから決定され、最大マージ候補個数がＭａｘＮｕｍＭｅｒｇｅＣａｎｄであってよい。また、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは上位レベルシンタックスから決定されてよい。このような場合、ＭＭＶＤのベースモーションベクトルになり得る最大マージ候補個数は、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ以下であってよい。したがって、図３２に示すように、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄによって、ＭＭＶＤのベースモーションベクトルを示すシグナリングをパースするか否かが決定されてよい。例えば、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１である場合、ＭＭＶＤのベースモーションベクトルを示すシグナリングをパースしなくてもよく、ＭＭＶＤのベースモーションベクトルを示すシグナリングが存在しない場合、０と推論できる。
他の実施例において、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１である場合、ＭＭＶＤを使用しなくてもよい。これは、ＭＭＶＤ関連シンタックスに対するシグナリングオーバーヘッドを減らすためであってよい。したがって、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１である場合、ＭＭＶＤフラグをパースしなくてもよい。また、ＭＭＶＤフラグが存在しない場合、０と推論できる。また、図３２を参照すると、マージトライアングルフラグは、多重仮定イントラ予測を使用しない場合にのみパースすることができる。仮に、マージトライアングルフラグが存在しない場合、０と推論できる。
本発明の一実施例によれば、共に使用できないモードが多数存在することがある。例えば、サブブロックマージモード、トライアングル予測、多重仮定イントラ予測、ＭＭＶＤを共に使用できないことがある。また、共に使用できない多数のモードのそれぞれを使用するか否かを示すシグナリングが、既に設定された順序に従ってパースされてよい。このような場合、前記多数のモードのうち、あるモードを使用するか否かを示すシグナリングは、それよりも前にパースされた前記多数のモードのうち、他のあるモードを使用するか否かを示すシグナリングがいずれも、使用しないことを示す場合にのみ、パースすることができる。
図３３は、本発明が適用される一実施例に係るビデオ信号処理方法を例示する図である。図３３を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明がこれに制限されるものではなく、本実施例に係る多重仮定予測ベースのビデオ信号処理方法は、エンコーダにも実質的に同じ方法で適用されてよい。
デコーダは、現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を取得する（Ｓ３３０１）。前述したように、一実施例として、前記第１シンタックス要素はサブブロックマージフラグ（又は、マージサブブロックフラグ）であってよい。
デコーダは、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を取得する（Ｓ３３０２）。前述したように、一実施例として、前記第２シンタックス要素はＭＭＶＤフラグ（又は、ＭＭＶＤマージフラグ）であってよい。
デコーダは、前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を取得する（Ｓ３３０３）。前述したように、一実施例として、前記第３シンタックス要素はＭＭＶＤインデックス（又は、ＭＭＶＤ候補インデックス、ＭＭＶＤ候補フラグ）であってよい。
デコーダは、前記モーションベクトル差分に関連した情報を取得する（Ｓ３３０４）。前述したように、実施例として、前記モーションベクトル差分に関連した情報を取得する段階は、前記モーションベクトル差分の距離を示す第４シンタックス要素を取得する段階；及び前記モーションベクトル差分の方向を示す第５シンタックス要素を取得できる。前述したように、一実施例として、前記第４シンタックス要素は距離インデックス（又は、ＭＭＶＤ距離インデックス）でよく、前記第５シンタックス要素は方向インデックス（又は、ＭＭＶＤ方向インデックス）でよい。
デコーダは、前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって、前記現在ブロックのモーションベクトルを誘導する（Ｓ３３０５）。
デコーダは、前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する（Ｓ３３０６）
前述したように、実施例として、前記第３シンタックス要素は、前記現在ブロックのマージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示すことができる。
前述したように、実施例として、前記第３シンタックス要素は、マージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記マージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
前述したように、実施例として、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのサブブロックマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第６シンタックス要素を取得する段階をさらに含み、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのモーションベクトルは、前記第６シンタックス要素によって示される候補のモーションベクトルに基づいて、前記現在ブロックに含まれた少なくとも一つのサブブロック単位で誘導されてよい。前述したように、一実施例として、前記第６シンタックス要素はサブブロックマージインデックス（又は、マージサブブロックインデックス）であってよい。
前述したように、実施例として、前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素は０と推論されてよい。
前述したように、実施例として、前記第６シンタックス要素は、サブブロックマージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記サブブロックマージ候補の最大個数が１よりも大きくない場合、０と推論されてよい。
上述した本発明の実施例は様々な手段によって具現されてよい。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア又はそれらの結合などによって具現されてよい。
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つ又はそれ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって具現されてよい。
ファームウェア又はソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上で説明された機能又は動作を実行するモジュール、手順又は関数などの形態で具現されてよい。ソフトウェアコードはメモリに格納され、プロセッサによって駆動されてよい。前記メモリはプロセッサの内部又は外部に位置してよく、既に公知の様々な手段によってプロセッサとデータを授受することができる。
一部の実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態で具現されてもよい。コンピュータ可読媒体は、コンピュータによってアクセス可能な任意の可用媒体でよく、揮発性及び不揮発性の媒体、分離型及び非分離型のいかなる媒体も含む。また、コンピュータ可読媒体は、いかなるコンピュータ記憶媒体及び通信媒体も含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール又はその他データのような情報の記憶のための任意の方法又は技術で具現された揮発性及び不揮発性、分離型及び非分離型のいかなる媒体も含む。通信媒体は、典型的に、コンピュータ可読命令語、データ構造又はプログラムモジュールのような変調されたデータ信号のその他データ、又はその他伝送メカニズムを含み、任意の情報伝達媒体を含む。
前述した本発明の説明は例示のためのものであり、本発明の属する技術分野における通常の知識を有する者には、本発明の技術的思想又は必須の特徴を変更することなく他の具体的な形態に容易に変形可能であるということが理解できよう。したがって、以上で記述した実施例はいずれの面においても例示的なものであり、限定的でないものと解釈されるべきである。例えば、単一型として説明されている各構成要素は、分散して実施されてもよく、同様に、分散していると説明されている構成要素も結合した形態で実施されてもよい。
本発明の範囲は前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲そしてその均等概念から導出される変更又は変形された形態はいずれも本発明の範囲に含まれるものと解釈されるべきである。
１００ エンコーディング装置
１１０ 変換部
１１５ 量子化部
１２０ 逆量子化部
１２５ 逆変換部
１３０ フィルタリング部
１５０ 予測部
１６０ エントロピーコーディング部

Claims (7)

  1. ビデオ信号処理方法であって、
    現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を取得する段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を取得する段階；
    前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を取得し、前記モーションベクトル差分の距離を示す第４シンタックス要素を取得し、前記モーションベクトル差分の方向を示す第５シンタックス要素を取得し、前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導する段階であって、前記第３シンタックス要素は、前記現在ブロックの前記マージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示す、段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素をパースせずに前記現在ブロックのモーションベクトルを誘導する段階；及び
    前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する段階を含む、ビデオ信号処理方法。
  2. 前記第３シンタックス要素は、マージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記マージ候補の最大個数が１よりも大きくない場合、０と推論されることを特徴とする、請求項１に記載のビデオ信号処理方法。
  3. 前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのサブブロックマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第６シンタックス要素を取得する段階をさらに含み、
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記現在ブロックのモーションベクトルは、前記第６シンタックス要素によって示される候補のモーションベクトルに基づいて、前記現在ブロックに含まれた少なくとも一つのサブブロック単位で誘導される、請求項１に記載のビデオ信号処理方法。
  4. 前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素は０と推論されることを特徴とする、請求項３に記載のビデオ信号処理方法。
  5. 前記第６シンタックス要素は、サブブロックマージ候補の最大個数が１よりも大きい場合、ビットストリームからパースされ、前記サブブロックマージ候補の最大個数が１よりも大きくない場合、０と推論されることを特徴とする、請求項３に記載のビデオ信号処理方法。
  6. ビデオ信号処理方法であって、
    現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を符号化する段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を符号化する段階；
    前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を符号化し、前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導するための前記モーションベクトル差分に関連する情報を符号化する段階であって、前記第３シンタックス要素は、前記現在ブロックの前記マージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示し、前記モーションベクトル差分に関連する情報を符号化する段階が、前記モーションベクトル差分の距離を示す第４シンタックス要素及び前記モーションベクトル差分の方向を示す第５シンタックス要素を符号化する段階を含む、段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素を符号化せずに前記現在ブロックのモーションベクトルを誘導する段階；及び
    前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する段階を含む、ビデオ信号処理方法。
  7. ビットストリームを生成する方法であって、前記ビットストリームは復号方法によって復号され、
    前記復号方法は、
    現在ブロックにサブブロックベースのマージモードが適用されるか否かを示す第１シンタックス要素を取得する段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されないことを示す場合、前記現在ブロックにモーションベクトル差分を用いるマージモードが適用されるか否かを示す第２シンタックス要素を取得する段階；
    前記第２シンタックス要素が、前記現在ブロックに前記モーションベクトル差分を用いるマージモードが適用されることを示す場合、前記現在ブロックのマージ候補リストに含まれた候補の中で前記現在ブロックのインター予測に用いられる候補を示す第３シンタックス要素を取得し、前記モーションベクトル差分の距離を示す第４シンタックス要素を取得し、前記モーションベクトル差分の方向を示す第５シンタックス要素を取得し、前記第３シンタックス要素によって示される候補のモーションベクトルに前記モーションベクトル差分を加算することによって前記現在ブロックのモーションベクトルを誘導する段階であって、前記第３シンタックス要素は、前記現在ブロックの前記マージ候補リストにおける一番目の候補及び二番目の候補の中で前記現在ブロックのインター予測に用いられる候補を示す、段階；
    前記第１シンタックス要素が、前記現在ブロックにサブブロックベースのマージモードが適用されることを示す場合、前記第２シンタックス要素をパースせずに前記現在ブロックのモーションベクトルを誘導する段階；及び
    前記現在ブロックのモーションベクトルを用いて前記現在ブロックの予測ブロックを生成する段階を含む、ビットストリームを生成する方法。
JP2022212171A 2018-10-23 2022-12-28 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置 Active JP7400072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023203318A JP7551179B2 (ja) 2018-10-23 2023-11-30 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2018-0126782 2018-10-23
KR20180126782 2018-10-23
KR20180137704 2018-11-09
KR10-2018-0137704 2018-11-09
KR20190000479 2019-01-02
KR10-2019-0000479 2019-01-02
KR20190016537 2019-02-13
KR10-2019-0016537 2019-02-13
PCT/KR2019/014016 WO2020085800A1 (ko) 2018-10-23 2019-10-23 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
JP2021521968A JP7206382B2 (ja) 2018-10-23 2019-10-23 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021521968A Division JP7206382B2 (ja) 2018-10-23 2019-10-23 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023203318A Division JP7551179B2 (ja) 2018-10-23 2023-11-30 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Publications (2)

Publication Number Publication Date
JP2023036907A JP2023036907A (ja) 2023-03-14
JP7400072B2 true JP7400072B2 (ja) 2023-12-18

Family

ID=70332151

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021521968A Active JP7206382B2 (ja) 2018-10-23 2019-10-23 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
JP2022212171A Active JP7400072B2 (ja) 2018-10-23 2022-12-28 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
JP2023203318A Active JP7551179B2 (ja) 2018-10-23 2023-11-30 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021521968A Active JP7206382B2 (ja) 2018-10-23 2019-10-23 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023203318A Active JP7551179B2 (ja) 2018-10-23 2023-11-30 サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置

Country Status (6)

Country Link
US (2) US20210243476A1 (ja)
EP (1) EP3873093A4 (ja)
JP (3) JP7206382B2 (ja)
KR (3) KR102550530B1 (ja)
CN (5) CN117156129A (ja)
WO (1) WO2020085800A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118784864A (zh) * 2018-12-07 2024-10-15 夏普株式会社 运动图像解码装置
WO2020131659A2 (en) * 2018-12-17 2020-06-25 Interdigital Vc Holdings, Inc. Mmvd and smvd combination with motion and prediction models
EP3900354A4 (en) * 2018-12-21 2022-09-14 Sharp Kabushiki Kaisha SYSTEMS AND METHODS OF INTERPREDICTION IN VIDEO CODING
KR20240137710A (ko) * 2019-02-20 2024-09-20 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
WO2020184461A1 (ja) * 2019-03-08 2020-09-17 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
EP3975556A4 (en) 2019-06-19 2022-08-03 Lg Electronics Inc. IMAGE DECODING METHOD FOR PERFORMING INTER-PREDICTION WHEN THE CURRENT BLOCK PREDICTION MODE CANNOT FINALLY BE SELECTED AND ASSOCIATED DEVICE
CN114270835A (zh) * 2019-06-19 2022-04-01 Lg电子株式会社 基于默认合并模式推导预测样本的图像解码方法及其装置
US11405628B2 (en) * 2020-04-06 2022-08-02 Tencent America LLC Method and apparatus for video coding
KR20240124974A (ko) * 2021-12-15 2024-08-19 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087179B (zh) * 2011-03-10 2021-04-27 夏普株式会社 图像解码装置及方法、以及记录介质
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
BR112013030347B1 (pt) * 2011-06-27 2022-06-28 Sun Patent Trust Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem e aparelho de codificação e de decodificação de imagem
US20130070855A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
EP3158734A1 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
CN107113424B (zh) * 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
KR102715635B1 (ko) * 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
US10785477B2 (en) * 2016-10-06 2020-09-22 Lg Electronics Inc. Method for processing video on basis of inter prediction mode and apparatus therefor
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US20200154124A1 (en) * 2017-07-04 2020-05-14 Lg Electronics Inc. Image decoding method based on inter prediction and image decoding apparatus therefor
BR122022003217B1 (pt) * 2017-09-12 2023-12-05 Samsung Electronics Co., Ltd. Método para decodificar informações de movimento, método para codificar informações de movimento, e meio legível por computador não transitório para registrar um fluxo de bits

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Geonjung Ko, et al.，CE4-1.3: Modification of merge data syntax，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0237，14th Meeting: Geneva, CH，2019年03月，pp.1-3
Geonjung Ko, et al.，Non-CE4: Modification of merge data syntax，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0359-v2，13th Meeting: Marrakech, MA，2019年01月，pp.1-4
Seungsoo Jeong, et al.，Proposed WD for CE4 Ultimate motion vector expression (Test 4.5.4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0054_WD，12th Meeting: Macao, CN，2018年10月11日，pp.1-12
Seungsoo Jeong, Min Woo Park, and Chanyul Kim，CE4 Ultimate motion vector expression in J0024 (Test 4.2.9)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0115-v4，11th Meeting: Ljubljana, SI，2018年07月，pp.1-7
Tomonori Hashimoto, Eiichi Sasaki, and Tomohiro Ikai，Non-CE4: Enhanced ultimate motion vector expression，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0355，12th Meeting: Macau, CH，2018年09月25日，pp.1-5

Also Published As

Publication number Publication date
WO2020085800A1 (ko) 2020-04-30
JP2022505578A (ja) 2022-01-14
JP7551179B2 (ja) 2024-09-17
US20240040156A1 (en) 2024-02-01
CN117156129A (zh) 2023-12-01
JP7206382B2 (ja) 2023-01-17
JP2023036907A (ja) 2023-03-14
CN117156131A (zh) 2023-12-01
KR20210057188A (ko) 2021-05-20
CN113196751A (zh) 2021-07-30
US20210243476A1 (en) 2021-08-05
EP3873093A1 (en) 2021-09-01
CN117156130A (zh) 2023-12-01
CN117156128A (zh) 2023-12-01
EP3873093A4 (en) 2022-07-20
JP2024023483A (ja) 2024-02-21
KR102550530B1 (ko) 2023-07-04
KR102708052B1 (ko) 2024-09-23
CN113196751B (zh) 2023-10-13
KR20240142593A (ko) 2024-09-30
KR20230104758A (ko) 2023-07-10

Similar Documents

Publication Publication Date Title
JP7400072B2 (ja) サブブロックベースのモーション補償を用いたビデオ信号処理方法及び装置
JP7342118B2 (ja) 多重仮定予測を用いるビデオ信号処理方法及び装置
KR102699171B1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
JP7225381B2 (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
CA3074701C (en) Coding affine prediction motion information for video coding
CA3020244C (en) Affine motion prediction for video coding
JP7277590B2 (ja) モーション補償を用いたビデオ信号処理方法及び装置
EP3306935A1 (en) Image encoding and decoding method and image decoding device
KR20190052665A (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR20230113262A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
KR20130016172A (ko) 인터 예측 부호화된 동영상 복호화 방법
KR102476541B1 (ko) 화면내 예측에서의 참조 화소 구성에 관한 부호화/복호화 방법 및 장치
JP2024038271A (ja) ビデオ信号処理方法及び装置
KR20210091190A (ko) 비디오 코딩을 위한 공간-시간적 모션 벡터 예측 패턴
JP2022513857A (ja) 現在ピクチャ参照を用いたビデオ信号処理方法及び装置
KR101449696B1 (ko) 차분 움직임 벡터의 정밀도를 고려한 움직임 벡터 부호화/복호화 방법 및 장치, 및 그를 위한 영상처리 장치 및 방법
KR20160143585A (ko) 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
KR20240087758A (ko) Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치
KR20240118089A (ko) 비디오 신호 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7400072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150