JP7231729B2 - イントラブロックコピーのための履歴ベース動き候補リスト構築 - Google Patents
イントラブロックコピーのための履歴ベース動き候補リスト構築 Download PDFInfo
- Publication number
- JP7231729B2 JP7231729B2 JP2021525548A JP2021525548A JP7231729B2 JP 7231729 B2 JP7231729 B2 JP 7231729B2 JP 2021525548 A JP2021525548 A JP 2021525548A JP 2021525548 A JP2021525548 A JP 2021525548A JP 7231729 B2 JP7231729 B2 JP 7231729B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- candidate list
- candidates
- list
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 814
- 238000010276 construction Methods 0.000 title description 108
- 238000000034 method Methods 0.000 claims description 284
- 239000013598 vector Substances 0.000 claims description 186
- 230000002123 temporal effect Effects 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 108
- 230000008569 process Effects 0.000 description 35
- 241000023320 Luma <angiosperm> Species 0.000 description 21
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 21
- 238000009795 derivation Methods 0.000 description 20
- 230000011664 signaling Effects 0.000 description 15
- 238000013138 pruning Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000005549 size reduction Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000005192 partition Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 101100328886 Caenorhabditis elegans col-2 gene Proteins 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 241000723655 Cowpea mosaic virus Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000008313 Pseudognaphalium affine Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Description
映像符号化標準は、長年にわたって大幅に改良されており、今では、部分的に高い符号化効率を提供するとともに、高い解像度をサポートしている。例えばHEVC及びH.265などの最近の標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。
インター予測による各PU(予測ユニット)は、1つ又は2つの参照ピクチャリストに関する動きパラメータを有する。一部の実施形態において、動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。他の実施形態において、2つの参照ピクチャリストのうちの1つの使用がまた、inter_pred_idcを用いて信号伝達され得る。更なる他の実施形態において、動きベクトルは、予測子に対するデルタとして明示的に符号化され得る。
HEVCにおいて、インター予測という用語は、現在復号されているピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値又は動きベクトル)から導出される予測を表記するために使用される。H.264/AVCにおいてと同様に、ピクチャは複数の参照ピクチャから予測されることができる。インター予測に使用される参照ピクチャは、1つ以上の参照ピクチャリストに編成される。予測信号を作成するためにリスト内の参照ピクチャのうちのどれが使用されるべきかを参照インデックスが特定する。
マージモードを使用してPUが予測されるとき、マージ候補リスト内のエントリを指すインデックスがビットストリームから構文解析され、動き情報を取り出すために使用される。このリストの構築は、以下の一連のステップに従って要約され得る。
ステップ1.1:空間候補導出
ステップ1.2:空間候補に関する冗長性検査
ステップ1.3:時間候補導出
ステップ2:追加候補挿入
ステップ2.1:双予測候補の作成
ステップ2.2:ゼロ動き候補の挿入
図1は、上に要約した一連のステップに基づいてマージ候補リストを構築することの一例を示している。空間マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補が選択される。時間マージ候補導出のために、2つの候補の中から最大1つのマージ候補が選択される。デコーダで各PUに対して一定数の候補が仮定されるので、候補の数が、スライスヘッダ内で信号伝達されるマージ候補の最大数(MaxNumMergeCand)に達しない場合、追加候補が生成される。候補の数は一定であるので、最良のマージ候補のインデックスが、truncated unary binarization(TU)を用いて符号化される。CUのサイズが8に等しい場合、現在CUの全てのPUが、2N×2N予測ユニットのマージ候補リストと同じものである単一のマージ候補リストを共有する。
空間マージ候補の導出では、図2に示す位置にある候補の中から最大4つのマージ候補が選択される。導出の順序はA1、B1、B0、A0、及びB2である。位置B2は、位置A1、B1、B0、A0のうちのいずれかのPUが利用可能でない場合(例えば、それが別のスライス又はタイルに属するため)又はイントラコード化される場合にのみ考慮される。位置A1の候補が追加された後、残りの候補の追加は、符号化効率が向上されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性検査にかけられる。
このステップでは、1つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、所与の参照ピクチャリスト内で現在ピクチャとのPOC差が最小であるピクチャに属するコロケートPUに基づいて、スケーリングされた動きベクトルが導出される。コロケートPUの導出に使用される参照ピクチャリストは、スライスヘッダ内で明示的に信号伝達される。
空間-時間マージ候補の他に、結合双予測マージ候補及びゼロマージ候補という2つの更なるタイプのマージ候補が存在する。結合双予測マージ候補は、空間-時間マージ候補を利用することによって生成される。結合双予測マージ候補はBスライスのみに使用される。結合双予測候補は、当初候補の第1の参照ピクチャリスト動きパラメータを別のものの第2の参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら2つのタプルが異なる動き仮説を提供する場合、それらは新たな双予測候補を形成する。
符号化プロセスを高速化するために、動き推定を並列に実行することができ、それにより、所与の領域内の全ての予測ユニットに関する動きベクトルが同時に導出される。空間的に隣接するものからのマージ候補の導出は、並列処理を妨げてしまい得る。何故なら、1つの予測ユニットは、それに関連する動き推定が完了するまで、隣接PUから動きパラメータを導出することができないからである。符号化効率と処理レイテンシとの間のトレードオフを緩和するために、動き推定領域(motion estimation region;MER)が規定され得る。MERのサイズは、“log2_parallel_merge_level_minus2”構文要素を用いてピクチャパラメータセット(PPS)内で信号伝達され得る。MERが規定される場合、同じ領域に入るマージ候補は、利用不可とマークされ、それ故に、リスト構築において考慮されない。
AMVPは、隣接PUとの動きベクトルの空間-時間相関を利用し、それが動きパラメータの明示的伝送に使用される。これは、先ず、左上の時間的に隣接するPU位置の利用可能性を検査し、冗長候補を除去し、そして、ゼロベクトルを追加して候補リストを一定長さにすることによって、動きベクトル候補リストを構築する。そして、エンコーダは、候補リストから最良の予測子を選択し、選択した候補を指し示す対応するインデックスを送信することができる。同様に、マージインデックス信号伝達では、最良の動きベクトル候補のインデックスがtruncated unaryを用いて符号化される。この場合に符号化される最大値は2である(図8参照)。以下のセクションにて、動きベクトル予測候補の導出プロセスの詳細を提供する。
図8は、動きベクトル予測候補に関する導出プロセスをまとめたものであり、入力としてrefidxを用いて各参照ピクチャリストに対して実行され得る。
空間動きベクトル候補の導出においては、先に図2で示したような位置にあるPUから導出されるものである5つの可能性ある候補の中の最大2つの候補が考慮され、それらの位置は動きマージの位置と同じである。現在PUの左側についての導出の順序が、A0、A1、及びスケーリングされたA0、スケーリングされたA1として定められる。現在PUの上側についての導出の順序が、B0、B1、B2、スケーリングされたB0、スケーリングされたB1、スケーリングされたB2として定められる。従って、各側について、動きベクトル候補として使用され得る4つのケースが存在し、2つのケースは空間スケーリングを使用する必要がなく、2つのケースでは空間スケーリングが使用される。それら4つの異なるケースは、以下のようにまとめられる。
(1)同一参照ピクチャリスト、且つ同一参照ピクチャインデックス(同一POC)
(2)異なる参照ピクチャリスト、しかし、同一参照ピクチャ(同一POC)
-空間スケーリング
(3)同一参照ピクチャリスト、しかし、異なる参照ピクチャ(異なるPOC)
(4)異なる参照ピクチャリスト、且つ異なる参照ピクチャ(異なるPOC)
参照ピクチャインデックスの導出は別にして、時間マージ候補の導出のための全てのプロセスは、(図6の例に示したような)空間動きベクトル候補の導出に関してと同じである。一部の実施形態において、参照ピクチャインデックスがデコーダに信号伝達される。
一部の実施形態において、将来の映像符号化技術が、共同探索モデル(JEM)として知られる参照ソフトウェアを用いて探索される。JEMでは、サブブロックベースの予測が、例えばアフィン予測、代替的時間動きベクトル予測(alternative temporal motion vector prediction;ATMVP)、空間時間動きベクトル予測(spatial-temporal motion vector prediction;STMVP)、双方向オプティカルフロー(bi-directional optical flow;BIO)、フレームレートアップコンバージョン(Frame-Rate Up Conversion;FRUC)、局所適応動きベクトルレゾリューション(Locally Adaptive Motion Vector Resolution;LAMVR)、オーバーラップブロック運動補償(Overlapped Block Motion Compensation;OBMC)、局所照明補償(Local Illumination Compensation;LIC)、デコーダ側動きベクトル精緻化(Decoder-side Motion Vector Refinement;DMVR)などの、いくつかの符号化ツールに採用される。
四分木プラス二分木(quadtrees plus binary trees;QTBT)を用いるJEMでは、各CUが、各予測方向に対して最大1セットの動きパラメータを持つことができる。一部の実施形態では、エンコーダにおいて、大きなCUを複数のサブCUに分割し、大きなCUの全てのサブCUに対して動き情報を導出することによって、2つのサブCUレベルの動きベクトル予測方法が考慮される。代替的時間動きベクトル予測(ATMVP)法は、各CUが、コロケート参照ピクチャ内の現在CUよりも小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。空間-時間動きベクトル予測(STMVP)法では、サブCUの動きベクトルが、時間動きベクトル予測子と空間隣接動きベクトルとを用いることによって再帰的に導出される。一部の実施形態において、サブCU動き予測のためにより正確な動き場を保存するために、参照フレームに対する動き圧縮が無効にされ得る。
ATMVP法では、時間動きベクトル予測(temporal motion vector prediction;TMVP)法が、現在CUよりも小さい複数のブロックから複数セットの動き情報(動きベクトル及び参照インデックスを含む)をフェッチすることによって修正される。
STMVP法では、サブCUの動きベクトルが、ラスタ走査順に従って再帰的に導出される。図11は、4つのサブブロックを有する1つのCUと隣接ブロックとの一例を示している。4つの4×4のサブCU A(1101)、B(1102)、C(1103)、D(1104)を含む8×8のCU1100を考える。現在フレーム内の隣接する4×4のブロックを、a(1111)、b(1112)、c(1113)、及びd(1114)とラベル付ける。
一部の実施形態において、サブCUモードは、追加のマージ候補として有効にされ、これらのモードを信号伝達するのに追加の構文要素は必要とされない。ATMVPモード及びSTMVPモードを表すために、各CUのマージ候補リストに2つの追加マージ候補が加えられる。他の実施形態において、シーケンスパラメータセットがATMVP及びSTMVPが有効にされることを指し示す場合に、最大7つのマージ候補が使用され得る。これら追加マージ候補の符号化論理は、HMにおけるマージ候補に関してと同じであり、これは、Pスライス又はBスライス内の各CUについて、2つの追加マージ候補に対して2つの更なるRD検査が必要とされ得ることを意味する。例えばJEMといった一部の実施形態において、マージインデックスの全てのビンが、CABAC(Context-based Adaptive Binary Arithmetic Coding)によってコンテキスト符号化される。例えばHEVCといった他の実施形態では、最初のビンのみがコンテキスト符号化され、残りのビンはコンテキストバイパス符号化される。
例えば、MVDを信号伝達するための適応動きベクトル差レゾリューション(Adaptive motion vector difference resolution;AMVR)、アフィン予測モード、三角予測モード(TPM)、ATMVP、一般化双予測(GBI)、双方向オプティカルフロー(BIO)などの、インター予測改良のための新たな符号化ツールが幾つか存在する。
一部の実施形態において、スライスヘッダ内でuse_integer_mv_flagが0に等しい場合に、(動きベクトルとPUの予測動きベクトルとの間の)動きベクトル差(MVD)が、1/4ルマサンプルの単位で信号伝達される。JEMでは、局所適応動きベクトルレゾリューション(LAMVR)が導入されている。JEMにおいて、MVDは、1/4ルマサンプル、整数ルマサンプル、4ルマサンプルの単位で符号化されることができる。このMVD分解能は、符号化ユニット(CU)レベルで制御され、MVD分解能フラグが、少なくとも1つの非ゼロのMVD成分を持つ各CUに対して条件付きで信号伝達される。
三角予測ユニットモードの概念は、動き補償予測のために、新しい三角分割を導入するというものである。図13A及び13Bに示すように、三角予測ユニットモードは、CUを、対角線方向又は逆対角線方向のいずれかで、2つの三角形の予測ユニットに分割する。CU内の各三角予測ユニットが、それ自身の片予測動きベクトルと、片予測候補リストから導出される参照フレームインデックスとを用いて、インター予測される。三角予測ユニットを予測した後、対角線エッジに対して適応重み付けプロセスが実行される。そして、変換及び量子化プロセスがCU全体に適用される。なお、このモードは、スキップモード及びマージモードのみに適用される。
片予測候補リストは、5つの片予測動きベクトル候補で構成される。それは、図14に示すように、5つの空間隣接ブロック(1-5)及び2つの時間コロケートブロック(6-7)を含む7つの隣接ブロックから導出される。これら7つの隣接ブロックの動きベクトルが収集され、片予測動きベクトル、双予測動きベクトルのL0動きベクトル、双予測動きベクトルのL1動きベクトル、そして、双予測動きベクトルのL0動きベクトルとL1動きベクトルとの平均動きベクトルの順に、片予測候補リストの中に置かれる。候補の数が5未満である場合、ゼロ動きベクトルがリストに追加される。TPMのためにこのリストに追加される動き候補をTPM候補と呼び、空間/時間ブロックから導出される動き情報を通常(regular)動き候補と呼ぶ。
1) A1、B1、B0、A0、B2、Col、及びCol2(図14のブロック1-7に相当)から、剪定処理を行わずに、通常動き候補を得る。
2) 変数numCurrMergeCand=0に設定する
3) A1、B1、B0、A0、B2、Col、及びCol2から導出された各通常動き候補、及び5未満であるnumCurrMergeCandについて、通常動き候補が(List0又はList1のいずれかからの)片予測である場合、それは直接的にTPM候補としてマージリストに追加され、numCurrMergeCandが1だけ増加される。このようなTPM候補を、‘元々片予測候補’と命名する。
完全な剪定(full pruning)が適用される。
4) A1、B1、B0、A0、B2、Col、及びCol2から導出された各動き候補、及び5未満であるnumCurrMergeCandについて、通常動き候補が双予測である場合、List0からの動き情報が新たなTPM候補としてTPMマージリストに追加され(すなわち、List0からの片予測であるように変更され)、numCurrMergeCandが1だけ増加される。このようなTPM候補を、‘切り取り(truncated)List0予測候補’と命名する。
完全な剪定が適用される。
5) A1、B1、B0、A0、B2、Col、及びCol2から導出された各動き候補、及び5未満であるnumCurrMergeCandについて、通常動き候補が双予測である場合、List1からの動き情報がTPMマージリストに追加され(すなわち、List1からの片予測であるように変更され)、numCurrMergeCandが1だけ増加される。このようなTPM候補を、‘切り取りList1予測候補’と命名する。
完全な剪定が適用される。
6) A1、B1、B0、A0、B2、Col、及びCol2から導出された各動き候補、及び5未満であるnumCurrMergeCandについて、通常動き候補が双予測である場合に、
― List0参照ピクチャのスライスQPがList1参照ピクチャのスライスQPより小さい場合、最初にList1の動き情報がList0参照ピクチャに対してスケーリングされ、2つのMV(一方は元のList0からであり、他方はList1からのスケーリングされたMVである)の平均がTPMマージリストに追加され、このような候補を、List0からの平均片予測動き候補と呼び、numCurrMergeCandが1だけ増加される。
― そうでない場合、最初にList0の動き情報がList1参照ピクチャに対してスケーリングされ、2つのMV(一方は元のList1からであり、他方はList0からのスケーリングされたMVである)の平均がTPMマージリストに追加され、このような候補を、List1からの平均片予測動き候補と呼び、numCurrMergeCandが1だけ増加される。
完全な剪定が適用される。
7) numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補が追加される。
各三角予測ユニットを予測した後、CU全体についての最終的な予測を導出するために、2つの三角予測ユニット間の対角線エッジに適応重み付けプロセスが適用される。2つの重み付け係数グループが、以下のようにリスト化される:
・ 第1重み付け係数グループ:輝度サンプル及び色度サンプルに対して、それぞれ、{7/8,6/8,4/8,2/8,1/8}及び{7/8,4/8,1/8}が使用される:
・ 第2重み付け係数グループ:輝度サンプル及び色度サンプルに対して、それぞれ、{7/8,6/8,5/8,4/8,3/8,2/8,1/8}及び{6/8,4/8,2/8}が使用される。
TPMが使用されるかを指し示す1ビットフラグが最初に信号伝達され得る。その後、(図13A及び13Bに示したような)2つの分割パターンを指し示すインジケーションと、2つの分割の各々に関する選択されたマージインデックスとが、更に信号伝達される。
1つのルマブロックの幅及び高さを、それぞれ、W及びHで表記する。W*H<64である場合、三角予測モードは無効にされる。
Ctx index=((左ブロックL利用可能&&LはTPMで符号化?)1:0)
+((上ブロックA利用可能&&AはTPMで符号化?)1:0)
に基づく。
留意されたいことには、(図13A及び13Bに示したような)分割パターン、及び2つの分割のマージインデックスは、結合して符号化される。既存の実装において、制約は、2つの分割が同一参照インデックスを使用することできなかったというものである。従って、2(分割パターン)*N(マージ候補の最大数)*(N-1)個の可能性が存在し、Nは5に設定される。1つのインジケーションが符号化され、そして、分割パターン間のマッピング、2つのマージインデックス、符号化されたインジケーションが、以下に規定される配列:
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]={
{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},
{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},
{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},
{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},
{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},
{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},
{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},
{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}}
から導出され、
分割パターン(45度又は135度)=g_TriangleCombination[signaled indication][0];
Merge index of candidate A=g_TriangleCombination[signaled
indication][1];
Merge index of candidate B=g_TriangleCombination[signaled
indication][2];
2つの動き候補A及びBが導出されると、2つの分割(PU1及びPU2)の動き情報が、A又はBのいずれかから設定され得る。PU1がマージ候補Aの動き情報を使用するのか、それともマージ候補Bの動き情報を使用するかは、これら2つの動き候補の予測方向に依存する。表1は、2つの分割での、2つの導出される動き候補AとBとの間の関係を示している。
merge_triangle_idxは、両端を含めて、[0,39]の範囲内である。K次の指数ゴロム(Exponential Golomb;EG)符号が、merge_triangle_idxの二値化のために使用され、kは1に設定される。
より大きい数をより小さいビットで符号化するために(より小さい数を符号化するためにより多くのビットを使用することを犠牲にして)、これは、負でない整数パラメータkを用いて一般化されることができる。負でない整数xをk次の指数ゴロム(exp-Golomb)符号で符号化するために:
(1) 上述の0次のexp-Golomb符号を用いて
(外1)
を符号化し、次いで、
(2)x mod 2kをバイナリで符号化する。
HEVCでは、動き補償予測(motion compensation prediction;MCP)に並進動きモデルのみが適用されている。しかしながら、カメラ及び被写体は、例えばズームイン/アウト、回転、遠近動作、及び/又は他の不規則な動きといった、多くの種類の動きを有し得る。VVCでは、4パラメータアフィンモデル及び6パラメータアフィンモデルを用いて、簡略化されたアフィン変換動き補償予測が適用されている。図16A及び16Bに示すように、ブロックのアフィン動き場が、それぞれ、(変数a、b、e及びfを使用する4パラメータアフィンモデルにおける)2つ又は(変数a、b、c、d、e及びfを使用する6パラメータアフィンモデルにおける)3つによって記述される。
ここで、(mvh 0,mvh 0)は、左上角の制御点(control point;CP)の動きベクトルであり、(mvh 1,mvh 1)は、右上角の制御点の動きベクトルであり、(mvh 2,mvh 2)は左下角の制御点の動きベクトルであり、(x,y)は、現在ブロック内の左上サンプルに対する代表点の座標を表す。CP動きベクトルは、(アフィンAMVPモードにおいてのように)信号伝達されるか、あるいは、(アフィンマージモードにおいてのように)オンザフライで導出されるかし得る。w及びhは、現在ブロックの幅及び高さである。実際には、除算は、丸め演算を用いた右シフトによって実行される。VTMでは、代表点は、サブブロックの中心位置であると定められ、例えば、現在ブロック内の左上のサンプルに対するサブブロックの左上角の座標が(xs,ys)であるとき、代表点の座標は(xs+2,ys+2)であると定められる。各サブブロック(例えば、VTMにおいて4×4)に対して、代表点を使用して、サブブロック全体の動きベクトルを導出する。
並進動きモデルと同様に、アフィン予測によるサイド情報を信号伝達することには、やはり2つのモードが存在する。それらは、AFFINE_INTERモード及びAFFINE_MERGEモードである。
幅及び高さの両方が8よりも大きいCUに対して、AF_INTERモードを適用することができる。AF_INTERモードが使用されるかを指し示すために、CUレベルでのアフィンフラグがビットストリーム内で信号伝達される。このモードでは、各参照ピクチャリスト(List0又はList1)に対して、アフィンAMVP候補リストが、3種類のアフィン動き予測子を以下の順に有して構築され、各候補が、現在ブロックの推定CPMVを含む。エンコーダ側で見出される最良のCPMV(例えば図20中のmv0 mv1 mv2など)と推定CPMVとの差が信号伝達される。加えて、それから推定CPMVが導出されたアフィンAMVP候補のインデックスが更に信号伝達される。
検査順序は、HEVC AMVPリスト構築における空間MVPのそれと同様である。第一に、左の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ{A1,A0}内の最初のブロックから導出される。第二に、上の継承アフィン動き予測子が、アフィン符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つ{B1,B0,B2}内の最初のブロックから導出される。これら5つのブロックA1、A0、B1、B0、B2を図19に示す。
構築アフィン動き予測子は、同じ参照ピクチャを有した、図20に示すような隣接するインター符号化ブロックから導出される制御点動きベクトル(control-point motion vector;CPMV)で構成される。現在のアフィン動きモデルが4パラメータアフィンである場合、CPMVの数は2であり、そうでなく現在のアフィン動きモデルが6パラメータアフィンである場合、CPMVの数は3である。
左上CPMV:
が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ{A,B,C}内の最初のブロックにおけるMVによって導出される。右上CPMVであるバーmv1が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ{D,E}内の最初のブロックにおけるMVによって導出される。左下CPMVであるバーmv2が、インター符号化され且つ現在ブロックにおいてと同じ参照ピクチャを持つグループ{F,G}内の最初のブロックにおけるMVによって導出される。
― 現在のアフィン動きモデルが4パラメータアフィンである場合、バーmv0及びmv1の両方が見出された場合にのみ、すなわち、現在ブロックの左上位置(座標(x0,y0)を有する)、右上位置(座標(x1,y1)を有する)に対する推定CPMVとして、バーmv0及びmv1が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
― 現在のアフィン動きモデルが6パラメータアフィンである場合、バーmv0、mv1及びmv2が全て見出された場合にのみ、すなわち、現在ブロックの左上位置(座標(x0,y0)を有する)、右上位置(座標(x1,y1)を有する)及び左下位置(座標(x2,y2)を有する)に対する推定CPMVとして、バーmv0、mv1及びmv2が使用される場合にのみ、構築アフィン動き予測子が候補リストに挿入される。
構築アフィン動き予測子を候補リストに挿入するときに剪定プロセスは適用されない。
アフィン動き予測子の数が最大値に達するまで、以下が適用される:
1) 利用可能である場合に全てのCPMVをバーmv2に等しく設定することによって、アフィン動き予測子を導出する;
2) 利用可能である場合に全てのCPMVをバーmv1に等しく設定することによって、アフィン動き予測子を導出する;
3) 利用可能である場合に全てのCPMVをバーmv0に等しく設定することによって、アフィン動き予測子を導出する;
4) 利用可能である場合に全てのCPMVをHEVC TMVPに等しく設定することによって、アフィン動き予測子を導出する;
5) 全てのCPMVをゼロMVに設定することによって、アフィン動き予測子を導出する。
なお、バーmviは、構築アフィン動き予測子にて既に導出されている。
AF_MERGEモードにおいてCUが適用されるとき、それは、有効な隣接再構成ブロックからアフィンモードで符号化された最初のブロックを取得する。そして、候補ブロックの選択順序は、図21Aに示すように、左から、上、右上、左下、左上(順に、A、B、C、D、Eで表記している)である。例えば、隣接左下ブロックが、図21BにおいてA0で表すようにアフィンモードで符号化される場合、ブロックAを含む隣接CU/PUの左上角、右上角、及び左下角の制御点(CP)動きベクトルmv0 N、mv1 N、及びmv2 Nがフェッチされる。そして、現在CU/PU上の左上/右上/左下角の動きベクトルmv0 C、mv1 C、及びmv2 C(これは6パラメータアフィンモデルでのみ使用される)が、mv0 N、mv1 N、及びmv2 Nに基づいて算出される。なお、VTM-2.0では、現在ブロックがアフィン符号化される場合、左上角にあるサブブロック(例えば、VTMにおいて4×4ブロック)がmv0を格納し、右上角にあるサブブロックがmv1を格納する。現在ブロックが6パラメータアフィンモデルで符号化される場合、左下角にあるサブブロックがmv2を格納し、そうでない場合には(4パラメータアフィンモデルでは)、LBがmv2’を格納する。他のサブブロックは、MCに使用されるMVを格納する。
継承アフィン候補は、その候補がそれの有効な隣接アフィン符号化ブロックのアフィン動きモデルから導出されることを意味する。コモンベースで、図24に示すように、候補位置の走査順序は、A1、B1、B0、A0及びB2である。
アフィンマージ候補リスト内の候補の数がMaxNumAffineCand(この寄稿では5に設定)よりも少ない場合、構築アフィン候補が候補リストに挿入される。構築アフィン候補は、各制御点の隣接動き情報を組み合わせることによって構築される候補を意味する。
CP1について、検査優先度はB2→B3→A2である。B2が利用可能である場合、それが使用される。そうでなくB3が利用可能である場合、B3が使用される。B2及びB3の両方が利用可能でない場合、A2が使用される。これら3つの候補が全て利用可能でない場合には、CP1の動き情報を得ることはできない;
CP2について、検査優先度はB1→B0である;
CP3について、検査優先度はA1→A0である;
CP4については、Tが用いられる。
アフィンマージ候補リスト内の候補の数が5未満である場合、リストがいっぱいになるまで、ゼロ参照インデックスを持つゼロ動きベクトルが候補リストに挿入される。
現在ピクチャ参照(CPR)とも呼ばれるイントラブロックコピー(IBC、又はイントラピクチャブロック補償)が、HEVCスクリーンコンテンツ符号化エクステンション(SCC)で採用された。このツールは、テキスト及びグラフィックスが豊富なコンテンツにおける繰り返しパターンが同一ピクチャ内で頻繁に発生するスクリーンコンテンツ映像の符号化にとって非常に効率的である。同じ又は類似のパターンを有する先に再構成されたブロックを予測子とすることは、予測誤差を効果的に低減することができ、ひいては、符号化効率を向上させることができる。イントラブロック補償の一例を図23に示す。
・ これは通常インターモードとして扱われる。従って、IBCモードでは、マージモード及びスキップモードも利用可能である。IBCモード又はHEVCインターモードのいずれかで符号化される隣接位置からのマージ候補を含め、マージ候補リスト構築が統一される。選択されたマージインデックスに応じて、マージモード又はスキップモードの下の現在ブロックは、異なるピクチャを参照ピクチャとして、IBCモード符号化された隣接するもの又はその他で通常インターモード符号化されたもののいずれかにマージすることができる。
・ IBCモードのブロックベクトル予測及び符号化スキームは、HEVCインターモード(AMVP及びMVD符号化)における動きベクトル予測及び符号化に使用されるスキームを再利用する。
・ ブロックベクトルとも呼ばれるIBCモードの動きベクトルは、整数ペル精度で符号化されるが、補間段階及びデブロッキング段階で1/4ペル精度が要求されるので、復号後に1/16ペル精度でメモリに格納される。IBCモードの動きベクトル予測で使用されるとき、格納されたベクトル予測子は4だけ右シフトされることになる。
・ 探索範囲:現在CTU内に制限される。
・ アフィンモード/三角モード/GBI/重み付け予測が有効にされるとき、CPRは可能にされない。
VVCでは、以下の3つの異なるマージリスト構築プロセスがサポートされている。
全てのサブブロック関係の動き候補を、非サブブロックマージ候補用の通常マージリストに加えての別個のマージリストに入れることが提案される。
この寄稿において、通常マージリスト内のATMVPマージ候補が、アフィンマージリストの最初の位置に移動される。それにより、新しいリスト(すなわち、サブブロックベースのマージ候補リスト)内の全てのマージ候補がサブブロック符号化ツールに基づく。
マージリスト設計とは異なり、VVCでは、履歴ベース動きベクトル予測(HMVP)法が採用される。
既存のVVC実装では、3つの異なるマージリストが、ハードウェア実装コストを増加させる異なる手順で利用される。
ここで開示される技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づく、映像符号化のための別々の動き候補リストの構築は、既存の及び将来の映像符号化標準の双方を強化することができ、種々の実装に関して説明される以下の例にて明らかになる。以下に提供される開示技術の例は、一般的概念を説明するものであり、限定するものとして解釈されることを意味するものではない。一例において、そうでないことが明示的に示されない限り、これらの例にて説明される様々な特徴は組み合わされることができる。なお、提案される技術のうちの一部は、既存の候補リスト構築プロセスに適用され得る。
例1. 時間候補リストと呼ぶ別個の候補リストが構築され、純粋に空間ブロックからの動き情報は除外される。
(i)W*Hが閾値(例えば、64)に等しい及び/又はそれよりも大きい;
(ii)W≧T0及び/又はH≧T1であり、例えば、T0及びT1は両方とも16に設定される。
図27は、映像処理装置2700のブロック図である。装置2700は、ここに記載される方法のうちの1つ以上を実装するために使用され得る。装置2700は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信器にて具現化され得る。装置2700は、1つ以上のプロセッサ2702、1つ以上のメモリ2704、及び映像処理ハードウェア2706を含み得る。(1つ以上の)プロセッサ2702は、本文書に記載される1つ以上の方法(これらに限られないが、(1つ以上の)方法2600A-2600E)を実行するように構成され得る。(1つ以上の)メモリ2704は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア2706は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用され得る。
Claims (14)
- 映像データを処理する方法であって、
第1の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第1の動き候補リストを構築するステップであり、前記第1の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用される、ステップと、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第1の動き候補リストから除外されることを決定するステップと、
履歴ベース動きベクトル予測(HMVP)候補を検査して、前記HMVP候補を前記第1の動き候補リストに追加するかを決定するステップと、
を有する方法。 - 前記第1の動き候補リストは更に、時間動きオフセットに基づいて導出される動き情報を有するサブブロックベースの時間動きベクトル予測候補を除外する、請求項1に記載の方法。
- 前記現在ブロックの高さと幅の積が所定の閾値以下であることに基づいて、空間隣接ブロックから導出される動き候補が前記第1の動き候補リストから除外される、請求項1に記載の方法。
- 前記第1の動き候補リストは、更にデフォルト動きベクトル候補に基づいて構築される、請求項1乃至3のいずれか一項に記載の方法。
- 前記デフォルト動きベクトル候補はゼロ動きベクトル候補を含む、請求項4に記載の方法。
- 前記第1の動き候補リスト及び動き探索範囲に基づいて前記変換を実行するステップ、
を更に有する請求項1乃至5のいずれか一項に記載の方法。 - 前記動き探索範囲は、前記現在ブロックを含む現在CTUのサイズに関係付けられる、請求項6に記載の方法。
- 前記第1の動き候補リストのリストサイズは、予め定められている、請求項1乃至7のいずれか一項に記載の方法。
- 前記第1の動き候補リストのリストサイズが、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット(CTU)、符号化ユニット(CU)、又は予測ユニット(PU)を用いて信号伝達される、請求項1乃至8のいずれか一項に記載の方法。
- 前記変換は、前記現在ブロックを前記ビットストリームへと符号化することを含む、請求項1乃至9のいずれか一項に記載の方法。
- 前記変換は、前記ビットストリームから前記現在ブロックを復号することを含む、請求項1乃至9のいずれか一項に記載の方法。
- プロセッサと、命令を有する非一時的なメモリとを有した、映像データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
第1の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第1の動き候補リストを構築させ、前記第1の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用され、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第1の動き候補リストから除外されることを決定させ、
履歴ベース動きベクトル予測(HMVP)候補を検査させて、前記HMVP候補を前記第1の動き候補リストに追加するかを決定させる、
装置。 - 命令を格納した非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサに、
第1の予測モードを用いた映像の現在ブロックと前記映像のビットストリームとの間での変換のために、時間ブロックから導出される動き候補を除外する第1の動き候補リストを構築させ、前記第1の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用され、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第1の動き候補リストから除外されることを決定させ、
履歴ベース動きベクトル予測(HMVP)候補を検査させて、前記HMVP候補を前記第1の動き候補リストに追加するかを決定させる、
コンピュータ読み取り可能記憶媒体。 - 映像のビットストリームを格納する方法であって、
第1の予測モードを用いる映像の現在ブロックについて、時間ブロックから導出される動き候補を除外する第1の動き候補リストを構築するステップであり、前記第1の予測モードでは、前記現在ブロックに関する予測サンプルを導出するために、前記現在ブロックを含む同一映像領域のサンプル値のみが使用される、ステップと、
前記現在ブロックの寸法に基づいて、空間隣接ブロックから導出される動き候補が前記第1の動き候補リストから除外されることを決定するステップと、
履歴ベース動きベクトル予測(HMVP)候補を検査して、前記HMVP候補を前記第1の動き候補リストに追加するかを決定するステップと、
前記第1の動き候補リストに基づいて前記現在ブロックから前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ読み取り可能記録媒体に格納するステップと、
を有する方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023022534A JP7478864B2 (ja) | 2018-11-13 | 2023-02-16 | イントラブロックコピーのための履歴ベース動き候補リスト構築 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018115176 | 2018-11-13 | ||
CNPCT/CN2018/115176 | 2018-11-13 | ||
PCT/CN2019/117907 WO2020098677A1 (en) | 2018-11-13 | 2019-11-13 | History based motion candidate list construction for intra block copy |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023022534A Division JP7478864B2 (ja) | 2018-11-13 | 2023-02-16 | イントラブロックコピーのための履歴ベース動き候補リスト構築 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022507131A JP2022507131A (ja) | 2022-01-18 |
JP7231729B2 true JP7231729B2 (ja) | 2023-03-01 |
Family
ID=70730365
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525548A Active JP7231729B2 (ja) | 2018-11-13 | 2019-11-13 | イントラブロックコピーのための履歴ベース動き候補リスト構築 |
JP2023022534A Active JP7478864B2 (ja) | 2018-11-13 | 2023-02-16 | イントラブロックコピーのための履歴ベース動き候補リスト構築 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023022534A Active JP7478864B2 (ja) | 2018-11-13 | 2023-02-16 | イントラブロックコピーのための履歴ベース動き候補リスト構築 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11128882B2 (ja) |
EP (1) | EP3861744A4 (ja) |
JP (2) | JP7231729B2 (ja) |
KR (2) | KR20240005223A (ja) |
CN (5) | CN113228635B (ja) |
WO (4) | WO2020098677A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3861744A4 (en) | 2018-11-13 | 2021-12-08 | Beijing Bytedance Network Technology Co. Ltd. | CREATION OF LIST OF MOVEMENT CANDIDATES BASED ON A HISTORY, FOR AN IN-BLOCK COPY |
EP3864846B1 (en) | 2018-11-20 | 2024-01-03 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods for merge mode |
CN113170184A (zh) | 2018-11-22 | 2021-07-23 | 北京字节跳动网络技术有限公司 | 默认运动候选的配置方法 |
CN112514380A (zh) | 2019-02-26 | 2021-03-16 | 株式会社 Xris | 用于对视频信号进行编码/解码的方法及其设备 |
CN114097228B (zh) | 2019-06-04 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 具有几何分割模式编解码的运动候选列表 |
EP3963890A4 (en) | 2019-06-04 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION |
CN117354507A (zh) | 2019-06-06 | 2024-01-05 | 北京字节跳动网络技术有限公司 | 视频编解码的运动候选列表构建 |
EP3973708A4 (en) * | 2019-06-25 | 2023-02-22 | Zhejiang Dahua Technology Co., Ltd. | INTRA-FRAME PREDICTION SYSTEMS AND METHODS |
KR20220030995A (ko) | 2019-07-14 | 2022-03-11 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 변환 블록 크기 제한 |
WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
WO2023179783A1 (en) * | 2022-03-25 | 2023-09-28 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2023237017A1 (en) * | 2022-06-07 | 2023-12-14 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017507554A (ja) | 2014-01-17 | 2017-03-16 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 非対称パーティション並びにエンコーダ側の検索パターン、検索範囲、及び分割のためのアプローチを使用するイントラブロックコピー予測 |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101630688B1 (ko) * | 2010-02-17 | 2016-06-16 | 삼성전자주식회사 | 움직임 예측 장치 및 방법과 영상 처리 장치 |
JP5682582B2 (ja) | 2011-03-08 | 2015-03-11 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム |
US9736489B2 (en) * | 2011-09-17 | 2017-08-15 | Qualcomm Incorporated | Motion vector determination for video coding |
US20130114717A1 (en) * | 2011-11-07 | 2013-05-09 | Qualcomm Incorporated | Generating additional merge candidates |
TWI559747B (zh) | 2011-12-28 | 2016-11-21 | Jvc Kenwood Corp | A dynamic image coding apparatus, a motion picture coding method and a motion picture coding program, and a motion picture decoding apparatus, a motion picture decoding method, and a motion picture decoding program |
US9729873B2 (en) * | 2012-01-24 | 2017-08-08 | Qualcomm Incorporated | Video coding using parallel motion estimation |
JP6422011B2 (ja) * | 2012-05-11 | 2018-11-14 | サン パテント トラスト | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
US9491461B2 (en) * | 2012-09-27 | 2016-11-08 | Qualcomm Incorporated | Scalable extensions to HEVC and temporal motion vector prediction |
CN104718760B (zh) * | 2012-10-05 | 2019-04-05 | 寰发股份有限公司 | 用于三维和多视图视频编码的方法和装置 |
CN102946536B (zh) * | 2012-10-09 | 2015-09-30 | 华为技术有限公司 | 候选矢量列表构建的方法及装置 |
US9826244B2 (en) * | 2013-01-08 | 2017-11-21 | Qualcomm Incorporated | Device and method for scalable coding of video information based on high efficiency video coding |
US10616607B2 (en) | 2013-02-25 | 2020-04-07 | Lg Electronics Inc. | Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor |
JP2015019204A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
GB2519514A (en) * | 2013-10-11 | 2015-04-29 | Canon Kk | Method and apparatus for displacement vector component prediction in video coding and decoding |
MX2016004705A (es) | 2013-10-14 | 2016-07-18 | Microsoft Technology Licensing Llc | Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video. |
US11109036B2 (en) * | 2013-10-14 | 2021-08-31 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
CN105659604B (zh) * | 2013-10-18 | 2018-12-21 | Lg电子株式会社 | 在多视图视频编译中预测视图合成的方法和用于通过使用其构建合并候选列表的方法 |
US20150271515A1 (en) * | 2014-01-10 | 2015-09-24 | Qualcomm Incorporated | Block vector coding for intra block copy in video coding |
WO2015137783A1 (ko) * | 2014-03-14 | 2015-09-17 | 삼성전자 주식회사 | 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치 |
US9860559B2 (en) | 2014-03-17 | 2018-01-02 | Mediatek Singapore Pte. Ltd. | Method of video coding using symmetric intra block copy |
EP3158753B1 (en) | 2014-06-19 | 2021-12-08 | VID SCALE, Inc. | Intra block copy coding with block vector derivation |
EP3158754B1 (en) | 2014-06-19 | 2021-10-20 | VID SCALE, Inc. | Methods and systems for intra block copy search enhancement |
US10412387B2 (en) | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
US10027981B2 (en) * | 2014-09-01 | 2018-07-17 | Hfi Innovation Inc. | Method of intra picture block copy for screen content and video coding |
WO2016048834A1 (en) | 2014-09-26 | 2016-03-31 | Vid Scale, Inc. | Intra block copy coding with temporal block vector prediction |
US9854237B2 (en) * | 2014-10-14 | 2017-12-26 | Qualcomm Incorporated | AMVP and merge candidate list derivation for intra BC and inter prediction unification |
CN104363451B (zh) * | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
EP3202143B8 (en) * | 2014-11-18 | 2019-09-25 | MediaTek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
JP6527949B2 (ja) | 2015-01-29 | 2019-06-12 | ヴィド スケール インコーポレイテッド | イントラブロックコピー探索 |
KR102206504B1 (ko) * | 2015-04-29 | 2021-01-22 | 에이치에프아이 이노베이션 인크. | 인트라 블록 복사 참조 리스트 구축을 위한 방법 및 장치 |
US10178403B2 (en) | 2015-06-23 | 2019-01-08 | Qualcomm Incorporated | Reference picture list construction in intra block copy mode |
CN108353184B (zh) * | 2015-11-05 | 2022-02-01 | 联发科技股份有限公司 | 一种视频编解码的方法及装置 |
US10194170B2 (en) * | 2015-11-20 | 2019-01-29 | Mediatek Inc. | Method and apparatus for video coding using filter coefficients determined based on pixel projection phase |
WO2017084512A1 (en) * | 2015-11-20 | 2017-05-26 | Mediatek Inc. | Method and apparatus of motion vector prediction or merge candidate derivation for video coding |
WO2017118409A1 (en) * | 2016-01-07 | 2017-07-13 | Mediatek Inc. | Method and apparatus for affine merge mode prediction for video coding system |
US10462457B2 (en) * | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
RU2696551C1 (ru) * | 2016-03-15 | 2019-08-02 | МедиаТек Инк. | Способ и устройство для кодирования видео с компенсацией аффинного движения |
US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
CN116708784A (zh) * | 2016-07-12 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法以及用于该方法的记录介质 |
CN116614641A (zh) * | 2016-07-12 | 2023-08-18 | 韩国电子通信研究院 | 图像编码/解码方法和用于所述方法的记录介质 |
US10721489B2 (en) * | 2016-09-06 | 2020-07-21 | Qualcomm Incorporated | Geometry-based priority for the construction of candidate lists |
EP3557873B1 (en) | 2016-12-16 | 2022-02-16 | SHARP Kabushiki Kaisha | Image decoding device and image encoding device |
KR102543752B1 (ko) * | 2016-12-22 | 2023-06-14 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
EP3343924A1 (en) * | 2017-01-03 | 2018-07-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
EP3343925A1 (en) * | 2017-01-03 | 2018-07-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
KR20180084663A (ko) * | 2017-01-16 | 2018-07-25 | 세종대학교산학협력단 | 영상 신호 부호화/복호화 방법 및 장치 |
US10602180B2 (en) | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
EP3451669A1 (en) * | 2017-08-29 | 2019-03-06 | Thomson Licensing | Methods and apparatus for improved compression/decompression using frame rate up conversion tools |
US10931963B2 (en) * | 2017-12-07 | 2021-02-23 | Tencent America LLC | Method and apparatus for video coding |
US10735758B2 (en) | 2017-12-07 | 2020-08-04 | Tencent America LLC | Method and apparatus for video coding |
US11012715B2 (en) | 2018-02-08 | 2021-05-18 | Qualcomm Incorporated | Intra block copy for video coding |
GB2588003B (en) | 2018-06-05 | 2023-04-19 | Beijing Bytedance Network Tech Co Ltd | Interaction between pairwise average merging candidates and IBC |
US20200021836A1 (en) * | 2018-07-10 | 2020-01-16 | Tencent America LLC | Method and apparatus for ordering and selection of affine merge candidates in motion compensation |
US11336914B2 (en) * | 2018-08-16 | 2022-05-17 | Qualcomm Incorporated | History-based candidate list with classification |
WO2020060376A1 (ko) * | 2018-09-22 | 2020-03-26 | 엘지전자 주식회사 | 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치 |
EP3861744A4 (en) | 2018-11-13 | 2021-12-08 | Beijing Bytedance Network Technology Co. Ltd. | CREATION OF LIST OF MOVEMENT CANDIDATES BASED ON A HISTORY, FOR AN IN-BLOCK COPY |
-
2019
- 2019-11-13 EP EP19885334.3A patent/EP3861744A4/en active Pending
- 2019-11-13 KR KR1020237044979A patent/KR20240005223A/ko active Application Filing
- 2019-11-13 CN CN201980074700.6A patent/CN113228635B/zh active Active
- 2019-11-13 JP JP2021525548A patent/JP7231729B2/ja active Active
- 2019-11-13 CN CN201980074673.2A patent/CN113261293B/zh active Active
- 2019-11-13 CN CN202311517408.1A patent/CN117880493A/zh active Pending
- 2019-11-13 CN CN201980074353.7A patent/CN113016183A/zh active Pending
- 2019-11-13 WO PCT/CN2019/117907 patent/WO2020098677A1/en unknown
- 2019-11-13 WO PCT/CN2019/117968 patent/WO2020098694A1/en active Application Filing
- 2019-11-13 KR KR1020217012713A patent/KR20210089153A/ko not_active Application Discontinuation
- 2019-11-13 WO PCT/CN2019/117971 patent/WO2020098695A1/en active Application Filing
- 2019-11-13 WO PCT/CN2019/117930 patent/WO2020098683A1/en active Application Filing
- 2019-11-13 CN CN201980074352.2A patent/CN112997493B/zh active Active
-
2021
- 2021-02-04 US US17/167,232 patent/US11128882B2/en active Active
- 2021-02-04 US US17/167,192 patent/US11563972B2/en active Active
-
2023
- 2023-01-18 US US18/156,040 patent/US20230164347A1/en active Pending
- 2023-02-16 JP JP2023022534A patent/JP7478864B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017507554A (ja) | 2014-01-17 | 2017-03-16 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 非対称パーティション並びにエンコーダ側の検索パターン、検索範囲、及び分割のためのアプローチを使用するイントラブロックコピー予測 |
Non-Patent Citations (1)
Title |
---|
Li Zhang et al.,CE4: History-based Motion Vector Prediction (Test 4.4.7),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0266-v2,2018年10月04日 |
Also Published As
Publication number | Publication date |
---|---|
WO2020098695A1 (en) | 2020-05-22 |
KR20240005223A (ko) | 2024-01-11 |
US20210160532A1 (en) | 2021-05-27 |
JP2022507131A (ja) | 2022-01-18 |
CN113228635A (zh) | 2021-08-06 |
CN113016183A (zh) | 2021-06-22 |
WO2020098683A1 (en) | 2020-05-22 |
CN117880493A (zh) | 2024-04-12 |
KR20210089153A (ko) | 2021-07-15 |
EP3861744A4 (en) | 2021-12-08 |
US20230164347A1 (en) | 2023-05-25 |
WO2020098677A1 (en) | 2020-05-22 |
US11128882B2 (en) | 2021-09-21 |
US11563972B2 (en) | 2023-01-24 |
CN113261293B (zh) | 2023-11-03 |
CN113261293A (zh) | 2021-08-13 |
EP3861744A1 (en) | 2021-08-11 |
CN113228635B (zh) | 2024-01-05 |
JP2023054111A (ja) | 2023-04-13 |
US20210160529A1 (en) | 2021-05-27 |
JP7478864B2 (ja) | 2024-05-07 |
CN112997493B (zh) | 2024-01-05 |
WO2020098694A1 (en) | 2020-05-22 |
CN112997493A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7231729B2 (ja) | イントラブロックコピーのための履歴ベース動き候補リスト構築 | |
US11924421B2 (en) | Blending method for inter prediction with geometry partition | |
US11671586B2 (en) | Modified history based motion prediction | |
JP7377894B2 (ja) | サブブロックマージモードでのシンタックスシグナリング | |
WO2020192726A1 (en) | History-based motion vector prediction | |
WO2021110017A1 (en) | Merge with motion vector differencing in affine mode | |
WO2020098753A1 (en) | Improvements of Affine Prediction Mode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7231729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |